Siebrand has uploaded a new change for review.
https://gerrit.wikimedia.org/r/87696
Change subject: WIP: Optimise MediaWiki extension group exports
......................................................................
WIP: Optimise MediaWiki extension group exports
Change-Id: I60bac30855af00b8371b840054723da59f1e71a5
---
A bin/export-by-prefix
M bin/repoexport
2 files changed, 34 insertions(+), 57 deletions(-)
git pull ssh://gerrit.wikimedia.org:29418/translatewiki
refs/changes/96/87696/1
diff --git a/bin/export-by-prefix b/bin/export-by-prefix
new file mode 100755
index 0000000..baa0294
--- /dev/null
+++ b/bin/export-by-prefix
@@ -0,0 +1,23 @@
+#!/bin/bash
+set -e
+
+#DIRSCRIPT="`dirname \"$0\"`"
+#DIRSCRIPT="`( cd \"$DIRSCRIPT\" && pwd )`"
+#DIRLOG=/home/betawiki/logs/repo
+#PROJECT=$1
+#WIKI=/www/translatewiki.net/w
+
+#DIR=$2
+#: ${DIR:=`pwd`}
+#source ${DIRSCRIPT}/findexportroot
+cd "$DIR"
+
+SKIPGROUPS=""
+if [ "$1" = "ext-i" ]
+then
+ SKIPGROUPS="--skipgroup=ext-installer"
+elif [ "$1" = "ext-j" ]
+ SKIPGROUPS="--skipgroup=ext-jquery-uls"
+fi
+
+echo php "$EXPORTER" --target $1 --lang=* --skip="$SKIPLANGS" $HOURS
--group=$2* $SKIPGROUPS
diff --git a/bin/repoexport b/bin/repoexport
index 802deaf..282d7cb 100755
--- a/bin/repoexport
+++ b/bin/repoexport
@@ -112,34 +112,12 @@
then
php "$WIKI/extensions/Translate/scripts/magic-export.php" --target
mediawiki-extensions/extensions/ --type=magic --quiet &
php "$WIKI/extensions/Translate/scripts/magic-export.php" --target
mediawiki-extensions/extensions/ --type=special --quiet &
- php "$EXPORTER" --target . --group 'ext-a*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-b*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-c*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-d*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-e*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-f*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-g*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-h*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-i*' --lang '*' --skip
"$SKIPLANGS" $HOURS --skipgroup=ext-installer &
- php "$EXPORTER" --target . --group 'ext-j*' --lang '*' --skip
"$SKIPLANGS" $HOURS --skipgroup=ext-jquery-uls &
- php "$EXPORTER" --target . --group 'ext-k*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-l*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-m*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-n*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-o*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-p*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-q*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-r*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-s*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-t*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-u*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-v*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-w*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-x*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-y*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- php "$EXPORTER" --target . --group 'ext-z*' --lang '*' --skip
"$SKIPLANGS" $HOURS &
- wait
- php "$EXPORTER" --target mediawiki-extensions/extensions --group
'ext-jquery-*' --lang '*' --skip "$SKIPLANGS" $HOURS
+
+ PREFIXES="ext-a ext-b ext-c ext-d ext-e ext-f ext-g ext-h ext-i ext-j
ext-k ext-l \
+ ext-m ext-n ext-o ext-p ext-q ext-r ext-s ext-t ext-u ext-v
ext-w ext-x ext-y \
+ ext-z ext-jquery-"
+
+ echo $PREFIXES | xargs -n1 -P4 ${DIRSCRIPT}/export-by-prefix
./mediawiki-extensions/extensions
elif [ "$PROJECT" = "mifos" ]
then
@@ -200,35 +178,11 @@
HOURS=""
fi
- php "$EXPORTER" --target . --group=wikia-a* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-b* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-c* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-d* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-e* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-f* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-g* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-h* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-i* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-j* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-k* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-l* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-m* --lang '*' --skip en $HOURS
&
- wait
- echo "repoexport: Wikia part 2"
- php "$EXPORTER" --target . --group=wikia-n* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-o* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-p* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-q* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-r* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-s* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-t* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-u* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-v* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-w* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-x* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-y* --lang '*' --skip en $HOURS
&
- php "$EXPORTER" --target . --group=wikia-z* --lang '*' --skip en $HOURS
&
- wait
+ PREFIXES="wikia-a wikia-b wikia-c wikia-d wikia-e wikia-f wikia-g
wikia-h \
+ wikia-i wikia-j wikia-k wikia-l wikia-m wikia-n wikia-o wikia-p
wikia-q \
+ wikia-r wikia-s wikia-t wikia-u wikia-v wikia-w wikia-x wikia-y
wikia-z"
+
+ echo $PREFIXES | xargs -n1 -P4 ${DIRSCRIPT}/export-by-prefix .
elif [ "$PROJECT" = "wikiblame" ]
then
--
To view, visit https://gerrit.wikimedia.org/r/87696
To unsubscribe, visit https://gerrit.wikimedia.org/r/settings
Gerrit-MessageType: newchange
Gerrit-Change-Id: I60bac30855af00b8371b840054723da59f1e71a5
Gerrit-PatchSet: 1
Gerrit-Project: translatewiki
Gerrit-Branch: master
Gerrit-Owner: Siebrand <[email protected]>
_______________________________________________
MediaWiki-commits mailing list
[email protected]
https://lists.wikimedia.org/mailman/listinfo/mediawiki-commits
