Tech de Gamuza

Script pour mettre à jour par SVN et GIT tous les plugins d'un SPIP

Christophe — 2016-05-20T16:52:59Z

Un petit script qui permet de mettre à jour en ligne de commande tous les plugins d'un site SPIP qui sont versionnés soit sous SVN soit sous GIT

maj_plugins.sh

#!/bin/bash # script de maj des plugins d'un spip dossier=($(ls -d *)) for i in "${dossier[@]}" do if [ -d "$i/.svn" ];then svn up ./$i ;fi if [ -d "$i/.git" ];then echo "Mise à jour de $i :"; cd $i; git pull; cd .. ; fi done

Utilisation :
– Créer un fichier maj_plugin.sh contenant le code ci-dessus.
– Placer ce fichier dans un répertoire de votre PATH.

echo $PATH

– Placez vous dans le répertoire plugins/ de votre site, et lancez le script

maj_plugins.sh

Modifier les droits sur une arborescence de dossiers et fichiers

clem — 2016-05-07T10:44:29Z

Lorsque l'on doit modifier les permissions [1] sur une arborescence de dossiers et fichiers, la méthode "simple" consiste à utiliser la commande (par exemple ici pour donner des permissions de type 2775)

chmod -R 2775 /chemin/arborescence/a/modifier

c'est à dire utiliser l'option -R de la commande chmod qui permet de propager la modification des droits sur l'ensemble des dossiers et fichiers de l'arborescence.
Cette méthode à l'inconvénient que fichiers et dossiers héritent des même permissions alors que si on souhaite (en général) pouvoir autoriser l'accès aux dossiers, il n'est pas souhaitable de mettre tous les fichiers de l'arborescence en mode "exécutable" : exprimé en octal, cela revient à vouloir donner la permission 7 (x) pour les dossiers alors que l'on veut donner la permission 6 (-) pour les fichiers.

Pour pouvoir mettre des droits différents sur les dossiers et les fichiers d'une arborescence on peut donc utiliser les commandes suivantes (exemple pour mettre 2775 sur les dossiers et 664 sur les fichiers) :

chemin='/chemin/arborescence/a/modifier' find ${chemin} -type f -print0 | xargs -0 chmod 0664 find ${chemin} -type d -print0 | xargs -0 chmod 2775

c'est à dire utiliser la commande find avec l'option -type d pour les dossiers ou -type f pour les fichiers afin de sélectionner uniquement dossiers ou fichiers et de rediriger le résultat de cette commande vers la commande chmod avec les permissions appropriées au type sélectionné.

[1] voir Wikipedia Permissions_UNIX pour les explications sur les permissions

Myextract : un script pour restaurer un ensemble de dumps MySQL

clem — 2015-10-12T14:25:59Z

Le but de ce script est de restaurer un ensemble de sauvegardes MySQL qui sont stockées au format bzip2 dans un dossier. Chaque fichier d'extension .sql.bz2 porte le nom de la base de données dans laquelle il doit être restauré : par exemple toto.sql.bz2 devra être restauré dans la base toto.
Le chemin du dossier contenant les sauvegardes est passé en paramètre au script.

#!/bin/bash # myextract.sh # decompacte un ensemble de dumps MySQL bzippés stockées dans un répertoire # le chemin du répertoire est passé en paramètre du script # exemple: myextract.sh /chemin/du/repertoire/des_bzips # configuration # nom et mot de passe de l'utilisateur MySQL USER_MYSQL=toto PASS_MYSQL="super_secret" for j in <code class='spip_code spip_code_inline' dir='ltr'>ls -1 -r $1</code>; do LA_BASE=<code class='spip_code spip_code_inline' dir='ltr'>echo $j |sed s/.sql.bz2//</code> echo "restauration de $LA_BASE" # si les fichiers de dump ont étés générés avec l'option -B (création de la base), # enlever l'option -D $LA_BASE dans la commande suivante bunzip2 -c $1/$j | mysql -u$USER_MYSQL --password=$PASS_MYSQL -D $LA_BASE done

A lancer dans un tmux/screen si le nombre de sauvegardes (ou leur taille) est conséquent(e).

Pour la génération des sauvegardes MySQL sous forme de fichiers bzippés voir : Mydump : un petit script pour sauvegarder des bases de données au format bzip2

Créer et configurer une paire de clés SSH pour la synchronisation entre 2 serveurs

Christophe — 2015-10-01T12:12:40Z

Création d'un user spécifique sur les 2 serveurs
useradd --home /home/toto --password mon_super_motdepasse toto
Du serveur de production (PROD) vers le serveur de backup (SAUVE)

Remarque : dans toutes les commandes ssh, l'option -p permet de préciser le port de connexion ssh si différent de 22.
1. Sur le serveur PROD :
  - Générer une paire de clés publique/privée sans mot de passe avec le compte utilisé pour la synchro (toto par ex)
    ssh-keygen -t rsa
    
    nom du fichier de clé =/home/toto/.ssh/ id_rsa_rsync
    pass = vide pour connexion auto de rsync
  - Envoyer sa cle privé sur le serveur SAUVE ssh-copy-id -i ~/.ssh/id_rsa_rync.pub '-p 1234 toto@serveur-sauve.tld'
2. Sur le serveur SAUVE :
  - Ajouter les options de limitation de connexion en début de la ligne de la clé dans le fichier authorized_keys : from="1.2.3.4,...liste des IP autorisées séparées par une virgule"
3. Sur le serveur PROD :
  - Tester la connexion vers SAUVE avec la clé : ssh -i /home/toto/id_rsa_rsync -p 1234 toto@serveur-sauve.tld
  - Tester le rsync via ssh + fichier de la clé privée : (dans /home/toto on crée un rép /test avec 1 ou 2 fichiers dedans) mkdir test cd test touch fichier1 fichier2 rsync -e "ssh -i /home/toto/.ssh/id_rsa_rsync -p 1234" ./* toto@serveur-sauve.tld:/home/toto
    On doit retrouver tous les fichiers de /test de la source dans le dossier /toto du serveur de SAUVE
  - Créer un fichier cron_synchro.sh dans /home/toto et le rendre exécutable #!/bin/bash rsync -e "ssh -i /home/toto/.ssh/id_rsa_rync -p 1234" -az /home/toto/test/ toto@serveur-sauve.tld:/home/toto
  - Générer le crontab de toto pour lancer cron.sh (par ex ici à 1h12 toutes les nuits) crontab -e 12 1 * * * cd ~/ && ./cron_synchro.sh > /dev/null

Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant

clem — 2015-09-28T22:54:26Z

Pour le détail de la construction de la commande sed (qui est le truc compliqué de l'affaire...) voir :
http://www.commentcamarche.net/faq/...

#!/bin/bash # # Génère un sh avec les "git clone" de tous les plugins d'un SPIP # # chaque ligne du fichier générée est de la forme: # git clone https://github.com/nom_repo/nom_plugin.git nom_plugin # # ce fichier sera lancé dans le rep plugins/ d'un SPIP # # chemin du répertoire des plugins du SPIP REP_PLUGINS=./ # chemin du fichier sh à créer FICHIER_SH=./dupliquer_plugins.sh # initialiser le fichier echo "# commandes des plugins a installer" > $FICHIER_SH for i in <code class='spip_code spip_code_inline' dir='ltr'>ls $REP_PLUGINS</code>; do if [ -d $REP_PLUGINS/$i/.git ]; then grep "url" $REP_PLUGINS/$i/.git/config |sed 's/.*url = /git clone /;s/.*\/\([^\/]*\).git$/\0 \1/' >>> fi done # passer le fichier sh en executable chmod +x $FICHIER_SH

Une fois ce script lancé en étant dans le sous dossier plugins, on récupère le fichier dupliquer_plugins.sh généré dont le contenu ressemblera à :

svn co svn://zone.spip.org/spip-zone/_plugins_/acces_restreint/trunk acces_restreint svn co svn://zone.spip.org/spip-zone/_plugins_/adaptive_images/trunk adaptive_images git clone https://github.com/nursit/home.git home svn co svn://zone.spip.org/spip-zone/_plugins_/agenda/trunk agenda svn co svn://zone.spip.org/spip-zone/_plugins_/alias alias git clone https://github.com/nursit/bank.git bank ...

Il ne reste plus qu'a transférer ce fichier dans le répertoire plugins/ du nouveau SPIP, et le lancer en ligne de commande pour avoir les mêmes plugins installés.
On peut également décider de supprimer un certain nombre de lignes correspondantes aux plugins que l'on ne souhaite pas installer.

TODO :

ajouter la récupération de la branch git en cours : cf https://stackoverflow.com/a/11868440 git rev-parse --abbrev-ref HEAD ou git status | head -1
et intégrer l'appel de branche dans le git clone :
git clone --branche xxxx url

Alternative si vos plugins ne sont pas installés en ligne de commande :
voir l'astuce d'Eliaz blog : Migrer facilement ses plugins d'un SPIP à un autre

Sortir un fichier texte avec la liste de toutes les URLs des dépots SVN des plugins d'un SPIP

clem — 2015-09-26T17:08:34Z

#!/bin/bash
#
# récupérer un txt avec les URL SVN de tous les plugins du répertoire plugins/ d'un SPIP
# # chemin du répertoire des plugins du SPIP
REP_PLUGINS=/var/www/ma-mutu.tld/plugins # chemin du fichier txt à créer
FICHIER_TXT=/home/clem/liste_urls_svn_plugins.txt svn info $REP_PLUGINS/* |grep "^URL" > $FICHIER_TXT

On peut aller plus loin dans l'automatisation du transfert d'un ensemble de plugins installés avec SVN en générant directement le fichier sh de checkout à partir de ce svn info : voir Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant