Tech de Gamuza

Script pour mettre à jour par SVN et GIT tous les plugins d'un SPIP

Christophe — 2016-05-20T16:52:59Z

Un petit script qui permet de mettre à jour en ligne de commande tous les plugins d'un site SPIP qui sont versionnés soit sous SVN soit sous GIT

maj_plugins.sh

#!/bin/bash # script de maj des plugins d'un spip dossier=($(ls -d *)) for i in "${dossier[@]}" do if [ -d "$i/.svn" ];then svn up ./$i ;fi if [ -d "$i/.git" ];then echo "Mise à jour de $i :"; cd $i; git pull; cd .. ; fi done

Utilisation :
– Créer un fichier maj_plugin.sh contenant le code ci-dessus.
– Placer ce fichier dans un répertoire de votre PATH.

echo $PATH

– Placez vous dans le répertoire plugins/ de votre site, et lancez le script

maj_plugins.sh

Modifier les droits sur une arborescence de dossiers et fichiers

clem — 2016-05-07T10:44:29Z

Lorsque l'on doit modifier les permissions [1] sur une arborescence de dossiers et fichiers, la méthode "simple" consiste à utiliser la commande (par exemple ici pour donner des permissions de type 2775)

chmod -R 2775 /chemin/arborescence/a/modifier

c'est à dire utiliser l'option -R de la commande chmod qui permet de propager la modification des droits sur l'ensemble des dossiers et fichiers de l'arborescence.
Cette méthode à l'inconvénient que fichiers et dossiers héritent des même permissions alors que si on souhaite (en général) pouvoir autoriser l'accès aux dossiers, il n'est pas souhaitable de mettre tous les fichiers de l'arborescence en mode "exécutable" : exprimé en octal, cela revient à vouloir donner la permission 7 (x) pour les dossiers alors que l'on veut donner la permission 6 (-) pour les fichiers.

Pour pouvoir mettre des droits différents sur les dossiers et les fichiers d'une arborescence on peut donc utiliser les commandes suivantes (exemple pour mettre 2775 sur les dossiers et 664 sur les fichiers) :

chemin='/chemin/arborescence/a/modifier' find ${chemin} -type f -print0 | xargs -0 chmod 0664 find ${chemin} -type d -print0 | xargs -0 chmod 2775

c'est à dire utiliser la commande find avec l'option -type d pour les dossiers ou -type f pour les fichiers afin de sélectionner uniquement dossiers ou fichiers et de rediriger le résultat de cette commande vers la commande chmod avec les permissions appropriées au type sélectionné.

[1] voir Wikipedia Permissions_UNIX pour les explications sur les permissions

Récapitulatif sur les tests en bash...

Christophe, clem — 2015-11-02T21:14:19Z

Ecrire des scripts bash est un sport de combat pour le codeur peu aguerri dans ce langage complexe et susceptible...
Un petit résumé des différentes possibilités de test sur des valeurs arithmétiques ou des chaînes de caractères (par ex dans une instruction "if") et des erreurs à éviter !

Une seule condition à tester :

cas 1) tests avec opérateur unaire : = ou -eq, != ou -ne, > ou -gt, < ou -lt )

 if [ $var = 1 ] # OK if [ $var -gt 0 ] # OK if [$var > 0] # Erreur il faut un espace après [ et avant ]

Tests avec variables définies avant ou non :

 var=1 # définition de $var, $nonvar n'est pas définie if [ $var = truc ] # OK ($var définie auparavant) if [ $nonvar = machin ] # erreur: $nonvar étant indéfinie, le test revient à: if [ = 1 ]

2 options pour éviter l'erreur lorsque l'on ne sait pas si la variable a été définie :

 if [ "$nonvar" = 1 ] # OK: protection de la variable par " " if [[ $nonvar = 1 ]] # OK

La construction

[[ ]]

est la commande étendue de [ ] dans Bash.

cas 2) tests avec double opérateurs : ==, !==, >=, <=

 if (( $var == 1 )) # OK if (( $var <= 1 )) # OK if (( $var = 1 )) # erreur: = est utilisé comme opérateur d'affectation avec (( )) if (( $var -gt 1 )) # erreur: opérateurs -gt, -lt... non disponibles avec (( )) if [ $var >= 0 ] # erreur: double parenthèse obligatoire avec ces opérateurs

La construction (( )) évalue une expression arithmétique.

cas 3) tests spécifiques des chaînes de caractères

 if [ -n "$var" ] # la chaîne $var n'est pas de longueur nulle if [ -z "$var" ] # la chaîne $var est de longueur nulle (est donc '')

Test deux conditions

 if [ $var = 0 -o $var = 1 ] # OK (-o : condition OU) if [ $var > "0" -a $var = "1" ] # OK (-a : condition AND)

Variables définies ou non :

 var=oui # $var est définie, $nonvar ne l'est pas if [ $var = non -o $var = n ] # OK if [ $nonvar = non -a $var = n ] # erreur: $nonvar pas définie if [ "$nonvar" = "non" -o "$var" = "n" ] # OK if [[ $nonvar= "non" -o $var= "n" ]] # erreur

Dans le cas d'un test double, la protection des variable par " " est la seule option pour éviter les erreurs de variables non définies.

Tests sur les objets du système de fichiers

Les opérateurs de tests disponibles sont, pour les les objets du système de fichiers :
exemples de code :

 if [ -e $FILE ]

"si $FILE est un fichier"

 if [ ! -d mon_rep ]

"si le répertoire mon_rep n'existe pas"

Liste des tests :

Test	Descriptif
-e	vrai si $FILE existe
-s	vrai si $FILE existe et si sa taille est supérieure à zéro
-f	vrai si $FILE est un fichier
-r	vrai si $FILE est un fichier avec la permission (read)
-w	vrai si $FILE est un fichier avec la permission (write)
-x	vrai si $FILE est un fichier avec la permission (execute)
-d	vrai si $FILE est un répertoire
-L	vrai si $FILE est un lien symbolique
-O	vrai si on est le owner de $FILE
-G	vrai si on a le même groupe que $FILE
-N	vrai si le fichier a été modifié depuis sa dernière ouverture
f1 -nt f2	le fichier f1 est plus récent que f2
f1 -ot f2	le fichier f1 est plus vieux que f2

Tests d'appartenance à une liste (=array une dimension)

Bien que ça ne soit que peu utilisé en bash, il est possible de créer des tableaux à une dimension (= liste) et de tester si une variable appartient à une liste.

# creation de la liste (éléments séparés par un espace) ma_liste=(toto titi tata) ma_variable=tata # test d'appartenance de $variable à la liste (ou pas!) if [[ " ${ma_liste[@]} " =~ " ${ma_variable} " ]]; then # instructions à éxecuter si $ma_variable appartient à la liste fi if [[ ! " ${ma_liste[@]} " =~ " ${ma_variable} " ]]; then # instructions à éxecuter si $ma_variable n'appartient pas à la liste fi

Références :

man test : http://ss64.com/bash/test.html
la référence de base : https://fr.wikibooks.org/wiki/Programmation_Bash/Tests
pour aller plus loin : http://abs.traduc.org/abs-5.0-fr/ch07.html
résumé des différents opérateurs de tests (arithmétiques, chaînes de caractères, système de fichiers et dossiers) : http://techietent.blogspot.fr/2013/03/bash-test-operators.html
la bidouille pour tester l'appartenance à une liste sans itérer dessus : https://stackoverflow.com/a/15394738

Myextract : un script pour restaurer un ensemble de dumps MySQL

clem — 2015-10-12T14:25:59Z

Le but de ce script est de restaurer un ensemble de sauvegardes MySQL qui sont stockées au format bzip2 dans un dossier. Chaque fichier d'extension .sql.bz2 porte le nom de la base de données dans laquelle il doit être restauré : par exemple toto.sql.bz2 devra être restauré dans la base toto.
Le chemin du dossier contenant les sauvegardes est passé en paramètre au script.

#!/bin/bash # myextract.sh # decompacte un ensemble de dumps MySQL bzippés stockées dans un répertoire # le chemin du répertoire est passé en paramètre du script # exemple: myextract.sh /chemin/du/repertoire/des_bzips # configuration # nom et mot de passe de l'utilisateur MySQL USER_MYSQL=toto PASS_MYSQL="super_secret" for j in <code class='spip_code spip_code_inline' dir='ltr'>ls -1 -r $1</code>; do LA_BASE=<code class='spip_code spip_code_inline' dir='ltr'>echo $j |sed s/.sql.bz2//</code> echo "restauration de $LA_BASE" # si les fichiers de dump ont étés générés avec l'option -B (création de la base), # enlever l'option -D $LA_BASE dans la commande suivante bunzip2 -c $1/$j | mysql -u$USER_MYSQL --password=$PASS_MYSQL -D $LA_BASE done

A lancer dans un tmux/screen si le nombre de sauvegardes (ou leur taille) est conséquent(e).

Pour la génération des sauvegardes MySQL sous forme de fichiers bzippés voir : Mydump : un petit script pour sauvegarder des bases de données au format bzip2

Mydump : un petit script pour sauvegarder des bases de données au format bzip2

clem — 2015-10-12T13:08:30Z

Base :

Lorsque l'on administre un serveur web (sous Linux), tôt où tard on se retrouve confronté à la nécessité de faire la sauvegarde d'une ou plusieurs bases de données MySQL.
Le script suivant permet de minimiser les répétitions : il réalise le dump au format bzip2 de la base de données dont on a passé le nom en paramètre. Le dossier de destination est configurable dans le script.

#!/bin/bash # mydump.sh # script pour dump + bzip2 d'une bdd # le nom de la bdd est passé en paramètre au script # exemple: ./mydump.sh la_base_a_dumper # configuration # chemin du dossier de stockage des dumps CHEMIN_DUMPS=/home/technique/dumps_sauvegardes # nom et mot de passe de l'utilisateur MySQL USER_MYSQL=toto PASS_MYSQL="super_secret" # creer la base de donnees: utiliser -B comme parametre echo "dump + gzip de $1 dans $CHEMIN_DUMPS/$1.sql.bz2" mysqldump -u $USER_MYSQL --password=$PASS_MYSQL -B --opt $1 | bzip2 -c -1 > $CHEMIN_DUMPS/$1.sql.bz2

A lancer dans un tmux (ou screen) si vos bases sont grosses et/ou votre connexion ssh peu fiable...

Pour la restauration d'un ensemble de sauvegardes bzippés, voir Myextract : un script pour restaurer un ensemble de dumps MySQL

Pour aller plus loin :

On peut vouloir automatiser un peu plus la sauvegarde en passant un fichier listant toutes les bases à sauver, fichier généré à partir de la liste des bases présentes sur le serveur.

Le scénario "évolué" pourrait donc être :

générer le fichier liste_bases.txt listant toutes les bases : mysql -utoto -p"super_secret" -e 'show databases;' > liste_bases.txt
Le fichier obtenu liste l'ensemble des bases présentes, une par ligne.
éditer le fichier et enlever les bases qui ne sont pas à sauvegarder (phpmyadmin, performance_schema, mysql...)
lancer mydump.sh en boucle sur toutes les tables restant dans le fichier liste_bases.txt : for i in <code class='spip_code spip_code_inline' dir='ltr'>cat liste_bases.txt</code>;do ./mydump.sh $i;done

Créer et configurer une paire de clés SSH pour la synchronisation entre 2 serveurs

Christophe — 2015-10-01T12:12:40Z

Création d'un user spécifique sur les 2 serveurs
useradd --home /home/toto --password mon_super_motdepasse toto
Du serveur de production (PROD) vers le serveur de backup (SAUVE)

Remarque : dans toutes les commandes ssh, l'option -p permet de préciser le port de connexion ssh si différent de 22.
1. Sur le serveur PROD :
  - Générer une paire de clés publique/privée sans mot de passe avec le compte utilisé pour la synchro (toto par ex)
    ssh-keygen -t rsa
    
    nom du fichier de clé =/home/toto/.ssh/ id_rsa_rsync
    pass = vide pour connexion auto de rsync
  - Envoyer sa cle privé sur le serveur SAUVE ssh-copy-id -i ~/.ssh/id_rsa_rync.pub '-p 1234 toto@serveur-sauve.tld'
2. Sur le serveur SAUVE :
  - Ajouter les options de limitation de connexion en début de la ligne de la clé dans le fichier authorized_keys : from="1.2.3.4,...liste des IP autorisées séparées par une virgule"
3. Sur le serveur PROD :
  - Tester la connexion vers SAUVE avec la clé : ssh -i /home/toto/id_rsa_rsync -p 1234 toto@serveur-sauve.tld
  - Tester le rsync via ssh + fichier de la clé privée : (dans /home/toto on crée un rép /test avec 1 ou 2 fichiers dedans) mkdir test cd test touch fichier1 fichier2 rsync -e "ssh -i /home/toto/.ssh/id_rsa_rsync -p 1234" ./* toto@serveur-sauve.tld:/home/toto
    On doit retrouver tous les fichiers de /test de la source dans le dossier /toto du serveur de SAUVE
  - Créer un fichier cron_synchro.sh dans /home/toto et le rendre exécutable #!/bin/bash rsync -e "ssh -i /home/toto/.ssh/id_rsa_rync -p 1234" -az /home/toto/test/ toto@serveur-sauve.tld:/home/toto
  - Générer le crontab de toto pour lancer cron.sh (par ex ici à 1h12 toutes les nuits) crontab -e 12 1 * * * cd ~/ && ./cron_synchro.sh > /dev/null

Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant

clem — 2015-09-28T22:54:26Z

Pour le détail de la construction de la commande sed (qui est le truc compliqué de l'affaire...) voir :
http://www.commentcamarche.net/faq/...

#!/bin/bash # # Génère un sh avec les "git clone" de tous les plugins d'un SPIP # # chaque ligne du fichier générée est de la forme: # git clone https://github.com/nom_repo/nom_plugin.git nom_plugin # # ce fichier sera lancé dans le rep plugins/ d'un SPIP # # chemin du répertoire des plugins du SPIP REP_PLUGINS=./ # chemin du fichier sh à créer FICHIER_SH=./dupliquer_plugins.sh # initialiser le fichier echo "# commandes des plugins a installer" > $FICHIER_SH for i in <code class='spip_code spip_code_inline' dir='ltr'>ls $REP_PLUGINS</code>; do if [ -d $REP_PLUGINS/$i/.git ]; then grep "url" $REP_PLUGINS/$i/.git/config |sed 's/.*url = /git clone /;s/.*\/\([^\/]*\).git$/\0 \1/' >>> fi done # passer le fichier sh en executable chmod +x $FICHIER_SH

Une fois ce script lancé en étant dans le sous dossier plugins, on récupère le fichier dupliquer_plugins.sh généré dont le contenu ressemblera à :

svn co svn://zone.spip.org/spip-zone/_plugins_/acces_restreint/trunk acces_restreint svn co svn://zone.spip.org/spip-zone/_plugins_/adaptive_images/trunk adaptive_images git clone https://github.com/nursit/home.git home svn co svn://zone.spip.org/spip-zone/_plugins_/agenda/trunk agenda svn co svn://zone.spip.org/spip-zone/_plugins_/alias alias git clone https://github.com/nursit/bank.git bank ...

Il ne reste plus qu'a transférer ce fichier dans le répertoire plugins/ du nouveau SPIP, et le lancer en ligne de commande pour avoir les mêmes plugins installés.
On peut également décider de supprimer un certain nombre de lignes correspondantes aux plugins que l'on ne souhaite pas installer.

TODO :

ajouter la récupération de la branch git en cours : cf https://stackoverflow.com/a/11868440 git rev-parse --abbrev-ref HEAD ou git status | head -1
et intégrer l'appel de branche dans le git clone :
git clone --branche xxxx url

Alternative si vos plugins ne sont pas installés en ligne de commande :
voir l'astuce d'Eliaz blog : Migrer facilement ses plugins d'un SPIP à un autre

Sortir un fichier texte avec la liste de toutes les URLs des dépots SVN des plugins d'un SPIP

clem — 2015-09-26T17:08:34Z

#!/bin/bash
#
# récupérer un txt avec les URL SVN de tous les plugins du répertoire plugins/ d'un SPIP
# # chemin du répertoire des plugins du SPIP
REP_PLUGINS=/var/www/ma-mutu.tld/plugins # chemin du fichier txt à créer
FICHIER_TXT=/home/clem/liste_urls_svn_plugins.txt svn info $REP_PLUGINS/* |grep "^URL" > $FICHIER_TXT

On peut aller plus loin dans l'automatisation du transfert d'un ensemble de plugins installés avec SVN en générant directement le fichier sh de checkout à partir de ce svn info : voir Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant