Tech de Gamuza

One line pour connaître la branche Git des repos dans les sous-dossiers d'un répertoire

clem — 2024-03-29T16:38:48Z

on boucle dans les sous-dossiers d'un répertoire et on joue un git branch -a : la branche active est préfixée par une * ce qui permet de n'afficher qu'elle via un |grep ...

Ce qui donne donc :

for i in <code class='spip_code spip_code_inline' dir='ltr'>ls ./</code>;do echo ""; echo $i; cd $i; git branch -a |grep '*'; cd ../; done

Myextract : un script pour restaurer un ensemble de dumps MySQL

clem — 2015-10-12T14:25:59Z

Le but de ce script est de restaurer un ensemble de sauvegardes MySQL qui sont stockées au format bzip2 dans un dossier. Chaque fichier d'extension .sql.bz2 porte le nom de la base de données dans laquelle il doit être restauré : par exemple toto.sql.bz2 devra être restauré dans la base toto.
Le chemin du dossier contenant les sauvegardes est passé en paramètre au script.

#!/bin/bash # myextract.sh # decompacte un ensemble de dumps MySQL bzippés stockées dans un répertoire # le chemin du répertoire est passé en paramètre du script # exemple: myextract.sh /chemin/du/repertoire/des_bzips # configuration # nom et mot de passe de l'utilisateur MySQL USER_MYSQL=toto PASS_MYSQL="super_secret" for j in <code class='spip_code spip_code_inline' dir='ltr'>ls -1 -r $1</code>; do LA_BASE=<code class='spip_code spip_code_inline' dir='ltr'>echo $j |sed s/.sql.bz2//</code> echo "restauration de $LA_BASE" # si les fichiers de dump ont étés générés avec l'option -B (création de la base), # enlever l'option -D $LA_BASE dans la commande suivante bunzip2 -c $1/$j | mysql -u$USER_MYSQL --password=$PASS_MYSQL -D $LA_BASE done

A lancer dans un tmux/screen si le nombre de sauvegardes (ou leur taille) est conséquent(e).

Pour la génération des sauvegardes MySQL sous forme de fichiers bzippés voir : Mydump : un petit script pour sauvegarder des bases de données au format bzip2

Mydump : un petit script pour sauvegarder des bases de données au format bzip2

clem — 2015-10-12T13:08:30Z

Base :

Lorsque l'on administre un serveur web (sous Linux), tôt où tard on se retrouve confronté à la nécessité de faire la sauvegarde d'une ou plusieurs bases de données MySQL.
Le script suivant permet de minimiser les répétitions : il réalise le dump au format bzip2 de la base de données dont on a passé le nom en paramètre. Le dossier de destination est configurable dans le script.

#!/bin/bash # mydump.sh # script pour dump + bzip2 d'une bdd # le nom de la bdd est passé en paramètre au script # exemple: ./mydump.sh la_base_a_dumper # configuration # chemin du dossier de stockage des dumps CHEMIN_DUMPS=/home/technique/dumps_sauvegardes # nom et mot de passe de l'utilisateur MySQL USER_MYSQL=toto PASS_MYSQL="super_secret" # creer la base de donnees: utiliser -B comme parametre echo "dump + gzip de $1 dans $CHEMIN_DUMPS/$1.sql.bz2" mysqldump -u $USER_MYSQL --password=$PASS_MYSQL -B --opt $1 | bzip2 -c -1 > $CHEMIN_DUMPS/$1.sql.bz2

A lancer dans un tmux (ou screen) si vos bases sont grosses et/ou votre connexion ssh peu fiable...

Pour la restauration d'un ensemble de sauvegardes bzippés, voir Myextract : un script pour restaurer un ensemble de dumps MySQL

Pour aller plus loin :

On peut vouloir automatiser un peu plus la sauvegarde en passant un fichier listant toutes les bases à sauver, fichier généré à partir de la liste des bases présentes sur le serveur.

Le scénario "évolué" pourrait donc être :

générer le fichier liste_bases.txt listant toutes les bases : mysql -utoto -p"super_secret" -e 'show databases;' > liste_bases.txt
Le fichier obtenu liste l'ensemble des bases présentes, une par ligne.
éditer le fichier et enlever les bases qui ne sont pas à sauvegarder (phpmyadmin, performance_schema, mysql...)
lancer mydump.sh en boucle sur toutes les tables restant dans le fichier liste_bases.txt : for i in <code class='spip_code spip_code_inline' dir='ltr'>cat liste_bases.txt</code>;do ./mydump.sh $i;done

Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant

clem — 2015-09-28T22:54:26Z

Pour le détail de la construction de la commande sed (qui est le truc compliqué de l'affaire...) voir :
http://www.commentcamarche.net/faq/...

#!/bin/bash # # Génère un sh avec les "git clone" de tous les plugins d'un SPIP # # chaque ligne du fichier générée est de la forme: # git clone https://github.com/nom_repo/nom_plugin.git nom_plugin # # ce fichier sera lancé dans le rep plugins/ d'un SPIP # # chemin du répertoire des plugins du SPIP REP_PLUGINS=./ # chemin du fichier sh à créer FICHIER_SH=./dupliquer_plugins.sh # initialiser le fichier echo "# commandes des plugins a installer" > $FICHIER_SH for i in <code class='spip_code spip_code_inline' dir='ltr'>ls $REP_PLUGINS</code>; do if [ -d $REP_PLUGINS/$i/.git ]; then grep "url" $REP_PLUGINS/$i/.git/config |sed 's/.*url = /git clone /;s/.*\/\([^\/]*\).git$/\0 \1/' >>> fi done # passer le fichier sh en executable chmod +x $FICHIER_SH

Une fois ce script lancé en étant dans le sous dossier plugins, on récupère le fichier dupliquer_plugins.sh généré dont le contenu ressemblera à :

svn co svn://zone.spip.org/spip-zone/_plugins_/acces_restreint/trunk acces_restreint svn co svn://zone.spip.org/spip-zone/_plugins_/adaptive_images/trunk adaptive_images git clone https://github.com/nursit/home.git home svn co svn://zone.spip.org/spip-zone/_plugins_/agenda/trunk agenda svn co svn://zone.spip.org/spip-zone/_plugins_/alias alias git clone https://github.com/nursit/bank.git bank ...

Il ne reste plus qu'a transférer ce fichier dans le répertoire plugins/ du nouveau SPIP, et le lancer en ligne de commande pour avoir les mêmes plugins installés.
On peut également décider de supprimer un certain nombre de lignes correspondantes aux plugins que l'on ne souhaite pas installer.

TODO :

ajouter la récupération de la branch git en cours : cf https://stackoverflow.com/a/11868440 git rev-parse --abbrev-ref HEAD ou git status | head -1
et intégrer l'appel de branche dans le git clone :
git clone --branche xxxx url

Alternative si vos plugins ne sont pas installés en ligne de commande :
voir l'astuce d'Eliaz blog : Migrer facilement ses plugins d'un SPIP à un autre

Sortir un fichier texte avec la liste de toutes les URLs des dépots SVN des plugins d'un SPIP

clem — 2015-09-26T17:08:34Z

#!/bin/bash
#
# récupérer un txt avec les URL SVN de tous les plugins du répertoire plugins/ d'un SPIP
# # chemin du répertoire des plugins du SPIP
REP_PLUGINS=/var/www/ma-mutu.tld/plugins # chemin du fichier txt à créer
FICHIER_TXT=/home/clem/liste_urls_svn_plugins.txt svn info $REP_PLUGINS/* |grep "^URL" > $FICHIER_TXT

On peut aller plus loin dans l'automatisation du transfert d'un ensemble de plugins installés avec SVN en générant directement le fichier sh de checkout à partir de ce svn info : voir Générer un fichier de commandes SVN et GIT pour l'installation d'un ensemble de plugins à partir de ceux d'un SPIP existant