h1. Maintenance Ganeti

{{>toc}}

h2. Comment demarrer et arreter une instance ?

Avec les commandes suivantes:

<pre>gnt-instance start vm1</pre>

et

<pre>gnt-instance stop vm1</pre>

h2. Comment tout savoir sur une vm ?

<pre>

gnt-instance info vm1

</pre>

h2. Comment forcer le déplacement d'une instance sur un machine donnée

Si la machine a ces disques au format plain (sans drbd), taper:

<pre>

gnt-instance stop vm1

gnt-instance move -n h6 vm1

gnt-instance start vm1

</pre>

Si la machine utilise drbd (uniquement le disque de la node secondaire bascule):

<pre>

gnt-instance replace-disks -n h6 vm1

</pre>

Si vous voulais déplacer l'autre disque du drbd, il faut basculer la machine, puis refaire la même chose

h2. Comment basculer une machine qui utilise drbd pour les disques ?

Bascule avec arret de la machine:

<pre>

gnt-instance failover vm1

</pre>

Sans arret, à chaud:

<pre>

gnt-instance migrate vm1

</pre>

En cas de soucis primaire/secondaire:

<pre>

gnt-instance migrate --cleanup vm1

</pre>

h2. Éteindre/rebooter provisoirement un H? sans coupure de service

On migre toutes les machines de h?

<pre>

gnt-node migrate h?

</pre>

On éteint

<pre>

shutdown -h now

</pre>

On rallume et on rééquilibre le cluster sans déplacement de disque

<pre>

hbal -L --no-disk-moves -X

</pre>

La liste ici est presque identique à celle de "gnt-node migrate"

hbal exécute des "gnt-instance migrate"

Les synchro drbd sont automatique.

h2. Comment vérifier l'état de son cluster

Sur le masternode normalement h1 faire:

<pre>

gnt-cluster verify

</pre>

h2. Comment supprimer une machine

<pre>

gnt-instance remove vm1

</pre>

si la vm est en drbd et que une des nodes du drbd ne fonctionne plus

<pre>

gnt-instance remove --ignore-failures vm1

</pre>

h2. Mon dieu h2 est tombé que faire ?

On bascule les machines qui n'ont pas le failover en automatique

<pre>

gnt-node failover [ --ignore-consistency ] h2

</pre>

--ignore-consistency permet de forcer ganeti à ne pas contrôler le disk avant le basculement

Puis on désactive la node:

<pre>

gnt-node modify -O yes h2

</pre>

h2. h2 est tombé et ne pourra être rallumé rapidement, que faire ?

Je commence par relancer la machine sur sa node secondaire si ce n'est pas encore fais.

La machine virtuelle vm1 étant hébergé sur h2 et h4 je vais déplacer le disque redondant de h2 vers h?

<pre>

gnt-instance replace-disks -I hail vm1

</pre>

h2. aie, c'est h1 qui est tombé et c'est le masternode

On peux changer le masternode, allez sur h4 par exemple et taper ceci:

<pre>

gnt-node masterfailover

</pre>

h2. Gestion des fichiers de configuration (ie: /etc/ganeti)

J'ai modifié un(ou plusieurs) fichier(s) de configuration de ganeti, et je tape:

<pre>

/etc/ganeti/pushconf.sh

</pre>

h2. Je viens de recevoir h48, et je veux taper le moins de commande possible

* Installer squeeze basique avec juste ssh

* Ajouter wheezy dans /etc/apt/sources.list

<pre>

# deb http://ftp.fr.debian.org/debian/ squeeze main

deb http://ftp.fr.debian.org/debian/ squeeze main contrib non-free

deb-src http://ftp.fr.debian.org/debian/ squeeze main contrib non-free

deb http://ftp.fr.debian.org/debian/ sid main contrib non-free

deb-src http://ftp.fr.debian.org/debian/ sid main contrib non-free

deb http://ftp.de.debian.org/debian-backports/ squeeze-backports main contrib non-free

deb-src http://ftp.de.debian.org/debian-backports/ squeeze-backports main contrib non-free

deb http://security.debian.org/ squeeze/updates main

deb-src http://security.debian.org/ squeeze/updates main

# squeeze-updates, previously known as 'volatile'

deb http://ftp.fr.debian.org/debian/ squeeze-updates main

deb-src http://ftp.fr.debian.org/debian/ squeeze-updates main

</pre>

* Allouer un port avec 3131, 3175, 3195 tagged sur le procurve

* Monter le reseau manuellement IP X

<pre>

ip link add link eth0 name eth0.3131 type vlan id 3131

ip link set eth0.3131 up

ip addr add 91.224.149.15X/25 dev eth0.3131

</pre>

* Creer /etc/rc.local.conf avec X et Y

<pre>

IP_3131="91.224.149.15X/25"

GW_3131="91.224.149.254"

IP_3175="192.168.3.Y/24"

KVM_DISKS="sdb"

</pre>

* Installer les packages

<pre>

#TODO liste en fichier commit qqpart

#TODO: passer a une version compilée en local de ganeti pour eviter les update de version wheezy

dpkg --get-selections | ssh root@h48 dpkg --set-selections

ssh root@h48 apt-get dselect-upgrade

</pre>

* changer le filter lvm dans /etc/lvm/lvm.conf pour

<pre>

# filter = [ "a/.*/" ]

filter = ["r|/dev/cdrom|", "r|/dev/drbd[0-9]+|" ]

</pre>

* vider le volume group et le recreer

<pre>

pvs

vgs

lvs

lvremove

vgcreate kvmvg /dev/sdb... #TODO check

</pre>

* activer drbd

<pre>

echo "drbd minor_count=128 usermode_helper=/bin/true" >> /etc/modules

</pre>

* munin:

dans /etc/munin/munin-node.conf ajouter: allow ^91\.224\.149\.194$

* TODO patch munin Loic

http://trac.fsffrance.org/wiki/PatchInventory#Munin

* reboot

* Installer le node dans le cluster ganeti apres s'etre assure que la version de ganeti est bien la meme

<pre>

dpkg -l|grep -i ganeti

gnt-node add h48

/etc/ganeti/pushconf.sh

</pre>

Appliquer ce patch à ganeti-instance-debootstrap:

<pre>

--- /usr/share/ganeti/os/debootstrap/common.sh.ori  2010-09-15 22:34:12.000000000 +0200

+++ /usr/share/ganeti/os/debootstrap/common.sh  2011-07-27 12:33:55.695617766 +0200

@@ -91,7 +91,7 @@

# some versions of sfdisk need manual specification of

# head/sectors for devices such as drbd which don't

# report geometry

-  sfdisk -H 255 -S 63 --quiet --Linux "$1" <<EOF

+  sfdisk -H 255 -S 63 -D --quiet --Linux "$1" <<EOF

0,,L,*

EOF

}

</pre>

Ci dessous ajouter dkms et r8168 si necessaire.

h2. Ma premiére VM++, upgrade disk, net, cpu, mem

Et hop une nouvelle carte réseau sur le vlan tsf

<pre>

gnt-instance  modify --net add:link=br1 vm1

</pre>

Un petit disk en plus

<pre>

gnt-instance  modify --disk add:size=50G vm1

</pre>

Un petite upgrade cpu et mémoire

<pre>

gnt-instance modify -B vcpus=2,memory=512M vm1

</pre>

<pre>

gnt-instance reboot -t full vm1

</pre>

h2. L'extinction d'une node proprement pas à pas

<pre>

gnt-node failover h2

gnt-node evacuate -I hail h2

gnt-node modify -O yes h2

</pre>

h2. J'ai fini de réparer h2, et je me rappelle plus les vm qui était dessus

Ben, on s'en fou, ganeti est la:

<pre>

gnt-node modify -O no h2

hbal -L -X

</pre>

== Je voudrais bien booter mon kernel ! ou un cdrom==

Je peux désactivé le kernel commun pour une vm

<pre>

gnt-instance modify -H kernel_path="" vm1

</pre>

Ou booter sur le cdrom pour le prochain démarrage commme ceci:

<pre>

gnt-instance start -H boot_order=cdrom,cdrom_image_path=/path/to/debian-504-amd64-netinst.iso vm1

</pre>

h2. Importer une image disque venant de l’extérieur

Convertion de l'image au format raw (si c'est pas déjà le cas)

<pre>

kvm-img convert DISQUEVM.qcow -O raw DISQUEVM.raw

</pre>

Copie du disque au format raw sur un lvm

<pre>

size=$(kvm-img info DISQUEVM.raw | sed -n -e 's/^virtual size:[^(]*(\([[:digit:]]*\).*)/\1/gp')

lvcreate -L ${size}b -n lv_migration_DISQUEVM kvmvg

dd if=DISQUEVM.raw of=/dev/kvmvg/lv_migration_DISQUEVM

</pre>

Création de la VM

<pre>

gnt-instance add -B memory=512M --no-start -t plain -n $(hostname) --disk 0:adopt=lv_migration_DISQUEVM --net 0 -o debootstrap+default VMNAME.tetaneutral.net

</pre>

Et pour finir, on transforme le format de disque de la VM en drbd:

<pre>

gnt-instance modify -t drbd -n h6 VMNAME.tetaneutral.net

</pre>

h2. Copier un VM sur une autre machine (§ en cours, c'est pas terminée)

Seul la machine *h1* a l'espace configurer pour faire des dumps de machine virtuelle.

On lance un backup de celle-ci (attention cette commande *éteint* la machine):

<pre>

gnt-backup export -n h1 sileht2

</pre>

Les fichiers sont ensuite sur h1 dans /exports/sileht2.tetaneutral.net/

Le fichier qui nous intéresse est celui qui fini par *.snap* qui est le disque dur au format raw de la VM, dans mon cas:

<pre>

09d836a0-22e0-4ea4-9104-c301351bb2e2.disk0_data.snap

</pre>

Pour la démonstration je copie ce fichier sur h2:

<pre>

scp /exportfs/sileht2.tetaneutral.net/09d836a0-22e0-4ea4-9104-c301351bb2e2.disk0_data.snap h2:/root/sileht.raw

</pre>

Et je le test avec kvm:

<pre>

kvm -m 256 -drive file=sileht.raw,format=raw,if=virtio,boot=on,cache=writeback -usbdevice tablet -netdev type=tap,id=netdev0,fd=10 -device virtio-net-pci,mac=aa:00:00:62:e3:a0,netdev=netdev0

</pre>

A savoir que l'image utilise les pilotes kvm "virtio"

h2. Monter une partition de machine virtuelle sur la machine hôte (!Attention DANGER!)

Arret de la machine et activation des disques

<pre>

 $ gnt-instance stop VMNAME.tetaneutral.net

 $ gnt-instance activate-disks VMNAME.tetaneutral.net

 h1.tetaneutral.net:disk/0:/dev/drbd34

</pre>

Ensuite pour voir les partitions du disque, ici le /dev/drbd34:

<pre>

kpartx -l /dev/drbd34

</pre>

On créé ensuite les partitions dans /dev avec devmapper

<pre>

kpartx -a /dev/drbd34

ls -la /dev/mapper/drbd34*

</pre>

A partir de maintenant on peut faire mumuse avec la partition, exemple:

<pre>

mount /dev/mapper/drbd34p1 /mnt/

....

umount /mnt

</pre>

Puis *très important*, il faut nettoyer devmapper et déactiver les disk pour ganeti

<pre>

kpartx -d /dev/drbd34

gnt-instance deactivate-disks VMNAME.tetaneutral.net

gnt-instance start VMNAME.tetaneutral.net

</pre>

h2.  J'ai n'est pas trouvé mon bonheur, comment je vais faire ?!

Voici quelques ressources:

* http://docs.ganeti.org/ganeti/current/html/

* http://docs.ganeti.org/ganeti/2.1/man/

* http://wiki.osuosl.org/public/ganeti/

Ou bien je demande à sileht d'écrire le use case qui me manque s'il à le temps

h2. Autres chose à savoir sur les machines du cluster

le script /etc/rc.local, qui s'occupe de préparer la configuration réseaux pour ganeti (avec les vlan, bridge and co)

le script /etc/rc.local.conf, contient les adresses IP de la machine et les gw

Sur h1,h2,h4,h5 et h6, le pilote (r8169.ko) de la carte réseau (r8168/8111) provoque des kernels panic, il a été remplacé la version du constructeur (r8168.ko).

Pilote dispo ici: (http://www.realtek.com/downloads/downloadsView.aspx?Langid=1&PNid=13&PFid=5&Level=5&Conn=4&DownTypeID=3&GetDown=false)

<pre>

apt-get install gcc dkms

cd /usr/src

wget http://url_to_pilot/r8168-8.024.00.tar.bz2

tar -xjf r8168-8.024.00.tar.bz2

cd r8168-8.024.00

cat > dkms.conf << EOF

PACKAGE_NAME=r8168

PACKAGE_VERSION=8.024.00

MAKE[0]="make"

BUILT_MODULE_NAME[0]=r8168

BUILT_MODULE_LOCATION[0]="src/"

DEST_MODULE_LOCATION[0]="/kernel/updates/dkms"

AUTOINSTALL="YES"

EOF

dkms add -m r8168 -v 8.024.00

dkms build -m r8168 -v 8.024.00

dkms install -m r8168 -v 8.024.00

echo "r8168" >> /etc/modules

echo "blacklist r8169" >> /etc/modprobe.d/blacklist-network.conf

update-initramfs -u

reboot

</pre>

Pour les machines a base de e1000e:

<pre>

apt-get install gcc dkms

cd /usr/src

wget http://downloadmirror.intel.com/15817/eng/e1000e-1.3.17.tar.gz

tar -xzf e1000e-1.3.17.tar.gz

cd e1000e-1.3.17

cat > dkms.conf << EOF

PACKAGE_NAME=e1000e

PACKAGE_VERSION=1.3.17

CLEAN="make -C src/ clean"

MAKE[0]="make -C src/"

BUILT_MODULE_NAME[0]=e1000e

BUILT_MODULE_LOCATION[0]="src/"

DEST_MODULE_LOCATION[0]="/kernel/updates/dkms"

AUTOINSTALL="YES"

EOF

dkms add -m e1000e -v 1.3.17

dkms build -m e1000e -v 1.3.17

dkms install -m e1000e -v 1.3.17

reboot

</pre>

h2. Mac spoofing configuration

Le script ifup de ganeti pour kvm a été modifier (ie: /etc/ganeti/kvm-vif-bridge) pour écrire la relation entre la vm, le numero de ces interfaces réseaux et ces tap.

Le fichier prends la forme suivante:

munin.tetaneutral.net:0:tap3

trac.tetaneutral.net:0:tap5

munin.tetaneutral.net:1:tap5

Les règles ebtables sont écrites par le script /etc/ganeti/spoofing/spoofing-protection avec les informations de ce fichier.

Les scripts de hook de ganeti (ie:/etc/ganeti/hook/) utilise ce script, pour lancer ou arreter le spoofing.

h2. Protection VNC

Le VNC de kvm est utiliser sur chaque MV.

Des règles de firewall sont automatiquement mise en place par le script /etc/ganeti/vnc-firewall pour que seul la machine gntwebmgr.tetaneutral.net soit autoriser a s'y connecter

Ce script est appelé par les hooks ganeti.

h2. Patch maison pour ganeti

Ajout de l'option -D à sfdisk au script /usr/share/ganeti/os/debootstrap/common.sh ligne 84 pour créer des partitions avec assez d'espace pour grub