{{>toc}}

h1. Ceph-Sharing-Disk

h2. Objectif

Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine.

h2. Cluster

Sur le cluster ceph (g1):

<pre>

# tools/ceph-create-ext-pool-v2.sh <pool> <username> <size en giga> 

tools/ceph-create-ext-pool-v2.sh ec4p1 sileht 4096 # GB  

</pre>

http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool-v2.sh

h2. Client

h3. Installation de ceph

h4. Debian et Ubuntu

Le cluster utilise actuellement (23/12/2019) la version mimic (13.2.X), la version minimal de l'API requis est Jewel (12.2.X).

Pour vérifier les versions en live sur g1:

<pre>

$ # Du cluster:

$ ceph versions | jq .overall

{

  "ceph version 13.2.6 (7b695f835b03642f85998b2ae7b6dd093d9fbce4) mimic (stable)": 63

}

$ Pour les clients:

$ ceph osd crush show-tunables | jq '.minimum_required_version'

"jewel"

</pre>

Pour avoir le dernière version sur Ubuntu:

<pre>

apt-get install lsb-release

wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -

echo deb http://download.ceph.com/debian-mimic/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

apt-get update

apt-get install ceph rbd-nbd

</pre>

h3. Configuration de ceph

Sur le client rbd :

La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge :

<pre>

ip link add link eth0 name eth0.3199 type vlan id 3199

ip link set dev eth0.3199 txqueuelen 100

ip link set eth0.3199 up

ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn

</pre>

pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces

<pre>

# Vlan pour ceph

auto eth0.3199

iface eth0.3199 inet manual

    up ip link set dev eth0.3199 txqueuelen 100

    up ip link set eth0.3199 up

    up ip addr add 192.168.99.222/24 dev eth0.3199

</pre>

Le membre récupére son  keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/

<pre>

# cat /etc/ceph/ceph.client.sileht.keyring

[client.sileht]

	key = xxxxxxxxxyyyy==

</pre>

Il peut ensuite créer le fichier /etc/ceph/ceph.conf

<pre>

[global]

fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967

auth_supported = cephx

auth_cluster_required = cephx

auth_service_required = cephx

auth_client_required = cephx

mon_host = 192.168.99.251,192.168.99.252,192.168.99.253

[client.sileht]

keyring = /etc/ceph/ceph.client.sileht.keyring

</pre>

Si c'est une migration commenter toutes les lignes dans /etc/ceph/rbdmap

On configure le mapping automatique du volume rbd :

<pre>

CEPH_ARGS="--id sileht" rbd-nbd map disks/sileht-vol

</pre>

le disque est prêt, on peut soit le formater directement :

<pre>

$ mkfs.ext4 /dev/nbd0

$ echo /dev/nbd0  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab

$ mount /backup

</pre>

soit le chiffrer:

<pre>

$ sudo cryptsetup luksFormat /dev/nbd0

WARNING!

========

This will overwrite data on /dev/nbd0 irrevocably.

Are you sure? (Type uppercase yes): YES

Enter passphrase:

Verify passphrase:

</pre>

<pre>

$ cryptsetup luksOpen /dev/nbd0 backup1 --allow-discards

$ mkfs.ext4 /dev/mapper/backup1

$ mount /dev/mapper/backup1 /backup

</pre>

Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero)

Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) :

<pre>

$ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4

$ chmod 0400 /etc/luks.key

$ cryptsetup luksAddKey /dev/nbd0 /etc/luks.key

$ sudo blkid | grep -e rbd0 -e backup1

/dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS"

/dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4" 

$ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks,discard" >> /etc/crypttab 

$ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab

</pre>

h3. Erreurs connues

h4. Ancien verrou présents

Si lors du montage d'une partition, vous avez une erreur, celà peut être du à un verrouillage exclusif de volume nbd par un autre client.

Les symptomes resemblent à ceci dans le @dmesg@ :

<pre>

[  571.968741] block nbd0: Other side returned error (13)

[  571.970475] print_req_error: I/O error, dev nbd0, sector 52436212

</pre>

Pour le vérifier, démonter le nbd avec @rbd-nbd unmap disks/vous-vol@, puis lister les locks :

<pre>

rbd-nbd lock list disks/vous-vol --id vous

</pre>

S'il existe toujours un verrou, demander à un administrateur ceph de le supprimer (sur l'IRC).

h2. Supprimer un disque

<pre>

ceph auth del client.<username>

rbd -p <pool> rm <username>-vol

</pre>