{{>toc}}

h1. Ceph-Sharing-Disk

h2. Objectif

Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine.



h2. Cluster

Sur le cluster ceph:

http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool-v2.sh

<pre>
./ceph-create-ext-pool.sh ec4p1 guerby7 guerby3 4096 # GB

# copier le keyring

# sur le client

# cat /etc/ceph/ceph.conf
[global]
fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967
auth_supported = cephx
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon_host = 192.168.99.251,192.168.99.252,192.168.99.253

[client.guerby7]
keyring = /etc/ceph/ceph.client.guerby7.keyring

# cat /etc/ceph/ceph.client.guerby7.keyring
[client.guerby7]
key = xxxxxxxx

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
ec4p1/guerby7-vol id=guerby7

# service rdbmap restart

# rbd --id guerby7 -p ec4p1 info guerby7-vol

# le block device : /dev/rbd/ec4p1/guerby7-vol

</pre>

h3. Vieille methode

Création de l'utilisateur et du pool ceph pour cet utilisateur

http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool.sh

<pre>
# # ./ceph-create-ext-pool.sh <username> <size en giga>
# ./ceph-create-ext-pool.sh sileht 100
creating ceph.client.sileht.keyring
imported keyring
pool 'sileht-pool' created
set pool 70 size to 2
set pool 70 min_size to 2
set-quota max_bytes = 107374182400 for pool sileht-pool
# cat ceph.client.sileht.keyring
...
# ceph auth get client.sileht
... (identical to file)
</pre>

Le fichier important pour le client est ./ceph.client.sileht.keyring



h2. Client

h3. Installation de ceph

h4. Debian jessie

<pre>
apt-get install ceph
</pre>

h4. Debian wheezy/squeeze, Ubuntu precise/quantal/raring/saucy/trusty

<pre>
apt-get install lsb-release
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
echo deb http://ceph.com/debian-firefly/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
apt-get update
apt-get install ceph
</pre>

Un kernel plus recent que 3.9 (ou 3.16) est aussi necessaire, pour wheezy :
<pre>
echo "deb http://http.debian.net/debian wheezy-backports main" > /etc/apt/sources.list.d/wheezy-backports.list
apt-get update
apt-get install -t wheezy-backports linux-image-amd64
</pre>

h3. Configuration de ceph

Sur le client rbd :

La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge :

<pre>
ip link add link eth0 name eth0.3199 type vlan id 3199
ip link set dev eth0.3199 txqueuelen 100
ip link set eth0.3199 up
ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn
</pre>

pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces

<pre>
# Vlan pour ceph
auto eth0.3199
iface eth0.3199 inet manual
up ip link set dev eth0.3199 txqueuelen 100
up ip link set eth0.3199 up
up ip addr add 192.168.99.222/24 dev eth0.3199
</pre>

Installation de ceph :

<pre>
apt-get install ceph
</pre>

Le membre récupére son keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/

<pre>
# cat /etc/ceph/ceph.client.sileht.keyring
[client.sileht]
key = xxxxxxxxxyyyy==
caps mon = "allow profile simple-rados-client"
caps osd = "allow rwx pool=sileht-pool"
</pre>

Il peut ensuite créer le fichier /etc/ceph/ceph.conf

<pre>
[global]
fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967
auth_supported = cephx
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon_host = 192.168.99.251,192.168.99.252,192.168.99.253

[client.sileht]
keyring = /etc/ceph/ceph.client.sileht.keyring
</pre>

On vérifie que cela marche :

<pre>
$ rbd --id sileht -p sileht-pool ls
$ echo $?
0
</pre>

Si il n'y a pas d'erreur c'est bon, maintenant on créée un volume rbd , size en megabyte :

<pre>
$ rbd --id sileht --pool sileht-pool create --size 100000 backup
$ rbd --id sileht -p sileht-pool ls
backup
</pre>

On configure le mapping automatique du volume rbd :

<pre>
$ echo sileht-pool/backup id=sileht >> /etc/ceph/rbdmap
$ service rbdmap restart
RBD Mapping: 'sileht-pool/backup'...done.
</pre>

le disque est prêt, on peut soit le formater directement :

<pre>
$ mkfs.ext4 /dev/rbd/sileht-pool/backup
$ mount /dev/rbd/sileht-pool/backup /backup
</pre>

soit le chiffrer:

<pre>
$ sudo cryptsetup luksFormat /dev/rbd/sileht-pool/backup

WARNING!
========
This will overwrite data on /dev/rbd/sileht-pool/backup irrevocably.

Are you sure? (Type uppercase yes): YES
Enter passphrase:
Verify passphrase:
</pre>

<pre>
$ cryptsetup luksOpen /dev/rbd/sileht-pool/backup backup1
$ mkfs.ext4 /dev/mapper/backup1
$ mount /dev/mapper/backup1 /backup
</pre>

Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero)

Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) :

<pre>
$ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4
$ chmod 0400 /etc/luks.key
$ cryptsetup luksAddKey /dev/rbd/sileht-pool/backup /etc/luks.key

$ sudo blkid | grep -e rbd0 -e backup1
/dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS"
/dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4"

$ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks" >> /etc/crypttab
$ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd /backup ext4 defaults,noatime,_netdev 0 2" >> /etc/fstab
</pre>

Effacement d'une image :

<pre>
# Editer /etc/ceph/rbdmap et enlever la ligne "backup"
# service rbdmap restart
# rbd --id sileht --pool -pool rm backup
</pre>