Projet

Général

Profil

Ceph-Sharing-Disk » Historique » Version 48

Mehdi Abaakouk, 23/12/2019 10:03

1 3 Laurent GUERBY
{{>toc}}
2 3 Laurent GUERBY
3 1 Mehdi Abaakouk
h1. Ceph-Sharing-Disk
4 1 Mehdi Abaakouk
5 3 Laurent GUERBY
h2. Objectif
6 3 Laurent GUERBY
7 4 Laurent GUERBY
Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine.
8 4 Laurent GUERBY
9 3 Laurent GUERBY
h2. Cluster
10 3 Laurent GUERBY
11 43 Mehdi Abaakouk
Sur le cluster ceph (g1):
12 1 Mehdi Abaakouk
13 1 Mehdi Abaakouk
<pre>
14 43 Mehdi Abaakouk
# tools/ceph-create-ext-pool-v2.sh <pool> <username> <size en giga> 
15 43 Mehdi Abaakouk
tools/ceph-create-ext-pool-v2.sh ec4p1 sileht 4096 # GB  
16 22 Laurent GUERBY
</pre>
17 22 Laurent GUERBY
18 43 Mehdi Abaakouk
http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool-v2.sh
19 1 Mehdi Abaakouk
20 3 Laurent GUERBY
h2. Client
21 1 Mehdi Abaakouk
22 7 Mehdi Abaakouk
h3. Installation de ceph
23 7 Mehdi Abaakouk
24 29 Mehdi Abaakouk
h4. Debian et Ubuntu
25 7 Mehdi Abaakouk
26 47 Mehdi Abaakouk
Le cluster utilise actuellement (23/12/2019) la version mimic (13.2.X), la version minimal de l'API requis est Jewel (12.2.X).
27 1 Mehdi Abaakouk
28 47 Mehdi Abaakouk
Pour vérifier les versions en live sur g1:
29 1 Mehdi Abaakouk
30 47 Mehdi Abaakouk
<pre>
31 47 Mehdi Abaakouk
$ # Du cluster:
32 47 Mehdi Abaakouk
$ ceph versions | jq .overall
33 47 Mehdi Abaakouk
{
34 47 Mehdi Abaakouk
  "ceph version 13.2.6 (7b695f835b03642f85998b2ae7b6dd093d9fbce4) mimic (stable)": 63
35 47 Mehdi Abaakouk
}
36 1 Mehdi Abaakouk
37 48 Mehdi Abaakouk
$ # Pour les clients:
38 47 Mehdi Abaakouk
$ ceph osd crush show-tunables | jq '.minimum_required_version'
39 47 Mehdi Abaakouk
"jewel"
40 47 Mehdi Abaakouk
</pre>
41 47 Mehdi Abaakouk
42 47 Mehdi Abaakouk
43 47 Mehdi Abaakouk
Pour avoir le dernière version sur Ubuntu:
44 47 Mehdi Abaakouk
45 12 Laurent GUERBY
<pre>
46 40 Mehdi Abaakouk
apt-get install lsb-release
47 40 Mehdi Abaakouk
wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -
48 47 Mehdi Abaakouk
echo deb http://download.ceph.com/debian-mimic/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
49 42 Fabien ADAM
apt-get update
50 42 Fabien ADAM
apt-get install ceph rbd-nbd
51 42 Fabien ADAM
</pre>
52 42 Fabien ADAM
53 7 Mehdi Abaakouk
h3. Configuration de ceph
54 12 Laurent GUERBY
55 6 Laurent GUERBY
Sur le client rbd :
56 1 Mehdi Abaakouk
57 1 Mehdi Abaakouk
La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge :
58 16 Laurent GUERBY
59 16 Laurent GUERBY
<pre>
60 17 Laurent GUERBY
ip link add link eth0 name eth0.3199 type vlan id 3199
61 1 Mehdi Abaakouk
ip link set dev eth0.3199 txqueuelen 100
62 16 Laurent GUERBY
ip link set eth0.3199 up
63 16 Laurent GUERBY
ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn
64 1 Mehdi Abaakouk
</pre>
65 16 Laurent GUERBY
66 1 Mehdi Abaakouk
pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces
67 16 Laurent GUERBY
68 17 Laurent GUERBY
<pre>
69 16 Laurent GUERBY
# Vlan pour ceph
70 21 bikepunk bikepunk
auto eth0.3199
71 21 bikepunk bikepunk
iface eth0.3199 inet manual
72 21 bikepunk bikepunk
    up ip link set dev eth0.3199 txqueuelen 100
73 1 Mehdi Abaakouk
    up ip link set eth0.3199 up
74 1 Mehdi Abaakouk
    up ip addr add 192.168.99.222/24 dev eth0.3199
75 21 bikepunk bikepunk
</pre>
76 21 bikepunk bikepunk
77 21 bikepunk bikepunk
Le membre récupére son  keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/
78 1 Mehdi Abaakouk
79 16 Laurent GUERBY
80 1 Mehdi Abaakouk
<pre>
81 1 Mehdi Abaakouk
# cat /etc/ceph/ceph.client.sileht.keyring
82 1 Mehdi Abaakouk
[client.sileht]
83 5 Laurent GUERBY
	key = xxxxxxxxxyyyy==
84 1 Mehdi Abaakouk
</pre>
85 1 Mehdi Abaakouk
86 19 Laurent GUERBY
Il peut ensuite créer le fichier /etc/ceph/ceph.conf
87 19 Laurent GUERBY
88 19 Laurent GUERBY
<pre>
89 19 Laurent GUERBY
[global]
90 19 Laurent GUERBY
fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967
91 19 Laurent GUERBY
auth_supported = cephx
92 19 Laurent GUERBY
auth_cluster_required = cephx
93 19 Laurent GUERBY
auth_service_required = cephx
94 19 Laurent GUERBY
auth_client_required = cephx
95 1 Mehdi Abaakouk
mon_host = 192.168.99.251,192.168.99.252,192.168.99.253
96 1 Mehdi Abaakouk
97 1 Mehdi Abaakouk
[client.sileht]
98 1 Mehdi Abaakouk
keyring = /etc/ceph/ceph.client.sileht.keyring
99 1 Mehdi Abaakouk
</pre>
100 1 Mehdi Abaakouk
101 36 Laurent GUERBY
Si c'est une migration commenter toutes les lignes dans /etc/ceph/rbdmap
102 36 Laurent GUERBY
103 31 Mehdi Abaakouk
On configure le mapping automatique du volume rbd :
104 1 Mehdi Abaakouk
105 1 Mehdi Abaakouk
<pre>
106 39 Mehdi Abaakouk
CEPH_ARGS="--id sileht" rbd-nbd map disks/sileht-vol
107 1 Mehdi Abaakouk
</pre>
108 24 Mehdi Abaakouk
109 1 Mehdi Abaakouk
le disque est prêt, on peut soit le formater directement :
110 1 Mehdi Abaakouk
111 1 Mehdi Abaakouk
<pre>
112 31 Mehdi Abaakouk
$ mkfs.ext4 /dev/nbd0
113 31 Mehdi Abaakouk
$ echo /dev/nbd0  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab
114 24 Mehdi Abaakouk
$ mount /backup
115 26 Mehdi Abaakouk
</pre>
116 1 Mehdi Abaakouk
117 11 Laurent GUERBY
soit le chiffrer:
118 11 Laurent GUERBY
119 1 Mehdi Abaakouk
<pre>
120 31 Mehdi Abaakouk
$ sudo cryptsetup luksFormat /dev/nbd0
121 24 Mehdi Abaakouk
122 1 Mehdi Abaakouk
WARNING!
123 1 Mehdi Abaakouk
========
124 31 Mehdi Abaakouk
This will overwrite data on /dev/nbd0 irrevocably.
125 24 Mehdi Abaakouk
126 1 Mehdi Abaakouk
Are you sure? (Type uppercase yes): YES
127 5 Laurent GUERBY
Enter passphrase:
128 1 Mehdi Abaakouk
Verify passphrase:
129 1 Mehdi Abaakouk
</pre>
130 1 Mehdi Abaakouk
131 1 Mehdi Abaakouk
<pre>
132 35 Laurent GUERBY
$ cryptsetup luksOpen /dev/nbd0 backup1 --allow-discards
133 24 Mehdi Abaakouk
$ mkfs.ext4 /dev/mapper/backup1
134 1 Mehdi Abaakouk
$ mount /dev/mapper/backup1 /backup
135 5 Laurent GUERBY
</pre>
136 1 Mehdi Abaakouk
137 1 Mehdi Abaakouk
Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero)
138 1 Mehdi Abaakouk
139 1 Mehdi Abaakouk
Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) :
140 1 Mehdi Abaakouk
141 1 Mehdi Abaakouk
<pre>
142 1 Mehdi Abaakouk
$ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4
143 1 Mehdi Abaakouk
$ chmod 0400 /etc/luks.key
144 31 Mehdi Abaakouk
$ cryptsetup luksAddKey /dev/nbd0 /etc/luks.key
145 26 Mehdi Abaakouk
146 1 Mehdi Abaakouk
$ sudo blkid | grep -e rbd0 -e backup1
147 1 Mehdi Abaakouk
/dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS"
148 1 Mehdi Abaakouk
/dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4" 
149 1 Mehdi Abaakouk
150 1 Mehdi Abaakouk
151 24 Mehdi Abaakouk
$ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks,discard" >> /etc/crypttab 
152 2 Laurent GUERBY
$ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd  /backup ext4   defaults,discard,noatime,_netdev       0       2" >> /etc/fstab
153 2 Laurent GUERBY
</pre>
154 44 Mehdi Abaakouk
155 46 Fabien ADAM
h3. Erreurs connues
156 46 Fabien ADAM
157 46 Fabien ADAM
h4. Ancien verrou présents
158 46 Fabien ADAM
159 46 Fabien ADAM
Si lors du montage d'une partition, vous avez une erreur, celà peut être du à un verrouillage exclusif de volume nbd par un autre client.
160 46 Fabien ADAM
Les symptomes resemblent à ceci dans le @dmesg@ :
161 46 Fabien ADAM
<pre>
162 46 Fabien ADAM
[  571.968741] block nbd0: Other side returned error (13)
163 46 Fabien ADAM
[  571.970475] print_req_error: I/O error, dev nbd0, sector 52436212
164 46 Fabien ADAM
</pre>
165 46 Fabien ADAM
166 46 Fabien ADAM
Pour le vérifier, démonter le nbd avec @rbd-nbd unmap disks/vous-vol@, puis lister les locks :
167 46 Fabien ADAM
<pre>
168 46 Fabien ADAM
rbd-nbd lock list disks/vous-vol --id vous
169 46 Fabien ADAM
</pre>
170 46 Fabien ADAM
S'il existe toujours un verrou, demander à un administrateur ceph de le supprimer (sur l'IRC).
171 46 Fabien ADAM
172 44 Mehdi Abaakouk
h2. Supprimer un disque
173 44 Mehdi Abaakouk
174 44 Mehdi Abaakouk
<pre>
175 45 Mehdi Abaakouk
ceph auth del client.<username>
176 45 Mehdi Abaakouk
rbd -p <pool> rm <username>-vol
177 44 Mehdi Abaakouk
</pre>