Ceph-Sharing-Disk » Historique » Version 48
Mehdi Abaakouk, 23/12/2019 10:03
1 | 3 | Laurent GUERBY | {{>toc}} |
---|---|---|---|
2 | 3 | Laurent GUERBY | |
3 | 1 | Mehdi Abaakouk | h1. Ceph-Sharing-Disk |
4 | 1 | Mehdi Abaakouk | |
5 | 3 | Laurent GUERBY | h2. Objectif |
6 | 3 | Laurent GUERBY | |
7 | 4 | Laurent GUERBY | Un-e adherent-e tetaneutral.net souhaite heberger une machine efficace energetiquement et prenant peu de place comme un NUC/Brix ce qui arrange tetaneutral.net mais limite la partie stockage disque. L'idée est que l'adherent-e achete en plus des disques 3.5 classiques, nous les mettons dans le cluster Ceph/openstack et nous exportons un pool de stockage Ceph a la machine. |
8 | 4 | Laurent GUERBY | |
9 | 3 | Laurent GUERBY | h2. Cluster |
10 | 3 | Laurent GUERBY | |
11 | 43 | Mehdi Abaakouk | Sur le cluster ceph (g1): |
12 | 1 | Mehdi Abaakouk | |
13 | 1 | Mehdi Abaakouk | <pre> |
14 | 43 | Mehdi Abaakouk | # tools/ceph-create-ext-pool-v2.sh <pool> <username> <size en giga> |
15 | 43 | Mehdi Abaakouk | tools/ceph-create-ext-pool-v2.sh ec4p1 sileht 4096 # GB |
16 | 22 | Laurent GUERBY | </pre> |
17 | 22 | Laurent GUERBY | |
18 | 43 | Mehdi Abaakouk | http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/openstack-tools/revisions/master/entry/ceph-create-ext-pool-v2.sh |
19 | 1 | Mehdi Abaakouk | |
20 | 3 | Laurent GUERBY | h2. Client |
21 | 1 | Mehdi Abaakouk | |
22 | 7 | Mehdi Abaakouk | h3. Installation de ceph |
23 | 7 | Mehdi Abaakouk | |
24 | 29 | Mehdi Abaakouk | h4. Debian et Ubuntu |
25 | 7 | Mehdi Abaakouk | |
26 | 47 | Mehdi Abaakouk | Le cluster utilise actuellement (23/12/2019) la version mimic (13.2.X), la version minimal de l'API requis est Jewel (12.2.X). |
27 | 1 | Mehdi Abaakouk | |
28 | 47 | Mehdi Abaakouk | Pour vérifier les versions en live sur g1: |
29 | 1 | Mehdi Abaakouk | |
30 | 47 | Mehdi Abaakouk | <pre> |
31 | 47 | Mehdi Abaakouk | $ # Du cluster: |
32 | 47 | Mehdi Abaakouk | $ ceph versions | jq .overall |
33 | 47 | Mehdi Abaakouk | { |
34 | 47 | Mehdi Abaakouk | "ceph version 13.2.6 (7b695f835b03642f85998b2ae7b6dd093d9fbce4) mimic (stable)": 63 |
35 | 47 | Mehdi Abaakouk | } |
36 | 1 | Mehdi Abaakouk | |
37 | 48 | Mehdi Abaakouk | $ # Pour les clients: |
38 | 47 | Mehdi Abaakouk | $ ceph osd crush show-tunables | jq '.minimum_required_version' |
39 | 47 | Mehdi Abaakouk | "jewel" |
40 | 47 | Mehdi Abaakouk | </pre> |
41 | 47 | Mehdi Abaakouk | |
42 | 47 | Mehdi Abaakouk | |
43 | 47 | Mehdi Abaakouk | Pour avoir le dernière version sur Ubuntu: |
44 | 47 | Mehdi Abaakouk | |
45 | 12 | Laurent GUERBY | <pre> |
46 | 40 | Mehdi Abaakouk | apt-get install lsb-release |
47 | 40 | Mehdi Abaakouk | wget -q -O- 'https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add - |
48 | 47 | Mehdi Abaakouk | echo deb http://download.ceph.com/debian-mimic/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list |
49 | 42 | Fabien ADAM | apt-get update |
50 | 42 | Fabien ADAM | apt-get install ceph rbd-nbd |
51 | 42 | Fabien ADAM | </pre> |
52 | 42 | Fabien ADAM | |
53 | 7 | Mehdi Abaakouk | h3. Configuration de ceph |
54 | 12 | Laurent GUERBY | |
55 | 6 | Laurent GUERBY | Sur le client rbd : |
56 | 1 | Mehdi Abaakouk | |
57 | 1 | Mehdi Abaakouk | La machine machine doit être configuré avec une ip sur le vlan 3199, si eth0 n'est pas dans un bridge : |
58 | 16 | Laurent GUERBY | |
59 | 16 | Laurent GUERBY | <pre> |
60 | 17 | Laurent GUERBY | ip link add link eth0 name eth0.3199 type vlan id 3199 |
61 | 1 | Mehdi Abaakouk | ip link set dev eth0.3199 txqueuelen 100 |
62 | 16 | Laurent GUERBY | ip link set eth0.3199 up |
63 | 16 | Laurent GUERBY | ip addr add 192.168.99.XXX/24 dev eth0.3199 # XXX donne par les admin ttnn |
64 | 1 | Mehdi Abaakouk | </pre> |
65 | 16 | Laurent GUERBY | |
66 | 1 | Mehdi Abaakouk | pour que la config du VLAN se lance automatiquement au boot, on peut rajouter dans /etc/network/interfaces |
67 | 16 | Laurent GUERBY | |
68 | 17 | Laurent GUERBY | <pre> |
69 | 16 | Laurent GUERBY | # Vlan pour ceph |
70 | 21 | bikepunk bikepunk | auto eth0.3199 |
71 | 21 | bikepunk bikepunk | iface eth0.3199 inet manual |
72 | 21 | bikepunk bikepunk | up ip link set dev eth0.3199 txqueuelen 100 |
73 | 1 | Mehdi Abaakouk | up ip link set eth0.3199 up |
74 | 1 | Mehdi Abaakouk | up ip addr add 192.168.99.222/24 dev eth0.3199 |
75 | 21 | bikepunk bikepunk | </pre> |
76 | 21 | bikepunk bikepunk | |
77 | 21 | bikepunk bikepunk | Le membre récupére son keyring (ceph.client.sileht.keyring ici) et le copie dans /etc/ceph/ |
78 | 1 | Mehdi Abaakouk | |
79 | 16 | Laurent GUERBY | |
80 | 1 | Mehdi Abaakouk | <pre> |
81 | 1 | Mehdi Abaakouk | # cat /etc/ceph/ceph.client.sileht.keyring |
82 | 1 | Mehdi Abaakouk | [client.sileht] |
83 | 5 | Laurent GUERBY | key = xxxxxxxxxyyyy== |
84 | 1 | Mehdi Abaakouk | </pre> |
85 | 1 | Mehdi Abaakouk | |
86 | 19 | Laurent GUERBY | Il peut ensuite créer le fichier /etc/ceph/ceph.conf |
87 | 19 | Laurent GUERBY | |
88 | 19 | Laurent GUERBY | <pre> |
89 | 19 | Laurent GUERBY | [global] |
90 | 19 | Laurent GUERBY | fsid = 1fe74663-8dfa-486c-bb80-3bd94c90c967 |
91 | 19 | Laurent GUERBY | auth_supported = cephx |
92 | 19 | Laurent GUERBY | auth_cluster_required = cephx |
93 | 19 | Laurent GUERBY | auth_service_required = cephx |
94 | 19 | Laurent GUERBY | auth_client_required = cephx |
95 | 1 | Mehdi Abaakouk | mon_host = 192.168.99.251,192.168.99.252,192.168.99.253 |
96 | 1 | Mehdi Abaakouk | |
97 | 1 | Mehdi Abaakouk | [client.sileht] |
98 | 1 | Mehdi Abaakouk | keyring = /etc/ceph/ceph.client.sileht.keyring |
99 | 1 | Mehdi Abaakouk | </pre> |
100 | 1 | Mehdi Abaakouk | |
101 | 36 | Laurent GUERBY | Si c'est une migration commenter toutes les lignes dans /etc/ceph/rbdmap |
102 | 36 | Laurent GUERBY | |
103 | 31 | Mehdi Abaakouk | On configure le mapping automatique du volume rbd : |
104 | 1 | Mehdi Abaakouk | |
105 | 1 | Mehdi Abaakouk | <pre> |
106 | 39 | Mehdi Abaakouk | CEPH_ARGS="--id sileht" rbd-nbd map disks/sileht-vol |
107 | 1 | Mehdi Abaakouk | </pre> |
108 | 24 | Mehdi Abaakouk | |
109 | 1 | Mehdi Abaakouk | le disque est prêt, on peut soit le formater directement : |
110 | 1 | Mehdi Abaakouk | |
111 | 1 | Mehdi Abaakouk | <pre> |
112 | 31 | Mehdi Abaakouk | $ mkfs.ext4 /dev/nbd0 |
113 | 31 | Mehdi Abaakouk | $ echo /dev/nbd0 /backup ext4 defaults,discard,noatime,_netdev 0 2" >> /etc/fstab |
114 | 24 | Mehdi Abaakouk | $ mount /backup |
115 | 26 | Mehdi Abaakouk | </pre> |
116 | 1 | Mehdi Abaakouk | |
117 | 11 | Laurent GUERBY | soit le chiffrer: |
118 | 11 | Laurent GUERBY | |
119 | 1 | Mehdi Abaakouk | <pre> |
120 | 31 | Mehdi Abaakouk | $ sudo cryptsetup luksFormat /dev/nbd0 |
121 | 24 | Mehdi Abaakouk | |
122 | 1 | Mehdi Abaakouk | WARNING! |
123 | 1 | Mehdi Abaakouk | ======== |
124 | 31 | Mehdi Abaakouk | This will overwrite data on /dev/nbd0 irrevocably. |
125 | 24 | Mehdi Abaakouk | |
126 | 1 | Mehdi Abaakouk | Are you sure? (Type uppercase yes): YES |
127 | 5 | Laurent GUERBY | Enter passphrase: |
128 | 1 | Mehdi Abaakouk | Verify passphrase: |
129 | 1 | Mehdi Abaakouk | </pre> |
130 | 1 | Mehdi Abaakouk | |
131 | 1 | Mehdi Abaakouk | <pre> |
132 | 35 | Laurent GUERBY | $ cryptsetup luksOpen /dev/nbd0 backup1 --allow-discards |
133 | 24 | Mehdi Abaakouk | $ mkfs.ext4 /dev/mapper/backup1 |
134 | 1 | Mehdi Abaakouk | $ mount /dev/mapper/backup1 /backup |
135 | 5 | Laurent GUERBY | </pre> |
136 | 1 | Mehdi Abaakouk | |
137 | 1 | Mehdi Abaakouk | Attention : ne pas remplir le device de données aleatoires comme suggéré dans les tutoriaux luks cela ferait perdre le provisionning progressif de ceph (utilisation effective uniquement sur les blocks non zero) |
138 | 1 | Mehdi Abaakouk | |
139 | 1 | Mehdi Abaakouk | Ajout de la configuration persistante via un keyfile (attention : c'est une clé privée qui permet d'ouvrir le volume cryptfs sans passphrase) : |
140 | 1 | Mehdi Abaakouk | |
141 | 1 | Mehdi Abaakouk | <pre> |
142 | 1 | Mehdi Abaakouk | $ dd if=/dev/urandom of=/etc/luks.key bs=1024 count=4 |
143 | 1 | Mehdi Abaakouk | $ chmod 0400 /etc/luks.key |
144 | 31 | Mehdi Abaakouk | $ cryptsetup luksAddKey /dev/nbd0 /etc/luks.key |
145 | 26 | Mehdi Abaakouk | |
146 | 1 | Mehdi Abaakouk | $ sudo blkid | grep -e rbd0 -e backup1 |
147 | 1 | Mehdi Abaakouk | /dev/rbd0: UUID="1a268f70-6f6d-41f7-9216-43ba0bd0750b" TYPE="crypto_LUKS" |
148 | 1 | Mehdi Abaakouk | /dev/mapper/backup1: UUID="51db13d9-4ac4-4e47-bb7a-b111994cdefd" TYPE="ext4" |
149 | 1 | Mehdi Abaakouk | |
150 | 1 | Mehdi Abaakouk | |
151 | 24 | Mehdi Abaakouk | $ echo "backup1 UUID=1a268f70-6f6d-41f7-9216-43ba0bd0750b /etc/luks.key luks,discard" >> /etc/crypttab |
152 | 2 | Laurent GUERBY | $ echo "UUID=51db13d9-4ac4-4e47-bb7a-b111994cdefd /backup ext4 defaults,discard,noatime,_netdev 0 2" >> /etc/fstab |
153 | 2 | Laurent GUERBY | </pre> |
154 | 44 | Mehdi Abaakouk | |
155 | 46 | Fabien ADAM | h3. Erreurs connues |
156 | 46 | Fabien ADAM | |
157 | 46 | Fabien ADAM | h4. Ancien verrou présents |
158 | 46 | Fabien ADAM | |
159 | 46 | Fabien ADAM | Si lors du montage d'une partition, vous avez une erreur, celà peut être du à un verrouillage exclusif de volume nbd par un autre client. |
160 | 46 | Fabien ADAM | Les symptomes resemblent à ceci dans le @dmesg@ : |
161 | 46 | Fabien ADAM | <pre> |
162 | 46 | Fabien ADAM | [ 571.968741] block nbd0: Other side returned error (13) |
163 | 46 | Fabien ADAM | [ 571.970475] print_req_error: I/O error, dev nbd0, sector 52436212 |
164 | 46 | Fabien ADAM | </pre> |
165 | 46 | Fabien ADAM | |
166 | 46 | Fabien ADAM | Pour le vérifier, démonter le nbd avec @rbd-nbd unmap disks/vous-vol@, puis lister les locks : |
167 | 46 | Fabien ADAM | <pre> |
168 | 46 | Fabien ADAM | rbd-nbd lock list disks/vous-vol --id vous |
169 | 46 | Fabien ADAM | </pre> |
170 | 46 | Fabien ADAM | S'il existe toujours un verrou, demander à un administrateur ceph de le supprimer (sur l'IRC). |
171 | 46 | Fabien ADAM | |
172 | 44 | Mehdi Abaakouk | h2. Supprimer un disque |
173 | 44 | Mehdi Abaakouk | |
174 | 44 | Mehdi Abaakouk | <pre> |
175 | 45 | Mehdi Abaakouk | ceph auth del client.<username> |
176 | 45 | Mehdi Abaakouk | rbd -p <pool> rm <username>-vol |
177 | 44 | Mehdi Abaakouk | </pre> |