Management Cluster Ceph » Historique » Version 50
Aymeric APLU, 28/01/2021 20:55
1 | 10 | Mehdi Abaakouk | {{>toc}} |
---|---|---|---|
2 | 1 | Mehdi Abaakouk | |
3 | 10 | Mehdi Abaakouk | h1. Management Cluster Ceph |
4 | 9 | Mehdi Abaakouk | |
5 | 8 | Mehdi Abaakouk | h2. Liens |
6 | 8 | Mehdi Abaakouk | |
7 | 45 | Mehdi Abaakouk | * [[Cluster with libvirt]] |
8 | 44 | Mehdi Abaakouk | * [[HOWTO add a VM]] |
9 | 44 | Mehdi Abaakouk | * [[Management_Cluster_Ceph]] |
10 | 44 | Mehdi Abaakouk | * [[Ceph]] |
11 | 8 | Mehdi Abaakouk | * [[Ceph-Sharing-Disk]] |
12 | 46 | Mehdi Abaakouk | * [[Openstack Management TTNN]] (obsolete) |
13 | 44 | Mehdi Abaakouk | * [[Openstack Setup VM pas dans openstack]] (obsolete) |
14 | 44 | Mehdi Abaakouk | * [[Openstack Installation TTNN]] (obsolete) |
15 | 44 | Mehdi Abaakouk | * [[Openstack Installation nouvelle node du cluster]] (obsolete) |
16 | 44 | Mehdi Abaakouk | * "Openstack tools for ttnn":/projects/git-tetaneutral-net/repository/openstack-tools |
17 | 8 | Mehdi Abaakouk | |
18 | 2 | Mehdi Abaakouk | h2. Ajout d'un OSD classique |
19 | 2 | Mehdi Abaakouk | |
20 | 20 | Mehdi Abaakouk | |
21 | 20 | Mehdi Abaakouk | |
22 | 20 | Mehdi Abaakouk | <pre> |
23 | 1 | Mehdi Abaakouk | $ ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 /dev/sdX |
24 | 34 | Laurent GUERBY | $ tune2fs -c 0 -i 0 -m 0 /dev/sdX1 |
25 | 1 | Mehdi Abaakouk | $ smartctl --smart=on /dev/sdX # Pour le monitoring. |
26 | 1 | Mehdi Abaakouk | </pre> |
27 | 1 | Mehdi Abaakouk | |
28 | 1 | Mehdi Abaakouk | Récuperer l'id avec (c'est celui tout en bas pas accroché à l'arbre): |
29 | 1 | Mehdi Abaakouk | |
30 | 1 | Mehdi Abaakouk | <pre> |
31 | 1 | Mehdi Abaakouk | ceph osd tree |
32 | 1 | Mehdi Abaakouk | </pre> |
33 | 1 | Mehdi Abaakouk | |
34 | 26 | Mehdi Abaakouk | *DEBUT WORKAROUND BUG PREPARE* |
35 | 26 | Mehdi Abaakouk | |
36 | 26 | Mehdi Abaakouk | Dans le cas ou l'osd est DOWN après le prepare c'est surement ce bug |
37 | 26 | Mehdi Abaakouk | |
38 | 26 | Mehdi Abaakouk | ID est le premier numero libre d'osd en partant de zero (en bas du ceph osd tree) |
39 | 26 | Mehdi Abaakouk | |
40 | 26 | Mehdi Abaakouk | <pre> |
41 | 26 | Mehdi Abaakouk | mkdir /var/lib/ceph/osd/ceph-<ID> |
42 | 26 | Mehdi Abaakouk | chown ceph:ceph /var/lib/ceph/osd/ceph-<ID> |
43 | 26 | Mehdi Abaakouk | ceph-disk activate /dev/sd<X>1 |
44 | 26 | Mehdi Abaakouk | systemctl status ceph-osd@<ID> |
45 | 26 | Mehdi Abaakouk | </pre> |
46 | 26 | Mehdi Abaakouk | |
47 | 26 | Mehdi Abaakouk | *FIN WORKAROUND BUG PREPARE* |
48 | 26 | Mehdi Abaakouk | |
49 | 17 | Mehdi Abaakouk | Pour un HDD: |
50 | 2 | Mehdi Abaakouk | <pre> |
51 | 2 | Mehdi Abaakouk | $ ceph osd crush add osd.<ID> 0 root=default host=<host> |
52 | 1 | Mehdi Abaakouk | </pre> |
53 | 2 | Mehdi Abaakouk | |
54 | 17 | Mehdi Abaakouk | Pour un SSD: |
55 | 2 | Mehdi Abaakouk | <pre> |
56 | 2 | Mehdi Abaakouk | $ ceph osd crush add osd.<ID> 0 root=ssd host=<host>-ssd |
57 | 2 | Mehdi Abaakouk | </pre> |
58 | 2 | Mehdi Abaakouk | |
59 | 42 | Mehdi Abaakouk | Ensuite, autoriser Ceph à mettre des data dessus WEIGHT == 1 par 1To (ie: 4To -> 4) |
60 | 2 | Mehdi Abaakouk | |
61 | 2 | Mehdi Abaakouk | <pre> |
62 | 42 | Mehdi Abaakouk | $ ceph osd crush reweight osd.<ID> <WEIGHT> |
63 | 19 | Mehdi Abaakouk | </pre> |
64 | 19 | Mehdi Abaakouk | |
65 | 35 | Mehdi Abaakouk | h3. helper |
66 | 35 | Mehdi Abaakouk | |
67 | 36 | Mehdi Abaakouk | <pre> |
68 | 35 | Mehdi Abaakouk | add_osd(){ |
69 | 35 | Mehdi Abaakouk | dev="$1" |
70 | 35 | Mehdi Abaakouk | type="$2" |
71 | 35 | Mehdi Abaakouk | host=$(hostname -s) |
72 | 35 | Mehdi Abaakouk | [ "$type" == "ssd" ] && host="${host}-ssd" |
73 | 39 | Mehdi Abaakouk | |
74 | 39 | Mehdi Abaakouk | found=0 ; next=-1 ; for i in $(ceph osd ls); do next=$((next+1)) ; [ $(($i - $next)) -gt 0 ] && found=1 && break; done ; [ $found -eq 0 ] && next=$((next+1)) |
75 | 39 | Mehdi Abaakouk | |
76 | 35 | Mehdi Abaakouk | mkdir /var/lib/ceph/osd/ceph-$next |
77 | 35 | Mehdi Abaakouk | chown ceph:ceph /var/lib/ceph/osd/ceph-$next |
78 | 35 | Mehdi Abaakouk | |
79 | 41 | Mehdi Abaakouk | ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=ext4 $dev |
80 | 37 | Mehdi Abaakouk | tune2fs -c 0 -i 0 -m 0 ${dev}1 |
81 | 1 | Mehdi Abaakouk | smartctl --smart=on $dev |
82 | 37 | Mehdi Abaakouk | |
83 | 37 | Mehdi Abaakouk | systemctl start ceph-osd@$next |
84 | 35 | Mehdi Abaakouk | systemctl status ceph-osd@$next |
85 | 35 | Mehdi Abaakouk | |
86 | 38 | Mehdi Abaakouk | sleep 1 |
87 | 35 | Mehdi Abaakouk | ceph osd crush add osd.$next 0 root=${type} host=${host} |
88 | 35 | Mehdi Abaakouk | } |
89 | 36 | Mehdi Abaakouk | </pre> |
90 | 35 | Mehdi Abaakouk | |
91 | 47 | Fabien ADAM | Exemple: @add_osd /dev/sdb default@ pour un HDD |
92 | 47 | Fabien ADAM | |
93 | 19 | Mehdi Abaakouk | h2. Vider un OSD: |
94 | 19 | Mehdi Abaakouk | |
95 | 1 | Mehdi Abaakouk | <pre> |
96 | 35 | Mehdi Abaakouk | vider_osd(){ |
97 | 19 | Mehdi Abaakouk | name="$1" |
98 | 19 | Mehdi Abaakouk | ceph osd out ${name} |
99 | 19 | Mehdi Abaakouk | ceph osd crush reweight ${name} 0 |
100 | 19 | Mehdi Abaakouk | ceph osd reweight ${name} 0 |
101 | 19 | Mehdi Abaakouk | } |
102 | 19 | Mehdi Abaakouk | </pre> |
103 | 19 | Mehdi Abaakouk | |
104 | 19 | Mehdi Abaakouk | h2. Suppression d'un OSD: |
105 | 19 | Mehdi Abaakouk | |
106 | 19 | Mehdi Abaakouk | <pre> |
107 | 19 | Mehdi Abaakouk | remove_osd(){ |
108 | 19 | Mehdi Abaakouk | name="$1" |
109 | 19 | Mehdi Abaakouk | ceph osd out ${name} |
110 | 19 | Mehdi Abaakouk | systemctl stop ceph-osd@${name#osd.} |
111 | 19 | Mehdi Abaakouk | ceph osd crush remove ${name} |
112 | 19 | Mehdi Abaakouk | ceph auth del ${name} |
113 | 19 | Mehdi Abaakouk | ceph osd rm ${name} |
114 | 19 | Mehdi Abaakouk | ceph osd tree |
115 | 19 | Mehdi Abaakouk | } |
116 | 19 | Mehdi Abaakouk | </pre> |
117 | 47 | Fabien ADAM | |
118 | 50 | Aymeric APLU | |
119 | 50 | Aymeric APLU | <pre> |
120 | 50 | Aymeric APLU | remove_osd_without_system(){ |
121 | 50 | Aymeric APLU | name="$1" |
122 | 50 | Aymeric APLU | ceph osd out ${name} |
123 | 50 | Aymeric APLU | ceph osd crush remove ${name} |
124 | 50 | Aymeric APLU | ceph auth del ${name} |
125 | 50 | Aymeric APLU | ceph osd rm ${name} |
126 | 50 | Aymeric APLU | ceph osd tree |
127 | 50 | Aymeric APLU | } |
128 | 50 | Aymeric APLU | </pre> |
129 | 50 | Aymeric APLU | |
130 | 50 | Aymeric APLU | |
131 | 47 | Fabien ADAM | Exemple : @remove_osd osd.21@ |
132 | 19 | Mehdi Abaakouk | |
133 | 49 | Aymeric APLU | Attention supprimer un osd va lancer le déplacement des données ! |
134 | 49 | Aymeric APLU | |
135 | 19 | Mehdi Abaakouk | h2. Arrêter les IO de recovery: |
136 | 19 | Mehdi Abaakouk | |
137 | 19 | Mehdi Abaakouk | <pre> |
138 | 19 | Mehdi Abaakouk | ceph osd set nobackfill |
139 | 19 | Mehdi Abaakouk | ceph osd set norebalance |
140 | 19 | Mehdi Abaakouk | ceph osd set norecover |
141 | 19 | Mehdi Abaakouk | </pre> |
142 | 19 | Mehdi Abaakouk | |
143 | 23 | Mehdi Abaakouk | h2. Procédure d'upgrade |
144 | 23 | Mehdi Abaakouk | |
145 | 23 | Mehdi Abaakouk | + |
146 | 23 | Mehdi Abaakouk | _*/!\Lire la release note (contient très très souvent des trucs à faire en plus) /!\*_+ |
147 | 23 | Mehdi Abaakouk | |
148 | 23 | Mehdi Abaakouk | |
149 | 23 | Mehdi Abaakouk | h4. Upgrade des MONs: |
150 | 23 | Mehdi Abaakouk | |
151 | 23 | Mehdi Abaakouk | Mettre le flags noout: |
152 | 23 | Mehdi Abaakouk | |
153 | 23 | Mehdi Abaakouk | <pre>ceph osd set noout</pre> |
154 | 23 | Mehdi Abaakouk | |
155 | 23 | Mehdi Abaakouk | Sur chaque MONs (g1/g2/g3) |
156 | 23 | Mehdi Abaakouk | <pre> |
157 | 23 | Mehdi Abaakouk | apt-get upgrade -y |
158 | 23 | Mehdi Abaakouk | systemctl restart ceph-mon@g* |
159 | 23 | Mehdi Abaakouk | ceph -s |
160 | 23 | Mehdi Abaakouk | </pre> |
161 | 23 | Mehdi Abaakouk | |
162 | 23 | Mehdi Abaakouk | Note que seulement le node 'leader/master' va provoquer une micro/nano coupure, souvent c'est même invisible. |
163 | 23 | Mehdi Abaakouk | |
164 | 23 | Mehdi Abaakouk | h4. Upgrade des OSDs: |
165 | 23 | Mehdi Abaakouk | |
166 | 23 | Mehdi Abaakouk | Pour chaque machine |
167 | 23 | Mehdi Abaakouk | <pre> |
168 | 23 | Mehdi Abaakouk | apt-get upgrade -y |
169 | 23 | Mehdi Abaakouk | systemctl restart ceph-osd@* |
170 | 23 | Mehdi Abaakouk | </pre> |
171 | 23 | Mehdi Abaakouk | |
172 | 23 | Mehdi Abaakouk | Puis attendre que le recovery termine avant de faire la suivante. |
173 | 23 | Mehdi Abaakouk | |
174 | 23 | Mehdi Abaakouk | Une fois toutes les OSDs upgrader et relancer, faire: |
175 | 23 | Mehdi Abaakouk | |
176 | 23 | Mehdi Abaakouk | <pre>ceph osd unset noout</pre> |
177 | 23 | Mehdi Abaakouk | |
178 | 19 | Mehdi Abaakouk | h2. Remplacement à froid d'un tier cache: |
179 | 19 | Mehdi Abaakouk | |
180 | 19 | Mehdi Abaakouk | upstream doc: http://docs.ceph.com/docs/master/rados/operations/cache-tiering/ |
181 | 19 | Mehdi Abaakouk | |
182 | 19 | Mehdi Abaakouk | <pre> |
183 | 19 | Mehdi Abaakouk | ceph osd tier cache-mode ec8p2c forward |
184 | 19 | Mehdi Abaakouk | rados -p ec8p2c cache-flush-evict-all |
185 | 19 | Mehdi Abaakouk | ceph osd tier remove-overlay ec8p2 |
186 | 19 | Mehdi Abaakouk | ceph osd tier remove ec8p2 ec8p2c |
187 | 19 | Mehdi Abaakouk | |
188 | 19 | Mehdi Abaakouk | rados rmpool ec8p2c ec8p2c --yes-i-really-really-mean-ita |
189 | 19 | Mehdi Abaakouk | ceph osd pool create ec8p2c 128 128 replicated |
190 | 19 | Mehdi Abaakouk | |
191 | 19 | Mehdi Abaakouk | ceph osd tier add ec8p2 ec8p2c |
192 | 19 | Mehdi Abaakouk | ceph osd tier cache-mode ec8p2c writeback |
193 | 19 | Mehdi Abaakouk | ceph osd tier set-overlay ec8p2 ec8p2c |
194 | 19 | Mehdi Abaakouk | |
195 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c size 3 |
196 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c min_size 2 |
197 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_type bloom |
198 | 19 | Mehdi Abaakouk | |
199 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_count 1 |
200 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_period 3600 |
201 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c target_max_bytes 200000000000 |
202 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c target_max_objects 10000000 |
203 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c cache_target_dirty_ratio 0.4 |
204 | 19 | Mehdi Abaakouk | ceph osd pool set ec8p2c cache_target_full_ratio 0.8 |
205 | 19 | Mehdi Abaakouk | </pre> |
206 | 19 | Mehdi Abaakouk | |
207 | 16 | Mehdi Abaakouk | h2. Ajout d'un OSD qui partage le SSD avec l'OS (OBSOLETE PLUS COMPATIBLE AVEC LES FUTURES VERSION DE CEPH) |
208 | 2 | Mehdi Abaakouk | |
209 | 2 | Mehdi Abaakouk | |
210 | 2 | Mehdi Abaakouk | En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas |
211 | 2 | Mehdi Abaakouk | mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode |
212 | 2 | Mehdi Abaakouk | |
213 | 2 | Mehdi Abaakouk | Création manuelle de la partition de data ceph /dev/sda2 ici |
214 | 7 | Mehdi Abaakouk | |
215 | 7 | Mehdi Abaakouk | Debian (MBR format): |
216 | 2 | Mehdi Abaakouk | <pre> |
217 | 5 | Mehdi Abaakouk | apt-get install partprobe |
218 | 5 | Mehdi Abaakouk | fdisk /dev/sda |
219 | 5 | Mehdi Abaakouk | |
220 | 2 | Mehdi Abaakouk | n |
221 | 14 | Mehdi Abaakouk | p |
222 | 14 | Mehdi Abaakouk | <enter> |
223 | 14 | Mehdi Abaakouk | <enter> |
224 | 14 | Mehdi Abaakouk | <enter> |
225 | 14 | Mehdi Abaakouk | <enter> |
226 | 14 | Mehdi Abaakouk | w |
227 | 14 | Mehdi Abaakouk | |
228 | 14 | Mehdi Abaakouk | $ partprobe |
229 | 14 | Mehdi Abaakouk | </pre> |
230 | 14 | Mehdi Abaakouk | |
231 | 14 | Mehdi Abaakouk | Ubuntu (GPT format): |
232 | 2 | Mehdi Abaakouk | <pre> |
233 | 2 | Mehdi Abaakouk | # parted /dev/sdb |
234 | 2 | Mehdi Abaakouk | GNU Parted 2.3 |
235 | 13 | Mehdi Abaakouk | Using /dev/sdb |
236 | 13 | Mehdi Abaakouk | Welcome to GNU Parted! Type 'help' to view a list of commands. |
237 | 13 | Mehdi Abaakouk | (parted) print |
238 | 18 | Mehdi Abaakouk | Model: ATA SAMSUNG MZ7KM480 (scsi) |
239 | 13 | Mehdi Abaakouk | Disk /dev/sdb: 480GB |
240 | 13 | Mehdi Abaakouk | Sector size (logical/physical): 512B/512B |
241 | 13 | Mehdi Abaakouk | Partition Table: msdos |
242 | 13 | Mehdi Abaakouk | |
243 | 13 | Mehdi Abaakouk | Number Start End Size Type File system Flags |
244 | 2 | Mehdi Abaakouk | 1 1049kB 20.0GB 20.0GB primary ext4 boot |
245 | 2 | Mehdi Abaakouk | 2 20.0GB 36.0GB 16.0GB primary linux-swap(v1) |
246 | 15 | Mehdi Abaakouk | |
247 | 15 | Mehdi Abaakouk | (parted) mkpart |
248 | 15 | Mehdi Abaakouk | Partition type? primary/extended? |
249 | 15 | Mehdi Abaakouk | Partition type? primary/extended? primary |
250 | 15 | Mehdi Abaakouk | File system type? [ext2]? xfs |
251 | 15 | Mehdi Abaakouk | Start? |
252 | 15 | Mehdi Abaakouk | Start? 36.0GB |
253 | 15 | Mehdi Abaakouk | End? 100% |
254 | 1 | Mehdi Abaakouk | (parted) print |
255 | 1 | Mehdi Abaakouk | Model: ATA SAMSUNG MZ7KM480 (scsi) |
256 | 1 | Mehdi Abaakouk | Disk /dev/sdb: 480GB |
257 | 1 | Mehdi Abaakouk | Sector size (logical/physical): 512B/512B |
258 | 1 | Mehdi Abaakouk | Partition Table: msdos |
259 | 1 | Mehdi Abaakouk | |
260 | 1 | Mehdi Abaakouk | Number Start End Size Type File system Flags |
261 | 1 | Mehdi Abaakouk | 1 1049kB 20.0GB 20.0GB primary ext4 boot |
262 | 1 | Mehdi Abaakouk | 2 20.0GB 36.0GB 16.0GB primary linux-swap(v1) |
263 | 1 | Mehdi Abaakouk | 3 36.0GB 480GB 444GB primary |
264 | 1 | Mehdi Abaakouk | |
265 | 1 | Mehdi Abaakouk | (parted) quit |
266 | 1 | Mehdi Abaakouk | Information: You may need to update /etc/fstab. |
267 | 1 | Mehdi Abaakouk | </pre> |
268 | 1 | Mehdi Abaakouk | |
269 | 1 | Mehdi Abaakouk | On prepare le disk comme normalement |
270 | 1 | Mehdi Abaakouk | |
271 | 1 | Mehdi Abaakouk | <pre> |
272 | 1 | Mehdi Abaakouk | ceph-disk prepare --fs-type=ext4 --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 /dev/sda2 |
273 | 1 | Mehdi Abaakouk | ceph-disk activate /dev/sda2 |
274 | 1 | Mehdi Abaakouk | ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd |
275 | 1 | Mehdi Abaakouk | </pre> |
276 | 1 | Mehdi Abaakouk | |
277 | 1 | Mehdi Abaakouk | Ensuite, autoriser Ceph à mettre des data dessus: |
278 | 1 | Mehdi Abaakouk | |
279 | 1 | Mehdi Abaakouk | <pre> |
280 | 1 | Mehdi Abaakouk | $ /root/tools/ceph-reweight-osds.sh osd.<ID> |
281 | 1 | Mehdi Abaakouk | </pre> |
282 | 28 | Laurent GUERBY | |
283 | 48 | Fabien ADAM | h2. Remplacement des disques et des OSD correspondants |
284 | 48 | Fabien ADAM | |
285 | 48 | Fabien ADAM | Régulièrement les disques tombent en panne, particulièrement au sein de l'asso où la température des différentes salles est élevée. |
286 | 48 | Fabien ADAM | |
287 | 48 | Fabien ADAM | Voici la procédure générale à suivre pour maintenir le cluster Ceph : |
288 | 48 | Fabien ADAM | |
289 | 48 | Fabien ADAM | +Partie 1+ : opérations matérielles |
290 | 48 | Fabien ADAM | |
291 | 48 | Fabien ADAM | # Migrer les VMs sur un autre hôte (cf partie Openstack/Libvirt) *OU* prévoir l'arrêt des VM suivi d'un remplacement du/des disque(s) rapide |
292 | 48 | Fabien ADAM | # Identifier le(s) disque(s) à remplacer |
293 | 48 | Fabien ADAM | ## Récupérer le(s) OSD down de la machine @ceph osd tree@ |
294 | 48 | Fabien ADAM | ## Trouver le(s) modèle(s) ainsi que sa taille. @lsblk -S@ |
295 | 48 | Fabien ADAM | # Éteindre la machine, remplacer le(s) disque(s) défectueu(x), et la redémarrer |
296 | 48 | Fabien ADAM | ## En cas de problème, brancher l'écran pour valider éventuellement un changement dans le bios, ou comprendre tout autre problème |
297 | 48 | Fabien ADAM | # Rédémarrer les VM si nécessaire |
298 | 48 | Fabien ADAM | |
299 | 48 | Fabien ADAM | +Partie 2+ : modification du cluster Ceph |
300 | 48 | Fabien ADAM | |
301 | 48 | Fabien ADAM | Cette partie peut se faire à distance tranquillement. |
302 | 48 | Fabien ADAM | |
303 | 48 | Fabien ADAM | +Important+ : prévoir de faire d'abord _toutes les opérations sur les SSD_, puis ensuite _toutes les opérations sur les HDD_. L'intérêt est de réduire la RAM (et le CPU) utilisé par les OSD pendant la récupération, qui peut ralentir fortement le fonctionnement du cluster Ceph, et donc des VM qui l'exploite, avec des load qui explosent |
304 | 48 | Fabien ADAM | |
305 | 48 | Fabien ADAM | # Bloquer les opérations de réparation (cf paragraphe dédié) |
306 | 48 | Fabien ADAM | # Supprimer les OSD correspondants aux anciens disques, sur chaque machine concernée |
307 | 48 | Fabien ADAM | ## Repérer les OSD down dans @ceph osd tree@ |
308 | 48 | Fabien ADAM | ## Copier-coller la fonction _remove_osd_ (cf paragraphe dédié), et l'appeler |
309 | 48 | Fabien ADAM | # Ajouter les nouveaux OSD, sur chaque machine concernée |
310 | 48 | Fabien ADAM | ## Repérer les disques inutilisé dans @lsblk -S@ |
311 | 48 | Fabien ADAM | ## Copier-coller la fonction _add_osd_ (cf paragraphe dédié), et l'appeler |
312 | 48 | Fabien ADAM | ## Ajouter un poids à chaque nouvel OSD, correspondant à la taille du disque en To (exemple : @ceph osd crush reweight osd.21 0.5@) |
313 | 48 | Fabien ADAM | # Une fois tous les OSD d'un type ajouté, débloquer les opérations de réparation, en utilisant la commande _unset_ à la place de _set_ |
314 | 48 | Fabien ADAM | # Suivre l'avancement, avec le pourcentage d'_objects misplaced_ qui va progressivement revenir à 0 : @ceph -s@ |
315 | 48 | Fabien ADAM | |
316 | 48 | Fabien ADAM | Une fois que le cluster est rétabli pour un type de disque, faire de même avec l'autre type. |
317 | 48 | Fabien ADAM | |
318 | 28 | Laurent GUERBY | h2. inconsistent pg |
319 | 28 | Laurent GUERBY | |
320 | 32 | Laurent GUERBY | * Analyse d'une erreur de coherence detectee par ceph |
321 | 32 | Laurent GUERBY | ** https://lists.tetaneutral.net/pipermail/technique/2017-August/002859.html |
322 | 32 | Laurent GUERBY | |
323 | 28 | Laurent GUERBY | <pre> |
324 | 28 | Laurent GUERBY | root@g1:~# ceph health detail |
325 | 28 | Laurent GUERBY | HEALTH_ERR 1 pgs inconsistent; 2 scrub errors |
326 | 28 | Laurent GUERBY | pg 58.22d is active+clean+inconsistent, acting [9,47,37] |
327 | 28 | Laurent GUERBY | 2 scrub errors |
328 | 28 | Laurent GUERBY | root@g1:~# rados list-inconsistent-obj 58.22d --format=json-pretty |
329 | 28 | Laurent GUERBY | { |
330 | 28 | Laurent GUERBY | "epoch": 269000, |
331 | 28 | Laurent GUERBY | "inconsistents": [ |
332 | 28 | Laurent GUERBY | { |
333 | 28 | Laurent GUERBY | "object": { |
334 | 28 | Laurent GUERBY | "name": "rbd_data.11f20f75aac8266.00000000000f79f9", |
335 | 28 | Laurent GUERBY | "nspace": "", |
336 | 28 | Laurent GUERBY | "locator": "", |
337 | 28 | Laurent GUERBY | "snap": "head", |
338 | 28 | Laurent GUERBY | "version": 9894452 |
339 | 28 | Laurent GUERBY | }, |
340 | 28 | Laurent GUERBY | "errors": [ |
341 | 28 | Laurent GUERBY | "data_digest_mismatch" |
342 | 28 | Laurent GUERBY | ], |
343 | 28 | Laurent GUERBY | "union_shard_errors": [ |
344 | 28 | Laurent GUERBY | "data_digest_mismatch_oi" |
345 | 28 | Laurent GUERBY | ], |
346 | 31 | Laurent GUERBY | "selected_object_info": |
347 | 31 | Laurent GUERBY | "58:b453643a:::rbd_data.11f20f75aac8266.00000000000f79f9:head(261163'9281748 osd.9.0:6221608 dirty|data_digest|omap_digest s 4194304 uv 9894452 dd 2193d055 od ffffffff alloc_hint [0 0])", |
348 | 28 | Laurent GUERBY | "shards": [ |
349 | 28 | Laurent GUERBY | { |
350 | 28 | Laurent GUERBY | "osd": 9, |
351 | 28 | Laurent GUERBY | "errors": [], |
352 | 28 | Laurent GUERBY | "size": 4194304, |
353 | 28 | Laurent GUERBY | "omap_digest": "0xffffffff", |
354 | 28 | Laurent GUERBY | "data_digest": "0x2193d055" |
355 | 28 | Laurent GUERBY | }, |
356 | 28 | Laurent GUERBY | { |
357 | 28 | Laurent GUERBY | "osd": 37, |
358 | 28 | Laurent GUERBY | "errors": [ |
359 | 28 | Laurent GUERBY | "data_digest_mismatch_oi" |
360 | 28 | Laurent GUERBY | ], |
361 | 28 | Laurent GUERBY | "size": 4194304, |
362 | 28 | Laurent GUERBY | "omap_digest": "0xffffffff", |
363 | 28 | Laurent GUERBY | "data_digest": "0x05891fb4" |
364 | 28 | Laurent GUERBY | }, |
365 | 28 | Laurent GUERBY | { |
366 | 28 | Laurent GUERBY | "osd": 47, |
367 | 28 | Laurent GUERBY | "errors": [], |
368 | 28 | Laurent GUERBY | "size": 4194304, |
369 | 28 | Laurent GUERBY | "omap_digest": "0xffffffff", |
370 | 28 | Laurent GUERBY | "data_digest": "0x2193d055" |
371 | 28 | Laurent GUERBY | } |
372 | 28 | Laurent GUERBY | ] |
373 | 28 | Laurent GUERBY | } |
374 | 28 | Laurent GUERBY | ] |
375 | 28 | Laurent GUERBY | } |
376 | 29 | Laurent GUERBY | root@g1:~# ceph osd map disks rbd_data.11f20f75aac8266.00000000000f79f9 |
377 | 29 | Laurent GUERBY | osdmap e269110 pool 'disks' (58) object 'rbd_data.11f20f75aac8266.00000000000f79f9' -> pg 58.5c26ca2d (58.22d) -> up ([9,47,37], p9) acting ([9,47,37], p9) |
378 | 29 | Laurent GUERBY | |
379 | 30 | Laurent GUERBY | |
380 | 30 | Laurent GUERBY | root@g8:/var/lib/ceph/osd/ceph-9/current/58.22d_head# find . -name '*11f20f75aac8266.00000000000f79f9*' |
381 | 30 | Laurent GUERBY | ./DIR_D/DIR_2/DIR_A/DIR_C/rbd\udata.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a |
382 | 30 | Laurent GUERBY | |
383 | 30 | Laurent GUERBY | root@g10:/var/lib/ceph/osd/ceph-37/current/58.22d_head# find . -name '*11f20f75aac8266.00000000000f79f9*' |
384 | 30 | Laurent GUERBY | ./DIR_D/DIR_2/DIR_A/DIR_C/rbd\udata.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a |
385 | 30 | Laurent GUERBY | |
386 | 30 | Laurent GUERBY | $ scp g8:/var/lib/ceph/osd/ceph-9/current/58.22d_head/DIR_D/DIR_2/DIR_A/DIR_C/rbd*data.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a g8data |
387 | 30 | Laurent GUERBY | $ scp g10:/var/lib/ceph/osd/ceph-37/current/58.22d_head/DIR_D/DIR_2/DIR_A/DIR_C/rbd*data.11f20f75aac8266.00000000000f79f9__head_5C26CA2D__3a g10data |
388 | 30 | Laurent GUERBY | |
389 | 30 | Laurent GUERBY | $ md5sum * |
390 | 30 | Laurent GUERBY | bd85c0ef1f30829ce07e5f9152ac2d2f g10data |
391 | 30 | Laurent GUERBY | 4297d0bc373e6603e0ad842702e0ecaa g8data |
392 | 30 | Laurent GUERBY | $ $ diff -u <(od -x g10data) <(od -x g8data) |
393 | 30 | Laurent GUERBY | --- /dev/fd/63 2017-08-13 10:43:52.837097740 +0200 |
394 | 30 | Laurent GUERBY | +++ /dev/fd/62 2017-08-13 10:43:52.833097808 +0200 |
395 | 30 | Laurent GUERBY | @@ -2617,7 +2617,7 @@ |
396 | 30 | Laurent GUERBY | 0121600 439b 14f4 bb4c 5f14 6ff7 4393 9ff8 a9a9 |
397 | 30 | Laurent GUERBY | 0121620 29a8 56a4 1133 b6a8 2206 4821 2f42 4b2c |
398 | 30 | Laurent GUERBY | 0121640 3d86 41a2 785f 9785 8b48 4243 e7b9 f0aa |
399 | 30 | Laurent GUERBY | -0121660 29b6 be0c 0455 bf97 1c0d 49e5 75dd e1ed |
400 | 30 | Laurent GUERBY | +0121660 29a6 be0c 0455 bf97 1c0d 49e5 75dd e1ed |
401 | 30 | Laurent GUERBY | 0121700 2519 d6ac 1047 1111 0344 38be 27a1 db07 |
402 | 30 | Laurent GUERBY | 0121720 dff6 c002 75d8 4396 6154 eba9 3abd 5d20 |
403 | 30 | Laurent GUERBY | 0121740 8ae4 e63a 298b d754 0208 9705 1bb8 3685 |
404 | 30 | Laurent GUERBY | </pre> |
405 | 30 | Laurent GUERBY | |
406 | 30 | Laurent GUERBY | Donc un seul bit flip 29b6 vs 29a6 |
407 | 30 | Laurent GUERBY | |
408 | 30 | Laurent GUERBY | <pre> |
409 | 30 | Laurent GUERBY | >>> bin(0xa) |
410 | 30 | Laurent GUERBY | '0b1010' |
411 | 30 | Laurent GUERBY | >>> bin(0xb) |
412 | 30 | Laurent GUERBY | '0b1011' |
413 | 28 | Laurent GUERBY | </pre> |
414 | 29 | Laurent GUERBY | |
415 | 29 | Laurent GUERBY | * http://cephnotes.ksperis.com/blog/2013/08/20/ceph-osd-where-is-my-data |
416 | 33 | Laurent GUERBY | * https://superuser.com/questions/969889/what-is-the-granularity-of-a-hard-disk-ure-unrecoverable-read-error |