Management Cluster Ceph » Historique » Version 5
Mehdi Abaakouk, 06/11/2015 06:54
1 | 1 | Mehdi Abaakouk | h1. Management Cluster Ceph |
---|---|---|---|
2 | 1 | Mehdi Abaakouk | |
3 | 2 | Mehdi Abaakouk | h2. Ajout d'un OSD classique |
4 | 2 | Mehdi Abaakouk | |
5 | 2 | Mehdi Abaakouk | <pre> |
6 | 2 | Mehdi Abaakouk | $ ceph-disk prepare --zap-disk --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 --fs-type=xfs /dev/sdX |
7 | 2 | Mehdi Abaakouk | $ smartctl --smart=on /dev/sdX # Pour le monitoring. |
8 | 2 | Mehdi Abaakouk | </pre> |
9 | 2 | Mehdi Abaakouk | |
10 | 2 | Mehdi Abaakouk | Pour un HDD: |
11 | 2 | Mehdi Abaakouk | <pre> |
12 | 2 | Mehdi Abaakouk | $ ceph osd crush add osd.<ID> 0 root=default host=g3 |
13 | 2 | Mehdi Abaakouk | </pre> |
14 | 2 | Mehdi Abaakouk | |
15 | 2 | Mehdi Abaakouk | Pour un SSD: |
16 | 2 | Mehdi Abaakouk | <pre> |
17 | 2 | Mehdi Abaakouk | $ ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd |
18 | 2 | Mehdi Abaakouk | </pre> |
19 | 2 | Mehdi Abaakouk | |
20 | 2 | Mehdi Abaakouk | Ensuite, autoriser Ceph à mettre des data dessus: |
21 | 2 | Mehdi Abaakouk | |
22 | 2 | Mehdi Abaakouk | <pre> |
23 | 2 | Mehdi Abaakouk | $ /root/tools/ceph-reweight-osds.sh osd.<ID> |
24 | 2 | Mehdi Abaakouk | </pre> |
25 | 2 | Mehdi Abaakouk | |
26 | 2 | Mehdi Abaakouk | h2. Ajout d'un OSD qui partage le SSD avec l'OS |
27 | 2 | Mehdi Abaakouk | |
28 | 2 | Mehdi Abaakouk | |
29 | 2 | Mehdi Abaakouk | En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas |
30 | 2 | Mehdi Abaakouk | mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode |
31 | 2 | Mehdi Abaakouk | |
32 | 2 | Mehdi Abaakouk | Création manuelle de la partition de data ceph /dev/sda2 ici |
33 | 2 | Mehdi Abaakouk | <pre> |
34 | 2 | Mehdi Abaakouk | apt-get install partprobe |
35 | 2 | Mehdi Abaakouk | fdisk /dev/sda |
36 | 2 | Mehdi Abaakouk | |
37 | 2 | Mehdi Abaakouk | n |
38 | 2 | Mehdi Abaakouk | p |
39 | 2 | Mehdi Abaakouk | <enter> |
40 | 2 | Mehdi Abaakouk | <enter> |
41 | 2 | Mehdi Abaakouk | <enter> |
42 | 2 | Mehdi Abaakouk | <enter> |
43 | 2 | Mehdi Abaakouk | w |
44 | 2 | Mehdi Abaakouk | |
45 | 2 | Mehdi Abaakouk | $ partprobe |
46 | 2 | Mehdi Abaakouk | </pre> |
47 | 2 | Mehdi Abaakouk | |
48 | 2 | Mehdi Abaakouk | On prepare le disk comme normalement |
49 | 2 | Mehdi Abaakouk | |
50 | 2 | Mehdi Abaakouk | <pre> |
51 | 2 | Mehdi Abaakouk | ceph-disk prepare --fs-type=xfs --cluster-uuid 1fe74663-8dfa-486c-bb80-3bd94c90c967 /dev/sda2 |
52 | 2 | Mehdi Abaakouk | ceph-disk activate /dev/sda2 |
53 | 5 | Mehdi Abaakouk | $ ceph osd crush add osd.<ID> 0 root=ssd host=g3-ssd |
54 | 2 | Mehdi Abaakouk | </pre> |
55 | 2 | Mehdi Abaakouk | |
56 | 5 | Mehdi Abaakouk | Ensuite, autoriser Ceph à mettre des data dessus: |
57 | 5 | Mehdi Abaakouk | |
58 | 5 | Mehdi Abaakouk | <pre> |
59 | 5 | Mehdi Abaakouk | $ /root/tools/ceph-reweight-osds.sh osd.<ID> |
60 | 5 | Mehdi Abaakouk | </pre> |
61 | 2 | Mehdi Abaakouk | |
62 | 2 | Mehdi Abaakouk | h2. Suppression d'un OSD: |
63 | 2 | Mehdi Abaakouk | |
64 | 2 | Mehdi Abaakouk | <pre> |
65 | 2 | Mehdi Abaakouk | name="osd.2" |
66 | 2 | Mehdi Abaakouk | ceph osd out ${name} |
67 | 3 | Mehdi Abaakouk | stop ceph-osd id=${name#osd.} # ou sous debian: /etc/init.d/ceph stop ${name} |
68 | 2 | Mehdi Abaakouk | ceph osd crush remove ${name} |
69 | 2 | Mehdi Abaakouk | ceph auth del ${name} |
70 | 2 | Mehdi Abaakouk | ceph osd rm ${name} |
71 | 2 | Mehdi Abaakouk | ceph osd tree |
72 | 2 | Mehdi Abaakouk | </pre> |
73 | 2 | Mehdi Abaakouk | |
74 | 2 | Mehdi Abaakouk | |
75 | 1 | Mehdi Abaakouk | h2. Remplacement à froid d'un tier cache: |
76 | 1 | Mehdi Abaakouk | |
77 | 1 | Mehdi Abaakouk | upstream doc: http://docs.ceph.com/docs/master/rados/operations/cache-tiering/ |
78 | 1 | Mehdi Abaakouk | |
79 | 1 | Mehdi Abaakouk | <pre> |
80 | 1 | Mehdi Abaakouk | ceph osd tier cache-mode ec8p2c forward |
81 | 1 | Mehdi Abaakouk | rados -p ec8p2c cache-flush-evict-all |
82 | 1 | Mehdi Abaakouk | ceph osd tier remove-overlay ec8p2 |
83 | 1 | Mehdi Abaakouk | ceph osd tier remove ec8p2 ec8p2c |
84 | 1 | Mehdi Abaakouk | |
85 | 1 | Mehdi Abaakouk | rados rmpool ec8p2c ec8p2c --yes-i-really-really-mean-ita |
86 | 1 | Mehdi Abaakouk | ceph osd pool create ec8p2c 128 128 replicated |
87 | 1 | Mehdi Abaakouk | |
88 | 1 | Mehdi Abaakouk | ceph osd tier add ec8p2 ec8p2c |
89 | 1 | Mehdi Abaakouk | ceph osd tier cache-mode ec8p2c writeback |
90 | 1 | Mehdi Abaakouk | ceph osd tier set-overlay ec8p2 ec8p2c |
91 | 1 | Mehdi Abaakouk | |
92 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c size 3 |
93 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c min_size 2 |
94 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_type bloom |
95 | 1 | Mehdi Abaakouk | |
96 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_count 1 |
97 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c hit_set_period 3600 |
98 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c target_max_bytes 200000000000 |
99 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c target_max_objects 10000000 |
100 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c cache_target_dirty_ratio 0.4 |
101 | 1 | Mehdi Abaakouk | ceph osd pool set ec8p2c cache_target_full_ratio 0.8 |
102 | 1 | Mehdi Abaakouk | </pre> |