Openstack Installation TTNN » Historique » Version 169
Mehdi Abaakouk, 19/09/2014 10:31
1 | 43 | Laurent GUERBY | {{>toc}} |
---|---|---|---|
2 | 43 | Laurent GUERBY | |
3 | 159 | Laurent GUERBY | h1. Openstack Installation tetaneutral.net |
4 | 1 | Mehdi Abaakouk | |
5 | 44 | Laurent GUERBY | h2. Liens |
6 | 44 | Laurent GUERBY | |
7 | 44 | Laurent GUERBY | * http://ceph.com/docs/master/rados/operations/cache-tiering/ |
8 | 44 | Laurent GUERBY | * http://ceph.com/docs/master/rados/operations/crush-map/ |
9 | 44 | Laurent GUERBY | |
10 | 3 | Mehdi Abaakouk | h2. Pending upstream fixes: |
11 | 3 | Mehdi Abaakouk | |
12 | 143 | Mehdi Abaakouk | La liste à jour est ici: |
13 | 143 | Mehdi Abaakouk | http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp#L27 |
14 | 1 | Mehdi Abaakouk | |
15 | 4 | Mehdi Abaakouk | h2. Installation |
16 | 4 | Mehdi Abaakouk | |
17 | 4 | Mehdi Abaakouk | Le setup installé est composé de : |
18 | 4 | Mehdi Abaakouk | |
19 | 4 | Mehdi Abaakouk | * 3 hyperviseurs (compute node) qui contiendront 1 ceph-mon, N ceph-osd, nova-compute (qui lance les VM), neutron-openvswitch-agent (qui configure le réseau des vms) |
20 | 4 | Mehdi Abaakouk | * 1 VM (controler node), qui contient tous les services de management d'openstack (nova, cinder, glance, neutron) |
21 | 4 | Mehdi Abaakouk | |
22 | 4 | Mehdi Abaakouk | Les étapes d'installation sont les suivantes: |
23 | 4 | Mehdi Abaakouk | * Préparation manuelle de la VM de management sur un des hyperviseurs |
24 | 4 | Mehdi Abaakouk | * Installation de ceph et openstack sur toutes les machines avec puppet |
25 | 4 | Mehdi Abaakouk | * Déplacement de la VM de management d'openstack dans openstack. |
26 | 4 | Mehdi Abaakouk | |
27 | 33 | Mehdi Abaakouk | h3. Information sur le puppet master: |
28 | 33 | Mehdi Abaakouk | |
29 | 33 | Mehdi Abaakouk | La conf et modules puppet utilisé par tetaneutral.net ce trouve la: |
30 | 33 | Mehdi Abaakouk | |
31 | 33 | Mehdi Abaakouk | > http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster |
32 | 33 | Mehdi Abaakouk | > http://chiliproject.tetaneutral.net/projects/git-tetaneutral-net/repository/puppetmaster/revisions/master/entry/manifests/nodes/openstack.pp |
33 | 33 | Mehdi Abaakouk | |
34 | 136 | Mehdi Abaakouk | Seulement c'est 3 classes sont spécifique à tetaneutral, le reste est réutilisable à condition de changer les ip, hostname, uuid et password: |
35 | 33 | Mehdi Abaakouk | |
36 | 36 | Mehdi Abaakouk | > class { 'ttnn::server': } |
37 | 36 | Mehdi Abaakouk | > class { 'backup::client': } |
38 | 36 | Mehdi Abaakouk | > class { 'sexymotd': } |
39 | 33 | Mehdi Abaakouk | |
40 | 33 | Mehdi Abaakouk | Les modules qui sont nécessaire pour openstack pour le reste du fichier sont: |
41 | 33 | Mehdi Abaakouk | |
42 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-apache.git |
43 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-apt |
44 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-ceph.git |
45 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-cinder.git |
46 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-concat.git |
47 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-glance.git |
48 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-horizon.git |
49 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-inifile.git |
50 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-keystone.git |
51 | 33 | Mehdi Abaakouk | > https://github.com/camptocamp/puppet-kmod.git |
52 | 33 | Mehdi Abaakouk | > https://github.com/saz/puppet-memcached.git |
53 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-mysql.git |
54 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-neutron.git |
55 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-nova.git |
56 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-rabbitmq.git |
57 | 33 | Mehdi Abaakouk | > https://github.com/nanliu/puppet-staging.git |
58 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-stdlib.git |
59 | 33 | Mehdi Abaakouk | > https://github.com/duritong/puppet-sysctl.git |
60 | 33 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-vcsrepo.git |
61 | 33 | Mehdi Abaakouk | > https://github.com/stackforge/puppet-vswitch.git |
62 | 36 | Mehdi Abaakouk | > https://github.com/puppetlabs/puppetlabs-xinetd.git |
63 | 33 | Mehdi Abaakouk | |
64 | 33 | Mehdi Abaakouk | h3. Préparation réseaux des hosts: |
65 | 29 | Mehdi Abaakouk | |
66 | 1 | Mehdi Abaakouk | |
67 | 126 | Mehdi Abaakouk | Preparation des bridges openvswitch: |
68 | 126 | Mehdi Abaakouk | |
69 | 1 | Mehdi Abaakouk | <pre> |
70 | 130 | Mehdi Abaakouk | $ apt-get install openvswitch-switch |
71 | 126 | Mehdi Abaakouk | $ modprobe vhost-net |
72 | 126 | Mehdi Abaakouk | $ modprobe tun |
73 | 126 | Mehdi Abaakouk | $ modprobe loop |
74 | 148 | Mehdi Abaakouk | |
75 | 148 | Mehdi Abaakouk | # On créé un switch br-eth0 |
76 | 151 | Mehdi Abaakouk | ovs-vsctl add-br br-eth0 |
77 | 148 | Mehdi Abaakouk | # On rajoute une petite bricole pour openstack |
78 | 151 | Mehdi Abaakouk | ovs-vsctl br-set-external-id br-eth0 bridge-id br-eth0 |
79 | 148 | Mehdi Abaakouk | # On ajoute le port eth0 dans le switch |
80 | 151 | Mehdi Abaakouk | ovs-vsctl add-port br-eth0 eth0 # Si aucun trunk vlan n'est spécifié, c'est un trunk avec tous les vlans |
81 | 148 | Mehdi Abaakouk | |
82 | 148 | Mehdi Abaakouk | # On créé des interfaces réseau utilisable sur la machine avec des vlans: |
83 | 155 | Mehdi Abaakouk | ovs-vsctl add-br vlan3132 br-eth0 3132 |
84 | 151 | Mehdi Abaakouk | ovs-vsctl add-br vlan3175 br-eth0 3175 |
85 | 151 | Mehdi Abaakouk | ovs-vsctl add-br vlan3199 br-eth0 3199 |
86 | 148 | Mehdi Abaakouk | |
87 | 150 | Mehdi Abaakouk | # On s'assure que eth0 sera toujours up |
88 | 151 | Mehdi Abaakouk | ovs-ofctl mod-port br-eth0 eth0 up |
89 | 150 | Mehdi Abaakouk | |
90 | 126 | Mehdi Abaakouk | </pre> |
91 | 1 | Mehdi Abaakouk | |
92 | 126 | Mehdi Abaakouk | _note: Les bridges openvswitch sont mémorisés et recréés automatiquement par le service openvswitch-switch_ |
93 | 126 | Mehdi Abaakouk | |
94 | 133 | Mehdi Abaakouk | On install le fichier attachment:rc.local dans /etc/ |
95 | 133 | Mehdi Abaakouk | Et le fichier attachment:tetaneutral-openstack-routing-daemon.sh dans /root/ |
96 | 1 | Mehdi Abaakouk | |
97 | 1 | Mehdi Abaakouk | On re-charge le fichier attachment:rc.local |
98 | 133 | Mehdi Abaakouk | |
99 | 133 | Mehdi Abaakouk | <pre> |
100 | 126 | Mehdi Abaakouk | bash -x /etc/rc.local |
101 | 1 | Mehdi Abaakouk | </pre> |
102 | 126 | Mehdi Abaakouk | |
103 | 126 | Mehdi Abaakouk | |
104 | 126 | Mehdi Abaakouk | Sur h7.tetaneutral.net le routage est le suivant |
105 | 73 | Mehdi Abaakouk | |
106 | 73 | Mehdi Abaakouk | <pre> |
107 | 155 | Mehdi Abaakouk | ip route add 89.234.156.249/32 dev eth0.3132 |
108 | 155 | Mehdi Abaakouk | ip route add 89.234.156.251/32 dev eth0.3132 |
109 | 155 | Mehdi Abaakouk | ip route add 89.234.156.252/32 dev eth0.3132 |
110 | 155 | Mehdi Abaakouk | ip route add 89.234.156.253/32 dev eth0.3132 |
111 | 155 | Mehdi Abaakouk | ip route add 2a01:6600:8083:f900::/56 dev eth0.3132 |
112 | 155 | Mehdi Abaakouk | ip route add 2a01:6600:8083:fb00::/56 dev eth0.3132 |
113 | 155 | Mehdi Abaakouk | ip route add 2a01:6600:8083:fc00::/56 dev eth0.3132 |
114 | 155 | Mehdi Abaakouk | ip route add 2a01:6600:8083:fd00::/56 dev eth0.3132 |
115 | 16 | Mehdi Abaakouk | </pre> |
116 | 1 | Mehdi Abaakouk | |
117 | 20 | Mehdi Abaakouk | h3. Preparation de la VM de management, le controlleur |
118 | 6 | Mehdi Abaakouk | |
119 | 6 | Mehdi Abaakouk | h4. Installation des prérequis |
120 | 6 | Mehdi Abaakouk | |
121 | 1 | Mehdi Abaakouk | <pre> |
122 | 129 | Mehdi Abaakouk | $ apt-get install libvirt-bin openstack-debian-images virtinst |
123 | 131 | Mehdi Abaakouk | #NOTE(sileht): temporairement récupérer la dernière version: |
124 | 131 | Mehdi Abaakouk | $ curl -# http://anonscm.debian.org/cgit/openstack/openstack-debian-images.git/plain/build-openstack-debian-image > /usr/sbin/build-openstack-debian-image |
125 | 20 | Mehdi Abaakouk | </pre> |
126 | 1 | Mehdi Abaakouk | |
127 | 1 | Mehdi Abaakouk | h4. Preparation de l'image de la VM |
128 | 92 | Mehdi Abaakouk | |
129 | 20 | Mehdi Abaakouk | <pre> |
130 | 20 | Mehdi Abaakouk | $ vim hook.sh |
131 | 1 | Mehdi Abaakouk | set -xv |
132 | 20 | Mehdi Abaakouk | |
133 | 92 | Mehdi Abaakouk | echo "openstack" > $BODI_CHROOT_PATH/etc/hostname |
134 | 40 | Mehdi Abaakouk | |
135 | 46 | Mehdi Abaakouk | cat > $BODI_CHROOT_PATH/etc/resolv.conf <<EOF |
136 | 46 | Mehdi Abaakouk | domain tetaneutral.net |
137 | 46 | Mehdi Abaakouk | search tetaneutral.net |
138 | 1 | Mehdi Abaakouk | nameserver 8.8.8.8 |
139 | 46 | Mehdi Abaakouk | EOF |
140 | 46 | Mehdi Abaakouk | |
141 | 92 | Mehdi Abaakouk | cat > $BODI_CHROOT_PATH/etc/network/interfaces <<EOF |
142 | 6 | Mehdi Abaakouk | auto lo |
143 | 20 | Mehdi Abaakouk | iface lo inet loopback |
144 | 1 | Mehdi Abaakouk | auto eth0 |
145 | 6 | Mehdi Abaakouk | iface eth0 inet manual |
146 | 4 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0 |
147 | 1 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0 |
148 | 4 | Mehdi Abaakouk | up ip link set eth0 up |
149 | 10 | Mehdi Abaakouk | up ip addr add 89.234.156.249/32 dev eth0 |
150 | 152 | Mehdi Abaakouk | up ip route add 91.224.149.0/24 dev eth0 |
151 | 152 | Mehdi Abaakouk | up ip route add default via 91.224.149.254 |
152 | 20 | Mehdi Abaakouk | |
153 | 1 | Mehdi Abaakouk | iface eth0 inet6 static |
154 | 7 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth0.accept_ra=0 |
155 | 4 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth0.autoconf=0 |
156 | 21 | Mehdi Abaakouk | address 2a01:6600:8083:f900::1 |
157 | 12 | Mehdi Abaakouk | netmask 56 |
158 | 4 | Mehdi Abaakouk | gateway fe80::31 |
159 | 4 | Mehdi Abaakouk | |
160 | 4 | Mehdi Abaakouk | auto eth1 |
161 | 5 | Mehdi Abaakouk | iface eth1 inet static |
162 | 13 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth1.accept_ra=0 |
163 | 18 | Mehdi Abaakouk | pre-up /sbin/sysctl -w net.ipv6.conf.eth1.autoconf=0 |
164 | 18 | Mehdi Abaakouk | address 192.168.3.100 |
165 | 18 | Mehdi Abaakouk | netmask 255.255.255.0 |
166 | 18 | Mehdi Abaakouk | EOF |
167 | 18 | Mehdi Abaakouk | |
168 | 18 | Mehdi Abaakouk | mkdir -p $BODI_CHROOT_PATH/root/.ssh |
169 | 59 | Mehdi Abaakouk | chmod 600 $BODI_CHROOT_PATH/root/.ssh |
170 | 59 | Mehdi Abaakouk | cat >> $BODI_CHROOT_PATH/root/.ssh/authorized_keys <<EOF |
171 | 11 | Mehdi Abaakouk | ssh-dss AAAAB3NzaC1kc3MAAACBAJtnGLvuz4uVD6fnERDxDi/C0UyzwCiKmgNtEessopREYasAX4Gu6Fg10jAyIL5Nuc7YDnqj//pOfxNjD7hp99a2ZmkRQgh/ltClxYML9fqhBHgsUCpVse9nOYDHDnDgvXIPRSDUHat2UFpdchHVrFURNLIlZnBztsr+GCDURTV/AAAAFQD9SrBcH49ltaKOm6V5ssCPmgs1SwAAAIAbAvkQ3/tMzzdACO5B9s5Yb3ZuM7XImm0iqufivVf2Xy39g8HOBulUsN7eKEGPhVriqNolgIO7q7tVgYAff4/NE4yDP0Kp0SPg4tjt2yFJuL31Y3wzwHjnKrjgNlDSLl3uZnRXSipwUMwGKbdHB6NZSqlq192VKbHilQ00pbiMlAAAAIB5dfB1lVHkJ0o5CcaVQRPbca9DvbbRwnoTSmKHc5DUcqsPqDhS07CkM9ZcJuY1Nh4wGl4Q9kArj7Tnsvvygf/HReSUcIk4+nbDytJ8/pca/Qx4fzQQyppa94TylN62LSFT6MIJKLoMwYa0dQURT7Mv5+9Qj2vk5pZ38w2iQ9zVCg== root@h1 |
172 | 4 | Mehdi Abaakouk | EOF |
173 | 4 | Mehdi Abaakouk | |
174 | 6 | Mehdi Abaakouk | sed -i -e 's/^.*Port.*$/Port 2222/' -e 's/^[# ]*PasswordAuthentication.*$/PasswordAuthentication no/' $BODI_CHROOT_PATH/etc/ssh/sshd_config |
175 | 4 | Mehdi Abaakouk | chroot $BODI_CHROOT_PATH dpkg-reconfigure openssh-server |
176 | 4 | Mehdi Abaakouk | chroot $BODI_CHROOT_PATH apt-get purge -y cloud-init* |
177 | 8 | Mehdi Abaakouk | </pre> |
178 | 1 | Mehdi Abaakouk | |
179 | 90 | Mehdi Abaakouk | <pre> |
180 | 90 | Mehdi Abaakouk | $ chmod +x hook.sh |
181 | 156 | Mehdi Abaakouk | $ build-openstack-debian-image --image-size 20 --release jessie -u http://apt.tetaneutral.net/debian/ -s http://apt.tetaneutral.net/debian/ --hook-script $(pwd)/hook.sh -e acpi-support |
182 | 90 | Mehdi Abaakouk | $ mv debian-jessie-7.0.0-3-amd64.raw /openstack.raw |
183 | 90 | Mehdi Abaakouk | $ rm debian-jessie-7.0.0-3-amd64.qcow2 |
184 | 90 | Mehdi Abaakouk | </pre> |
185 | 90 | Mehdi Abaakouk | |
186 | 90 | Mehdi Abaakouk | _note: la derniere commande lancée par le script doit être 'qemu-img convert -c -f raw .... , sinon l'image de bootera pas_ |
187 | 90 | Mehdi Abaakouk | _note(jessie): si l'erreur est celle ci-dessous, relancer manuellement 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' jusqu'a ce que l'erreur disparaissent et le .raw est utilisable:_ |
188 | 90 | Mehdi Abaakouk | <pre> |
189 | 6 | Mehdi Abaakouk | + 'kpartx -d debian-jessie-7.0.0-3-amd64.raw' |
190 | 1 | Mehdi Abaakouk | device-mapper: remove ioctl on loop0p1 failed: Device or resource busy |
191 | 1 | Mehdi Abaakouk | loop deleted : /dev/loop0 |
192 | 4 | Mehdi Abaakouk | </pre> |
193 | 93 | Mehdi Abaakouk | _note: si parted freeze -> lancer /etc/init.d/udev restart_ |
194 | 19 | Mehdi Abaakouk | |
195 | 128 | Mehdi Abaakouk | |
196 | 128 | Mehdi Abaakouk | On garde l'image raw qui sera importable dans ceph plus tard et on la mets à la racine pour qui l'utilisateur libvirt puisse y accéder. |
197 | 19 | Mehdi Abaakouk | |
198 | 24 | Mehdi Abaakouk | h4. Installation de la VM |
199 | 19 | Mehdi Abaakouk | |
200 | 1 | Mehdi Abaakouk | <pre> |
201 | 1 | Mehdi Abaakouk | $ |
202 | 153 | Mehdi Abaakouk | $ virt-install --name openstack --ram 2048 --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --network bridge=br-eth0,model=virtio --nographics --serial pty --wait -1 --noreboot --autostart --disk /openstack.raw,bus=virtio,cache=none,io=native --import |
203 | 153 | Mehdi Abaakouk | |
204 | 153 | Mehdi Abaakouk | $ virsh edit openstack |
205 | 153 | Mehdi Abaakouk | |
206 | 153 | Mehdi Abaakouk | # Pour chaque bridge ajouter, le vlan et openvswitch comme ceci: |
207 | 157 | Mehdi Abaakouk | # <vlan><tag id='3132'/></vlan><virtualport type='openvswitch'/> |
208 | 153 | Mehdi Abaakouk | |
209 | 144 | Mehdi Abaakouk | $ virsh start openstack |
210 | 1 | Mehdi Abaakouk | $ ssh root@89.234.156.249 -p 2222 |
211 | 19 | Mehdi Abaakouk | </pre> |
212 | 19 | Mehdi Abaakouk | |
213 | 24 | Mehdi Abaakouk | Une fois connecté à la VM: |
214 | 26 | Mehdi Abaakouk | |
215 | 26 | Mehdi Abaakouk | <pre> |
216 | 4 | Mehdi Abaakouk | $ apt-get install puppet |
217 | 26 | Mehdi Abaakouk | $ puppet agent --enable |
218 | 32 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
219 | 26 | Mehdi Abaakouk | Info: Caching certificate for ca |
220 | 34 | Mehdi Abaakouk | Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml |
221 | 34 | Mehdi Abaakouk | Info: Creating a new SSL certificate request for openstack.tetaneutral.net |
222 | 35 | Mehdi Abaakouk | Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E |
223 | 94 | Mehdi Abaakouk | Info: Caching certificate for ca |
224 | 35 | Mehdi Abaakouk | Exiting; no certificate found and waitforcert is disabled |
225 | 35 | Mehdi Abaakouk | </pre> |
226 | 35 | Mehdi Abaakouk | |
227 | 35 | Mehdi Abaakouk | Sur le puppetmaster: |
228 | 35 | Mehdi Abaakouk | |
229 | 35 | Mehdi Abaakouk | <pre> |
230 | 35 | Mehdi Abaakouk | $ puppet ca sign openstack.tetaneutral.net |
231 | 35 | Mehdi Abaakouk | </pre> |
232 | 35 | Mehdi Abaakouk | _note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_ |
233 | 35 | Mehdi Abaakouk | |
234 | 35 | Mehdi Abaakouk | De nouveau sur la VM: |
235 | 35 | Mehdi Abaakouk | |
236 | 35 | Mehdi Abaakouk | <pre> |
237 | 35 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
238 | 35 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
239 | 35 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
240 | 35 | Mehdi Abaakouk | </pre> |
241 | 64 | Mehdi Abaakouk | |
242 | 35 | Mehdi Abaakouk | Il ne doit plus y avoir d'erreur la 3°/4° fois. |
243 | 35 | Mehdi Abaakouk | |
244 | 35 | Mehdi Abaakouk | h3. Configuration des hyperviseurs |
245 | 35 | Mehdi Abaakouk | |
246 | 35 | Mehdi Abaakouk | Une fois la configuration réseau faite, tout ce fait avec puppet: |
247 | 35 | Mehdi Abaakouk | |
248 | 35 | Mehdi Abaakouk | <pre> |
249 | 35 | Mehdi Abaakouk | $ apt-get install puppet |
250 | 35 | Mehdi Abaakouk | $ puppet agent --enable |
251 | 35 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
252 | 35 | Mehdi Abaakouk | Info: Caching certificate for ca |
253 | 35 | Mehdi Abaakouk | Info: csr_attributes file loading from /etc/puppet/csr_attributes.yaml |
254 | 35 | Mehdi Abaakouk | Info: Creating a new SSL certificate request for openstack.tetaneutral.net |
255 | 35 | Mehdi Abaakouk | Info: Certificate Request fingerprint (SHA256): AE:72:47:40:A0:E2:F4:59:BA:39:FA:3D:C2:A7:C9:1B:9F:87:A5:B7:65:3A:F9:D4:DE:AF:E2:A3:02:41:0F:2E |
256 | 35 | Mehdi Abaakouk | Info: Caching certificate for ca |
257 | 35 | Mehdi Abaakouk | Exiting; no certificate found and waitforcert is disabled |
258 | 35 | Mehdi Abaakouk | </pre> |
259 | 35 | Mehdi Abaakouk | |
260 | 101 | Mehdi Abaakouk | Sur le puppetmaster: |
261 | 35 | Mehdi Abaakouk | |
262 | 35 | Mehdi Abaakouk | <pre> |
263 | 35 | Mehdi Abaakouk | $ puppet ca sign openstack.tetaneutral.net |
264 | 35 | Mehdi Abaakouk | </pre> |
265 | 35 | Mehdi Abaakouk | _note: si un vieux cert existe: puppet ca revoke openstack.tetaneutral.net ; puppet cert clean openstack.tetaneutral.net; puppet node clean openstack.tetaneutral.net_ |
266 | 35 | Mehdi Abaakouk | |
267 | 35 | Mehdi Abaakouk | De nouveau sur la VM: |
268 | 35 | Mehdi Abaakouk | |
269 | 35 | Mehdi Abaakouk | <pre> |
270 | 35 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
271 | 100 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
272 | 100 | Mehdi Abaakouk | $ puppet agent -vt --server puppet.tetaneutral.net --certname openstack.tetaneutral.net --pluginsync |
273 | 100 | Mehdi Abaakouk | </pre> |
274 | 100 | Mehdi Abaakouk | |
275 | 35 | Mehdi Abaakouk | Il ne doit plus y avoir d'erreur la 3°/4° fois. |
276 | 1 | Mehdi Abaakouk | |
277 | 72 | Mehdi Abaakouk | h4. Information sur la configuration d'un hyperviseur sur le puppet master |
278 | 37 | Mehdi Abaakouk | |
279 | 38 | Mehdi Abaakouk | La configuration puppet ressemble à : |
280 | 38 | Mehdi Abaakouk | |
281 | 109 | Mehdi Abaakouk | <pre> |
282 | 1 | Mehdi Abaakouk | node "gX.tetaneutral.net" inherits openstack_node_common { |
283 | 120 | Mehdi Abaakouk | # Configuration du routerid et de l'AS number de cette machine |
284 | 1 | Mehdi Abaakouk | # Il faut aussi mettre la conf bgp de h7 ainsi que les fichiers |
285 | 1 | Mehdi Abaakouk | # /etc/puppet/manifests/files/openstack-bird.conf.erb et |
286 | 125 | Mehdi Abaakouk | # /etc/puppet/manifests/files/openstack-bird6.conf.erb |
287 | 125 | Mehdi Abaakouk | # pour ajouter cette AS interne |
288 | 97 | Mehdi Abaakouk | ttnn_os_bird {'198.51.100.1': asnum => "65001"} |
289 | 109 | Mehdi Abaakouk | |
290 | 120 | Mehdi Abaakouk | # Dans le cas d'une moniteur ceph, mais uniquement 3 suffissent, on a déjà g1,g2,g3 |
291 | 109 | Mehdi Abaakouk | ttnn_ceph_mon {$::hostname:} |
292 | 88 | Mehdi Abaakouk | # Sinon utilisait: |
293 | 88 | Mehdi Abaakouk | # class{"ttnn_ceph_osd_only": } |
294 | 109 | Mehdi Abaakouk | |
295 | 88 | Mehdi Abaakouk | # La partie Openstack, l'uuid doit être unique par machine (générer avec uuid-gen) |
296 | 109 | Mehdi Abaakouk | ttnn_os_compute {"9d26ec10-a48b-4f0f-a122-f10ed16d270f": } |
297 | 109 | Mehdi Abaakouk | } |
298 | 109 | Mehdi Abaakouk | </pre> |
299 | 109 | Mehdi Abaakouk | |
300 | 109 | Mehdi Abaakouk | h3. Déplacement du disk du controlleur dans le cluster ceph |
301 | 109 | Mehdi Abaakouk | |
302 | 97 | Mehdi Abaakouk | Les recettes puppet on créé un pool disks pour les mettres les VMs et volumes de VM |
303 | 97 | Mehdi Abaakouk | |
304 | 109 | Mehdi Abaakouk | |
305 | 97 | Mehdi Abaakouk | Sur g1, on import le disque de la VM dans ceph et on modifie la conf libvirt: |
306 | 97 | Mehdi Abaakouk | |
307 | 109 | Mehdi Abaakouk | <pre> |
308 | 111 | Mehdi Abaakouk | $ virsh shutdown openstack |
309 | 1 | Mehdi Abaakouk | $ rbd -p disks import /var/lib/ceph/osd/ceph-0/openstack.raw openstack-disk |
310 | 1 | Mehdi Abaakouk | $ virsh edit openstack |
311 | 1 | Mehdi Abaakouk | </pre> |
312 | 120 | Mehdi Abaakouk | |
313 | 109 | Mehdi Abaakouk | Remplacer: |
314 | 112 | Mehdi Abaakouk | <pre> |
315 | 109 | Mehdi Abaakouk | <disk type='file' device='disk'> |
316 | 109 | Mehdi Abaakouk | <driver name='qemu' type='raw' cache='none' io='native'/> |
317 | 109 | Mehdi Abaakouk | <source file='/var/lib/ceph/osd/ceph-0/openstack.raw'/> |
318 | 110 | Mehdi Abaakouk | <target dev='vda' bus='virtio'/> |
319 | 109 | Mehdi Abaakouk | <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/> |
320 | 97 | Mehdi Abaakouk | </disk> |
321 | 97 | Mehdi Abaakouk | </pre> |
322 | 109 | Mehdi Abaakouk | |
323 | 97 | Mehdi Abaakouk | Par: |
324 | 97 | Mehdi Abaakouk | |
325 | 109 | Mehdi Abaakouk | <pre> |
326 | 109 | Mehdi Abaakouk | <disk type='network' device='disk'> |
327 | 109 | Mehdi Abaakouk | <driver name='qemu' type='raw'/> |
328 | 109 | Mehdi Abaakouk | <source protocol='rbd' name='disks/openstack-disk'> |
329 | 144 | Mehdi Abaakouk | <host name='192.168.99.101' port='6789'/> |
330 | 144 | Mehdi Abaakouk | <host name='192.168.99.102' port='6789'/> |
331 | 144 | Mehdi Abaakouk | <host name='192.168.99.103' port='6789'/> |
332 | 97 | Mehdi Abaakouk | </source> |
333 | 97 | Mehdi Abaakouk | <auth username='openstack-service'> |
334 | 109 | Mehdi Abaakouk | <secret type='ceph' uuid='1fe74663-8dfa-486c-bb80-3bd94c90c967'/> |
335 | 97 | Mehdi Abaakouk | </auth> |
336 | 97 | Mehdi Abaakouk | <target dev='vda' bus='virtio'/> |
337 | 97 | Mehdi Abaakouk | <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/> |
338 | 97 | Mehdi Abaakouk | </disk> |
339 | 97 | Mehdi Abaakouk | </pre> |
340 | 97 | Mehdi Abaakouk | |
341 | 97 | Mehdi Abaakouk | La clé ceph pour libvirt a déjà été installé par puppet pour avoir sont uuid: |
342 | 97 | Mehdi Abaakouk | |
343 | 97 | Mehdi Abaakouk | <pre> |
344 | 97 | Mehdi Abaakouk | $ virsh secret-list |
345 | 97 | Mehdi Abaakouk | UUID Usage |
346 | 97 | Mehdi Abaakouk | -------------------------------------------------------------------------------- |
347 | 97 | Mehdi Abaakouk | 1fe74663-8dfa-486c-bb80-3bd94c90c967 ceph client.openstack-service secret |
348 | 97 | Mehdi Abaakouk | </pre> |
349 | 97 | Mehdi Abaakouk | |
350 | 97 | Mehdi Abaakouk | Puis on démarre |
351 | 97 | Mehdi Abaakouk | |
352 | 97 | Mehdi Abaakouk | <pre> |
353 | 97 | Mehdi Abaakouk | $ virsh start openstack |
354 | 97 | Mehdi Abaakouk | </pre> |
355 | 97 | Mehdi Abaakouk | |
356 | 97 | Mehdi Abaakouk | |
357 | 97 | Mehdi Abaakouk | Ca marche ! |
358 | 97 | Mehdi Abaakouk | |
359 | 97 | Mehdi Abaakouk | <pre> |
360 | 68 | Mehdi Abaakouk | $ ssh openstack.t |
361 | 68 | Mehdi Abaakouk | X11 forwarding request failed on channel 0 |
362 | 68 | Mehdi Abaakouk | |
363 | 68 | Mehdi Abaakouk | server: openstack.tetaneutral.net |
364 | 102 | Mehdi Abaakouk | system: Debian jessie/sid, kernel 3.14-2-amd64, puppet 3.6.1 |
365 | 1 | Mehdi Abaakouk | cpu: 1/1 (QEMU Virtual CPU version 2.1.0) |
366 | 102 | Mehdi Abaakouk | memory: 1.96 GB |
367 | 1 | Mehdi Abaakouk | |
368 | 102 | Mehdi Abaakouk | eth0: 52:54:00:90:d8:c7 / 89.234.156.249 / 2a01:6600:8083:f900::1 |
369 | 102 | Mehdi Abaakouk | eth1: 52:54:00:13:fa:13 / 192.168.3.100 |
370 | 68 | Mehdi Abaakouk | |
371 | 68 | Mehdi Abaakouk | modules: openstack_node_common ttnn::server resolver checkmk::agent checkmk::client rsyslog::client rsyslog apt apt::update puppet nullmailer backup::client sexymotd |
372 | 68 | Mehdi Abaakouk | _ _ |
373 | 68 | Mehdi Abaakouk | ___ _ __ ___ _ __ ___| |_ __ _ ___| | __ |
374 | 68 | Mehdi Abaakouk | / _ \| '_ \ / _ \ '_ \/ __| __/ _` |/ __| |/ / |
375 | 68 | Mehdi Abaakouk | | (_) | |_) | __/ | | \__ \ || (_| | (__| < |
376 | 68 | Mehdi Abaakouk | \___/| .__/ \___|_| |_|___/\__\__,_|\___|_|\_\ |
377 | 68 | Mehdi Abaakouk | |_| |
378 | 68 | Mehdi Abaakouk | Last login: Wed Aug 27 08:10:02 2014 from atoulouse-652-1-119-50.w2-6.abo.wanadoo.fr |
379 | 68 | Mehdi Abaakouk | root@openstack:~# |
380 | 68 | Mehdi Abaakouk | |
381 | 68 | Mehdi Abaakouk | </pre> |
382 | 68 | Mehdi Abaakouk | |
383 | 68 | Mehdi Abaakouk | h2. Preparation des OSD pour ceph |
384 | 68 | Mehdi Abaakouk | |
385 | 68 | Mehdi Abaakouk | h3. Cas général un disque entier: |
386 | 68 | Mehdi Abaakouk | |
387 | 158 | Mehdi Abaakouk | <pre> |
388 | 68 | Mehdi Abaakouk | $ ceph-disk prepare /dev/sdb |
389 | 168 | Mehdi Abaakouk | $ ceph-disk activate /dev/sdb1 |
390 | 158 | Mehdi Abaakouk | $ smartctl --smart=on /dev/sdb # Pour le monitoring. |
391 | 158 | Mehdi Abaakouk | </pre> |
392 | 68 | Mehdi Abaakouk | |
393 | 1 | Mehdi Abaakouk | h3. Cas particulier du SSD ou ce trouve l'OS |
394 | 68 | Mehdi Abaakouk | |
395 | 103 | Mehdi Abaakouk | En général avec ceph, on donne un disque, ceph créé 2 partitions une pour le journal de l'OSD, l'autre pour les datas |
396 | 1 | Mehdi Abaakouk | mais pour le SSD de tetaneutral qui a aussi l'OS, voici la méthode |
397 | 34 | Mehdi Abaakouk | |
398 | 103 | Mehdi Abaakouk | Création manuelle de la partition de data ceph /dev/sda2 ici |
399 | 102 | Mehdi Abaakouk | |
400 | 1 | Mehdi Abaakouk | <pre> |
401 | 1 | Mehdi Abaakouk | $ fdisk /dev/sda |
402 | 102 | Mehdi Abaakouk | |
403 | 102 | Mehdi Abaakouk | n |
404 | 102 | Mehdi Abaakouk | p |
405 | 102 | Mehdi Abaakouk | <enter> |
406 | 102 | Mehdi Abaakouk | <enter> |
407 | 102 | Mehdi Abaakouk | <enter> |
408 | 102 | Mehdi Abaakouk | <enter> |
409 | 104 | Mehdi Abaakouk | w |
410 | 104 | Mehdi Abaakouk | |
411 | 104 | Mehdi Abaakouk | $ partprobe |
412 | 104 | Mehdi Abaakouk | </pre> |
413 | 104 | Mehdi Abaakouk | |
414 | 104 | Mehdi Abaakouk | On prepare le disk comme normalement |
415 | 105 | Mehdi Abaakouk | |
416 | 104 | Mehdi Abaakouk | <pre> |
417 | 104 | Mehdi Abaakouk | ceph-disk prepare /dev/sda2 |
418 | 106 | Mehdi Abaakouk | ceph-disk activate /dev/sda2 |
419 | 104 | Mehdi Abaakouk | </pre> |
420 | 104 | Mehdi Abaakouk | |
421 | 116 | Mehdi Abaakouk | Le disque n'étant pas utilisé uniquement par ceph, le service ceph ne le chargera pas automatiquement: |
422 | 116 | Mehdi Abaakouk | Il faut ajouter ceci dans le /etc/rc.local: |
423 | 116 | Mehdi Abaakouk | |
424 | 116 | Mehdi Abaakouk | <pre> |
425 | 116 | Mehdi Abaakouk | ceph-disk activate /dev/sda2 |
426 | 116 | Mehdi Abaakouk | </pre> |
427 | 116 | Mehdi Abaakouk | |
428 | 116 | Mehdi Abaakouk | 3. Suppression OSD: |
429 | 116 | Mehdi Abaakouk | |
430 | 116 | Mehdi Abaakouk | <pre> |
431 | 116 | Mehdi Abaakouk | name="osd.2" |
432 | 116 | Mehdi Abaakouk | ceph osd out ${name} |
433 | 116 | Mehdi Abaakouk | /etc/init.d/ceph stop ${name} |
434 | 116 | Mehdi Abaakouk | ceph osd crush remove ${name} |
435 | 116 | Mehdi Abaakouk | ceph auth del ${name} |
436 | 116 | Mehdi Abaakouk | ceph osd rm ${name} |
437 | 116 | Mehdi Abaakouk | ceph osd tree |
438 | 116 | Mehdi Abaakouk | </pre> |
439 | 116 | Mehdi Abaakouk | |
440 | 116 | Mehdi Abaakouk | h2. Configuration des Placements Groups des pools: |
441 | 116 | Mehdi Abaakouk | |
442 | 142 | Mehdi Abaakouk | Par défaut les pools sont créés avec des placements groups à 8 (pg_num=8), 3 replicats, avec un tolérance à 2, si il manque des OSDs" |
443 | 116 | Mehdi Abaakouk | |
444 | 116 | Mehdi Abaakouk | Mais cette valeur (pg_num) défini le bon fonctionnement de ceph. Dans le cas standard (ie: 1 seul pool) la recette est facile: |
445 | 116 | Mehdi Abaakouk | |
446 | 116 | Mehdi Abaakouk | <pre> |
447 | 116 | Mehdi Abaakouk | (OSDs * 100) |
448 | 116 | Mehdi Abaakouk | Total PGs = ( ------------ ) |
449 | 116 | Mehdi Abaakouk | OSD per object |
450 | 116 | Mehdi Abaakouk | </pre> |
451 | 116 | Mehdi Abaakouk | |
452 | 142 | Mehdi Abaakouk | On arrondi à la puissance de 2 supérieurs. Mais dans notre cas 3 pools ce n'est pas si simple, les pools auront des cas d'utilisation différent: |
453 | 116 | Mehdi Abaakouk | |
454 | 116 | Mehdi Abaakouk | Ma proposition de configuration: |
455 | 107 | Mehdi Abaakouk | * Pool ssds: il a 3 OSDs pour lui tout seul, on applique la recette magique: 3*100/3 ~= 128 pgs |
456 | 1 | Mehdi Abaakouk | * Pools images et disks: ils ont 3 OSDs à ce partager donc il faut répartir les 128 pgs. soit 32pgs et 96pgs (PS: il faut au moins 20pgs pour 3 réplicats) |
457 | 69 | Mehdi Abaakouk | |
458 | 1 | Mehdi Abaakouk | Soit: |
459 | 1 | Mehdi Abaakouk | <pre> |
460 | 79 | Mehdi Abaakouk | ceph osd pool set ssds pg_num 128 |
461 | 1 | Mehdi Abaakouk | ceph osd pool set images pg_num 32 |
462 | 1 | Mehdi Abaakouk | ceph osd pool set disks pg_num 96 |
463 | 1 | Mehdi Abaakouk | |
464 | 1 | Mehdi Abaakouk | # attendre un peu qu'il y est plus de pg_create dans 'ceph -s' |
465 | 121 | Mehdi Abaakouk | ceph osd pool set ssds pgp_num 128 |
466 | 121 | Mehdi Abaakouk | ceph osd pool set images pgp_num 32 |
467 | 121 | Mehdi Abaakouk | ceph osd pool set disks pgp_num 96 |
468 | 121 | Mehdi Abaakouk | </pre> |
469 | 1 | Mehdi Abaakouk | |
470 | 107 | Mehdi Abaakouk | |
471 | 1 | Mehdi Abaakouk | |
472 | 107 | Mehdi Abaakouk | _ref: http://ceph.com/docs/master/rados/operations/placement-groups/_ |
473 | 107 | Mehdi Abaakouk | |
474 | 1 | Mehdi Abaakouk | h2. Preparation du Pool SSD pour ceph |
475 | 107 | Mehdi Abaakouk | |
476 | 107 | Mehdi Abaakouk | Chaque machine se trouve dans 2 hosts, un host SSD et un host HARDDISK (même si en réalité les deux sont sur la même machine physique), |
477 | 107 | Mehdi Abaakouk | |
478 | 107 | Mehdi Abaakouk | Ensuite on créé 2 object root un pour les hosts SSD et un autre pour les host HARDDISK |
479 | 107 | Mehdi Abaakouk | |
480 | 107 | Mehdi Abaakouk | On créé ensuite 2 règles de stockage une qui envoie les objects vers le root SSD et l'autre vers le root HARDDISK |
481 | 107 | Mehdi Abaakouk | |
482 | 107 | Mehdi Abaakouk | Cela permettra d'avoir de définir une règle différente suivant les pools ceph. |
483 | 107 | Mehdi Abaakouk | |
484 | 107 | Mehdi Abaakouk | Niveau Openstack nous avons 3 pools: |
485 | 107 | Mehdi Abaakouk | * disks: Ce pool aura les disques de VM et les volumes attaché |
486 | 107 | Mehdi Abaakouk | * ssds: Ce pool contiendra les volumes sur ssd |
487 | 107 | Mehdi Abaakouk | * images: c'est la que seront stocké les images de VMs (glance). |
488 | 122 | Mehdi Abaakouk | |
489 | 122 | Mehdi Abaakouk | h3. Configuration de la crushmap de ceph: |
490 | 122 | Mehdi Abaakouk | |
491 | 135 | Mehdi Abaakouk | Il faut s'assurer que la crushmap n'est pas en mode automatique (c'est déjà configuré par puppet): |
492 | 122 | Mehdi Abaakouk | |
493 | 1 | Mehdi Abaakouk | <pre> |
494 | 135 | Mehdi Abaakouk | [global] |
495 | 135 | Mehdi Abaakouk | osd crush update on start = false |
496 | 135 | Mehdi Abaakouk | </pre> |
497 | 135 | Mehdi Abaakouk | |
498 | 135 | Mehdi Abaakouk | Création de l'arbre de rangement physique des SSD, l'arbre nommé 'default' sera donc celui des disques durs |
499 | 135 | Mehdi Abaakouk | |
500 | 135 | Mehdi Abaakouk | <pre> |
501 | 122 | Mehdi Abaakouk | $ ceph osd crush add-bucket ssd root |
502 | 122 | Mehdi Abaakouk | $ ceph osd crush add-bucket g1-ssd host |
503 | 122 | Mehdi Abaakouk | $ ceph osd crush add-bucket g2-ssd host |
504 | 122 | Mehdi Abaakouk | $ ceph osd crush add-bucket g3-ssd host |
505 | 1 | Mehdi Abaakouk | $ ceph osd crush move g1-ssd root=ssd |
506 | 1 | Mehdi Abaakouk | $ ceph osd crush move g2-ssd root=ssd |
507 | 1 | Mehdi Abaakouk | $ ceph osd crush move g3-ssd root=ssd |
508 | 107 | Mehdi Abaakouk | $ ceph osd tree |
509 | 107 | Mehdi Abaakouk | # id weight type name up/down reweight |
510 | 1 | Mehdi Abaakouk | -5 0 root ssd |
511 | 118 | Mehdi Abaakouk | -6 0 host g1-ssd |
512 | 118 | Mehdi Abaakouk | -7 0 host g2-ssd |
513 | 118 | Mehdi Abaakouk | -8 0 host g3-ssd |
514 | 118 | Mehdi Abaakouk | -1 3 root default |
515 | 117 | Mehdi Abaakouk | -2 1 host g1 |
516 | 117 | Mehdi Abaakouk | 0 1 osd.0 up 1 |
517 | 117 | Mehdi Abaakouk | 3 1 osd.3 up 1 |
518 | 118 | Mehdi Abaakouk | -3 1 host g2 |
519 | 118 | Mehdi Abaakouk | 1 1 osd.1 up 1 |
520 | 107 | Mehdi Abaakouk | 4 1 osd.4 up 1 |
521 | 107 | Mehdi Abaakouk | -4 1 host g3 |
522 | 122 | Mehdi Abaakouk | 2 1 osd.2 up 1 |
523 | 122 | Mehdi Abaakouk | 5 1 osd.5 up 1 |
524 | 122 | Mehdi Abaakouk | </pre> |
525 | 122 | Mehdi Abaakouk | |
526 | 122 | Mehdi Abaakouk | |
527 | 122 | Mehdi Abaakouk | On range les osd qui ont des disques SSD dans ce nouvel arbre. |
528 | 122 | Mehdi Abaakouk | |
529 | 122 | Mehdi Abaakouk | <pre> |
530 | 122 | Mehdi Abaakouk | $ ceph osd crush add osd.3 1 root=ssd host=g1-ssd |
531 | 122 | Mehdi Abaakouk | $ ceph osd crush add osd.4 1 root=ssd host=g2-ssd |
532 | 122 | Mehdi Abaakouk | $ ceph osd crush add osd.5 1 root=ssd host=g3-ssd |
533 | 122 | Mehdi Abaakouk | # Ou si l'osd a déjà éte positionné une fois |
534 | 122 | Mehdi Abaakouk | $ ceph osd crush set osd.3 1 root=ssd host=g1-ssd |
535 | 122 | Mehdi Abaakouk | $ ceph osd crush set osd.4 1 root=ssd host=g2-ssd |
536 | 96 | Mehdi Abaakouk | $ ceph osd crush set osd.5 1 root=ssd host=g3-ssd |
537 | 96 | Mehdi Abaakouk | |
538 | 108 | Mehdi Abaakouk | # Vérifier le résultat |
539 | 107 | Mehdi Abaakouk | $ ceph osd tree |
540 | 96 | Mehdi Abaakouk | # id weight type name up/down reweight |
541 | 96 | Mehdi Abaakouk | -5 3 root ssd |
542 | 121 | Mehdi Abaakouk | -6 1 host g1-ssd |
543 | 96 | Mehdi Abaakouk | 3 1 osd.3 up 1 |
544 | 107 | Mehdi Abaakouk | -7 1 host g2-ssd |
545 | 107 | Mehdi Abaakouk | 4 1 osd.4 up 1 |
546 | 107 | Mehdi Abaakouk | -8 1 host g3-ssd |
547 | 107 | Mehdi Abaakouk | 5 1 osd.5 up 1 |
548 | 107 | Mehdi Abaakouk | -1 3 root default |
549 | 107 | Mehdi Abaakouk | -2 1 host g1 |
550 | 107 | Mehdi Abaakouk | 0 1 osd.0 up 1 |
551 | 107 | Mehdi Abaakouk | -3 1 host g2 |
552 | 107 | Mehdi Abaakouk | 1 1 osd.1 up 1 |
553 | 107 | Mehdi Abaakouk | -4 1 host g3 |
554 | 107 | Mehdi Abaakouk | 2 1 osd.2 up 1 |
555 | 107 | Mehdi Abaakouk | </pre> |
556 | 107 | Mehdi Abaakouk | |
557 | 107 | Mehdi Abaakouk | h3. Definition de la crushmap de ttnn |
558 | 107 | Mehdi Abaakouk | |
559 | 107 | Mehdi Abaakouk | |
560 | 107 | Mehdi Abaakouk | Une fois la crushmap modifié on créée et applique la règle sur le pool ssds: |
561 | 107 | Mehdi Abaakouk | |
562 | 107 | Mehdi Abaakouk | <pre> |
563 | 107 | Mehdi Abaakouk | $ ceph osd crush rule create-simple ssd_replicated_ruleset ssd host firstn |
564 | 107 | Mehdi Abaakouk | $ ceph osd crush rule dump |
565 | 107 | Mehdi Abaakouk | [ |
566 | 107 | Mehdi Abaakouk | { "rule_id": 0, |
567 | 107 | Mehdi Abaakouk | "rule_name": "replicated_ruleset", |
568 | 1 | Mehdi Abaakouk | "ruleset": 0, |
569 | 107 | Mehdi Abaakouk | "type": 1, |
570 | 107 | Mehdi Abaakouk | "min_size": 1, |
571 | 107 | Mehdi Abaakouk | "max_size": 10, |
572 | 107 | Mehdi Abaakouk | "steps": [ |
573 | 107 | Mehdi Abaakouk | { "op": "take", |
574 | 107 | Mehdi Abaakouk | "item": -1, |
575 | 1 | Mehdi Abaakouk | "item_name": "default"}, |
576 | 121 | Mehdi Abaakouk | { "op": "chooseleaf_firstn", |
577 | 1 | Mehdi Abaakouk | "num": 0, |
578 | 1 | Mehdi Abaakouk | "type": "host"}, |
579 | 107 | Mehdi Abaakouk | { "op": "emit"}]}, |
580 | 1 | Mehdi Abaakouk | { "rule_id": 1, |
581 | 1 | Mehdi Abaakouk | "rule_name": "ssd_replicated_ruleset", |
582 | 107 | Mehdi Abaakouk | "ruleset": 1, |
583 | 1 | Mehdi Abaakouk | "type": 1, |
584 | 1 | Mehdi Abaakouk | "min_size": 1, |
585 | 1 | Mehdi Abaakouk | "max_size": 10, |
586 | 113 | Mehdi Abaakouk | "steps": [ |
587 | 114 | Mehdi Abaakouk | { "op": "take", |
588 | 1 | Mehdi Abaakouk | "item": -5, |
589 | 114 | Mehdi Abaakouk | "item_name": "ssd"}, |
590 | 113 | Mehdi Abaakouk | { "op": "chooseleaf_firstn", |
591 | 113 | Mehdi Abaakouk | "num": 0, |
592 | 113 | Mehdi Abaakouk | "type": "host"}, |
593 | 113 | Mehdi Abaakouk | { "op": "emit"}]}] |
594 | 113 | Mehdi Abaakouk | |
595 | 113 | Mehdi Abaakouk | $ ceph osd pool set ssds crush_ruleset 1 |
596 | 113 | Mehdi Abaakouk | </pre> |
597 | 1 | Mehdi Abaakouk | |
598 | 114 | Mehdi Abaakouk | Il faut ensuite attendre que ceph redistribue les data comme on lui a demandé, on peut suivre l'avancement avec : |
599 | 114 | Mehdi Abaakouk | |
600 | 114 | Mehdi Abaakouk | <pre> |
601 | 114 | Mehdi Abaakouk | ceph -s |
602 | 114 | Mehdi Abaakouk | </pre> |
603 | 115 | Mehdi Abaakouk | |
604 | 167 | Mehdi Abaakouk | h2. Activer le cache-tiering |
605 | 167 | Mehdi Abaakouk | |
606 | 167 | Mehdi Abaakouk | http://ceph.com/docs/master/rados/operations/cache-tiering/ |
607 | 167 | Mehdi Abaakouk | |
608 | 167 | Mehdi Abaakouk | <pre> |
609 | 167 | Mehdi Abaakouk | ceph mkpool ssd-cache |
610 | 167 | Mehdi Abaakouk | ceph osd tier add disks ssd-cache |
611 | 167 | Mehdi Abaakouk | ceph osd tier cache-mode ssd-cache writeback |
612 | 167 | Mehdi Abaakouk | ceph osd tier set-overlay disks ssd-cache |
613 | 167 | Mehdi Abaakouk | </pre> |
614 | 167 | Mehdi Abaakouk | |
615 | 167 | Mehdi Abaakouk | |
616 | 154 | Laurent GUERBY | h2. Migration IP ceph |
617 | 154 | Laurent GUERBY | |
618 | 154 | Laurent GUERBY | Au besoin pour passer cluster de test a dev |
619 | 154 | Laurent GUERBY | * http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-messy-way |
620 | 154 | Laurent GUERBY | * http://ceph.com/docs/master/rados/operations/add-or-rm-mons/#changing-a-monitor-s-ip-address-the-right-way |
621 | 154 | Laurent GUERBY | |
622 | 115 | Mehdi Abaakouk | h2. Management d'openstack |
623 | 114 | Mehdi Abaakouk | |
624 | 138 | Mehdi Abaakouk | h3. Exemple de migration de ganeti à openstack: |
625 | 138 | Mehdi Abaakouk | |
626 | 138 | Mehdi Abaakouk | Sur h4: |
627 | 138 | Mehdi Abaakouk | <pre> |
628 | 138 | Mehdi Abaakouk | $ gnt-instance stop VMNAME.tetaneutral.net |
629 | 138 | Mehdi Abaakouk | $ gnt-instance activate-disks VMNAME.tetaneutral.net |
630 | 138 | Mehdi Abaakouk | h5.tetaneutral.net:disk/0:/dev/drbd34 |
631 | 138 | Mehdi Abaakouk | </pre> |
632 | 138 | Mehdi Abaakouk | |
633 | 138 | Mehdi Abaakouk | |
634 | 138 | Mehdi Abaakouk | Sur g1, mettre l'image dans glance |
635 | 138 | Mehdi Abaakouk | <pre> |
636 | 138 | Mehdi Abaakouk | name=VMNAME.tetaneutral.net |
637 | 163 | Mehdi Abaakouk | </pre> |
638 | 1 | Mehdi Abaakouk | |
639 | 163 | Mehdi Abaakouk | Crée un volume (remplacer 20 par la taille du disque désiré): |
640 | 163 | Mehdi Abaakouk | |
641 | 1 | Mehdi Abaakouk | <pre> |
642 | 163 | Mehdi Abaakouk | cinder create --volume_type ceph --display-name ${name}-bootdisk 20 # mettre ici un peu plus grand que le vrai disque. |
643 | 1 | Mehdi Abaakouk | volume_id=$(cinder show ${name}-bootdisk | awk '/ id /{print $4}') |
644 | 163 | Mehdi Abaakouk | </pre> |
645 | 162 | Mehdi Abaakouk | |
646 | 163 | Mehdi Abaakouk | On remplace le volume rbd par le disque de la VM: |
647 | 165 | Mehdi Abaakouk | |
648 | 163 | Mehdi Abaakouk | <pre> |
649 | 1 | Mehdi Abaakouk | rbd -p disks mv volume-$volume_id disks/volume-${volume_id}.old |
650 | 165 | Mehdi Abaakouk | socat -u tcp4-listen:505555 - | rbd -p disks import - volume-$volume_id |
651 | 165 | Mehdi Abaakouk | </pre> |
652 | 165 | Mehdi Abaakouk | |
653 | 165 | Mehdi Abaakouk | Sur la machine hX qui as le disque (ici h5 et le disque drbd34) |
654 | 165 | Mehdi Abaakouk | <pre> |
655 | 165 | Mehdi Abaakouk | cat /dev/drbd34 | socat -u - tcp4:g1:505555 |
656 | 169 | Mehdi Abaakouk | # ou avec une bar de progression |
657 | 169 | Mehdi Abaakouk | apt-get install pv |
658 | 169 | Mehdi Abaakouk | pv /dev/drbd34 | socat -u - tcp4:g1:505555 |
659 | 165 | Mehdi Abaakouk | </pre> |
660 | 164 | Mehdi Abaakouk | |
661 | 166 | Mehdi Abaakouk | <pre> |
662 | 164 | Mehdi Abaakouk | # On peut voir l'avancement via: |
663 | 164 | Mehdi Abaakouk | watch -n1 -- rbd -p disks info volume-$volume_id |
664 | 163 | Mehdi Abaakouk | </pre> |
665 | 162 | Mehdi Abaakouk | |
666 | 163 | Mehdi Abaakouk | On change la taille de l'image pour mettre la meme que le volume créé par openstack |
667 | 163 | Mehdi Abaakouk | |
668 | 163 | Mehdi Abaakouk | <pre> |
669 | 162 | Mehdi Abaakouk | rbd -p disks info volume-$volume_id.old |
670 | 162 | Mehdi Abaakouk | rbd image 'volume-$volume_id.old': |
671 | 162 | Mehdi Abaakouk | size 20480 MB in 5120 objects |
672 | 162 | Mehdi Abaakouk | order 22 (4096 kB objects) |
673 | 162 | Mehdi Abaakouk | block_name_prefix: rbd_data.752a15a94252f |
674 | 162 | Mehdi Abaakouk | format: 2 |
675 | 1 | Mehdi Abaakouk | features: layering |
676 | 162 | Mehdi Abaakouk | rbd -p disks resize --size 20480 volume-$volume_id |
677 | 162 | Mehdi Abaakouk | </pre> |
678 | 161 | Mehdi Abaakouk | |
679 | 138 | Mehdi Abaakouk | Booter la VM avec ce disque (le disque existant déjà le script l'utilisera): |
680 | 163 | Mehdi Abaakouk | |
681 | 1 | Mehdi Abaakouk | <pre> |
682 | 162 | Mehdi Abaakouk | ./boot-vm.sh --ip 91.224.149.253 ${name} |
683 | 140 | Mehdi Abaakouk | </pre> |
684 | 139 | Mehdi Abaakouk | |
685 | 162 | Mehdi Abaakouk | _Note: Si le disque a été agrandi, on peut utiliser dans la VM "growpart /dev/vda 1" pour récupérer l'espace disponible_ |
686 | 138 | Mehdi Abaakouk | |
687 | 138 | Mehdi Abaakouk | Supprimer l'image d'origine |
688 | 138 | Mehdi Abaakouk | <pre> |
689 | 138 | Mehdi Abaakouk | glance image-delete temp-$name |
690 | 138 | Mehdi Abaakouk | </pre> |
691 | 138 | Mehdi Abaakouk | |
692 | 138 | Mehdi Abaakouk | Quand c'est fini sur h4: |
693 | 138 | Mehdi Abaakouk | |
694 | 138 | Mehdi Abaakouk | <pre> |
695 | 138 | Mehdi Abaakouk | gnt-instance deactivate-disks VMNAME.tetaneutral.net |
696 | 114 | Mehdi Abaakouk | </pre> |
697 | 114 | Mehdi Abaakouk | |
698 | 114 | Mehdi Abaakouk | h2. Maintenant de la VM de management |
699 | 114 | Mehdi Abaakouk | |
700 | 114 | Mehdi Abaakouk | h3. Live Migration d'un host à l'autre |
701 | 114 | Mehdi Abaakouk | |
702 | 114 | Mehdi Abaakouk | Cela fait tout à notre place niveau kvm/libvirt/ceph |
703 | 114 | Mehdi Abaakouk | |
704 | 114 | Mehdi Abaakouk | <pre> |
705 | 114 | Mehdi Abaakouk | virsh migrate --persistent --undefinesource --live --p2p openstack qemu+ssh://g2:2222/system |
706 | 114 | Mehdi Abaakouk | </pre> |
707 | 114 | Mehdi Abaakouk | |
708 | 114 | Mehdi Abaakouk | Pour le réseau le service/script 'tetaneutral-openstack-routing-daemon.sh' s'occupe de basculer les routes automatiquement. |
709 | 114 | Mehdi Abaakouk | |
710 | 137 | Mehdi Abaakouk | h3. Recover depuis une perte de la machine hote: |
711 | 114 | Mehdi Abaakouk | |
712 | 1 | Mehdi Abaakouk | Créé un fichier openstack.xml à partir d'un backup de '/etc/libvirt/qemu/openstack.xml' ou utiliser l'exemple ici: attachment:openstack.xml |
713 | 1 | Mehdi Abaakouk | |
714 | 1 | Mehdi Abaakouk | _Note: il faut surement viré les uuid des interfaces openvswitch qui sont différent suivant le hosts_ |
715 | 1 | Mehdi Abaakouk | |
716 | 1 | Mehdi Abaakouk | Puis on recréé la VM |
717 | 1 | Mehdi Abaakouk | |
718 | 1 | Mehdi Abaakouk | <pre> |
719 | 1 | Mehdi Abaakouk | $ virsh create openstack.xml |
720 | 1 | Mehdi Abaakouk | $ virsh start openstack.xml |
721 | 1 | Mehdi Abaakouk | </pre> |