Projet

Général

Profil

PUPPET » Historique » Version 13

Mehdi Abaakouk, 09/08/2012 14:12

1 6 Mehdi Abaakouk
h1. Master of Puppet
2 1 Mehdi Abaakouk
3 10 Laurent GUERBY
h2. Misc links
4 10 Laurent GUERBY
5 10 Laurent GUERBY
* http://finninday.net/wiki/index.php/Zero_to_puppet_in_one_day
6 11 Laurent GUERBY
* http://blog.wikimedia.org/2011/09/19/ever-wondered-how-the-wikimedia-servers-are-configured/
7 12 Laurent GUERBY
* https://gerrit.wikimedia.org/r/gitweb?p=operations/puppet.git;a=tree
8 11 Laurent GUERBY
* http://blog.wikimedia.org/2012/04/16/introduction-to-wikimedia-labs/
9 13 Mehdi Abaakouk
* http://docs.puppetlabs.com/references/stable/
10 13 Mehdi Abaakouk
* http://madeinsyria.fr/2011/06/howto-puppet-administration-et-industrialisation-de-masse/
11 10 Laurent GUERBY
12 6 Mehdi Abaakouk
h2. Exemple duplication www avec puppet et les backups:
13 1 Mehdi Abaakouk
14 6 Mehdi Abaakouk
Installation d'une vm (ici: puppet-tester) avec ganeti:
15 6 Mehdi Abaakouk
16 6 Mehdi Abaakouk
sur h1:
17 6 Mehdi Abaakouk
<pre>
18 6 Mehdi Abaakouk
./gnt-addvm puppet-tester
19 6 Mehdi Abaakouk
</pre>
20 6 Mehdi Abaakouk
21 7 Mehdi Abaakouk
Sur puppet-tester, restauration du dernier backup de /var/www de www.tetaneutral.net qui se trouve sur h2 (Je passe l'installation de clé pgp):
22 7 Mehdi Abaakouk
23 7 Mehdi Abaakouk
<pre>
24 7 Mehdi Abaakouk
cat www.tetaneutral.net-var-www.20120102.master.tar.gz | gpg -d | tar -xzf - -C /
25 7 Mehdi Abaakouk
cat www.tetaneutral.net-var-www.20120103.tar.gz | gpg -d | tar -xzf - -C /
26 8 Mehdi Abaakouk
cat www.tetaneutral.net-var-www.20120104.tar.gz | gpg -d | tar -xzf - -C /
27 7 Mehdi Abaakouk
</pre>
28 6 Mehdi Abaakouk
29 6 Mehdi Abaakouk
Puis installation de puppet:
30 6 Mehdi Abaakouk
<pre>
31 6 Mehdi Abaakouk
$ apt-get install puppet
32 6 Mehdi Abaakouk
33 6 Mehdi Abaakouk
$ cat /etc/puppet/puppet.conf ajouter:
34 6 Mehdi Abaakouk
[main]
35 6 Mehdi Abaakouk
logdir=/var/log/puppet
36 6 Mehdi Abaakouk
vardir=/var/lib/puppet
37 6 Mehdi Abaakouk
ssldir=/var/lib/puppet/ssl
38 6 Mehdi Abaakouk
rundir=/var/run/puppet
39 6 Mehdi Abaakouk
factpath=$vardir/lib/facter
40 6 Mehdi Abaakouk
templatedir=$confdir/templates
41 6 Mehdi Abaakouk
pluginsync = true
42 6 Mehdi Abaakouk
43 6 Mehdi Abaakouk
[agent]
44 6 Mehdi Abaakouk
server=puppet.tetaneutral.net
45 6 Mehdi Abaakouk
46 6 Mehdi Abaakouk
$ puppet agent --test
47 6 Mehdi Abaakouk
</pre>
48 6 Mehdi Abaakouk
49 6 Mehdi Abaakouk
Sur puppet.teteneutral.net, dans le fichier nodes.pp copie du bloc de la machine www en puppet-tester
50 6 Mehdi Abaakouk
puis on sign la cle de puppet-tester
51 6 Mehdi Abaakouk
<pre>
52 6 Mehdi Abaakouk
puppetca --sign puppet-tester.tetaneutral.net
53 6 Mehdi Abaakouk
</pre>
54 6 Mehdi Abaakouk
55 6 Mehdi Abaakouk
sur puppet-tester, on descend la configuration via puppet:
56 6 Mehdi Abaakouk
57 6 Mehdi Abaakouk
<pre>puppet agent --test</pre>
58 6 Mehdi Abaakouk
59 6 Mehdi Abaakouk
et pour finir on restaure le backup mysql:
60 6 Mehdi Abaakouk
61 6 Mehdi Abaakouk
<pre>
62 1 Mehdi Abaakouk
mysql -u root < www.tetaneutral.net-all-mysql-databases.20120103.sql
63 13 Mehdi Abaakouk
</pre
64 1 Mehdi Abaakouk
65 13 Mehdi Abaakouk
Et c'est fini !
66 6 Mehdi Abaakouk
67 13 Mehdi Abaakouk
h2. Ajout d'une machine (obsolete):
68 1 Mehdi Abaakouk
69 1 Mehdi Abaakouk
Sur le client:
70 1 Mehdi Abaakouk
71 1 Mehdi Abaakouk
<pre>
72 1 Mehdi Abaakouk
$ apt-get install puppet
73 1 Mehdi Abaakouk
</pre>
74 1 Mehdi Abaakouk
75 1 Mehdi Abaakouk
dans /etc/default/puppet mettre:
76 1 Mehdi Abaakouk
<pre>
77 1 Mehdi Abaakouk
START=yes
78 1 Mehdi Abaakouk
</pre>
79 1 Mehdi Abaakouk
80 1 Mehdi Abaakouk
et dans /etc/puppet/puppet.conf ajouter:
81 1 Mehdi Abaakouk
<pre>
82 6 Mehdi Abaakouk
pluginsync=true
83 6 Mehdi Abaakouk
84 1 Mehdi Abaakouk
[agent]
85 1 Mehdi Abaakouk
server=puppet.tetaneutral.net
86 1 Mehdi Abaakouk
</pre>
87 1 Mehdi Abaakouk
88 1 Mehdi Abaakouk
Ensuite ajouter la machine dans le puppet master, MOUAHAHA:
89 1 Mehdi Abaakouk
Sur le client: 
90 1 Mehdi Abaakouk
<pre>
91 1 Mehdi Abaakouk
$ puppet agent --test
92 1 Mehdi Abaakouk
warning: peer certificate won't be verified in this SSL session
93 1 Mehdi Abaakouk
warning: peer certificate won't be verified in this SSL session
94 1 Mehdi Abaakouk
warning: peer certificate won't be verified in this SSL session
95 1 Mehdi Abaakouk
Exiting; no certificate found and waitforcert is disabled
96 1 Mehdi Abaakouk
</pre>
97 1 Mehdi Abaakouk
98 1 Mehdi Abaakouk
Sur le serveur:
99 1 Mehdi Abaakouk
<pre>
100 1 Mehdi Abaakouk
$ puppetca --list
101 1 Mehdi Abaakouk
www.tetaneutral.net
102 1 Mehdi Abaakouk
103 1 Mehdi Abaakouk
$ puppetca  --sign --all
104 1 Mehdi Abaakouk
notice: Signed certificate request for www.tetaneutral.net
105 1 Mehdi Abaakouk
notice: Removing file Puppet::SSL::CertificateRequest www.tetaneutral.net at '/var/lib/puppet/ssl/ca/requests/www.tetaneutral.net.pem'
106 1 Mehdi Abaakouk
</pre>
107 1 Mehdi Abaakouk
108 1 Mehdi Abaakouk
Sur le client: 
109 1 Mehdi Abaakouk
<pre>
110 1 Mehdi Abaakouk
$ puppet agent --test
111 1 Mehdi Abaakouk
warning: peer certificate won't be verified in this SSL session
112 1 Mehdi Abaakouk
info: Caching certificate for www.tetaneutral.net
113 1 Mehdi Abaakouk
info: Caching certificate_revocation_list for ca
114 1 Mehdi Abaakouk
info: Caching catalog for www.tetaneutral.net
115 1 Mehdi Abaakouk
info: Applying configuration version '1325516709'
116 4 Mehdi Abaakouk
info: Creating state file /var/lib/puppet/state/state.yaml
117 4 Mehdi Abaakouk
notice: Finished catalog run in 0.01 seconds
118 4 Mehdi Abaakouk
</pre>
119 4 Mehdi Abaakouk
120 4 Mehdi Abaakouk
Sur le serveur, on associe les modules au client:
121 4 Mehdi Abaakouk
122 4 Mehdi Abaakouk
<pre>
123 4 Mehdi Abaakouk
$ cat manifests/nodes.pp
124 4 Mehdi Abaakouk
125 4 Mehdi Abaakouk
node basenode {
126 2 Mehdi Abaakouk
    include backup
127 2 Mehdi Abaakouk
    include motd
128 5 Mehdi Abaakouk
}
129 5 Mehdi Abaakouk
130 5 Mehdi Abaakouk
node 'www.tetaneutral.net' inherits basenode {
131 5 Mehdi Abaakouk
}
132 5 Mehdi Abaakouk
</pre>
133 5 Mehdi Abaakouk
134 5 Mehdi Abaakouk
135 5 Mehdi Abaakouk
136 5 Mehdi Abaakouk
h2. Récupération de fichier écrasé par puppet:
137 5 Mehdi Abaakouk
138 1 Mehdi Abaakouk
Voir la liste des fichiers backupés:
139 2 Mehdi Abaakouk
<pre>
140 2 Mehdi Abaakouk
find /var/*/puppet/clientbucket -name paths | while read path ; do echo $(cat $path): $(basename $(dirname $path))  $(stat -c %y $path) ; done
141 2 Mehdi Abaakouk
</pre>
142 2 Mehdi Abaakouk
Ensuite pour voir le fichier:
143 2 Mehdi Abaakouk
<pre>
144 6 Mehdi Abaakouk
A venir ... (un truc avec puppet filebucket ...)
145 2 Mehdi Abaakouk
</pre>
146 2 Mehdi Abaakouk
147 2 Mehdi Abaakouk
h2. Ajout d'un module (ie: un truc/service/user a configurer), ici module motdpour l'exemple :
148 2 Mehdi Abaakouk
149 2 Mehdi Abaakouk
h3. Création du module
150 2 Mehdi Abaakouk
151 2 Mehdi Abaakouk
<pre>
152 2 Mehdi Abaakouk
cd /etc/puppet/modules
153 2 Mehdi Abaakouk
mkdir -p  motd/{files,lib,manifests,templates,tests}
154 2 Mehdi Abaakouk
$ cat motd/manifests/init.pp
155 2 Mehdi Abaakouk
class motd {
156 2 Mehdi Abaakouk
        file {'motd':
157 2 Mehdi Abaakouk
                ensure  => file,
158 2 Mehdi Abaakouk
                path    => '/etc/motd.tail',
159 2 Mehdi Abaakouk
                mode    => 0644,
160 2 Mehdi Abaakouk
                content => "Bienvenue sur ${::hostname}, machine de l'infrastructure ${::domain}\n\nCette machine est geree par puppet toutes modifications effectuee est suceptible d'etre perdu."
161 2 Mehdi Abaakouk
        }
162 2 Mehdi Abaakouk
}
163 2 Mehdi Abaakouk
</pre>
164 2 Mehdi Abaakouk
165 2 Mehdi Abaakouk
166 2 Mehdi Abaakouk
h3. Ajout du module à la liste des modules disponibles
167 1 Mehdi Abaakouk
168 2 Mehdi Abaakouk
<pre>
169 2 Mehdi Abaakouk
$ cat manifests/modules.pp
170 2 Mehdi Abaakouk
import "motd"
171 2 Mehdi Abaakouk
</pre>
172 2 Mehdi Abaakouk
173 2 Mehdi Abaakouk
h3. Utilisation du module pour une node
174 2 Mehdi Abaakouk
175 2 Mehdi Abaakouk
<pre>
176 2 Mehdi Abaakouk
$ cat manifests/nodes.pp
177 6 Mehdi Abaakouk
node 'www.tetaneutral.net' {
178 2 Mehdi Abaakouk
    include motd
179 2 Mehdi Abaakouk
}
180 1 Mehdi Abaakouk
</pre>
181 1 Mehdi Abaakouk
182 1 Mehdi Abaakouk
183 13 Mehdi Abaakouk
h2. Installation du serveur PuppetMaster (obsolete TODO sileht: réécrire)
184 1 Mehdi Abaakouk
185 1 Mehdi Abaakouk
Installation du paquet:
186 1 Mehdi Abaakouk
<pre>
187 1 Mehdi Abaakouk
$ apt-get install puppetmaster
188 1 Mehdi Abaakouk
</pre>
189 1 Mehdi Abaakouk
190 9 Mehdi Abaakouk
Voici le fichier de configuration /etc/puppet/puppet.conf qui permet de maintenir une conf de dev et de prod:
191 1 Mehdi Abaakouk
<pre>
192 9 Mehdi Abaakouk
[main]
193 9 Mehdi Abaakouk
logdir=/var/log/puppet
194 9 Mehdi Abaakouk
vardir=/var/lib/puppet
195 9 Mehdi Abaakouk
ssldir=/var/lib/puppet/ssl
196 9 Mehdi Abaakouk
rundir=/var/run/puppet
197 9 Mehdi Abaakouk
factpath=$vardir/lib/facter
198 9 Mehdi Abaakouk
templatedir=$confdir/templates
199 9 Mehdi Abaakouk
200 9 Mehdi Abaakouk
pluginsync = true
201 9 Mehdi Abaakouk
202 1 Mehdi Abaakouk
[master]
203 1 Mehdi Abaakouk
certname=puppet.tetaneutral.net
204 9 Mehdi Abaakouk
manifest = $confdir/manifests/site_$environment.pp
205 1 Mehdi Abaakouk
</pre>
206 9 Mehdi Abaakouk
207 9 Mehdi Abaakouk
Exemple du fichier site_dev.php
208 9 Mehdi Abaakouk
<pre>
209 9 Mehdi Abaakouk
cat /etc/puppet/manifests/site_dev.pp
210 9 Mehdi Abaakouk
import "classes/*.pp"
211 9 Mehdi Abaakouk
import "keys.pp"
212 9 Mehdi Abaakouk
import "modules.pp"
213 9 Mehdi Abaakouk
import "nodes_dev.pp"
214 9 Mehdi Abaakouk
</pre>
215 9 Mehdi Abaakouk
216 9 Mehdi Abaakouk
Le fichier keys.pp contient les cle ssh des membres, le répertoire classes les fonctions créé pour ttnn (en autres les clés ssh)
217 9 Mehdi Abaakouk
Le fichier modules.pp, la liste des modules à chargé.
218 9 Mehdi Abaakouk
Et enfin nodes_dev.pp la liste des machines puppetisées avec leur configuration.
219 9 Mehdi Abaakouk
220 1 Mehdi Abaakouk
221 1 Mehdi Abaakouk
Dans /etc/puppet/fileserver.conf configurer les autorisations:
222 6 Mehdi Abaakouk
<pre>
223 6 Mehdi Abaakouk
[files]
224 6 Mehdi Abaakouk
  path /etc/puppet/files
225 6 Mehdi Abaakouk
  allow 91.224.149.0/24
226 6 Mehdi Abaakouk
  allow 91.224.148.0/24
227 6 Mehdi Abaakouk
</pre>