MiroirDebian » Historique » Version 4
« Précédent -
Version 4/6
(diff) -
Suivant » -
Version actuelle
Julien Aubé, 20/12/2014 21:11
Modification de Obinou: Ajout de l'architecture "armhf", utilisée sur les cartes ARM récentes (beagleboards, bananapi,...) et plus puissantes que la raspberry pi.
Mise en place d'un miroir debian de type « pull » avec ftpsync¶
Présentation¶
Un miroir de type « push » est un miroir pour lequel c'est l'upstream (debian) qui pousse les mises à jour lorsqu'elles sont disponibles. Celà permet d'avoir un miroir mis à jour très très souvent mais c'est plutôt compliqué à mettre en place et, pour un miroir non-public ou à public limité, ça ne présente pas un grand intérêt.
Un miroir de type « pull » est un miroir qui va vérifier puis piocher les mises à jours dans un autre miroir s'il y en a de disponibles. Cette vérification est exécutée régulièrement, généralement plusieurs fois par jour, à la convenance de son administrateur.
Ftpsync (repo git) est recommandé par debian pour la mise en place de miroir partiels ou complets en push ou pull. C'est basiquement une série de scripts permettant d'exécuter rsync avec les bons paramètres pour répondre aux besoins décrits dans des fichiers de configuration.
Ici, on va voir comment installer un miroir « pull » avec ftpsync.
Utilisation¶
Une fois la mise en place effectuée, l'utilisation se fait via le fichier /etc/apt/sources.list.
Debian stable (wheezy)¶
/etc/apt/sources.list
deb http://apt.tetaneutral.net/debian/ wheezy main contrib deb http://apt.tetaneutral.net/debian-security/ wheezy/updates main contrib # wheezy-updates, previously known as 'volatile' deb http://apt.tetaneutral.net/debian/ wheezy-updates main contrib # Backports, à décommenter si besoin #deb http://apt.tetaneutral.net/debian/ wheezy-backports main contrib
Debian oldstable (squeeze)¶
/etc/apt/sources.list
deb http://apt.tetaneutral.net/debian/ squeeze main contrib deb http://apt.tetaneutral.net/debian-security/ squeeze/updates main contrib # squeeze-updates, previously known as 'volatile' deb http://apt.tetaneutral.net/debian/ squeeze-updates main contrib # Long-term support (mises à jour de sécurité) deb http://apt.tetaneutral.net/debian/ squeeze-lts main contrib
Debian testing (jessie)¶
/etc/apt/sources.list
deb http://apt.tetaneutral.net/debian/ jessie main contrib deb http://apt.tetaneutral.net/debian-security/ jessie/updates main contrib # jessie-updates, previously known as 'volatile' deb http://apt.tetaneutral.net/debian/ jessie-updates main contrib # Backports, à décommenter si besoin #deb http://apt.tetaneutral.net/debian/ jessie-backports main contrib
Installation¶
Afin de sécuriser un poil l'installation, ftpsync doit être exécuté en tant qu'utilisateur sans privilèges. Ici, l'utilisateur s'appelera mirror et son home directory sera dans /pub/mirror. Il faut prévoir quelques centaines de Go d'espace libre pour un miroir complet.
# adduser --home=/pub/mirror --no-create-home --disabled-password mirror
L'installation de ftpsync se fait bêtement en clonant le répostitory git dans le home de l'utilisateur mirror.
# git clone https://ftp-master.debian.org/git/archvsync.git/ /pub/mirror # chown -R mirror: mirror /pub/mirror # ls -l /pub/mirror total 36 drwxr-xr-x 2 mirror mirror 4096 May 2 07:42 bin drwxr-xr-x 3 mirror mirror 4096 May 5 19:12 etc drwxr-xr-x 2 mirror mirror 12288 May 11 13:30 log drwxr-xr-x 4 mirror mirror 4096 Mar 14 11:49 mirrorcheck -rw-r--r-- 1 mirror mirror 10882 Mar 14 11:49 README
Configuration¶
La configuration se passe dans ~mirror/etc. Ce répertoire contient plusieurs fichiers, certains pour les miroirs en mode « pull » (ftpsync*.conf), d'autres pour les miroirs en mode « push » (le reste). On ne va donc éditer que ftpsync*.conf.
Un fichier d'exemple (ftpsync.conf.sample) est fourni pour détailler tous les paramètres possibles. Voilà déjà un fichier de configuration minimaliste mais « qui juste marche » pour cloner un miroir debian :
# cat ~mirror/etc/ftpsync-debian.conf
MIRRORNAME="apt.tetaneutral.net"
TO="/pub/mirror/debian"
RSYNC_HOST="ftp.nl.debian.org"
RSYNC_PATH="debian"
RSYNC_EXTRA="-6"
RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"
MAILTO="sysadmin@wtf.net"
ERRORSONLY="true"
ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"
LOGROTATE=14
LOCK="${TO}/Archive-Update-in-Progress-debian-${MIRRORNAME}"
Les paramètres sont les suivants :
- MIRRORNAME: le nom du miroir (interne à ftpsync, sans importance donc).
- TO: le chemin vers le répertoire où sera cloné le miroir.
- RSYNC_HOST: l'adresse du serveur rsync depuis lequel on va cloner le miroir.
- RSYNC_PATH: le chemin que l'on va cloner sur le serveur rsync.
- RSYNC_EXTRA: des options qui seront passées à rsync lors des deux passes du clonage (ici, on va utiliser IPv6).
- RSYNC_OPTIONS1: des options qui seront passées à rsync lors de la première passe du clonage (ici, y'en a pas).
- RSYNC_OPTIONS2: des options qui seront passées à rsync lors de la deuxième passe du clonage (ici, on supprime ce qui ne sert plus).
- MAILTO: l'adresse mail à laquelle envoyer le log du clonage.
- ERRORSONLY: si « true », le log du clonage ne sera envoyé qu'en cas d'erreur.
- ARCH_EXCLUDE: les architectures que l'on veut exclure (ici, il ne restera que i686, amd64 , armhf et armel).
- LOGROTATE: le nombre de fichiers de log que l'on veut garder dans ~mirror/log/.
- LOCK: le chemin vers un fichier de lock pour éviter que deux clonages soient exécutés en simultané.
Pour les autres paramètres, se référer à ~mirror/etc/ftpsync.conf.sample.
Un autre exemple minimal pour le clonage du miroir « debian-security » (mises à jour de sécurité) :
# cat ~mirror/etc/ftpsync-security.conf
MIRRORNAME="apt.tetaneutral.net"
TO="/pub/mirror/debian-security"
RSYNC_HOST="ftp.nl.debian.org"
RSYNC_PATH="debian-security"
RSYNC_EXTRA="-6"
RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"
MAILTO="sysadmin@kafe-in.net"
ERRORSONLY="true"
ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"
LOGROTATE=14
LOCK="${TO}/Archive-Update-in-Progress-security-${MIRRORNAME}"
Exécution périodique¶
L'exécution du clonage d'un miroir se fait avec la commande ~mirror/bin/ftpsync. Sans paramètres, le fichier de configuration ~mirror/etc/ftpsync.conf est utilisé. Il est toutefois possible de spécifier le fichier de configuration utilisé en ajoutant un paramètre « sync:archive:nomfichier ». Dans ce cas, le fichier de configuration ~mirror/etc/ftpsync-nomfichier.conf sera utilisé.
Ici, nous avons deux fichiers de configuration (ftpsync-debian.conf et ftpsync-security.conf) pour deux miroirs à cloner. Le miroir debian sera cloné toutes les 4 heures (en différentiel, bien sûr) et le miroir security toutes les heures.
# crontab -u mirror -l 30 * * * * /pub/mirror/bin/ftpsync sync:archive:security 0 */4 * * * /pub/mirror/bin/ftpsync sync:archive:debian
La bonne exécution de ftpsync peut être contrôlée par le code d'erreur du script (0 = tout va bien) ou en regardant les fichiers de logs dans ~mirror/log.
Rendre le miroir accessible en HTTP¶
Pour rendre le miroir accessible en HTTP, il suffit de configurer un serveur web en incluant /pub/mirror/debian et /pub/mirror/debian-security dans sa racine.
Par exemple, pour lighttpd :
# grep document-root /etc/lighttpd/lighttpd.conf server.document-root = "/pub/mirror"
Ou, si il y a plusieurs virtualhosts sur le serveur web:
# cat /etc/lighttpd/lighttpd.conf
*snip*
$HTTP["host"] =~ "apt.tetaneutral.net" {
alias.url += (
"/debian/" => "/pub/mirror/debian/",
"/debian-security/" => "/pub/mirror/debian-security/",
)
}
*snip*
Quelques conseils¶
Pour finir, quelques petits conseils concernant la mise en place d'un miroir debian :
- Il faut prévoir pas mal de stockage pour un miroir complet. Sur http://apt.tetaneutral.net/ qui contient les versions stable, testing et unstable pour les architectures i686, amd64, armhf et armel, les deux miroirs (debian et security) occupent environ 370Go d'espace disque.
- Le téléchargement de ces 350Go coûte cher à votre FAI ! Si c'est Free, Orange ou SFR, on s'en fout. Mais si c'est tetaneutral.net, il faut privilégier le clonage d'un miroir accessible en IPv6. Le transit IPv6 est gratuit.
- Cloner un miroir trop souvent ne sert pas à grand chose...autant faire du push. C'est toutefois assez utile pour le miroir des mises à jour de sécurité.
- Cloner un miroir trop peu souvent ne sert pas à grand chose non plus. Ça ne rendra l'exécution de ftpsync que plus longue. Autant lisser la bande passante utilisée.