h1. Mise en place d'un miroir debian de type « pull » avec ftpsync

{{>toc}}

h2. Présentation

Un miroir de type « push » est un miroir pour lequel c'est l'upstream (debian) qui pousse les mises à jour lorsqu'elles sont disponibles. Celà permet d'avoir un miroir mis à jour très très souvent mais c'est plutôt compliqué à mettre en place et, pour un miroir non-public ou à public limité, ça ne présente pas un grand intérêt.

Un miroir de type « pull » est un miroir qui va vérifier puis piocher les mises à jours dans un autre miroir s'il y en a de disponibles. Cette vérification est exécutée régulièrement, généralement plusieurs fois par jour, à la convenance de son administrateur.

Ftpsync ("repo git":https://ftp-master.debian.org/git/archvsync.git/) est "recommandé par debian":http://www.debian.org/mirror/ftpmirror pour la mise en place de miroir partiels ou complets en push ou pull. C'est basiquement une série de scripts permettant d'exécuter rsync avec les bons paramètres pour répondre aux besoins décrits dans des fichiers de configuration.

Ici, on va voir comment installer un miroir « pull » avec ftpsync.

h2. Utilisation

Une fois la mise en place effectuée, l'utilisation se fait via le fichier +/etc/apt/sources.list+.

h3. Debian stable (wheezy)

+/etc/apt/sources.list+

<pre>

deb http://apt.tetaneutral.net/debian/ wheezy main contrib

deb http://apt.tetaneutral.net/debian-security/ wheezy/updates main contrib

# wheezy-updates, previously known as 'volatile'

deb http://apt.tetaneutral.net/debian/ wheezy-updates main contrib

# Backports, à décommenter si besoin

#deb http://apt.tetaneutral.net/debian/ wheezy-backports main contrib

</pre>

h3. Debian oldstable (squeeze)

+/etc/apt/sources.list+

<pre>

deb http://apt.tetaneutral.net/debian/ squeeze main contrib

deb http://apt.tetaneutral.net/debian-security/ squeeze/updates main contrib

# squeeze-updates, previously known as 'volatile'

deb http://apt.tetaneutral.net/debian/ squeeze-updates main contrib

# Long-term support (mises à jour de sécurité)

deb http://apt.tetaneutral.net/debian/ squeeze-lts main contrib

</pre>

h3. Debian testing (jessie)

+/etc/apt/sources.list+

<pre>

deb http://apt.tetaneutral.net/debian/ jessie main contrib

deb http://apt.tetaneutral.net/debian-security/ jessie/updates main contrib

# jessie-updates, previously known as 'volatile'

deb http://apt.tetaneutral.net/debian/ jessie-updates main contrib

# Backports, à décommenter si besoin

#deb http://apt.tetaneutral.net/debian/ jessie-backports main contrib

</pre>

h3. Debian stable (Stretch) (LTS end-of-life: 30 June 2022)

+/etc/apt/sources.list+

<pre>

deb http://apt.tetaneutral.net/debian/ stretch main contrib

deb-src http://apt.tetaneutral.net/debian/ stretch main contrib

deb http://apt.tetaneutral.net/debian-security/ stretch/updates main contrib

deb-src http://apt.tetaneutral.net/debian-security/ stretch/updates main contrib

# buster-updates, previously known as 'volatile'

deb http://apt.tetaneutral.net/debian/ stretch-updates main contrib

deb-src http://apt.tetaneutral.net/debian/ stretch-updates main contrib

# Backports, à décommenter si besoin

#deb http://apt.tetaneutral.net/debian/ stretch-backports main contrib

#deb-src http://apt.tetaneutral.net/debian/ stretch-backports main contrib

</pre>

h3. Debian stable (Buster)

+/etc/apt/sources.list+

<pre>

deb http://apt.tetaneutral.net/debian/ buster main contrib

deb-src http://apt.tetaneutral.net/debian/ buster main contrib

deb http://apt.tetaneutral.net/debian-security/ buster/updates main contrib

deb-src http://apt.tetaneutral.net/debian-security/ buster/updates main contrib

# buster-updates, previously known as 'volatile'

deb http://apt.tetaneutral.net/debian/ buster-updates main contrib

deb-src http://apt.tetaneutral.net/debian/ buster-updates main contrib

# Backports, à décommenter si besoin

#deb http://apt.tetaneutral.net/debian/ buster-backports main contrib

#deb-src http://apt.tetaneutral.net/debian/ buster-backports main contrib

</pre>

h2. Installation

Afin de sécuriser un poil l'installation, ftpsync doit être exécuté en tant qu'utilisateur sans privilèges. Ici, l'utilisateur s'appelera _mirror_ et son home directory sera dans /pub/mirror. Il faut prévoir quelques centaines de Go d'espace libre pour un miroir complet.

<pre>

# adduser --home=/pub/mirror --no-create-home --disabled-password mirror

</pre>

L'installation de ftpsync se fait bêtement en clonant le répostitory git dans le home de l'utilisateur mirror.

<pre>

# git clone https://ftp-master.debian.org/git/archvsync.git/ /pub/mirror

# chown -R mirror: mirror /pub/mirror

# ls -l /pub/mirror

total 36

drwxr-xr-x 2 mirror mirror  4096 May  2 07:42 bin

drwxr-xr-x 3 mirror mirror  4096 May  5 19:12 etc

drwxr-xr-x 2 mirror mirror 12288 May 11 13:30 log

drwxr-xr-x 4 mirror mirror  4096 Mar 14 11:49 mirrorcheck

-rw-r--r-- 1 mirror mirror 10882 Mar 14 11:49 README

</pre>

h2. Configuration

La configuration se passe dans ~mirror/etc. Ce répertoire contient plusieurs fichiers, certains pour les miroirs en mode « pull » (ftpsync*.conf), d'autres pour les miroirs en mode « push » (le reste). On ne va donc éditer que ftpsync*.conf.

Un fichier d'exemple (ftpsync.conf.sample) est fourni pour détailler tous les paramètres possibles. Voilà déjà un fichier de configuration minimaliste mais « qui juste marche » pour cloner un miroir debian :

<pre>

# cat ~mirror/etc/ftpsync-debian.conf

MIRRORNAME="apt.tetaneutral.net"

TO="/pub/mirror/debian"

RSYNC_HOST="ftp.nl.debian.org"

RSYNC_PATH="debian"

RSYNC_EXTRA="-6"

RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"

MAILTO="sysadmin@wtf.net"

ERRORSONLY="true"

ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"

LOGROTATE=14

LOCK="${TO}/Archive-Update-in-Progress-debian-${MIRRORNAME}"

</pre>

Les paramètres sont les suivants :

* MIRRORNAME: le nom du miroir (interne à ftpsync, sans importance donc).

* TO: le chemin vers le répertoire où sera cloné le miroir.

* RSYNC_HOST: l'adresse du serveur rsync depuis lequel on va cloner le miroir.

* RSYNC_PATH: le chemin que l'on va cloner sur le serveur rsync.

* RSYNC_EXTRA: des options qui seront passées à rsync lors des deux passes du clonage (ici, on va utiliser IPv6).

* RSYNC_OPTIONS1: des options qui seront passées à rsync lors de la première passe du clonage (ici, y'en a pas).

* RSYNC_OPTIONS2: des options qui seront passées à rsync lors de la deuxième passe du clonage (ici, on supprime ce qui ne sert plus).

* MAILTO: l'adresse mail à laquelle envoyer le log du clonage.

* ERRORSONLY: si « true », le log du clonage ne sera envoyé qu'en cas d'erreur.

* ARCH_EXCLUDE: les architectures que l'on veut exclure (ici, il ne restera que i686, amd64 , armhf et armel).

* LOGROTATE: le nombre de fichiers de log que l'on veut garder dans ~mirror/log/.

* LOCK: le chemin vers un fichier de lock pour éviter que deux clonages soient exécutés en simultané.

Pour les autres paramètres, se référer à ~mirror/etc/ftpsync.conf.sample.

Un autre exemple minimal pour le clonage du miroir « debian-security » (mises à jour de sécurité) :

<pre>

# cat ~mirror/etc/ftpsync-security.conf

MIRRORNAME="apt.tetaneutral.net"

TO="/pub/mirror/debian-security"

RSYNC_HOST="ftp.nl.debian.org"

RSYNC_PATH="debian-security"

RSYNC_EXTRA="-6"

RSYNC_OPTIONS2="--max-delete=40000 --delay-updates --delete --delete-after --delete-excluded"

MAILTO="sysadmin@kafe-in.net"

ERRORSONLY="true"

ARCH_EXCLUDE="alpha arm hppa hurd-i386 ia64 kfreebsd-amd64 kfreebsd-i386 m68k mipsel mips powerpc s390 s390x sh sparc"

LOGROTATE=14

LOCK="${TO}/Archive-Update-in-Progress-security-${MIRRORNAME}"

</pre>

h2. Exécution périodique

L'exécution du clonage d'un miroir se fait avec la commande ~mirror/bin/ftpsync. Sans paramètres, le fichier de configuration ~mirror/etc/ftpsync.conf est utilisé. Il est toutefois possible de spécifier le fichier de configuration utilisé en ajoutant un paramètre « sync:archive:nomfichier ». Dans ce cas, le fichier de configuration ~mirror/etc/ftpsync-nomfichier.conf sera utilisé.

Ici, nous avons deux fichiers de configuration (ftpsync-debian.conf et ftpsync-security.conf) pour deux miroirs à cloner. Le miroir debian sera cloné toutes les 4 heures (en différentiel, bien sûr) et le miroir security toutes les heures.

<pre>

# crontab -u mirror -l

30 * * * * /pub/mirror/bin/ftpsync sync:archive:security

0 */4 * * * /pub/mirror/bin/ftpsync sync:archive:debian

</pre>

La bonne exécution de ftpsync peut être contrôlée par le code d'erreur du script (0 = tout va bien) ou en regardant les fichiers de logs dans ~mirror/log.

h2. Rendre le miroir accessible en HTTP

Pour rendre le miroir accessible en HTTP, il suffit de configurer un serveur web en incluant /pub/mirror/debian et /pub/mirror/debian-security dans sa racine.

Par exemple, pour lighttpd :

<pre>

# grep document-root /etc/lighttpd/lighttpd.conf 

server.document-root        = "/pub/mirror"

</pre>

Ou, si il y a plusieurs virtualhosts sur le serveur web:

<pre>

# cat /etc/lighttpd/lighttpd.conf

*snip*

$HTTP["host"] =~ "apt.tetaneutral.net" {

    alias.url += (

        "/debian/" => "/pub/mirror/debian/",

        "/debian-security/" => "/pub/mirror/debian-security/",

    )

}

*snip*

</pre>

h2. Quelques conseils

Pour finir, quelques petits conseils concernant la mise en place d'un miroir debian :

* Il faut prévoir pas mal de stockage pour un miroir complet. Sur http://apt.tetaneutral.net/ qui contient les versions stable, testing et unstable pour les architectures i686, amd64, armhf et armel, les deux miroirs (debian et security) occupent environ 370Go d'espace disque.

* Le téléchargement de ces 350Go coûte cher à votre FAI ! Si c'est Free, Orange ou SFR, on s'en fout. Mais si c'est tetaneutral.net, il faut privilégier le clonage d'un miroir accessible en IPv6. Le transit IPv6 est gratuit.

* Cloner un miroir trop souvent ne sert pas à grand chose...autant faire du push. C'est toutefois assez utile pour le miroir des mises à jour de sécurité.

* Cloner un miroir trop peu souvent ne sert pas à grand chose non plus. Ça ne rendra l'exécution de ftpsync que plus longue. Autant lisser la bande passante utilisée.