APT в ALT Linux/NginxAsCache

Использование nginx как кэширующего прокси для APT

При использовании дистрибутивов ALT Linux или Sisyphus часто требуется локальное частичное зеркало APT-источников: для раздачи пакетов группе машин в локальной сети, для разработки и других потребностией. Локальное - для хорошей скорости доступа, частичное - для экономии времени и трафика, которые уходят на поддержание полного зеркала.

Очевидное решение: вытаскивать из /var/cache/apt/archives или /hasher/aptbox пакеты, запускать genbasedir и подключать результат как локальный репозиторий. Очевидный недостаток: теряется информация о конкретном источнике пакета. Если подключен и бранч, и сизиф, то полученный репозиторий нельзя использовать на другой машине, которую желательно оставить на бранче.

nginx >= 0.5.31 позволяет организовать локальный частичный миррор, лишённый этого недостатка.

См. тж. nginx-apt-cache.

Конфигурация nginx

/etc/nginx/sites-enabled.d/01-altrepo.conf:

 server {
    listen       80;
    location /altlinux/ {
        root /var/www/;
        error_page 404 = /fetch$uri;
    }

    location /fetch/altlinux/alt/ {
        internal;
        proxy_pass http://ftp.altlinux.org/;
        proxy_store /var/www/$request_uri;
    }

    location /fetch/altlinux/kiev/ {
        internal;
        proxy_pass http://ftp.linux.kiev.ua/;
        proxy_store /var/www/$request_uri;
    }
}

/etc/apt/sources.list:

rpm http://**NGINXHOST**/altlinux/alt/pub/Linux/ALT/updates/4.0/ i586 updates
rpm http://**NGINXHOST**/altlinux/alt/pub/Linux/ALT/4.0/branch/ i586 classic
rpm http://**NGINXHOST**/altlinux/alt/pub/Linux/ALT/4.0/branch/ noarch classic

И сделать

mkdir /var/www/altlinux
chown _nginx:_nginx /var/www/altlinux

Более умная конфигурация nginx

Чтобы пользователи APT не заботились о том, на какое зеркало настроен nginx, его нужно слегка перенастроить:

nginx.conf: /etc/nginx/sites-enabled.d/01-altrepo.conf

server {
    listen 80;
    location /altlinux/ {
        root /var/www/;
        error_page 404 = /fetch$uri;
    }
    location /fetch/altlinux/ {
        internal;
        proxy_pass http://ftp.altlinux.org/pub/distributions/ALTLinux/;
        proxy_store /var/www/$request_uri;
    }
    location /fetch/altlinux/ {
        internal;
        proxy_pass http://ftp.linux.kiev.ua/pub/Linux/ALT/;
        proxy_store /var/www/$request_uri;
    }
}

/etc/apt/sources.list:

rpm http://**NGINXHOST**/altlinux/4.0/branch/ i586 classic
rpm http://**NGINXHOST**/altlinux/4.0/branch/ noarch classic

Известные проблемы

nginx - это все-таки не настоящий кэширующий прокси, и обновлять сохраненные файлы он не намерен независимо от Last-Modified. Сами пакеты меняться не могут, поэтому это составляет проблему только для индексов APT, так что необходимо периодически делать

find /var/www/altlinux/ -type d -name base -exec rm -rf '{}' \;

Если пакеты на сервере обновляются, в нашем кэше будут накапливаться старые версии. Почистить можно так:

rsync -r --delete-before --existing rsync://rsync.altlinux.org/ALTLinux/ /var/www/altlinux/

Эта команда удалит из локального репозитория все файлы, которых нет на сервере, и заодно обновит индексы.

Если apt сообщает об ошибке "Error reading from server Remote end closed connection" (хоть это должно быть уже поправлено в 0.5.15lorg2-alt58) -- следует добавить в /etc/apt/apt.conf:

Acquire::http::Pipeline-Depth "0";

также, как и в других похожих случаях:

Acquire::ftp::Pipeline-Depth "0";

Вариант конфигурации

Краткое руководство простейшего кеширующего локального сервера, для использования с утилитами Mkimage-profiles или (и) hasher.

Ссылки

• sin@ по взаимодействию apt с nginx < 1.1.0