Hasher/Tips

Автоматическое переключение sources.list под архитектуру

В ~/.hasher/config:

# target
if [ `uname -m` = "i686" ]; then
    def_target=i586
    apt_config=$HOME/.hasher/apt.conf.i586
fi

При запуске hsh через i586 автоматически используется нужный sources.list. (mithraen@ в devel@)

Кэширование скачиваемых apt-ом пакетов

"Проблема", в связи с которой возникает такое пожелание, вот в чём

При каждой сборке в hasher-е, hasher готовит окружение для сборки, устанавливая пакеты к себе; их вытаскивает из репозитория-источника apt. Если репозиторий удалённый (например, используются общесистемные настройки apt, указывающие на ftp-репозиторий Sisyphus), то каждый раз apt будет скачивать все потребовавшиеся пакеты по сети (заново). Хотелось бы сэкономить на трафике и времени и использовать постоянный кэш apt -- один и тот же для всех предстоящих сборок в hasher-е.

(То же пожелание, высказанное Yury Aliaev.)

Судя по высказывавшимся советам, это должно быть возможно, если включить себя в группу rpm

at@:

Добавьте себя в группу rpm.

at@:

hasher умеет делать 'apt-get install --download-only' через системный /etc/apt/sources.list. Но ему может не хватить прав на /var/*/apt.

Но в чистом виде такой совет (просто добавление себя в группу rpm) не сработал для hasher-1.3.22-alt1 -- общесистемный /var/cache/apt/archives/ не стал хранить скачанные пакеты.

Поправка конфигурации apt для hasher: Посмотрим на то, как работает hasher. /usr/bin/mkaptbox готовит конфигурацию apt для hasher так (см. исходный код):

# create final apt.conf file.
cat >"$apt_config_file" <<__EOF__
Dir::State "$aptbox/var/lib/apt/";
Dir::Cache "$aptbox/var/cache/apt/";
${apt_config:+$(cat "$apt_config")}
Dir::Etc::SourceList "$aptbox/etc/apt/sources.list";
RPM::RootDir "$aptbox";
APT::Install::Virtual "true";
APT::Install::VirtualVersion "true";
${alternate_arch:+APT::Architecture "${target:-$def_target}";}
__EOF__
verbose "Created APT configuration file \`$apt_config_file'."

Т.е. оно не собирается использовать общесистемный кэш (а прописывает свою директорию для кэша, которая будет стираться между вызовами hsh). Но есть возможность вставить какую-нибудь нашу добавку к конфигурации, передав её параметром --apt-config.

Я записал в некий файл (~/hsh-extra-apt.conf):

Dir::Cache "/var/cache/apt/";

(комментарии там не надо использовать, потому что при вставке в mkaptbox они нарушат синтаксис файла конфигурации).

Теперь я могу запускать сборки с опцией --apt-config=/home/imz/hsh-extra-apt.conf (нужно вписать именно полный путь, без ~) для hsh; например, так:

   gear-hsh -v -- -v --no-sisyphus-check=packager,gpg --apt-config=/home/imz/hsh-extra-apt.conf

и оно кэширует скачиваемые пакеты.

Можно сохранить эти настройки в ~/.hasher/config (чтобы каждый раз не писать опцию):

 apt_config=/home/imz/.hasher/extra-apt.conf

(очевидно, тут я уже переместил тот файл в ~/.hasher/extra-apt.conf).

Замеченные проблемы: может понадобиться сделать от root:

    rm /var/cache/apt/archives/lock

Ещё одна неприятность -- то, что pkglist всё время скачиваются заново; например:

$ gear-hsh -- -v --lazy-cleanup
hsh: changed working directory to `/tmp/.private/imz/hasher'
hsh: Locked working directory `/tmp/.private/imz/hasher'
mkaptbox: changed working directory to `/tmp/.private/imz/hasher'
mkdir: создан каталог «aptbox»
mkaptbox: Changed working directory to `/tmp/.private/imz/hasher/aptbox'.
mkdir: создан каталог «./etc»
mkdir: создан каталог «./etc/apt»
mkdir: создан каталог «./etc/apt/apt.conf.d»
mkdir: создан каталог «./etc/apt/sources.list.d»
mkdir: создан каталог «./etc/apt/vendors.list.d»
mkdir: создан каталог «./home»
mkdir: создан каталог «./home/user»
mkdir: создан каталог «./var»
mkdir: создан каталог «./var/cache»
mkdir: создан каталог «./var/cache/apt»
mkdir: создан каталог «./var/cache/apt/archives»
mkdir: создан каталог «./var/cache/apt/archives/partial»
mkdir: создан каталог «./var/lib»
mkdir: создан каталог «./var/lib/apt»
mkdir: создан каталог «./var/lib/apt/lists»
mkdir: создан каталог «./var/lib/apt/lists/partial»
mkdir: создан каталог «./var/lib/rpm»
права доступа «setarch» изменены с 0644 (rw-r--r--) на 0755 (rwxr-xr-x)
mkaptbox: created apt-cache wrapper
права доступа «apt-cache» изменены с 0644 (rw-r--r--) на 0755 (rwxr-xr-x)
mkaptbox: created apt-config wrapper
права доступа «apt-config» изменены с 0644 (rw-r--r--) на 0755 (rwxr-xr-x)
mkaptbox: created apt-get wrapper
права доступа «apt-get» изменены с 0644 (rw-r--r--) на 0755 (rwxr-xr-x)
mkaptbox: created regenbasedir
права доступа «regenbasedir» изменены с 0644 (rw-r--r--) на 0755 (rwxr-xr-x)
mkaptbox: Created APT configuration file `/tmp/.private/imz/hasher/aptbox/etc/apt/apt.conf'.
mkaptbox: Created APT source list file `./etc/apt/sources.list'.
mkaptbox: Created RPM database in `./var/lib/rpm/'.
Получено: 1 http://ftp.altlinux.org x86_64 release [914B]
Получено: 2 http://ftp.altlinux.org noarch release [709B]
Получено: 3 http://ftp.altlinux.org x86_64-i586 release [573B]
Получено 2196B за 0s (7819B/s).
Получено: 1 http://ftp.altlinux.org x86_64/classic pkglist [17,4MB]
Получено: 2 http://ftp.altlinux.org x86_64/classic release [147B]
Получено: 3 http://ftp.altlinux.org noarch/classic pkglist [4128kB]
Получено: 4 http://ftp.altlinux.org noarch/classic release [147B]
Получено: 5 http://ftp.altlinux.org x86_64-i586/classic pkglist [12,8MB]
Получено: 6 http://ftp.altlinux.org x86_64-i586/classic release [152B]
Получено 34,3MB за 34s (993kB/s).
Чтение списков пакетов... Завершено
Построение дерева зависимостей... Завершено

Неприятно долго ждать. А ведь работа системного apt этого недостатка не имеет, например (вместо "Получено" -- "Найдено"):

[root@z ~]# apt-get update 
Получено: 1 http://ftp.altlinux.org x86_64 release [914B]
Получено: 2 http://ftp.altlinux.org noarch release [709B]
Получено: 3 http://ftp.altlinux.org x86_64-i586 release [573B]
Получено 2196B за 0s (9125B/s).
Найдено http://ftp.altlinux.org x86_64/classic pkglist
Найдено http://ftp.altlinux.org x86_64/classic release
Найдено http://ftp.altlinux.org noarch/classic pkglist
Найдено http://ftp.altlinux.org noarch/classic release
Найдено http://ftp.altlinux.org x86_64-i586/classic pkglist
Найдено http://ftp.altlinux.org x86_64-i586/classic release
Чтение списков пакетов... Завершено
Построение дерева зависимостей... 0%

Похоже, что эту проблему тоже можно решить:

Кэширование скачиваемых pkglist

Скачиваемые pkglist кладутся в /var/lib/apt/lists/ :

[root@z ~]# l /var/lib/apt/lists/
итого 167244
drwxr-xr-x 3 root root     4096 янв 29 18:00 ./
drwxr-xr-x 2 root root     4096 янв 29 18:00 partial/
-rw-r----- 1 root root        0 янв 29 18:00 lock
-rw-r--r-- 1 root root      528 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_release
-rw-r--r-- 1 root root 40060882 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_pkglist.classic
-rw-r--r-- 1 root root      147 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_release.classic
-rw-r--r-- 1 root root 84706486 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_pkglist.classic
-rw-r--r-- 1 root root      733 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_release
-rw-r--r-- 1 root root      147 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_release.classic
-rw-r--r-- 1 root root      392 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_release
-rw-r--r-- 1 root root 46447120 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_pkglist.classic
-rw-r--r-- 1 root root      152 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_release.classic
drwxr-xr-x 4 root root     4096 ноя 28 17:58 ../
[root@z ~]#

Может быть, для этого места тоже есть переменная, которую мы можем переопределить?..

[root@z ~]# apt-config dump | fgrep -6 var/lib/apt
APT "";
APT::Architecture "x86_64";
APT::Cache-Limit "536870912";
APT::DistroVersion "";
Dir "/";
Dir::State "var/lib/apt/";
Dir::State::lists "lists/";
Dir::State::cdroms "cdroms.list";
Dir::State::prefetch "prefetch";
Dir::Cache "var/cache/apt/";
Dir::Cache::archives "archives/";
Dir::Cache::srcpkgcache "srcpkgcache.bin";
[root@z ~]#

Да! Только права на /var/lib/apt/lists/ не позволят в него писать.

Можно завести такое место у себя.

Может быть, даже стоит использовать директорию совместно с другим пользовательскими программами (apt-аплетом), которые тоже скачивают эти списки:

[root@z ~]# l ~imz/.apt/lists/
итого 167244
drwxr-xr-x 3 imz imz     4096 янв 29 15:14 ./
drwxr-xr-x 2 imz imz     4096 янв 29 15:14 partial/
-rw-r--r-- 1 imz imz      528 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_release
-rw-r--r-- 1 imz imz 40060882 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_pkglist.classic
-rw-r--r-- 1 imz imz      147 янв 29 03:23 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_noarch_base_release.classic
-rw-r--r-- 1 imz imz 84706486 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_pkglist.classic
-rw-r--r-- 1 imz imz      733 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_release
-rw-r--r-- 1 imz imz      147 янв 29 02:30 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64_base_release.classic
-rw-r--r-- 1 imz imz      392 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_release
-rw-r--r-- 1 imz imz 46447120 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_pkglist.classic
-rw-r--r-- 1 imz imz      152 янв 28 22:17 ftp.altlinux.org_pub_distributions_ALTLinux_Sisyphus_x86%5f64-i586_base_release.classic
drwxr-xr-x 4 imz imz     4096 ноя 13 18:04 ../
[root@z ~]#

Итак, добавим в ~/.hasher/extra-apt.conf:

   Dir::State::lists "/home/imz/.apt/lists/";

Вроде бы работает.

(Допишите, пожалуйста, если есть ещё какие-то идеи по кешированию и ускорению apt в hasher.)

Получение списка пакетов для установки заданного

Для разворачивания полного списка файлов пакетов, образующих замыкание зависимостей какого-либо пакета (реального, виртуального или синтетической зависимости) можно воспользоваться mkaptbox:

$ mkaptbox -f && ~/hasher/aptbox/apt-get install -qqqy \
  -oRPM::PM=external -oDir::Bin::rpm=hsh-rpmi-print-files 'perl(Text/ParseWords.pm)'
/ALT/Sisyphus/noarch/RPMS.classic/setup-2.2.14-alt1.noarch.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/filesystem-2.3.11-alt1.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/glibc-preinstall-2.11.3-alt8.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/glibc-core-2.11.3-alt8.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/bzlib-1.0.6-alt3.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libgcc1-4.5.3-alt3.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/glibc-pthread-2.11.3-alt8.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libbeecrypt7-4.2.1-alt7.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libdb4.7-4.7.25-alt7.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libelf-0.153-alt1.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/liblzma-5.0.3-alt1.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libpopt-1.14-alt6.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/zlib-1.2.5-alt3.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/sh-3.2.51-alt1.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/libselinux-2.0.98-alt2.1.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/librpm-4.0.4-alt100.51.x86_64.rpm
/ALT/Sisyphus/x86_64/RPMS.classic/perl-base-5.14.2-alt4.x86_64.rpm

Советы бывалых

hsh-shell и hsh

mike@:
Собранное в hsh-shell пересобирать начисто hsh заодно выясняя, не забыл ли добавить в спек поставленное для сборки hsh-install'ом
ну и как минимум спеки-то должны быть или в ~/RPM/SPECS, или в ~/git :)
А перед этим можно скопировать спек

cp -ai ~/hasher/tmpfs/chroot/usr/src/RPM/SPECS/*.spec .

или вытащить весь пакет в ~/RPM:

rpm -i ~/hasher/tmpfs/chroot/usr/src/RPM/SRPMS/openmotif-2.3.3-alt3.src.rpm

Два хашера

drool@:
У меня два каталога хашера, один обычный, а второй я никогда не удаляю. Когда наступает момент, что версии пакетов внутри неудаляемого хашера слишком устаревают, я рутом сохраняю оттуда /usr/src (ведь он там фактически как хомяк используется), а после генерации каталога заново заменяю им то, что создалось по новой. В итоге я у меня там сохраняется и настроенный ~/.rpmmacros, и ccache с его ~/.ccache, и содержимое ~/RPM и, что иногда бывает весьма полезным, ~/.bash_history.

Кэш в hasher

drool@:
И в этом втором каталоге у меня, ко всему прочему, настроен еще и ccache, что дает просто огромный прирост скорости компиляции, если пакет уже там собирался. Для этого внутрь этого хашера установлен непосредственно сам ccache, а в начало ~/.bash_profile вставлена конструкция:

GCC_USE_CCACHE=1
export GCC_USE_CCACHE

hasher

Hasher • Hasher/CentOS • Hsh-rpm-into-appimage/Руководство • Hasher/FAQ • Hasher/gdb • Hasher/parallel • Hasher/Tips • Hasher/Сборка пакета с помощью qemu • Hasher/tmux • Hasher/vm-run • Воспроизводимая сборка • Hasher/Краткое руководство • Hasher/Руководство • Скоростные характеристики hasher • Hasher/Справочник