Repocop
Малый огромный боевой робот, созданный безумными учёными для тестирования отдельных rpm пакетов или всего Сизифа.
В отличие от sisyphus_check, который настолько суров, что сначала убивает возможного нарушителя, а потом его допрашивает, repocop в открытый бой не вступает, ограничиваясь невнятными выкриками на американском английском и показом красных и жёлтых карточек.
Другими словами, repocop представляет собой платформу для запуска интеграционных тестов. В её состав входит собственно пускатель тестов, различные генераторы отчётов из полученных результатов, а также генератор патчей для исправления найденных ошибок, если это возможно. Сами тесты в repocop не входят. Тесты оформлены как отдельные пакеты, поэтому набор тестов легко конфигурируется.
Результаты ежедневного тестирования Sisyphus публикуются на repocop.altlinux.org а так же доступны через web-интерфейс prometeus на sisyphus.ru.
Например, для мейнтейнера viy@ удобными ссылками на результаты тестирования будут: по пакетам, по ACL и по сборщику. Сгенерированные патчи можно просмотреть: по ACL и по сборщику.
Установка
Установка repocop на локальной машине:
apt-get install repocop repocop-unittest
repocop состоит из следующих пакетов:
| Пакет | Описание |
|---|---|
| repocop | Основной пакет |
| repocop-tools | Инструменты для исправления пакетов силами repocop. Не обязателен. |
| repocop-prometeus | Плагин к prometeus. Не нужен при обычной установке |
Сами тесты вместе с пакетом не идут, их надо устанавливать отдельно.
Полный список тестов можно посмотреть на sisyphus.ru.
Для удобства виртуальный пакет repocop-unittest позволяет установить все официальные тесты, которые используются в sisyphus-cybertalk@ и на sisyphus.ru.
Запуск repocop для тестирования пакетов
- Пример запуска repocop для тестирования свежесобранных пакетов:
- repocop-run ~/hasher/repo/*/RPMS.hasher/*.rpm
- Пример запуска repocop для тестирования репозитория:
- repocop-run /var/ftp/pub/Linux/ALT/Sisyphus/files/{noarch,i586}/RPMS
При повторном запуске будут тестироваться только новые пакеты, так как результаты тестов кешируются в <repocop cache dir>. По умолчанию <repocop cache dir> равно ~/.repocop. Значение по умолчанию для <repocop cache dir> можно переопределить с помощью опции -c <repocop cache dir> либо поменять с помощью переменной окружения REPOCOP_CACHEDIR. Например, так: export REPOCOP_CACHEDIR=/tmp/.private/user/repocop.
Для ухода за кешем используются утилиты repocop-purge-* .
| Утилита | Описание |
|---|---|
| repocop-purge-except | очистить все записи, кроме относящихся к пакетам, данным как аргументы. |
| repocop-purge-given | очистить все записи, относящиеся к пакетам, данным как аргументы. |
полезная опция -l (--last-run) означает «все пакеты, которые repocop-run тестировал при последнем запуске». Таким образом, сразу после запуска repocop-run для проверки всего репозитория имеет смысл вызвать repocop-purge-except --last-run, чтобы устаревшие данные из кеша не попали в отчёт, а сразу после запуска repocop-run для проверки пробной сборки имеет смысл вызвать repocop-purge-given --last-run, чтобы удалить из кеша данные о пробной сборке, ещё не попавшей в репозиторий.
Результаты тестов можно просмотреть либо непосредственно в кеше, либо воспользоваться каким-либо генератором отчетов, например, repocop-report-txt. repocop-report-txt обработает кеш и сложит результаты тестов в читабельном виде в подпапку <repocop cache dir>/reports/txt/.
Тестирование свежесобранных пакетов с помощью repocop-check
Утилита repocop-check — busybox для занятого майнтайнера. Позволяет в одном вызове проверить свежесобранные пакеты. (Сделано по заявке Дамира @damir).
Пример вызова: repocop-check /hasher/repo/*/RPMS/hasher /hasher/repo/SRPMS/hasher
Опция --newer <filename> позволяет дополнительно отфильтровать те пакеты, которые новее, чем указанный <filename>.
Исходный код.
#!/bin/sh -e
repocop-run -q "$@"
repocop-report-stdout "$@"
repocop-purge-given --no-db-vacuum -q "$@"
Уход за кешем с помощью repocop-purge-*
Для ухода за кешем используются утилиты repocop-purge-* .
| Утилита | Описание |
|---|---|
| repocop-purge-except | очистить все записи, кроме относящихся к пакетам, данным как аргументы. |
| repocop-purge-given | очистить все записи, относящиеся к пакетам, данным как аргументы. |
опция -l (--last-run) означает «все пакеты, которые repocop-run тестировал при последнем запуске». Опция -l по своей природе очень коварна, так как человек через минуту забывает, что именно он запускал последний раз. Так что рекомендуется использовать её больше в скриптах.
пример вызова repocop-purge-* для очистки кеша от устаревших пакетов: repocop-purge-except /var/ftp/pub/Linux/ALT/Sisyphus/files/{SRPMS,i586/RPMS,i386/RPMS,noarch/RPMS}
Пример автоматизации тестирования репозитория с помощью repocop
Указанный скрипт можно запускать после каждого обновления дистрибутива, руками или через cron.
#!/bin/sh
# you may choose alternative path to cachedir
export REPOCOP_CACHEDIR=~/.repocop
# edit paths to repository below !!!
repocop-run /var/ftp/pub/Linux/ALT/Sisyphus/files/{noarch,i586}/RPMS
repocop-purge-except --last-run
repocop-report-txt >/dev/null
Запуск repocop для исправления пакетов
Как писать тесты для repocop
Тест в общем случае состоит из нескольких исполняемых файлов и файлов данных со специальными именами, которые собраны в одном каталоге вида <testname>/. Исполняемые файлы, входящие в тест, получают аргументы через переменные. Тест возвращают значение через вызов одной из команд repocop-test-skip, repocop-test-ok, repocop-test-warn, repocop-test-fail. Возвратить значение для каждого пакета нужно ровно 1 раз.
| Команда | Описание |
|---|---|
| repocop-test-skip | тесту нечего проверять в данном пакете. |
| repocop-test-ok | пакет попадает под определение теста и с ним все в порядке. |
| repocop-test-experimental | ошибок нет, но тест советует сделать экспериментальное/разрабатываемое изменение. |
| repocop-test-info | ошибок нет, есть замечания к пакету, пакет можно сделать лучше. |
| repocop-test-warn | несущественная ошибка, пакет можно сделать лучше. |
| repocop-test-fail | найдена существенная ошибка. |
repocop-test-info, repocop-test-warn, repocop-test-fail в качестве аргументов принимают сообщение об ошибке. Дополнительная опция -k |--key <REPOCOP_PKG_KEY> позволяет явно указать пакет. Подробнее использование этой опции будет разобрано в разделе «Тесты-постпроцессоры».
Многие тесты совместно используют одни и те же данные. Примером может служить база данных rpm.db, которая создаётся в процессе работы repocop. Для каждого пакета в ней содержатся список файлов, значения полей Group:, URL:, Requires:, Provides, скрипты %postun, и т. д., то есть вся информация, которая содержится в заголовке rpm пакета.
Кроме того, логика обработки данных меняется гораздо чаще, чем структура хранения данных. Чтобы повысить повторную используемость кода и не прогонять весь репозиторий через тесты каждый раз, когда в тесте меняется логика, в repocop 0.07 введена новая сущность — коллекторы (сборщики данных). Коллекторы устроены в точности как тесты, но не возвращают никаких результатов, только собирают данные для своей базы. Собранные коллекторами данные могут использоваться в тестах при вызове скриптов <testname>/done.
Это позволяет дорогие по машинному времени вызовы <testname>/test сосредоточить в коллекторах, а в тестах использовать дешёвые вызовы <testname>/done.
Рекомендуемый формат хранения собранных коллектором данных — файл SQLite. Архитектура repocop не запрещает альтернативные форматы хранения, но разнородные форматы данных могут затруднить обработку данных тестами. Например, данные из разных файлов SQLite можно обработать одним запросом SQLite, чего не скажешь о разнородных форматах.
Предопределённые имена для файлов, входящих в тест
| Имя | Mode | Функция |
|---|---|---|
| <testname>/init.sql.x | 644 | Инициализация схемы БД под SQLite. X — версия схемы |
| <testname>/upgrade.sql.Y | 644 | Скрипты обновления схемы БД до версии Y на SQL |
| <testname>/upgrade | 755 | Общий скрипт обновления схемы БД. Используется в случае, когда SQL недостаточно |
| <testname>/init | 755 | Инициализатор. Запускается 1 раз при запуске repocop |
| <testname>/test | 755 | Обработчик пакетов. Будет запуcкаться для каждого обрабатываемого пакета |
| <testname>/done | 755 | Подведение итогов и деструктор. запускается 1 раз в конце работы repocop |
| <testname>/options | 755 | Дополнительные настройки для теста. Читается 1 раз в начале работы repocop |
| <testname>/purge | 755 | Удаление устаревших записей из собственного кеша теста. Вызывается утилитами repocop-purge-* |
| <testname>/purge.sql | 644 | Удаление устаревших записей из собственной БД теста. Вызывается утилитами repocop-purge-* |
| <testname>/description | 644 | Описание теста. Не используется, но возможно использование в будущем |
Упаковка тестов по каталогам в rpm пакете
| Имя | Описание |
|---|---|
| %_datadir/repocop/pkgtests/%testname/* | тест бинарных пакетов |
| %_libdir/repocop/pkgtests/%testname/* | тест бинарных пакетов |
| %_datadir/repocop/pkgcollectors/%testname/* | коллектор бинарных пакетов |
| %_libdir/repocop/pkgcollectors/%testname/* | коллектор бинарных пакетов |
| %_datadir/repocop/srctests/%testname/* | тест исходных пакетов |
| %_libdir/repocop/srctests/%testname/* | тест исходных пакетов |
| %_datadir/repocop/srccollectors/%testname/* | коллектор исходных пакетов |
| %_libdir/repocop/srccollectors/%testname/* | коллектор исходных пакетов |
Тесты без состояния
простейшим примером тестов являются тесты без состояния, которые помнят только текущий пакет и сразу выдают сообщение об ошибке. Таким тестам не нужны <testname>/init и <testname>/done. Они состоят из единственного скрипта <testname>/test.
<testname>/test вызывается для тех пакетов, которые ещё не обрабатывались этим тестом. Если файл <testname>/test новее, чем результаты тестов, то они удаляются как устаревшие и соответствующие пакеты проходят тест заново.
Аргументы <testname>/test:
- REPOCOP_PKG_ROOT — директория
- REPOCOP_PKG_KEY — внутренний id пакета в базах repocop. Используется в тестах с состоянием
- REPOCOP_PKG — полный путь к пакету
также доступны:
- REPOCOP_PKG_NAME
- REPOCOP_PKG_VERSION
- REPOCOP_PKG_RELEASE
- REPOCOP_PKG_EPOCH
тест без состояния упаковывается в rpm как %_datadir/repocop/pkgtests/%testname/test либо как %_libdir/repocop/pkgtests/%testname/test, в зависимости от языка, на котором он написан.
Простейший тест на shell:
#!/bin/sh
grep -s -q -r $REPOCOP_PKG_NAME-buildroot $REPOCOP_PKG_ROOT/ && \
exec repocop-test-fail "found paths to buildroot:" || exec repocop-test-ok
тест не совсем корректный, так как на самом деле нужно искать $REPOCOP_SRC_NAME-buildroot (damir@)
Пример спек-файла для упаковки теста repocop без состояния.
%define testname sampletest Name: repocop-unittest-%testname Version: 0.01 Release: alt1 BuildArch: noarch Packager: Igor Yu. Vlasenko <viy@altlinux.org> Summary: %testname integration tests for repocop test platform Group: Development/Other License: GPL or Artistic %description The test warns package maintainers that ... %prep %build cat > test <<'EOF' #!/bin/bash # enter your test here EOF %install mkdir -p %buildroot%_datadir/repocop/pkgtests/%testname/ install -m 755 test %buildroot%_datadir/repocop/pkgtests/%testname/ %files %_datadir/repocop/pkgtests/%testname %changelog
Корректное использование сторонних утилит в тестах
Если тест вызывает для проверки пакетов сторонние утилиты, такие, как sisyphus_check или desktop-file-validate, то полученные результаты теста зависят не только от пакета и самого теста, но и от версии сторонней утилиты. Поэтому корректный тест при изменениях в сторонней утилите должен сбрасывать результаты тестов. Для сброса результатов тестов достаточно поменять timestamp у скрипта test.
Пример оформления проверки в rpm пакете с помощью rpm trigger.
%triggerin -- sisyphus_check # if test itself is installed/updated, just keep build timestamp [ $2 = 1 ] && exit 0 ||: # at every sisyphus_check upgrade we should bump timestamp # to discard cached results of old sisyphus_check touch %_datadir/repocop/pkgtests/%testname/test
Заметим, что без дополнительной проверки
[ $2 = 1 ] && exit 0 ||:
trigger вызывался бы и при установке/обновлении самого теста. Это было бы плохо тем, что в результате невозможно было бы использовать кеш тестов repocop, доступный в песочнице repocop.altlinux.org: почти всегда на локальной машине timestamp соответствующего теста был бы новее, чем у теста, использующегося в песочнице.
Тесты с состоянием
Тест общего вида инициализирует своё состояние с помощью <testname>/init.sql.*, (в общем случае — при вызове <testname>/init). По мере прохождения тест может накапливать информацию о пакетах, используя <testname>/test, а в конце работы обработать её и сообщить о найденных ошибках в скрипте <testname>/done.
| Переменная | Описание |
|---|---|
| REPOCOP_TEST_STATEDIR | личная постоянная директория. Обычно $REPOCOP_STATEDIR/$REPOCOP_TEST_NAME |
| REPOCOP_STATEDIR | каталог, в котором хранятся личные постоянные директории тестов. Полезен для обращения к данным других тестов/коллекторов. |
| REPOCOP_TEST_TMPDIR | личная временная директория. |
| REPOCOP_TEST_NAME | <testname> |
| REPOCOP_TEST_DBDIR | каталог с базами данных SQLite установленных коллекторов. |
| REPOCOP_TEST_DB | личная база данных SQLite теста или коллектора. |
В переменной REPOCOP_TEST_STATEDIR тесту передаётся его личная постоянная директория, чтобы он мог хранить в ней свое состояние как между вызовами <testname>/test так и между вызовами repocop-run, а в переменной REPOCOP_TEST_TMPDIR тесту передается его личная временная директория, которая сохраняется между вызовами <testname>/test и в конце гарантированно удаляется силами repocop-run.
Тест общего вида может быть одновременно и коллектором, и постпроцессором, однако удобно, когда эти задачи разнесены в отдельные пакеты.
Коллекторы
Коллектор отличается от теста тем, что он никогда не вызывает repocop-test-*, и, следовательно, единственным результатом работы коллектора является создание базы данных. Также, для упаковки коллекторов предусмотрены каталоги
| Каталог | Описание |
|---|---|
| %_datadir/repocop/pkgcollectors/%testname/* | коллектор бинарных пакетов |
| %_libdir/repocop/pkgcollectors/%testname/* | коллектор бинарных пакетов |
| %_datadir/repocop/srccollectors/%testname/* | коллектор исходных пакетов |
| %_libdir/repocop/srccollectors/%testname/* | коллектор исходных пакетов |
а для тестов -
| Каталог | Описание |
|---|---|
| %_datadir/repocop/pkgtests/%testname/* | тест бинарных пакетов |
| %_libdir/repocop/pkgtests/%testname/* | тест бинарных пакетов |
| %_datadir/repocop/srctests/%testname/* | тест исходных пакетов |
| %_libdir/repocop/srctests/%testname/* | тест исходных пакетов |
Инициализация коллектора
Рекомендуемый формат хранения базы данных, собираемой коллектором — файл SQLite с именем <testname>.db, расположенный в REPOCOP_TEST_DBDIR. repocop в значительной мере упрощает инициализацию баз данных такого вида. При наличии файла <testname>/init.sql.x (инициализация схемы БД под SQLite. x — версия схемы.) repocop проверяет, есть ли уже файл REPOCOP_TEST_DBDIR/<testname>.db и при необходимости создаёт её из указанной схемы.
Если файл базы уже есть, то repocop запрашивает её версию командой «PRAGMA user_version». Если эта версия и число x совпадают, на этом инициализация заканчивается. Если текущая версия больше х, то происходит аварийный останов. Если текущая версия меньше х, то ищутся скрипты <testname>/upgrade.sql.Y, где Y от currrent version+1 до x, и последовательно выполняются. Если найден скрипт <testname>/upgrade, то он тоже выполняется. Если же скриптов обновления не найдено, то старая база удаляется. Также, если это тест, то его результаты тоже удаляются. repocop автоматически помечает базу версией x и при апгрейде, и при созданиии.
Альтернативно, коллектор может вести свою базу в REPOCOP_TEST_CACHEDIR в каком угодно формате. В этом случае для инициализации предусмотрен скрипт <testname>/init.
Обработка коллектором пакетов
Обработка коллектором пакетов производится через вызовы <testname>/test полностью аналогично тестам без состояния. Единственное отличие в том, что коллектор использует переменную окружения REPOCOP_PKG_KEY — внутренний id пакета в базах repocop. Коллектор не должен изобретать свои собственные идентификаторы пакета, а должен сохранять всю собранную информацию с этим REPOCOP_PKG_KEY.
Завершение работы коллектора
Если после работы коллектора остался какой-то мусор, его можно удалить в скрипте <testname>/done.
Уход за базой данных коллектора
Со временем БД коллектора накапливает устаревшие записи о пакетах, которых больше нет в репозитории. Если коллектор хранит данные в базе вида REPOCOP_TEST_DBDIR/<testname>.db, то утилиты repocop-purge-* удалят из всех таблиц, содержащих колонку PKGID (название заглавными буквами) строки, соответствующие устаревшим pkgid. (pkgid — это то, что передается коллектору в переменной окружения REPOCOP_PKG_KEY). После этого дополнительно вызывается SQL скрипт <testname>/purge.sql, если он существует.
Если же коллектор использует своё собственное хранилище, для удаления устаревших записей из собственного кеша теста он должен предоставить скрипт <testname>/purge. Утилиты repocop-purge-* вызовут этот скрипт автоматически. В качестве аргумента передается одна из опций --except либо --given, с тем же значением, что и в утилитах repocop-purge-*, а на stdin будет подан список pkgid, по одному pkgid на строку.
Тесты-постпроцессоры
Постпроцессор — это тест, который не тестирует отдельные пакеты, а использует готовые базы данных, собранные коллекторами. Такой тест состоит из единственного скрипта <testname>/done. Допускается, что тест-постпроцессор может пометить каким-либо статусом только часть пакетов из присутствующих в базе. У остальных пакетов по умолчанию для этого теста будет статус skip. Поскольку при вызове repocop-test-* отсутствует естественный контекст (текущий пакет), то постпроцессор должен явно указывать пакет, которому присваивается статус. Для этого утилитам repocop-test-* передаётся опция -k|--key <pkgid>, где <pkgid> в своё время был получен соответствующим коллектором через переменную окружения REPOCOP_PKG_KEY и сохранён им в своей базе.
Пример простого теста-постпроцессора:
#!/bin/sh
sqlite3 "$REPOCOP_TEST_DBDIR/altlinux-alternatives.db" <<EOSQL
.mode tabs
.output $REPOCOP_TEST_TMPDIR/warn
select distinct pkgid from altlinux_alternatives where altisxml>0;
.output $REPOCOP_TEST_TMPDIR/ok
select distinct pkgid from altlinux_alternatives where altisxml=0;
EOSQL
for i in `cat $REPOCOP_TEST_TMPDIR/warn`; do repocop-test-warn -k $i "xml format of alternatives is obsolete"; done
for i in `cat $REPOCOP_TEST_TMPDIR/ok`; do repocop-test-ok -k $i; done
rm $REPOCOP_TEST_TMPDIR/*
Тесты пакетов с исходниками
Аналогичны тестам бинарных пакетов за исключением того, что они устанавливаются в %_datadir/repocop/srctests/. Тестам передается в переменной
- REPOCOP_PKG — полный путь к src.rpm пакету.
- REPOCOP_PKG_ROOT — директория, в которую распаковано содержимое пакета.
(для пакетов с исходниками по умолчанию распаковывается только spec-файл. содержимомое src.rpm — нужно ли это будет кому-то?) Дополнительно в переменной REPOCOP_PKG_SPECFILE передаётся полный путь к спек-файлу. также доступны:
- REPOCOP_PKG_NAME
- REPOCOP_PKG_VERSION
- REPOCOP_PKG_RELEASE
- REPOCOP_PKG_EPOCH
и т. д., полностью аналогично тестам бинарных пакетов.
пример простейшего теста.
if OUTPUT=`rpmquery -p --requires $REPOCOP_PKG | egrep '(xorg-x11-devel|XFree86-devel)'`; then
exec repocop-test-warn "Please, refresh your BuildRequires: using buildreq." \
" The following obsolete dependencies blow up the build:" $OUTPUT
else
exec repocop-test-skip
fi