Просмотр кода страницы Технология фаззинга Python3 скриптами

При фаззинге Python3 используются скрипты на Python в качестве входного корпуса, которые потом обрабатывает интерпретатор. Цель состоит в том, чтобы определить, как интерпретатор реагирует на разнообразные конструкции языка.

Это требует наличия инструментации интерпретатора, чтобы можно было отслеживать покрытие кода и эффективность тестирования. Для этого в данной статье будут использоваться такие инструменты, как <code>afl++</code> и <code>afl-cov</code>. Также следует упомянуть, что все нижеописанные действия будут проводиться в контейнере Podman.

== Настройка контейнерного окружения для фаззинга ==

Перед началом фаззинга Python3 нужно настроить контейнерное окружение. Подготовленный Dockerfile из репозитория [1] позволяет создать окружение, полностью готовое для запуска фаззинга и сбора покрытия кода. Он основан на базе <code>alt:p10</code>. Сначала в нем настраиваются параметры UID и GID. Далее устанавливаются базовые утилиты, такие как <code>bash</code>. Затем выполняется установка инструментов для сборки и анализа: <code>clang</code>, <code>llvm</code>, <code>gcc</code>, <code>ninja</code>, а также пакетов для Python (<code>python3-dev</code>, <code>setuptools</code>, <code>pip</code>). Эти инструменты необходимы для компиляции Python3 и интеграции с AFL для фаззинга. Дополнительно устанавливаются утилиты для сбора покрытия кода (<code>lcov</code>, <code>gcovr</code>) и Rust, необходимый для поддержки некоторых возможностей AFL++.

После установки всех зависимостей создается изолированный пользователь. Далее устанавливаются дополнительные инструменты, такие как <code>capstone</code> и <code>libxdc</code>, для поддержки продвинутых режимов фаззинга. Затем выполняется установка и настройка <code>afl++</code> и <code>afl-cov</code>. Контейнер настраивается для использования <code>afl-clang-lto</code>, чтобы поддерживать фаззинг на уровне сборки Python3. В конце Dockerfile переключается обратно на непривилегированного пользователя и запускает контейнер в режиме оболочки, создавая готовую к использованию изолированную среду для тестирования.

Для начала работы следует склонировать репозиторий с подготовленным Dockerfile и перейти в его директорию:

<source lang="bash">git clone https://git.altlinux.org/people/zeff/public/python3-fuzzing.git
cd ./python3-fuzzing</source>
После этого, перейдите к сборке контейнера:

<source lang="bash">podman build -t cpython-fuzzer .</source>
== Запуск фаззинга Python3 ==

Процесс запуска фаззинга Python3 состоит из четырёх основных этапов: сборка Python3 с AFL, сборка Python3 с покрытием (AFL-cov), запуск фаззинга, сбор покрытия кода.

=== Сборка Python3 с инструментацией AFL ===

Для сборки Python3 с инструментами фаззинга AFL, необходимо выполнить сборку внутри контейнера. Запустите контейнер с образом cpython-fuzzer:

<source lang="bash">podman run -it --rm --name build-afl \
    -v "$(pwd)/artifacts:/artifacts" \
    -v "$(pwd):/host:ro" \
    --userns=keep-id:uid=500,gid=500 \
    cpython-fuzzer bash</source>
Установите переменные окружения для компиляторов AFL:

<source lang="bash">export CC=afl-clang-lto \
       CXX=afl-clang-lto++ \
       LD=afl-ld-lto \
       CFLAGS="-fPIE" \
       CXXFLAGS="-fPIE" \
       AFL_USE_ASAN=1 \
       AFL_USE_UBSAN=1 \
       ASAN_OPTIONS="detect_leaks=0:abort_on_error=1:symbolize=0"</source>
Затем склонируйте исходный код Python3 и приготовьте его к сборке:

<source lang="bash">git clone --branch 3.9.20-alt1 --depth 1 git://git.altlinux.org/gears/p/python3.git python3.9.20-alt1
cd python3.9.20-alt1
git checkout 3.9.20-alt1
sed -i 's&--enable-ipv6&--enable-ipv6 ax_cv_c_float_words_bigendian=no&' python3.spec
gear --commit --rpmbuild -- rpmbuild --buildroot=/home/user/fuzz_target -bp</source>
Перейдите в директорию сборки и настройте параметры компиляции:

<source lang="bash">cd /home/user/RPM/BUILD/
rm -rf  /artifacts/python3-3.9.20-alt1
mv python3-3.9.20 /artifacts/python3-3.9.20-alt1
cd /artifacts/python3-3.9.20-alt1
mkdir build && cd build
../configure ax_cv_c_float_words_bigendian=no \
  --enable-ipv6 \
  --with-dbmliborder=gdbm:ndbm:bdb \
  --with-system-expat \
  --with-system-ffi \
  --enable-loadable-sqlite-extensions \
  --with-lto \
  --with-ssl-default-suites=openssl \
  --without-ensurepip</source>
Запустите сборку:

<source lang="bash">make -j$(nproc) 2>&1 | tee /artifacts/python3-3.9.20-alt1/build.log
exit</source>
После завершения сборки Python3 будет готов для запуска фаззинга с использованием AFL.

=== Сборка Python3 с инструментацией для покрытия (AFL-cov) ===

Для анализа покрытия кода при фаззинге необходимо собрать Python3 с дополнительной инструментализацией для покрытия. Для этого сначала запустите контейнер:

<source lang="bash">podman run -it --rm --name build-cov \
    -v "$(pwd)/artifacts:/artifacts" \
    -v "$(pwd):/host:ro" \
    --userns=keep-id:uid=500,gid=500 \
    cpython-fuzzer bash</source>
Внутри контейнера настройте переменные окружения для сборки с поддержкой покрытия:

<source lang="bash">export CC=clang-15 \
    CXX=clang++-15 \
    LD=clang-15 \
    CFLAGS="-fprofile-arcs -ftest-coverage -fPIE" \
    CXXFLAGS="-fprofile-arcs -ftest-coverage -fPIE" \
    LDFLAGS="-fprofile-arcs -ftest-coverage -fPIE" \
    ALTWRAP_LLVM_VERSION=15.0</source>
Склонируйте исходный код и приготовьте его к сборке:

<source lang="bash">git clone --branch 3.9.20-alt1 --depth 1 git://git.altlinux.org/gears/p/python3.git python3.9.20-alt1
cd python3.9.20-alt1
git checkout 3.9.20-alt1
sed -i 's&--enable-ipv6&--enable-ipv6 ax_cv_c_float_words_bigendian=no&' python3.spec
gear --commit --rpmbuild -- rpmbuild --buildroot=/home/user/cov_target -bp</source>
Перенестие собранные файлы и выполните настройку:

<source lang="bash">mv /home/user/RPM/BUILD/python3-3.9.20 /artifacts/python3-3.9.20-alt1-cov
cd /artifacts/python3-3.9.20-alt1-cov
./configure ax_cv_c_float_words_bigendian=no \
  --enable-ipv6 \
  --with-dbmliborder=gdbm:ndbm:bdb \
  --with-system-expat \
  --with-system-ffi \
  --enable-loadable-sqlite-extensions \
  --with-lto \
  --with-ssl-default-suites=openssl \
  --without-ensurepip</source>
Запустите сборку:

<source lang="bash">make -j$(nproc) 2>&1 | tee /artifacts/python3-3.9.20-alt1-cov/build.log
exit</source>
=== Запуск фаззинга ===

Для запуска фаззинга на собранной версии Python3, выполните следующие шаги. Сначала запустите контейнер:

<source lang="bash">podman run -it --rm --name run-fuzzing \
    -v "$(pwd)/artifacts:/artifacts" \
    -v "$(pwd):/host:ro" \
    --userns=keep-id:uid=500,gid=500 \
    cpython-fuzzer bash</source>
Далее следует подготовить входной корпус, но остановимся здесь поподробнее. В процессе фаззинга Python3, входной корпус представляет собой набор скриптов на Python, которые используются в качестве тестовых данных. Желательно, чтобы входной корпус был разнообразным и содержал как простые, так и сложные конструкции Python, чтобы максимально покрыть возможные пути выполнения.

В качестве входного корпуса в данной статье будет использоваться заранее подготовленный репозиторий [2], содержащий набор тестовых Python-скриптов:

<source lang="bash">git clone https://github.com/OMGfox/python_input_corpuses
mv python_input_corpuses/input /home/user/indir
rm -rf python_input_corpuses</source>
Настройте окружение для AFL:

<source lang="bash">export AFL_AUTORESUME=1 AFL_SKIP_CPUFREQ=1 AFL_TRY_AFFINITY=1
mkdir -p /artifacts/outdir</source>
И запустите фаззинг:

<source lang="bash">afl-fuzz -i /home/user/indir -o /artifacts/outdir \
         -m 1000 -t 1000+ \
         -M master -- /artifacts/python3-3.9.20-alt1/build/python</source>
Эта команда запускает фаззинг с помощью <code>afl-fuzz</code>, используя входные данные из директории <code>/home/user/indir</code> и сохраняя результаты в <code>/artifacts/outdir</code>. Параметр <code>-m 1000</code> устанавливает лимит памяти в 1000 МБ (его можно удалить, если ограничение не требуется), а <code>-t 1000+</code> задаёт максимальное время выполнения одного теста в миллисекундах. Опция <code>-M</code> указывает, что данный процесс будет работать в режиме мастера. Также возможна опция <code>-S</code>, которая указывает, что данный процесс будет работать в slave-режиме. После <code>--</code> указывается путь к исполняемому файлу.

=== Сбор покрытия кода ===

Для оценки покрытия кода запустите контейнер:

<source lang="bash">podman run -it --rm --name run-coverage \
    -v "$(pwd)/artifacts:/artifacts" \
    -v "$(pwd):/host:ro" \
    --userns=keep-id:uid=500,gid=500 \
    cpython-fuzzer bash</source>
Внутри контейнера создайте директорию для отчетов покрытия:

<source lang="bash">cd ~
mkdir /artifacts/coverage</source>
Запустите afl-cov для анализа покрытия:

<source lang="bash">afl-cov --overwrite --clang --cover-corpus -v -d /artifacts/coverage \
    --coverage-cmd "/artifacts/python3-3.9.20-alt1-cov/python @@" \
    --code-dir "/artifacts/python3-3.9.20-alt1-cov"</source>
Эта команда запускает <code>afl-cov</code> для анализа покрытия кода, достигнутого во время фаззинга. Параметр <code>--overwrite</code> позволяет перезаписать старые отчёты. Флаг <code>--clang</code> указывает использовать компилятор Clang для точного анализа покрытия. Опция <code>--cover-corpus</code> заставляет <code>afl-cov</code> проверять весь сгенерированный корпус. Параметр <code>-v</code> включает подробный вывод, а <code>-d /artifacts/coverage</code> указывает, куда сохранять результаты анализа. Опция <code>--coverage-cmd &quot;/artifacts/python3-3.9.20-alt1-cov/python @@&quot;</code> указывает команду для запуска исполняемого файла с каждым тестовым случаем, где <code>@@</code> заменяется на файл из корпуса. Наконец, <code>--code-dir</code> указывает на директорию с исходным кодом для сопоставления сгенерированного покрытия, что позволяет увидеть, какие участки кода были задействованы во время фаззинга.


== Ссылки ==
[1] [https://git.altlinux.org/people/zeff/public/python3-fuzzing.git Репозиторий с Dockerfile]

[2] [https://github.com/OMGfox/python_input_corpuses Репозиторий с входным корпусом для фаззинга]