CVE-Manager

cve-manager - консольная программа, предназначенная 1) для формирования базы данных уязвимостей (БДУ) программ, входящих в состав заданных репозиториев rpm-пакетов, а также 2) для осуществления анализа записей сформированной БДУ и подготовки отчётов на основе результатов этого анализа (в том числе с осуществлением рассылки по электронной почте).

Основными входными данными программы являются списки, содержащие названия и версии исходных и бинарных пакетов рассматриваемых репозиториев, а также списки известных уязвимостей. На данный момент поддерживается два источника списков известных уязвимостей - NVD (National Vulnerability Database) и ФСТЭК (Федеральная служба по техническому и экспортному контролю).

Программа имеет модульную структуру, написана на Python и C++, использует MySQL. Распространяется по лицензии GPLv3.0.

Структура программы

cve-manager состоит из следующих модулей:

1. cve-manager - предоставляет пользовательский интерфейс для запуска процесса формирования БДУ и осуществляет организацию и контроль данного процесса путём последовательного запуска остальных модулей в установленном порядке в автоматическом режиме;
2. cve-backup - осуществляет резервное копирование/восстановление ранее сформированной БДУ;
3. cve-history - осуществляет выборку незакрытых уязвимостей по текущему состоянию БДУ и сохраняет их в отдельной таблице с целью обеспечения возможности сравнения будущего состояния БДУ с этим сохранённым состоянием;
4. cve-download - осуществляет загрузку по HTTPS списков уязвимостей, предоставляемых NVD и ФСТЭК, а также CPE словаря;
5. cve-import - осуществляет для выбранных репозиториев внесение данных из списков пакетов, которые могу быть размещены на alt-сервере (например, alt:/ALT/p9/files/list/bin.list для ветви p9), или в произвольном каталоге файловой системы, а также внесение данных из загруженных списков уязвимостей и данных из CPE словаря в БД MySQL; Имеет возможность фильтрации импортируемых списков пакетов в соответствии с содержимым предоставляемого текстового файла, каждая строка которого является названием пакета, информация о котором должна быть учтена в БДУ;
6. cve-fixes - извлекает 'Fixes' записи и URL из метаданных всех исходных пакетов рассматриваемых репозиториев, использует gb-x-parse-vulns-from-changelog;
7. cpe-map - осуществляет установление соответствия импортированных в БД названий исходных пакетов рассматриваемых репозиториев и 1) названий программных продуктов из импортированного в БД CPE словаря, а также 2) названий программных продуктов из импортированного в БД списка уязвимостей ФСТЭК;
8. cve-issues - осуществляет установление соответствия между данными, внесёнными в БД с помощью модулей cve-import, cpe-map и cve-fixes, а именно - формирует записи в БД вида <CVE/ФСТЭК идентификатор>, <название пакета>, <CPE/ФСТЭК название уязвимого программного продукта>, <версия пакета>, <уязвимая версия программного продукта>, <fix-status>, где <fix-status> - значение из следующего набора (или комбинация из данных значений):
   1. changelog - устранение данной уязвимости обозначено в changelog-секции пакета;
   2. bigger ver - версия пакета в репозитории больше данной уязвимой версии;
   3. [lesser ver] - версия пакета в репозитории меньше данной уязвимой версии;
   4. [NO FIX] - версия пакета в репозитори совпадает с уязвимой версией программного продукта и устранение данной уязвимости не зафиксировано.
9. cve-monitor - предназначен для посылки запросов выборки из таблиц БДУ и выдачи результатов (отчётов), например формирование списка всех пакетов с имеющимися незакрытыми уязвимостями или списка всех закрытых уязвимостей одной ветви, которые не закрыты в другой; Формируемые отчёты могут рассылаться на задаваемые адреса электронной почты; На данный момент (версия 0.28) отчёты предоставляются в собственном формате (см. подраздел "Мониторинг уязвимостей пакетов"), в перспективе возможность их получения в формате XML и JSON.

Все модули кроме cve-import написаны на Python, cve-import написан на C++.

Установка

cve-manager собран в репозиторий Sisyphus.

Установка полной версии (серверная и клиентская часть):

apt-get install cve-manager

Установка только клиентской части:

apt-get install cve-monitor

Настройка

Настройка серверной части

Параметры cve-manager определяются файлом ini-формата /etc/cve-manager/cve-manager.conf. Данный ini-файл включает следующие обязательные секции:

1. database, в которой указываются параметры соединения с базой данных MySQL (server, user, passwd, schema);
2. common, в которой указывается путь к каталогу, в который cve-download загружает входные данные и откуда cve-import их импортирует в БД (download), название основной ветви, значения времени сборки пакетов которой будут учитываться при определении соответствия имён исходных пакетов и имён уязвимых программных продуктов (master_branch), путь к корневому каталогу alt-сервера (basealt), а также источники списков уязвимостей, исключаемые из рассмотрения (excluded_vulsrc с возможными значениями nvd и fstec), при этом первые два параметра являются обязательными.

Прочие секции файла настройки воспринимаются как названия ветвей Sisyphus, информация об уязвимостях которых должна быть помещена в БДУ. Каждая из таких секций может включать определение следующих параметров:

• base_dir - название основного каталога данного репозитория;
• src_list - путь к списку исходных пакетов (src.list) данного репозитория;
• bin_list - путь к списку бинарных пакетов (bin.list) данного репозитория;
• srpms_dir - путь к каталогу с исходными пакетами (SRPMS) данного репозитория.

По-умолчанию значения перечисленных параметров соответствуют структуре каталогов alt-сервера. ВНИМАНИЕ - названия секций должны состоять только из латинских символов и цифр. В случае, если название репозитория включает прочие символы, следует воспользоваться переменной base_dir (см. пример, секция x81).

Пример файла настройки:

[database]
server  = "localhost:3306"
user    = some_username
passwd  = some_passwd
schema  = some_dbname

[common]
basealt = /space/
download = ~/.cve-manager/
excluded_vulsrc = fstec
master_branch = Sisyphus

[Sisyphus]

[p8]

[x81]
base_dir = /space/ALT/x8.1/

[some_custom_branch]
src_list = /some_custom_branch/lists/src.list
bin_list = /some_custom_branch/lists/bin.list
srpms_dir = /some_custom_branch/SRPMS/

Файл настройки принадлежит пользователю root, относится к группе cve и имеет режим rw-rw----. Также группе cve принадлежат все модули, кроме модуля cve-monitor. Таким образом вносить изменения в БДУ помимо пользователя root могут только члены группы cve. Добавить пользователя в группу cve можно с помощью следующей команды:

usermod -a -G cve <user-name>

Настройка клиентской части

cve-monitor имеет свой файл настройки /etc/cve-manager/cve-monitor.conf, позволяющий пользователям, не являющимся членами группы cve, осуществлять соединение с БДУ с правом только на чтение (SQL-запрос SELECT) - структура данного файла повторяет структуру файла cve-manager.conf (см. подраздел "Настройка серверной части"), при этом секция common, а также параметры ветвей ни на что не влияют, за исключением дополнительного параметра ветвей seniors, в котором перечисляются старшие ветви по отношению к данной, и которые будут использованы при формировании предложений по устранению существующих в данной ветви уязвимостей (при передаче флага --cure модулю cve-monitor), например:

[p9]
seniors = Sisyphus

[p8]
seniors = ${p9:seniors}, p9

Для настройки почтовой рассылки cve-monitor существует другой конфигурационной файл - /etc/cve-manager/cve-mail.conf, содержащий настройки соединения с почтовым сервером и списки адресатов, которые задаются группами в секции recipients; При запуске cve-monitor с флагом --mail следует передать название группы адресатов; Так, например, пусть файл настройки почтовой рассылки имеет следующее содержимое

[connection]
host = some_host.com
port = 25
username = some_mail_account
passwd = password_of_the_mail_account
raddress = some_mail_account@some_host.com

[recipients]
weekly = "some_email1@altlinux.org", "some_email2@basealt.ru", "some_email3@basealt.ru"
daily  = "some_email4@altlinux.org", "some_email5@basealt.ru"
some_other_group_of_recipients = "some_other_email@some_other_host.com"

Тогда, например, для того чтобы результаты команды cve-monitor --show issues unfixed --group после формирования были отправлены группе адресатов daily следует исполнить следующую команду:

cve-monitor --show issues unfixed --group --mail daily

Внутренние знания cve-manager

Пакет cve-manager-inner-knowledge содержит ряд файлов с данными, которые могут быть отредактированы пользователем с целью оказания влияния на процесс формирования БДУ:

• cpe-mapping.csv (/etc/cve-manager/cpe-mapping.csv) - предопределяет соответствие имён на начальном этапе работы модуля cpe-map;
• cpe-mapping-ignore.csv (/etc/cve-manager/cpe-mapping-ignore.csv) - определяет пары имён, которые исключаются из результатов работы модуля cpe-map;
• excluded-issues.csv (/etc/cve-manager/excluded-issues.csv) - определяет уязвимости, которые не следует считать незакрытыми для указанного пакета указанного репозитория начиная с указанной версии пакета (используется модулем cve-issues).

Каждая строка файлов cpe-mapping.csv и cpe-mapping-ignore.csv должна быть записана в следующем формате:

<название пакета>, <название программного продуката, используемое NVD>

Каждая строка файла excluded-issues.csv должна быть записана в следующем формате:

<ветвь Sisyphus, 'all' если все ветви>, <id уязвимости>, <название пакета>, <версия пакета>

Для того чтобы обозначенные настройки установления соответствия имён вступили в действие следует запустить модуль cpe-map заново для соответствующих ветвей (cpe-map -b [<branch_name> ...]), или для всех ветвей (cpe-map -e); При этом следует заново запустить модуль cve-issues для данных ветвей (cve-issues -b [<branch_name> ...]), или для всех ветвей (cve-issues -b all); В случае, если допустима обработка всех ветвей, запуск модулей cpe-map и cve-issues можно осуществить путём запуска автоматического формирования БДУ начиная с шага установления соответствия имён:

cve-manager -b map

Использование

Формат списка пакетов исследуемого репозитория

Список пакетов исследуемого репозитория может быть задан в одном из двух форматов. Первый формат соответствует формату списков бинарных пакетов ALT Linux (alt:/ALT/<branch>/files/list/bin.list), а второй формат исключает всю ненужную информацию:

Формат	Пример
<bin_package_short_name> <*> <*> <*> <src_package_full_name>	libcve-manager 0.33.1-alt1 x86_64 libcve-manager-0.33.1-alt1.x86_64.rpm cve-manager-0.33.1-alt1.src.rpm
<bin_package_short_name> <src_package_full_name>	libcve-manager cve-manager-0.33.1-alt1

<*> - любая комбинация символов, не включающая пробелы;

<bin_package_short_name> - название бинарного пакета без версии и релиза;

<src_package_full_name> - полное название исходного пакета, включающее версию и релиз (наличие расширения 'src.rpm' не обязательно).

Подготовка базы данных уязвимостей

Запуск процесса формирования БДУ:

cve-manager [-h] [-a] [-b MODULE_NAME] [-e MODULE_NAME] [-l] [--plain] [--silent]

Параметр	Описание
-h, --help	Вывод справки
-a, --run_all	Выполнить все шаги формирования БДУ
-b MODULE_NAME, --beginning_step MODULE_NAME	Начальный шаг запускаемого процесса формирования БДУ (название модуля без приставки cve- / cpe-)
-e MODULE_NAME, --ending_step MODULE_NAME	Конечный шаг запускаемого процесса формирования БДУ (название модуля без приставки cve- / cpe-)
-l, --list_modules	Вывод списка доступных модулей (вместе с их описаниями)
--plain	Упрощенный вывод (следует использовать, например, при перенаправлении вывода в файл)
--silent	Запрет вывода

Пример команды запуска формирования БДУ, при котором автоматически, в установленном порядке, один за другим будут запущены все прочие модули:

cve-manager -a --plain 2>&1 1>$HOME/cve-manager.log

В случае первого запуска cve-manager, когда БДУ не была ранее сформирована, в качестве начального шага следует указывать шаг загрузки входных данных, при этом не будет осуществлён запуск модулей, работа которых имеет смысл только при наличии сформированной БДУ (создание файла с копией текущего состояния БДУ и сохранение текущих незакрытых уязвимостей в специальной таблице БДУ):

cve-manager -b download --plain 2>&1 1>$HOME/cve-manager.log

Каждый модуль пакета cve-manager является самостоятельной программой и может быть запущен напрямую, например:

cve-download --everything

cve-import --prepare

Вывод справочной информации модуля:

<module-name> --help

Мониторинг уязвимостей пакетов

Запуск модуля cve-monitor:

cve-monitor [-h] [--show WHAT_YOU_WANT_TO_SEE] [-f FIX_STATUS] [-t ISSUES_TYPE] [-o ORDER_BY] [-b BRANCH_NAME [BRANCH_NAME ...]] [-p PACKAGE_NAME [PACKAGE_NAME ...]] [-y YEAR [YEAR ...]] [-v VUL_ID [VUL_ID ...]] [--group] [--cure] [--patch] [-m REPORT_CATEGORY [REPORT_CATEGORY ...]]

Параметр	Описание
-h, --help	Вывод справки
--show WHAT_YOU_WANT_TO_SEE	Вывод списка уязвимостей (issues, является значением по-умолчанию), или вывод новых незакрытых уязвимостей (history), или вывод сравнительного списка по уязвимостям указанных ветвей Sisyphus (comp, требует задания значения параметра --branches, при этом первая указанная ветвь сравнивается с последующими), или вывод полных описаний уязвимостей (vul_desc), или вывод установленного соответствия между названиями пакетов и названиями, используемыми в описаниях уязвимостей (map), или вывод примеров использования (ex)
-f FIX_STATUS, --fix_status FIX_STATUS	Фильтрация результатов по состоянию уязвимостей (fixed / unfixed / all)
-t ISSUES_TYPE, --itype ISSUES_TYPE	Фильтрация результатов по типу источника записей об уязвимостях (nvd / fstec)
-o ORDER_BY, --order ORDER_BY	Осуществление упорядочения результатов по идентификаторам уязвимостей (id), иманам пакетов (package), оценке CVSS ver.2 (score2), оценке CVSS ver.3 (score3), или текущему состоянию уязвимости (fix)
-b BRANCH_NAME [BRANCH_NAME ...], --branches BRANCH_NAME [BRANCH_NAME ...]	Фильтрация результатов по названиям репозиториев
-p PACKAGE_NAME [PACKAGE_NAME ...], --packages PACKAGE_NAME [PACKAGE_NAME ...]	Фильтрация результатов по названиям пакетов
-y YEAR [YEAR ...], --years YEAR [YEAR ...]	Фильтрация результатов по датам уязвимостей
-v VUL_ID [VUL_ID ...], --vul_ids VUL_ID [VUL_ID ...]	Фильтрация результатов по идентификаторами уязвимостей
--group	Осуществление группировки результатов по именнам пакетов (работает только при запуске с параметром -f unfixed)
--cure	Дополнение отчёта колонкой с названиями ветвей Sisyphus более высокого порядка (например, p9 для p8), в которых данная уязвимость не наблюдается
--patch	Список ссылок на патчи, предположительно закрывающие данную уязвимость (ссылки извлекаются из входных списков уязвимостей)
-m REPORT_CATEGORY [REPORT_CATEGORY ...], --mail REPORT_CATEGORY [REPORT_CATEGORY ...]	Осуществить почтовую рассылку с формируемым результатом на адреса, указанные в соответствующем конфигурационном файле (см. Настройка клиентской части)

Примеры команд и значения полей формируемых отчётов:

• cve-monitor --show issues -f unfixed -b Sisyphus p9 --group --cure --mail <some_group_of_recipients> - запрос всех неисправленных уязвимостей ветвей Sisyphus и p9 с группировкой записей по именам пакетов, с предложениями по устранению и отправкой отчёта по электронной почте группе адресатов <some_group_of_recipients>;
• cve-monitor --show issues -f unfixed -b Sisyphus p9 --order package --cure --patch --mail <some_group_of_recipients> - запрос детального отчёта (без группировки по именам пакетов -- каждая строка отводится отдельной уязвимости, наличие которой установлено для отдельного пакета), записи которого упорядочены по именам пакетов, с предложениями по устранению и ссылками на страницы, которые могут содержать патчи для устранения соответствующих уязвимостей, также с отправкой по электронной почте;
• cve-monitor --show history -b p9 - запрос списка новых уязвимостей пакетов ветви p9, обнаруженных с момента последнего запуска модуля cve-history.

Поле	Значение
PACKAGE NAME-VER-REL	Название пакета, его версия и релиз
MAPPED NAME	Название программного продукта, поставленное в соответствие названию данного пакета
VULNERABLE VER	Указанные уязвимые версии, или интервалы версий (наличие версии, обозначенной символом *, означает, что набор уязвимых версий точно не установлен)
QTY	Количество уязвимостей, наличие которых установленно для данного пакета
CVSS2/3	Оценка данной уязвимости по метрике CVSS ver.2 и CVSS ver.3
MAX CVSS2/3	Максимальная оценка по метрике CVSS ver.2 и CVSS ver.3 из всех оценок уязвимостей данного пакета
ACL	Cписок пользователей и групп пользователей, имеющих право на сборку данного пакета в данный репозиторий с помощью git.alt
FIX	Состояние данной уязвимости ([NO FIX] - не закрыта, changelog - о закрытии говорит запись в chagelog пакета, bigger ver / [lesser ver] - версия пакета больше / меньше указанных уязвимых версий)
CURE	Ветви Sisyphus, в которых данный пакет не имеет всех или части (указывается особо) уязвимостей, наличие которых установлено для данного пакета
PATCH	Ссылки на страницы, которые могут содержать патчи для устранения соответствующей уязвимостей

Разворачивание инфраструктуры базы данных уязвимостей

Для работы cve-manager нет необходимости устанавливать MySQL сервер и создавать БДУ в своём окружении - в настройках cve-manager может быть указан адрес удалённого сервера. Тем не менее, это можно сделать, выполнив следующие шаги:

1. Установить MySQL сервер:

apt-get install MySQL-server

Также можно воспользоваться альтернативой (все остальные пункты данного руководства при этом остаются в силе):

apt-get install mariadb-server

2. Внести изменения в файл настройки MySQL сервера /etc/my.cnf.d/server.cnf:

[mysqld]
...
loose-local-infile = 1
#skip-networking
bind-address = 127.0.0.1

3. Перезапустить MySQL сервер и запустить MySQL консоль:

su -l -c 'service mysqld restart'

mysql -u root

4. Задать пароль пользователя MySQL с именем root:

mysql> SET PASSWORD FOR 'root'@'localhost' = 'root-passwd';

, где root-passwd - задаваемый пароль пользователя root;

5. Добавить пользователя MySQL, от имени которого будет осуществляться формирование БД:

MySQL server ver 8.*	MySQL server ver 5.*
mysql> CREATE USER 'user-name'@'localhost' IDENTIFIED WITH mysql_native_password BY 'user-passwd'; mysql> GRANT ALL ON *.* TO 'user-name'@'localhost';	mysql> GRANT ALL PRIVILEGES ON *.* to 'user-name'@'localhost' IDENTIFIED BY 'user-passwd';

, где user-name - имя пользователя, user-passwd - пароль пользователя;

6. Добавить пользователя MySQL, от имени которого будут осуществляться запросы на чтение записей БД (мониторинг):

MySQL server ver 8.*	MySQL server ver 5.*
mysql> CREATE USER 'monitor'@'localhost' IDENTIFIED WITH mysql_native_password BY 'monitor'; mysql> GRANT SELECT ON *.* TO 'monitor'@'localhost';	mysql> GRANT SELECT ON *.* TO 'monitor'@'localhost' IDENTIFIED BY 'monitor';

7. При использовании MySQL-server версии >= 5.7 может возникнуть его несовместимость с используемыми C++ и Python MySQL-фреймворками; Для исправления этого следует (например, для совместимости с версией 5.6):

7.1. Задать режим обратной совместимости в mysql консоли:

mysql -u root -p

mysql> set @@global.show_compatibility_56=ON;

7.2. Добавить в файл /etc/my.cnf.d/server.cnf строку:

show_compatibility_56 = 1

Ссылки

Проект на git.altlinux.org
cve-manager-inner-knowledge