AI
Использование больших языковых моделей в Альт
Software
В Сизифе есть следующие экспериментальные пакеты для работы с большими лингвистическими миделями на CPU:
- llama.cpp локальный запуск моделей в GGUF формате, которые, как правило, берутся с git-хостинга Hugging Face Hub ориентированного на ML проекты. llama.cpp содержит низкоуровневые утилиты, поэтому, сложнее в использовании чем ollama, но гибче. Апстрим динамично развивается.
- ollama локальный запуск моделей, есть удобное скачивание моделей из их собственного репозитория, это консольный и серверный простой в использовании frontend для llama.cpp предоставляющий REST API.
- aichat консольный доступ к удаленным моделям по API, есть простое webUI, поддержка вызовов функций.
Модели
Открытость лицензий
Не все открытые модели являются open-source в таком же смысле как код. Как правило, у "открытых" моделей открыты только веса. Нужно быть внимательными к лицензии, так как некоторые модели имеют открытые лицензии (как Apache-2.0), но при этом, другие модели в той-же линейке могут внезапно иметь проприетарную лицензию (например модели Qwen), или некоторые лицензии кажутся открытыми, но имеют пункты отменяющие открытость (например модели Llama).
Квантизация
Так как модели требовательны к памяти, то применяются и распространяются их квантизованные версии. Как правило, оригинальная модель имеет 16-бит на параметр (fp16
), и требует как минимум в два раза больше памяти чем количество параметров. Чем ниже квантизация, тем ниже требования к памяти ценой качества работы модели. Размер квантизации часто указывается в названии модели после размера (количества параметров) модели как q<число>
(например, q4_K_M
, где другие буквы уточняют вид квантизации). Считается, что качество модели катастрофически ухудшается при квантизации ниже 4-бит, квантизация 4-бита минимально приемлемая (при недостатке памяти) с небольшими ухудшением качество работы модели, а с верхней стороны, квантизация 8-бит работает практически так же хорошо как 16-бит оригинал (требуя в 2 раза меньше памяти).
Открытые российские модели
Модели, которые можно запустить на движке llama.cpp скачав c HuggingFace (ссылка в формате: Пользователь_HF/Модель
, лучше зайти на страницу пользователя и посмотреть что там):
IlyaGusev/Saiga
- тюнинг Mistral и Llama на русском корпусе.AnatoliiPotapov/T-lite-0.1
(8B базовая модель, предположительно, на базе Llama-3),AnatoliiPotapov/T-lite-instruct-0.1
(её тюнинг на инструкции).t-tech/T-lite-it-1.0
(7B),t-tech/T-pro-it-1.0
(32B) обе модели на базе Qwen 2.5 с тюнингом на следование инструкциям.