Linguistics: различия между версиями

Версия от 22:09, 2 марта 2009

Лингвистика и обработка естественного языка (Natural language processing)

FIXME:организовать в более общие разделы, дополнить

python-module-nltk Большой пакет, включающий модули python для решения очень широкого круга задач из области корпусной лингвистики и обработки естественного языка. См. домашнюю страницу проекта, и в особенности книгу. Хорошо бы найти добровольцев её перевести на русский язык.

perl-Lingua-Stem — Русский, Немецкий, Францунзский, Итальянский, Датский, Шведский, Португальский FIXME:описание
snowball Судя по отзывам, хороший стеммер, поддерживающий много разных языков, включая русский, имеется обёртка для python -- PyStemmer. Всё это хорошо бы собрать в Сизиф. Примечание: уже имеется пакет по имени snowball, другой.

emdros — база данных для аннотированного текста. Оригинальная модель представления аннотированных данных (текста), гибкий язык запросов MQL. Утилиты для импорта из популярных форматов лингвистической аннотации. Графические пользовательские программы для наполнения и запросов к БД.

perl-Text-NSP — пакет для статистического анализа N-грамм в тексте (Ted Pedersen). Не полностью корректно поддерживает unicode, поэтому есть проблемы при обработке русского текста.
perl-UCS — пакет для статистического анализа коллокаций (Stefan Evert), UCSTools. Работает с данными от perl-Text-NSP.

@@ Строка 2: / Строка 2: @@
 {{discuss|FIXME:организовать в более общие разделы, дополнить}}
+== Универсальные (почти) пакеты ==
+* '''{{PkgL|python-module-nltk}}''' Большой пакет, включающий модули python для решения очень широкого круга задач из области корпусной лингвистики и обработки естественного языка. См. [http://www.nltk.org домашнюю страницу проекта], и в особенности [http://snowball.tartarus.org/download.php книгу]. {{discuss|Хорошо бы найти добровольцев её перевести на русский язык.}}
 == Лемматизация ==