Linguistics: различия между версиями

Материал из ALT Linux Wiki
Нет описания правки
Строка 5: Строка 5:
== Лемматизация ==
== Лемматизация ==
* '''{{PkgL|perl-Lingua-Stem}}''' — Русский, Немецкий, Францунзский, Итальянский, Датский, Шведский, Португальский {{discuss|FIXME:описание}}
* '''{{PkgL|perl-Lingua-Stem}}''' — Русский, Немецкий, Францунзский, Итальянский, Датский, Шведский, Португальский {{discuss|FIXME:описание}}
* [http://snowball.tartarus.org/download.php snowball] Судя по отзывам, хороший стеммер, поддерживающий много разных языков, включая русский, имеется обёртка для python -- PyStemmer. Всё это хорошо бы собрать в Сизиф. {{discuss|Примечание: уже имеется пакет по имени {{PkgL|snowball}}, другой.}}


== Морфологический и синтаксический анализ ==
== Морфологический и синтаксический анализ ==

Версия от 22:05, 2 марта 2009

Лингвистика и обработка естественного языка (Natural language processing)

FIXME:организовать в более общие разделы, дополнить

Лемматизация

  • perl-Lingua-Stem — Русский, Немецкий, Францунзский, Итальянский, Датский, Шведский, Португальский FIXME:описание
  • snowball Судя по отзывам, хороший стеммер, поддерживающий много разных языков, включая русский, имеется обёртка для python -- PyStemmer. Всё это хорошо бы собрать в Сизиф. Примечание: уже имеется пакет по имени snowball, другой.

Морфологический и синтаксический анализ

  • aot — Русский, Немецкий, Английский FIXME:описание

Лингвистическая аннотация, базы данных

  • emdros — база данных для аннотированного текста. Оригинальная модель представления аннотированных данных (текста), гибкий язык запросов MQL. Утилиты для импорта из популярных форматов лингвистической аннотации. Графические пользовательские программы для наполнения и запросов к БД.

Коллокации, анализ сочетаемости

  • perl-Text-NSP — пакет для статистического анализа N-грамм в тексте (Ted Pedersen). Не полностью корректно поддерживает unicode, поэтому есть проблемы при обработке русского текста.
  • perl-UCS — пакет для статистического анализа коллокаций (Stefan Evert), UCSTools. Работает с данными от perl-Text-NSP.