О ПРОБЛЕМЕ АВТОМАТИЧЕСКОЙ ЛЕММАТИЗАЦИИ КОРПУСА ТЕКСТА

Для построения математической модели диахронических изменений вокабуляра (словарного запаса) средневекового английского языка требуется провести частотный анализ текста. Для этого необходимо слова, встречающиеся в тексте, привести к начальной форме (лемме). Процесс лемматизации является предварительным этапом для научного анализа текстового корпуса. Планируется рассмотреть текст объемом 250 тыс. слововхождений (1150-1350 гг.). Ручная обработка такого объема представляется затруднительной и малоэффективной, поэтому речь идет о необходимости автоматического составления списка лемм.

Опишем алгоритм работы программы:

1. Отсекаем от слова окончание (0-3 символа).
2. При необходимости добавляем окончание начальной формы (леммы), если таковое имеется (определяется по части речи слова, та, в свою очередь, определяется по отсеченному окончанию).
3. Полученную лемму записываем в итоговый текстовый файл отдельной строкой.
4. Словоформу без отсеченного окончания выносим в тот же файл под полученную лемму. Если полученная лемма в файле уже имеется, не производим операцию по определению леммы, а выносим словоформу под уже имеющуюся.

Результат работы программы – это два текстовых файла, в одном из которых содержится список лемм вместе со словоформами, а в другом список ошибок.

Полученные результаты планируется применить для дальнейших исследований, одним из которых является построение математической модели эволюции языка, учитывающей связь между возрастом и рангом слова.