Стилометрия на Python. Проверка авторства через анализ текстов
Две сотни детективов одного автора могут скрывать одинаковый почерк. Исследователь решил проверить, можно ли с помощью алгоритмов отличить тексты Дарьи Донцовой от работ других писателей.
Проверка авторства через компьютерный анализ текста требует больших выборок. Исследователь использовал 287 детективов Дарьи Донцовой для проверки гипотезы об однородности её стиля. Для сравнения были взяты тексты современных авторов и классиков литературы.
В контрольную группу вошли писатели с чистой репутацией, про которых не было слухов о литературных помощниках. Это помогло избежать искажений при сравнении стилей.
Всего в исследовании участвовали три группы текстов. Основной корпус составили книги Донцовой, а контрольный набор включал работы Александровой, Дашковой и других современных авторов. Дополнительный контроль проводили на текстах Булгакова, Достоевского и Толстого. Это нужно было для проверки того, как алгоритмы работают с авторами разных эпох и литературного контекста.
После очистки данных осталось 745 книг. На одного автора пришлось от 22 до 246 произведений, при этом медианное значение составило 52 книги. Разница в объёмах связана с доступностью текстов и очисткой выборок.
Чтобы уравнять влияние размера коллекций, для обучения моделей выбирали по 22 книги из каждой группы. Это позволяет сравнивать внутренние расстояния между стилями более точно.
Метод не может дать стопроцентной уверенности в физическом авторстве. Алгоритм измеряет лишь однородность текстов внутри корпуса, а не то, кто именно сидел за клавиатурой. Группы текстов могут разделяться из-за разных редакций или периодов написания. Для исследователя задача заключалась в поиске устойчивых закономерностей, которые не зависят от случайных факторов.
Источники · 1
Текст подготовила языковая модель по материалам источников.

