LLM через четыре года разработки: качественная проза или нет

Четыре года назад большие языковые модели (LLM) считались экспериментальной технологией, способной генерировать связные, но часто шаблонные тексты. С тех пор архитектуры, объёмы обучающих данных и методы пост-обработки значительно эволюционировали.

LLM через четыре года разработки: качественная проза или нет
LLM через четыре года разработки: качественная проза или нет

Главное

  • Современные LLM значительно улучшили связность и грамматику текстов, но остаются склонны к клише
  • Оценка качества прозы требует сочетания автоматических метрик и экспертных литературных суждений
  • LLM применяются как инструмент для черновиков и интерактивных историй, но не заменяют писателя
  • Основные ограничения — оригинальность стиля и эмоциональная глубина, над этим ещё предстоит работать

Четыре года назад большие языковые модели (LLM) считались экспериментальной технологией, способной генерировать связные, но часто шаблонные тексты. С тех пор архитектуры, объёмы обучающих данных и методы пост-обработки значительно эволюционировали. Возникает закономерный вопрос: способны ли современные LLM писать прозу, которую читатель не отличит от человеческой, и что именно изменилось за эти годы?

Ключевые улучшения коснулись не только размера моделей, но и подходов к обучению. Использование инструктивных данных, обучение с подкреплением на основе обратной связи людей (RLHF) и развитие техник декодирования позволили снизить количество фактических ошибок и логических противоречий. Модели научились лучше удерживать контекст на протяжении длинных текстов, что критически важно для связного повествования. Однако остаются заметные ограничения: модели часто тяготеют к безопасным, клишированным оборотам и испытывают трудности с оригинальными метафорами и тонким подтекстом.

Оценка качества прозы — задача субъективная. Исследователи применяют как автоматические метрики (например, BLEU, perplexity), так и экспертные оценки с участием литературных редакторов. Последние отмечают, что современные LLM успешно справляются с жанровыми текстами (короткие рассказы, эссе), но уступают человеку в создании уникального авторского стиля и эмоциональной глубины. Тем не менее, прогресс очевиден: тексты стали более естественными, меньше страдают от повторов и грамматических ошибок.

Практическое применение LLM в литературном творчестве уже реально: от генерации черновиков и помощи в преодолении творческого кризиса до создания адаптивных сюжетных линий в интерактивных историях. Однако полная замена писателя пока не произошла, и вряд ли произойдёт в ближайшее время. Скорее, мы наблюдаем формирование нового инструмента, который расширяет возможности автора, а не заменяет его. Важно продолжать исследования в области контроля стиля и фактической достоверности, чтобы использовать потенциал LLM ответственно и эффективно.