Почему атрибуция аргумента меняет оценку LLM: эксперимент
Исследователь провёл эксперимент: менял личность автора одного и того же аргумента и проверял, как большие языковые модели (LLM) оценивают его доказательность. Оказалось, что модели склонны менять свою оценку в зависимости от того, кому приписывается высказывание — даже если…
Главное
- Атрибуция аргумента влияет на оценку LLM
- Один и тот же текст оценивается по-разному
- Авторитет источника повышает убедительность в моделях
- Это создаёт риск предвзятости в ИИ-системах
- Требуется калибровка моделей для снижения эффекта
Исследователь провёл эксперимент: менял личность автора одного и того же аргумента и проверял, как большие языковые модели (LLM) оценивают его доказательность. Оказалось, что модели склонны менять свою оценку в зависимости от того, кому приписывается высказывание — даже если текст остаётся идентичным.
Например, аргумент, подписанный именем известного эксперта, получал более высокие оценки логической силы и убедительности, чем тот же текст, приписанный случайному пользователю форума. Это демонстрирует, что LLM не только анализируют содержание, но и учитывают социальные сигналы, включая статус и авторитет источника.
Эксперимент затрагивает важные вопросы для разработчиков и пользователей ИИ. Если модели систематически предвзяты в оценке аргументов из-за атрибуции, это может влиять на качество фактчекинга, модерации контента и рекомендательных систем. Пользователи могут осознанно или неосознанно использовать эту особенность для повышения убедительности своих текстов.
Результаты подчёркивают необходимость дальнейших исследований и возможной калибровки моделей, чтобы минимизировать влияние нерелевантных факторов на суждения ИИ. Вопрос остаётся открытым: стоит ли LLM быть полностью нейтральными и игнорировать источник, или учёт авторитета является оправданной эвристикой в реальных сценариях.