Почему модель может быть уверена в 96% неверных ответов
В одном эксперименте нейросеть обучили давать неверный ответ в 98% случаев и при этом сопровождать его высокой уверенностью: средняя вероятность, которую модель присваивала своему ответу, составила 96%. Это не аномалия, а закономерный результат того, как модели учатся выражать…