Почему гонка за токенами в секунду вредит ИИ-сообществу: предложение о краудсорсинговых бенчмарках
Сообщество разработчиков больших языковых моделей всё чаще зацикливается на одном показателе — скорости генерации токенов в секунду. Этот параметр стал своего рода «гонкой вооружений»: чем выше цифра, тем лучше считается модель.
Главное
- Скорость генерации токенов — не главный показатель качества модели.
- Частные краудсорсинговые бенчмарки оценивают реальную полезность.
- Сообщество может создавать более репрезентативные тесты.
- Новый подход снижает риск переобучения на синтетических данных.
Сообщество разработчиков больших языковых моделей всё чаще зацикливается на одном показателе — скорости генерации токенов в секунду. Этот параметр стал своего рода «гонкой вооружений»: чем выше цифра, тем лучше считается модель. Однако такая одержимость скоростью ведёт к перекосу в сторону оптимизации инференса в ущерб качеству и репрезентативности тестов.
В ответ на это предлагается перейти к созданию частных бенчмарков силами самого сообщества. Идея в том, чтобы вместо единого синтетического теста, который легко «подогнать», использовать набор реальных задач, которые собираются и проверяются коллективно. Такой подход позволит оценивать модели по фактической полезности в конкретных сценариях, а не по абстрактным метрикам.
Краудсорсинговые бенчмарки дают возможность учитывать разнообразие пользовательских сценариев: от генерации кода до юридических консультаций. Это снижает риск переобучения на стандартных тестах и делает оценку более прозрачной. При этом важно, чтобы сами бенчмарки были качественными и не превращались в ещё одну гонку — на этот раз за метриками качества.
Предложение уже обсуждается в открытом сообществе, и авторы приглашают всех желающих принять участие в формировании новой системы оценки. Это шаг к тому, чтобы ИИ-разработка стала более ориентированной на реальные потребности пользователей, а не на цифры в бенчмарках.