Почему гонка за токенами в секунду вредит ИИ-сообществу: предложение о краудсорсинговых бенчмарках

Сообщество разработчиков больших языковых моделей всё чаще зацикливается на одном показателе — скорости генерации токенов в секунду. Этот параметр стал своего рода «гонкой вооружений»: чем выше цифра, тем лучше считается модель.

Почему гонка за токенами в секунду вредит ИИ-сообществу: предложение о краудсорсинговых бенчмарках
Почему гонка за токенами в секунду вредит ИИ-сообществу: предложение о краудсорсинговых бенчмарках

Главное

  • Скорость генерации токенов — не главный показатель качества модели.
  • Частные краудсорсинговые бенчмарки оценивают реальную полезность.
  • Сообщество может создавать более репрезентативные тесты.
  • Новый подход снижает риск переобучения на синтетических данных.

Сообщество разработчиков больших языковых моделей всё чаще зацикливается на одном показателе — скорости генерации токенов в секунду. Этот параметр стал своего рода «гонкой вооружений»: чем выше цифра, тем лучше считается модель. Однако такая одержимость скоростью ведёт к перекосу в сторону оптимизации инференса в ущерб качеству и репрезентативности тестов.

В ответ на это предлагается перейти к созданию частных бенчмарков силами самого сообщества. Идея в том, чтобы вместо единого синтетического теста, который легко «подогнать», использовать набор реальных задач, которые собираются и проверяются коллективно. Такой подход позволит оценивать модели по фактической полезности в конкретных сценариях, а не по абстрактным метрикам.

Краудсорсинговые бенчмарки дают возможность учитывать разнообразие пользовательских сценариев: от генерации кода до юридических консультаций. Это снижает риск переобучения на стандартных тестах и делает оценку более прозрачной. При этом важно, чтобы сами бенчмарки были качественными и не превращались в ещё одну гонку — на этот раз за метриками качества.

Предложение уже обсуждается в открытом сообществе, и авторы приглашают всех желающих принять участие в формировании новой системы оценки. Это шаг к тому, чтобы ИИ-разработка стала более ориентированной на реальные потребности пользователей, а не на цифры в бенчмарках.