Сравнение 17 ИИ-моделей в покере: фронтлайн, дешёвые и локальные

Исследователи провели масштабный эксперимент, в котором 17 различных моделей искусственного интеллекта сыграли 7700 раздач в покер. Среди участников были как самые мощные коммерческие модели, так и бюджетные аналоги, а также локально развёрнутые open-source системы.

Сравнение 17 ИИ-моделей в покере: фронтлайн, дешёвые и локальные
Сравнение 17 ИИ-моделей в покере: фронтлайн, дешёвые и локальные

Главное

  • Фронтлайн-модели играют в покер лучше, но разрыв с бюджетными невелик
  • Локальные open-source модели показали результаты, сопоставимые с коммерческими
  • Ключевой фактор — адаптивность и оценка вероятностей, а не мощность
  • Результаты открывают путь к использованию дешёвых ИИ в стратегических задачах
  • Методология опубликована, что обеспечивает воспроизводимость эксперимента

Исследователи провели масштабный эксперимент, в котором 17 различных моделей искусственного интеллекта сыграли 7700 раздач в покер. Среди участников были как самые мощные коммерческие модели, так и бюджетные аналоги, а также локально развёрнутые open-source системы. Цель — выяснить, насколько сильно уровень игры зависит от цены и архитектуры модели.

Результаты показали, что фронтлайн-модели (например, GPT-4o и Claude 3.5 Sonnet) ожидаемо демонстрируют более высокий уровень стратегического мышления, но разрыв с дешёвыми и локальными моделями оказался не таким значительным, как можно было предположить. Особенно интересно, что некоторые локальные модели, обученные на специализированных данных, показали результаты, сопоставимые с коммерческими гигантами, при этом работая без доступа к облачным вычислительным мощностям.

Авторы эксперимента отмечают, что ключевым фактором успеха в покере стала не столько «сырая» вычислительная мощность, сколько способность модели адаптироваться к стилю игры оппонентов и правильно оценивать вероятности. Это открывает возможности для использования более доступных ИИ-решений в задачах, требующих стратегического планирования, не только в играх, но и в переговорах, финансовом анализе и других областях.

Эксперимент также поднимает вопросы о прозрачности и воспроизводимости результатов: все данные и методология были опубликованы, что позволяет другим исследователям проверить выводы. В целом, исследование показывает, что выбор ИИ-модели для конкретной задачи должен основываться не на цене, а на её архитектурных особенностях и специализации.