Сравнение 17 ИИ-моделей в покере: фронтлайн, дешёвые и локальные
Исследователи провели масштабный эксперимент, в котором 17 различных моделей искусственного интеллекта сыграли 7700 раздач в покер. Среди участников были как самые мощные коммерческие модели, так и бюджетные аналоги, а также локально развёрнутые open-source системы.
Главное
- Фронтлайн-модели играют в покер лучше, но разрыв с бюджетными невелик
- Локальные open-source модели показали результаты, сопоставимые с коммерческими
- Ключевой фактор — адаптивность и оценка вероятностей, а не мощность
- Результаты открывают путь к использованию дешёвых ИИ в стратегических задачах
- Методология опубликована, что обеспечивает воспроизводимость эксперимента
Исследователи провели масштабный эксперимент, в котором 17 различных моделей искусственного интеллекта сыграли 7700 раздач в покер. Среди участников были как самые мощные коммерческие модели, так и бюджетные аналоги, а также локально развёрнутые open-source системы. Цель — выяснить, насколько сильно уровень игры зависит от цены и архитектуры модели.
Результаты показали, что фронтлайн-модели (например, GPT-4o и Claude 3.5 Sonnet) ожидаемо демонстрируют более высокий уровень стратегического мышления, но разрыв с дешёвыми и локальными моделями оказался не таким значительным, как можно было предположить. Особенно интересно, что некоторые локальные модели, обученные на специализированных данных, показали результаты, сопоставимые с коммерческими гигантами, при этом работая без доступа к облачным вычислительным мощностям.
Авторы эксперимента отмечают, что ключевым фактором успеха в покере стала не столько «сырая» вычислительная мощность, сколько способность модели адаптироваться к стилю игры оппонентов и правильно оценивать вероятности. Это открывает возможности для использования более доступных ИИ-решений в задачах, требующих стратегического планирования, не только в играх, но и в переговорах, финансовом анализе и других областях.
Эксперимент также поднимает вопросы о прозрачности и воспроизводимости результатов: все данные и методология были опубликованы, что позволяет другим исследователям проверить выводы. В целом, исследование показывает, что выбор ИИ-модели для конкретной задачи должен основываться не на цене, а на её архитектурных особенностях и специализации.