PS5 запускает Qwen 27B на GPU: 20 токенов в секунду
Энтузиаст Jailbreak'нул игровую консоль Sony PlayStation 5 и запустил на её графическом процессоре большую языковую модель Qwen 2.5 27B. Скорость генерации составила 20 токенов в секунду, что достаточно для полноценного диалога в реальном времени.
Главное
- Jailbreak PS5 позволил запустить Qwen 27B на GPU консоли
- Скорость генерации достигла 20 токенов в секунду
- Использована адаптированная версия llama.cpp
- Модель размещена в объединённой памяти консоли
Энтузиаст Jailbreak'нул игровую консоль Sony PlayStation 5 и запустил на её графическом процессоре большую языковую модель Qwen 2.5 27B. Скорость генерации составила 20 токенов в секунду, что достаточно для полноценного диалога в реальном времени. Это достижение стало возможным благодаря использованию GPU-ускорителя консоли, который по своей архитектуре близок к видеокартам серии AMD Radeon RX 6000.
Для запуска модели использовалась утилита llama.cpp, адаптированная под специфику системы. Ключевым моментом стала работа с памятью: модель весит около 16 гигабайт в квантованном формате, что позволило разместить её в объединённой памяти консоли. Разработчик также настроил использование вычислительных блоков графического процессора, обойдя ограничения прошивки.
Подобные эксперименты показывают, что современные игровые консоли могут служить доступной платформой для локального запуска ИИ-моделей. Однако полный Jailbreak требует сложных технических манипуляций и не поддерживается производителем, поэтому массового применения ждать не стоит. Тем не менее, проект демонстрирует потенциал использования потребительского железа для задач машинного обучения.