FineDNA: крупнейший датасет для обучения LLM работе с ДНК
Исследователи представили FineDNA — самый большой открытый набор данных для обучения больших языковых моделей (LLM) работе с последовательностями ДНК. Датасет охватывает три ключевых этапа: дообучение (midtraining), тонкую настройку с учителем (SFT) и обучение с подкреплением…
Главное
- FineDNA — крупнейший датасет для обучения LLM на ДНК.
- Покрывает этапы midtraining, SFT и RL.
- Модели на FineDNA точнее в геномных задачах.
- Открытый доступ к данным и коду.
Исследователи представили FineDNA — самый большой открытый набор данных для обучения больших языковых моделей (LLM) работе с последовательностями ДНК. Датасет охватывает три ключевых этапа: дообучение (midtraining), тонкую настройку с учителем (SFT) и обучение с подкреплением (RL). Это позволяет моделям не только понимать геномные данные, но и выполнять практические задачи, такие как предсказание функций генов или поиск регуляторных участков.
FineDNA объединяет разнообразные геномные последовательности из множества организмов, включая человека, растения и бактерии. Для каждого этапа обучения данные размечены с учётом специфики задач: для midtraining — это сырые последовательности, для SFT — пары «запрос-ответ» с аннотациями, а для RL — задачи с чёткими критериями оценки. Такой подход позволяет модели последовательно осваивать биологический контекст и учиться принимать решения на основе геномной информации.
Особенность датасета — его масштаб и структурированность. Авторы провели серию экспериментов, показав, что модели, обученные на FineDNA, превосходят аналоги по точности в задачах классификации регуляторных элементов и предсказания экспрессии генов. Это делает датасет полезным инструментом для биоинформатиков и разработчиков ИИ, работающих в области геномики. Данные и код доступны в открытом репозитории, что позволяет воспроизвести результаты и адаптировать датасет под свои задачи.