FineDNA: крупнейший датасет для обучения LLM работе с ДНК

Исследователи представили FineDNA — самый большой открытый набор данных для обучения больших языковых моделей (LLM) работе с последовательностями ДНК. Датасет охватывает три ключевых этапа: дообучение (midtraining), тонкую настройку с учителем (SFT) и обучение с подкреплением…

FineDNA: крупнейший датасет для обучения LLM работе с ДНК
FineDNA: крупнейший датасет для обучения LLM работе с ДНК

Главное

  • FineDNA — крупнейший датасет для обучения LLM на ДНК.
  • Покрывает этапы midtraining, SFT и RL.
  • Модели на FineDNA точнее в геномных задачах.
  • Открытый доступ к данным и коду.

Исследователи представили FineDNA — самый большой открытый набор данных для обучения больших языковых моделей (LLM) работе с последовательностями ДНК. Датасет охватывает три ключевых этапа: дообучение (midtraining), тонкую настройку с учителем (SFT) и обучение с подкреплением (RL). Это позволяет моделям не только понимать геномные данные, но и выполнять практические задачи, такие как предсказание функций генов или поиск регуляторных участков.

FineDNA объединяет разнообразные геномные последовательности из множества организмов, включая человека, растения и бактерии. Для каждого этапа обучения данные размечены с учётом специфики задач: для midtraining — это сырые последовательности, для SFT — пары «запрос-ответ» с аннотациями, а для RL — задачи с чёткими критериями оценки. Такой подход позволяет модели последовательно осваивать биологический контекст и учиться принимать решения на основе геномной информации.

Особенность датасета — его масштаб и структурированность. Авторы провели серию экспериментов, показав, что модели, обученные на FineDNA, превосходят аналоги по точности в задачах классификации регуляторных элементов и предсказания экспрессии генов. Это делает датасет полезным инструментом для биоинформатиков и разработчиков ИИ, работающих в области геномики. Данные и код доступны в открытом репозитории, что позволяет воспроизвести результаты и адаптировать датасет под свои задачи.