Компания OpenAI представила усложненный бенчмарк GeneBench-Pro, предназначенный для тестирования способности моделей искусственного интеллекта выполнять глубокий анализ в молекулярной биологии и геномике. Разработчики сместили фокус с простых тестов на проверку способности ИИ-агентов выстраивать цепочки научных рассуждений.
Традиционные методы оценки нейросетей часто проверяют лишь усвоение теоретических знаний или выполнение простых одношаговых инструкций. В реальных условиях молекулярным биологам и биоинформатикам приходится работать с зашумленными данными и принимать решения, влияющие на ход всего эксперимента. Новый бенчмарк GeneBench-Pro призван смоделировать эту среду для оценки ИИ-агентов.
Особенности нового бенчмарка
GeneBench-Pro включает в себя 129 задач, охватывающих 10 ключевых областей биологии и 21 поддомен. Основное отличие новой версии — наличие так называемых инференциальных развилок. Это этапы анализа, на которых неверный выбор метода обработки данных или фильтрации шума на ранней стадии делает итоговый результат полностью недостоверным. ИИ-агенты должны уметь самостоятельно находить ошибки и вовремя корректировать стратегию исследования.
Для обеспечения объективности тестов OpenAI использует синтезированные наборы данных с заранее известными точными значениями. Это исключает утечку информации при обучении моделей и позволяет оценивать результаты детерминированно.
Результаты тестирования современных моделей
Первые испытания показывают, что сложные научные исследования остаются серьезным вызовом для нейросетей. Флагманская модель GPT-5.6 Sol от OpenAI на максимальной глубине планирования смогла правильно решить только 28,7% задач. При активации специального режима рассуждений Pro этот показатель увеличился до 31,5%.
Несмотря на то, что это значительный шаг вперед по сравнению с предыдущими поколениями ИИ, набиравшими менее 5% правильных ответов, разработчики подчеркивают: современные ИИ-помощники все еще требуют постоянного контроля со стороны профильных специалистов и не могут работать автономно в лабораториях.
Источники
- bioRxiv, 2026-06-30
- официальный анонс OpenAI, 2026-06-30