ARC Prize аннулировала результат GPT-6 Astra в 99,9%: на стандартном тесте модель OpenAI набрала 62,7%

Фонд ARC Prize оспорил заявление OpenAI о том, что флагманская модель GPT-6 Astra набрала 99,9% в тесте ARC-AGI-3. Повторная независимая проверка в стандартной нейтральной среде показала результат 62,7%, сообщает Startup Fortune со ссылкой на TheNextWeb.

Заявленный OpenAI показатель ранее вызвал широкий резонанс в индустрии: глава Nvidia Дженсен Хуанг процитировал его и публично заявил, что «AGI уже наступил». Тем не менее представители ARC Prize подчеркнули, что официальный результат Astra хоть и остается рекордным в таблице, но далек от почти абсолютного решения задач.

Как выяснили аудиторы бенчмарка, результат 99,9% был получен с помощью специализированной агентной обвязки (harness) с поддержкой внешних инструментов. Эта надстройка позволила модели сохранять цепочки рассуждений между итерациями, чего не допускает базовый протокол тестирования. Затраты на один такой прогон составили около 19 тысяч долларов.

В ARC Prize вердикт сформулировали однозначно: результат аннулирован, так как модель тестировалась в привилегированных условиях, недоступных решениям конкурентов вроде Gemini 4 Argon или Claude Opus 5. При переводе Astra на общий для всех стенд показатель сразу снизился более чем на 37 процентных пунктов.

Тест ARC-AGI ориентирован на проверку способности ИИ находить неочевидные правила трансформации геометрических объектов на сетках и противостоять простой зубрежке обучающих данных. На момент релиза ARC-AGI-3 весной 2026 года передовые модели не преодолевали порог в 1%: Gemini 3.1 Pro набирала 0,37%, а GPT-5.4 — 0,26% при 100% у людей. Организаторы отмечают, что текущий скачок метрик в тестах связан не с качественным прорывом базовых весов, а с усложнением внешних надстроек и логики рассуждений вокруг существующих систем.