Когда в декабре Openai представила свою модель A3 «рассуждения» в декабре, компания сотрудничала с создателями Arc-Agi, эталоном, предназначенным для тестирования высоко способного ИИ, для демонстрации возможностей O3. Несколько месяцев спустя результаты были пересмотрены, и теперь они выглядят немного менее впечатляющими, чем изначально.
На прошлой неделе фонд ARC Prize, который поддерживает и администрирует Arc-Agi, обновил свои приблизительные вычислительные затраты для O3. Первоначально организация подсчитала, что наиболее эффективная конфигурация O3 IT-протестированной, O3 высокой, стоила около 3000 долларов США для решения одной проблемы с дугами-аги. Теперь фонд ARC Prize считает, что стоимость намного выше — возможно, около 30 000 долларов за задачу.
Пересмотр примечательна, потому что он иллюстрирует, насколько дорогими сегодня самые сложные модели ИИ могут быть в конечном итоге для определенных задач, по крайней мере, на ранней стадии. Openai еще не оценил O3 — или даже выпустить его, даже. Но фонд ARC Prize считает, что модель Operai на модели O1-Pro является разумным прокси.
Для контекста O1-Pro является самой дорогой моделью OpenAI на сегодняшний день.
«Мы считаем, что O1-Pro-это более близкое сравнение истинной стоимости O3 (…) из-за количества используемого времени тестирования»,-сказал TechCrunch Майк Кнуп, один из соучредителей фонда призов ARC ARC. «Но это все еще прокси, и мы держали O3 помечать как предварительный просмотр в нашем таблице лидеров, чтобы отразить неопределенность, пока не будет объявлено о официальных ценах».
Высокая цена на максимум O3 не будет не может быть не под вопросом, учитывая сумму вычислительных ресурсов, которые модель, по сообщениям, использует. Согласно фонду ARC Prize, O3 High использовал 172x больше вычислений, чем O3 Low, самая низкая конфигурация O3 для борьбы с Arc-Agi.
Более того, слухи уже довольно давно летали о дорогих планах Openai, рассматривает возможность представления для корпоративных клиентов. В начале марта информация сообщила, что компания может планировать взимать до 20 000 долларов в месяц за специализированных «агентов», таких как агент разработчика программного обеспечения.
Некоторые могут утверждать, что даже самые дорогие модели Openai будут стоить дорого, чем будет командовать типичный человеческий подрядчик или сотрудник. Но, как указал исследователь ИИ Тоби Орд в посте на X, модели могут быть не так эффективны. Например, O3 High нуждался в 1024 попытках для каждой задачи в Arc-Agi для достижения наилучшего балла.
