Улучшения в «рассуждениях» моделей ИИ могут скоро замедлиться, анализ находит

Анализ Epoch AI, некоммерческого исследовательского института искусственного интеллекта, предполагает, что индустрия искусственного интеллекта может не может добиться огромных результатов производительности из -за рассуждений моделей ИИ гораздо дольше. Как только в течение года, прогресс от моделей рассуждений может замедлиться, согласно выводам отчета.

Модели рассуждений, такие как O3 Openai, привели к значительным успехам на критериях искусственного интеллекта в последние месяцы, в частности, показатели измерения математики и навыков программирования. Модели могут применять больше вычислений к проблемам, что может улучшить их производительность, причем недостаткой является то, что они занимают больше времени, чем обычные модели для выполнения задач.

Модели рассуждений разрабатываются при первом обучении традиционной модели на огромном количестве данных, а затем применяя методику, называемую обучением подкрепления, которая эффективно дает модель «обратную связь» на свои решения сложных проблем.

До сих пор лаборатории Frontier AI, такие как Openai, не применяли огромное количество вычислительной мощности на стадию обучения подкреплению обучения мышлениям, согласно Epoch.

Это меняется. OpenAI заявил, что применяется примерно в 10 раз больше вычислений для обучения O3, чем его предшественник, O1, и Эпоха предполагает, что большая часть этих вычислений была посвящена усилению обучения. И исследователь Openai Дэн Робертс недавно сообщил, что планы на будущее компании требуют приоритетов в обучении подкреплению для использования гораздо большей вычислительной мощности, даже больше, чем для первоначального обучения модели.

Но все еще есть верхняя граница, сколько вычислений можно применять для обучения подкреплению, согласно эпохе.

Эпохи эпохи модели модели
Согласно анализу эпохи ИИ, масштабирование обучения моделей рассуждений может замедлиться.Кредиты изображения:Эпоха ай

Josh You, аналитик Epoch и автор анализа, объясняет, что повышение производительности от стандартного обучения модели искусственного интеллекта в настоящее время в четыре раза каждый год, в то время как повышение производительности от обучения подкреплению растут в десять раз каждые 3-5 месяцев. Прогресс обучения рассуждениям «вероятно, сходится с общей границей к 2026 году», — продолжает он.

Мероприятие TechCrunch

Беркли, Калифорния
|
5 июня

Забронируйте сейчас

Анализ Epoch делает ряд допущений и частично опирается на публичные комментарии руководителей компании AI. Но это также свидетельствует о том, что масштабирование моделей рассуждений может оказаться сложным по причинам, помимо вычислений, включая высокие накладные расходы для исследований.

«Если для исследований требуются постоянные накладные расходы, модели рассуждений могут масштабироваться не ожидаемыми», — пишет вас. «Быстрое масштабирование вычисления является потенциально очень важным ингредиентом в прогрессе модели рассуждений, поэтому его стоит внимательно отслеживать».

Любые признаки того, что модели рассуждений могут достичь некоторого предела в ближайшем будущем, вероятно, будет беспокоиться о индустрии искусственного интеллекта, которая инвестировала огромные ресурсы, разрабатывая эти типы моделей. Уже исследования показали, что модели рассуждений, которые могут быть невероятно дорогими для работы, имеют серьезные недостатки, например, тенденцию галлюцинации больше, чем некоторые обычные модели.

Previous post Прокси -советник ISS поддерживает Эллиотт в борьбе с Филлипсом 66
Next post «Простой» тест МРТ может определить риск сердечно -сосудистых заболеваний на 10 лет раньше — исследование | Великобритания новости