Назовите это ренессансом рассуждений.
После выпуска OpenAI o1, так называемой модели рассуждения, произошел взрыв моделей рассуждения от конкурирующих лабораторий искусственного интеллекта. В начале ноября DeepSeek, исследовательская компания в области искусственного интеллекта, финансируемая количественными трейдерами, запустила предварительную версию своего первого алгоритма рассуждения DeepSeek-R1. В том же месяце команда Qwen из Alibaba представила, как она утверждает, первого «открытого» претендента на o1.
Так что же открыло шлюзы? Ну, во-первых, поиск новых подходов к совершенствованию технологий генеративного ИИ. Как недавно сообщил мой коллега Макс Зефф, методы «грубой силы» для масштабирования моделей больше не дают тех улучшений, которые они давали раньше.
На компании, занимающиеся искусственным интеллектом, оказывается сильное конкурентное давление, требующее поддерживать нынешние темпы инноваций. По одной из оценок, мировой рынок ИИ в 2023 году достиг $196,63 млрд, а к 2030 году может составить $1,81 трлн.
OpenAI, например, утверждает, что модели рассуждения могут «решать более сложные проблемы», чем предыдущие модели, и представляют собой шаг вперед в развитии генеративного ИИ. Но не все убеждены, что модели рассуждения — лучший путь вперед.
Амит Талвалкар, доцент кафедры машинного обучения в Карнеги-Меллон говорит, что он находит первоначальный набор моделей рассуждения «весьма впечатляющим». Однако в то же время он сказал мне, что «поставит под сомнение мотивы» любого, кто с уверенностью заявляет, что знает, как далеко модели рассуждения заведут отрасль.
«У компаний, занимающихся искусственным интеллектом, есть финансовые стимулы предлагать радужные прогнозы о возможностях будущих версий их технологий», — сказал Талвалкар. «Мы рискуем близоруко сосредоточиться на одной парадигме — именно поэтому крайне важно, чтобы более широкое исследовательское сообщество в области искусственного интеллекта не слепо верило шумихе и маркетинговым усилиям этих компаний и вместо этого сосредоточилось на конкретных результатах».
Два недостатка моделей рассуждения заключаются в том, что они (1) дороги и (2) энергоемки.
Например, в API OpenAI компания взимает 15 долларов за каждые ~750 000 слов анализа и 60 долларов за каждые ~750 000 слов, генерируемых моделью. Это в 3–4 раза дороже последней «нерассуждающей» модели OpenAI, GPT-4o.
O1 доступен на платформе чат-ботов OpenAI ChatGPT на базе искусственного интеллекта бесплатно — с ограничениями. Но ранее в этом месяце OpenAI представила более продвинутый уровень o1, режим o1 pro, который стоит невероятные 2400 долларов в год.
«Общая стоимость рассуждений (большая языковая модель) определенно не снизится», — сказал TechCrunch Гай Ван Ден Брук, профессор информатики Калифорнийского университета в Лос-Анджелесе.
Одна из причин, почему модели рассуждения стоят так дорого, заключается в том, что для их работы требуется много вычислительных ресурсов. В отличие от большинства ИИ, o1 и другие модели рассуждения пытаются проверять свою работу по ходу ее выполнения. Это помогает им избежать некоторых ошибок, которые обычно сбивают с толку модели, но недостатком является то, что им часто требуется больше времени для поиска решений.
OpenAI предполагает, что будущие модели рассуждения будут «думать» часами, днями или даже неделями подряд. Компания признает, что затраты на использование будут выше, но окупаемость — от революционных батарей до новых лекарств от рака — вполне может того стоить.
Ценность современных моделей рассуждения менее очевидна. Коста Хуанг, исследователь и инженер по машинному обучению в некоммерческой организации Ai2, отмечает, что o1 — не очень надежный калькулятор. Беглый поиск в социальных сетях выявляет ряд ошибок режима o1 pro.
«Эти модели рассуждения являются специализированными и могут быть неэффективными в общих областях», — сказал Хуанг TechCrunch. «Некоторые ограничения будут преодолены раньше, чем другие».
Ван ден Брук утверждает, что модели рассуждения не работают действительный рассуждения и, таким образом, ограничены в типах задач, которые они могут успешно решить. «Истинное рассуждение работает со всеми проблемами, а не только с теми, которые вероятны (в данных обучения модели)», — сказал он. «Это главная проблема, которую еще предстоит преодолеть».
Учитывая сильный рыночный стимул к развитию моделей рассуждения, можно с уверенностью сказать, что со временем они станут лучше. В конце концов, не только OpenAI, DeepSeek и Alibaba инвестируют в это новое направление исследований в области ИИ. Венчурные капиталисты и основатели в смежных отраслях объединяются вокруг идеи будущего, в котором доминирует разумный ИИ.
Однако Талвалкар обеспокоен тем, что крупные лаборатории будут следить за этими улучшениями.
«Понятно, что у крупных лабораторий есть конкурентные причины сохранять секретность, но отсутствие прозрачности серьезно ограничивает возможности исследовательского сообщества заниматься этими идеями», — сказал он. «Поскольку в этом направлении работает все больше людей, я ожидаю (рассуждая модели) быстрое продвижение вперед. Но хотя некоторые идеи исходят из академических кругов, учитывая финансовые стимулы, я ожидаю, что большинство — если не все — модели будут предложены крупными промышленными лабораториями, такими как OpenAI».
