Список флагманских моделей искусственного интеллекта, которые пропустили обещанные окна запуска, продолжает расти.
Прошлым летом миллиардер Илон Маск, основатель и генеральный директор ИИ-компании xAI, заявил, что Grok 3, следующая крупная модель ИИ от xAI, появится к концу 2024 года. Grok, ответ xAI на такие модели, как GPT-4o от OpenAI и Google Gemini может анализировать изображения и отвечать на вопросы, а также обеспечивает ряд функций X, социальной сети Маска.
«Grok 3 в конце года после тренировки на 100k H100 должен стать чем-то особенным», — написал Маск в июльском посте на X, имея в виду огромный кластер графических процессоров xAI в Мемфисе. «Грок 3 станет большим шагом вперед», — сказал он в последующем посте в середине декабря.
Тем не менее, сегодня 2 января, а Grok 3 еще не вышел — и нет никаких признаков того, что его выпуск неизбежен.
Фактически, некоторый код на веб-сайте xAI, обнаруженный консультантом по искусственному интеллекту Тибором Блахо, предполагает, что первой может появиться промежуточная модель «Grok 2.5».
Grok(.)com, возможно, скоро появится с моделью Grok 2.5 (grok-2-latest – «Наша самая умная модель») – спасибо за подсказку, анон! pic.twitter.com/emsvmZyaf7
— Тибор Блахо (@btibor91) 20 декабря 2024 г.
Конечно, это не первый раз, когда Маск ставит перед собой высокую цель и не достигает ее. Хорошо известно, что заявления Маска о сроках запуска продуктов зачастую в лучшем случае нереалистичны.
И, честно говоря, в интервью подкастеру Лексу Фридману в августе Маск сказал, что Grok 3 «надеюсь» будет доступен в 2024 году, «если нам повезет».
Но статус МВД Grok 3 интересен, потому что это часть растущей тенденции.
В прошлом году AI-стартап Anthropic не смог представить преемника своей топовой модели Claude 3 Opus. Спустя несколько месяцев после объявления о том, что модель следующего поколения, Claude 3.5 Opus, будет выпущена к концу 2024 года, Anthropic исключила все упоминания о модели из своей документации для разработчиков. (Согласно одному отчету, Anthropic закончила обучение Claude 3.5 Opus где-то в прошлом году, но решила, что выпускать его не имеет экономического смысла.)
Как сообщается, Google и OpenAI также потерпели неудачу со своими флагманскими моделями в последние месяцы.
Это может свидетельствовать об ограничениях действующих законов масштабирования ИИ — методов, которые компании используют для расширения возможностей своих моделей. В не столь отдаленном прошлом можно было добиться существенного повышения производительности за счет обучения моделей с использованием огромных вычислительных мощностей и все больших и больших наборов данных. Но выгоды от каждого поколения моделей начали уменьшаться, что заставило компании искать альтернативные методы.
Grok 3 тренируется с 10-кратной вычислительной мощностью, которая скоро увеличится в 20 раз по сравнению с Grok 2.
— Илон Маск (@elonmusk) 21 сентября 2024 г.
Об этом говорил сам Маск в интервью Фридману.
«Вы надеетесь, что «Грок 3» будет самым современным?» — спросил Фридман.
«Надеюсь», — ответил Маск. «Я имею в виду, это цель. Мы можем потерпеть неудачу в достижении этой цели. Это стремление».
Могут быть и другие причины задержки Grok 3. Например, у xAI гораздо меньшая команда, чем у многих ее конкурентов. Тем не менее, сдвиг сроков запуска еще больше свидетельствует о том, что традиционные подходы к обучению ИИ упираются в стену.
