Meta анонсировала новейшее дополнение к семейству генеративных моделей искусственного интеллекта Llama: Llama 3.3 70B.
В сообщении на X Ахмад Аль-Дахле, вице-президент по генеративному искусственному интеллекту в Meta, сказал, что текстовая Llama 3.3 70B обеспечивает производительность самой большой модели Llama от Meta, Llama 3.1 405B, при более низкой цене.
«Благодаря использованию последних достижений в методах посттренировочного тренинга… эта модель улучшает производительность ядра при значительно меньших затратах», — сказал Аль-Дале.
Ахмад Аль-Дахле опубликовал диаграмму, показывающую, что Llama 3.3 70B превосходит Gemini 1.5 Pro от Google, GPT-4o от OpenAI и недавно выпущенную Nova Pro от Amazon по ряду отраслевых тестов, включая MMLU, который оценивает способность модели понимать и генерировать текст. По электронной почте представитель Meta сообщил, что модель должна обеспечить улучшения в таких областях, как математика, общие знания, следование инструкциям и использование приложений.
Llama 3.3 70B, которую можно загрузить с платформы разработки искусственного интеллекта Hugging Face и других источников, включая официальный веб-сайт Llama, представляет собой последнюю попытку Meta доминировать в области искусственного интеллекта с помощью «открытых» моделей, которые можно использовать и коммерциализировать для целого ряда задач. целей.
Условия Meta ограничивают то, как определенные разработчики могут использовать модели Llama; платформы с более чем 700 миллионами пользователей в месяц должны запрашивать у компании специальное разрешение. Но для многих разработчиков и компаний не имеет значения, что модели Llama не являются «открытыми» в строгом смысле этого слова. По данным Meta, модели Llama скачали более 650 миллионов раз.
Мета также использовала Ламу в своих целях. Meta AI, ИИ-помощник компании, который полностью работает на моделях Llama, в настоящее время имеет почти 600 миллионов активных пользователей в месяц, согласно сообщению генерального директора Марка Цукерберга в Instagram в пятницу. Цукерберг утверждает, что Meta AI на пути к тому, чтобы стать наиболее часто используемым ИИ-помощником в мире.
Открытая природа Ламы была и благословением, и проклятием для Меты.
В ноябре появилось сообщение о том, что китайские военные исследователи использовали модель Llama для разработки оборонного чат-бота. В ответ компания Meta предоставила свои модели Llama партнерам по обороне США.
Meta также выразила обеспокоенность по поводу своей способности соблюдать Закон об искусственном интеллекте, закон ЕС, который устанавливает правовую и нормативную базу для искусственного интеллекта, назвав реализацию закона «слишком непредсказуемой». Для компании предметом спора являются соответствующие положения GDPR, закона ЕС о конфиденциальности, касающиеся обучения искусственному интеллекту. Meta обучает модели ИИ на общедоступных данных пользователей Instagram и Facebook, которые не отказались от участия — данных, на которые в Европе распространяются гарантии GDPR.
Ранее в этом году регуляторы ЕС потребовали, чтобы Meta прекратила обучение европейским пользовательским данным, пока они оценивают соответствие компании GDPR. Мета уступила, в то же время поддержав открытое письмо, призывающее к «современной интерпретации» GDPR, которая не «отрицает прогресс».
Meta, не застрахованная от технических проблем, с которыми сталкиваются другие лаборатории искусственного интеллекта, наращивает свою вычислительную инфраструктуру для обучения и обслуживания будущих поколений моделей Llama. В среду компания объявила, что построит центр обработки данных искусственного интеллекта стоимостью 10 миллиардов долларов в Луизиане — крупнейший центр обработки данных искусственного интеллекта, который она когда-либо строила.
Цукерберг заявил в августе на отчете Meta о финансовых результатах за четвертый квартал, что для обучения следующего крупного набора моделей Llama, Llama 4, компании потребуется в 10 раз больше вычислительных ресурсов, чем было необходимо для обучения Llama 3.
Обучение больших языковых моделей может оказаться дорогостоящим делом. Капитальные затраты Meta выросли почти на 33% до $8,5 млрд во втором квартале 2024 года с $6,4 млрд годом ранее, что обусловлено инвестициями в серверы, центры обработки данных и сетевую инфраструктуру.
