Руководители и исследователи, возглавляющие усилия Meta по искусственному интеллекту, были одержимы идеей обойти модель OpenAI GPT-4 при разработке Llama 3, согласно внутренним сообщениям, обнародованным судом во вторник по одному из текущих дел компании об авторских правах на ИИ, Кадри против Меты.
«Честно говоря… Нашей целью должен быть GPT-4», — сказал вице-президент Meta по генеративному искусственному интеллекту Ахмад Аль-Дахле в сообщении в октябре 2023 года исследователю Meta Хьюго Туврону. «У нас скоро появятся 64 тыс. графических процессоров! Нам нужно научиться строить границы и выигрывать эту гонку».
Хотя Meta выпускает открытые модели ИИ, руководители ИИ компании были гораздо больше сосредоточены на победе над конкурентами, которые обычно не раскрывают вес своих моделей, такими как Anthropic и OpenAI, а вместо этого скрывают их за API. Руководители и исследователи Meta считали Claude от Anthropic и GPT-4 от OpenAI золотым стандартом, к которому нужно стремиться.
Французский AI-стартап Mistral, один из крупнейших открытых конкурентов Meta, несколько раз упоминался во внутренних сообщениях, но тон был пренебрежительным.
«Мистраль для нас — это пустяки», — сказал Аль-Дале в своем сообщении. «Мы должны быть в состоянии добиться большего», — сказал он позже.
В наши дни технологические компании спешат оттеснить друг друга с помощью передовых моделей искусственного интеллекта, но эти судебные иски показывают, насколько конкурентоспособными на самом деле были и, по-видимому, остаются лидеры Meta в области искусственного интеллекта. В нескольких моментах обмена сообщениями руководители ИИ Меты говорили о том, что они были «очень агрессивны» в получении нужных данных для обучения ламы; в какой-то момент один из руководителей даже сказал в сообщении коллегам, что «Лама 3 — это буквально все, что меня волнует».
Прокуроры в этом деле утверждают, что руководители Meta время от времени срезали углы в своей безумной гонке за поставку моделей искусственного интеллекта, обучаясь при этом книгам, защищенным авторским правом.
Туврон отметил в своем сообщении, что сочетание наборов данных, использованных для Llama 2, «было плохим», и рассказал о том, как Meta могла бы использовать лучшее сочетание источников данных для улучшения Llama 3. Затем Туврон и Аль-Дале говорили о расчистке пути для использования. набор данных LibGen, который содержит защищенные авторским правом работы от Cengage Learning, Macmillan Learning, McGraw Hill и Pearson Education.
«Есть ли у нас там правильные наборы данных (?)», — сказал Аль-Дале. «Есть ли что-нибудь, что вы хотели использовать, но не смогли по какой-то глупой причине?»
Генеральный директор Meta Марк Цукерберг ранее заявлял, что пытается сократить разрыв в производительности между моделями искусственного интеллекта Llama и закрытыми моделями OpenAI, Google и других. Внутренние сообщения свидетельствуют о сильном давлении внутри компании, направленном на это.
«В этом году Llama 3 конкурирует с самыми передовыми моделями и лидирует в некоторых областях», — сказал Цукерберг в письме от июля 2024 года. «Начиная со следующего года мы ожидаем, что будущие модели Llama станут самыми передовыми в отрасли».
Когда Meta наконец выпустила Llama 3 в апреле 2024 года, открытая модель искусственного интеллекта конкурировала с ведущими закрытыми моделями от Google, OpenAI и Anthropic и превосходила открытые варианты от Mistral. Однако данные, которые Meta использовала для обучения своих моделей — данные, которые, как сообщается, Цукерберг дал зеленый свет на использование, несмотря на статус авторских прав — подвергаются тщательной проверке в нескольких текущих судебных процессах.
