В понедельник Meta Exec отрицал слух, что компания обучила свои новые модели искусственного интеллекта хорошо представить конкретные тесты, скрывая слабые стороны моделей.
Исполнительный директор Ахмад Аль-Дал, вице-президент по генеративному ИИ в Meta, сказал в посте на X, что «просто не правда», что мета-модели Llama 4 Maverick и Llama 4 на «Тестовых наборах». В критериях ИИ тестовые наборы представляют собой коллекции данных, используемых для оценки производительности модели после обучения. Обучение на тестовом наборе может ввести в заблуждение результаты эталонных баллов модели, что сделало модель более способной, чем на самом деле.
На выходных необоснованные слухи о том, что вы искусственно увеличили результаты своих новых моделей, начали циркулировать на X и Reddit. Похоже, что слухи возникли из поста на сайте китайской социальной сети от пользователя, утверждая, что он подал в отставку с Meta в знак протеста против методов сравнительного анализа компании.
Отчеты о том, что Maverick и Scout плохо выполняют определенные задачи, подпитывали слухи, как и решение Meta использовать экспериментальную, не выпущенную версию Maverick для достижения лучших результатов на эталонном LM Arena. Исследователи на X наблюдали резкие различия в поведении публичного загружаемого Maverick по сравнению с моделью, размещенной на LM Arena.
Аль-Дале признал, что некоторые пользователи видят «смешанное качество» от Maverick и Scout в разных облачных провайдерах, размещающих модели.
«Поскольку мы сбросили модели, как только они будут готовы, мы ожидаем, что для всех общественных реализаций займет несколько дней»,-сказал Аль-Дал. «Мы будем продолжать работать над нашими исправлениями ошибок и партнеров по борьбе с адаптацией».
