Этот инструмент оценивает, сколько электроэнергии потребляют ваши сообщения чатбота

Вы когда -нибудь задумывались, сколько электроэнергии вы используете, когда предпринимаете, или благодаря, модель искусственного интеллекта? Обнимая инженер -лица Жюльен Делаванде, поэтому он построил инструмент, чтобы помочь прийти к ответу.

Модели ИИ потребляют энергию каждый раз, когда они запускаются. Они работают на графических процессорах и специализированных чипах, которым требуется много мощности для выполнения соответствующих вычислительных рабочих нагрузок в масштабе. Нелегко определить потребление модели модели, но в целом ожидается, что растущее использование технологий ИИ будет способствовать потребностям электроэнергии на новые высоты в ближайшие пару лет.

Спрос на большее количество власти на топливо по ИИ привело к тому, что некоторые компании занимались экологически недружелюбными стратегиями. Такие инструменты, как Делаванде, привлечь внимание к этому и, возможно, дают некоторым пользователям искусственного интеллекта.

«Даже небольшая экономия энергии может увеличиться по миллионам запросов — выбор модели или длина выхода может привести к значительному воздействию на окружающую среду», — написали Делаванде и другие создатели инструмента.

Инструмент Delavande предназначен для работы с интерфейсом с открытым исходным кодом для моделей, таких как Llama's Llama 3.3 70b и Google Gemma 3. Он также сравнивает использование энергии модели с общими бытовыми приборами, такими как микроволновые печи и светодиоды.

Согласно инструменту, просят LlaMa 3.3 70b написать типичную электронную почту, использующую приблизительно 0,1841 ватт-часа, что эквивалентно запуска микроволновой печи в течение 0,12 секунды или использования тоастера в течение 0,02 секунды.

Стоит помнить, что оценки инструмента — только это — оценки. Делаванде не утверждает, что они невероятно точные. Тем не менее, они служат напоминанием о том, что все, включая чат -боты, имеет стоимость.

«С такими проектами, как оценка энергии ИИ и более широкие исследования энергетического следа ИИ, мы стремимся к прозрачности в сообществе с открытым исходным кодом. Однажды использование энергии может быть так же видимым, как и ярлыки для питания на еде!» Делаванде и его соавторы написали.

Previous post «Я действительно люблю это»: Top Chef выбирает любимый ресторан сети — и делится «Ultimate» поздней ночи дешевой еды | Денежные новости
Next post Трамп возвращается в Мичиган на следующей неделе впервые с момента выборов