Наибольший разрыв обнаружили у языков с нелатинской письменностью и небольшим числом цифровых материалов для обучения. Запросы на хинди требуют в 7,9 раза больше энергии, чем аналогичные на английском, на бенгальском — в 15,3 раза. Западноевропейские языки увеличивают расход примерно вдвое. Сопоставив результаты с демографическими данными, авторы оценили: около 5,2 миллиарда человек тратят на запросы на родном языке более чем вдвое больше энергии.
Исследователи испытали три открытые модели: Qwen 3 от Alibaba, Gemma 3 от Google и Llama 3.1 от Meta, признанной в России экстремистской и запрещенной. Модели отвечали на вопросы по чтению на 122 языках, а также решали математические задачи и обрабатывали открытые запросы, переведенные еще на семь языков системой No Language Left Behind от Meta. Потребление измеряли с помощью ML.Energy — системы, разработанной в Мичиганском университете. Разница сохранялась на крупных моделях и разных процессорах.
Причину ученые связывают с токенизацией: перед обработкой текст делится на короткие фрагменты — токены. Письменности вроде деванагари, используемой для хинди, и бенгальская вязь дают множество сочетаний символов, поэтому текст превращается в большее число токенов. Они занимают память компьютера, и модели приходится обрабатывать их меньшими порциями, расходуя больше энергии на каждый фрагмент.
Авторы считают, что снизить затраты помогут модели, настроенные под конкретные языки, или предварительный перевод запросов на английский. Соавтор исследования Рада Михалцея, руководитель лаборатории ИИ Мичиганского университета, призвала разработчиков расширять ресурсы для языков с энергетическим и ценовым разрывом и привлекать носителей к переводу обучающих материалов.
Комментарии (0)
Пока нет комментариев. Будьте первым!