Нейросети обложили пользователей неанглоязычных стран налогом

Причина перерасхода кроется в алгоритмах токенизаторов, которые разбивают текст на фрагменты для последующей обработки. Большинство современных моделей оптимизированы под английский язык, поэтому запросы на других языках требуют больше токенов. Для пользователя, чья подписка ограничена лимитом токенов, это означает не только прямые финансовые потери, но и замедление скорости ответа, а также снижение эффективной контекстной емкости модели.

Проблема затрагивает не только редкие языки вроде астурийского, но и широко распространенные, включая русский. Разница в аппетитах моделей заметна при сравнении популярных решений: так, обработка русскоязычного текста в Claude Opus 5 обходится пользователю значительно дороже, чем в GPT-5.5, из-за 390-процентного прироста расхода токенов. Помимо языковой принадлежности, на стоимость влияет и тип письменности — алфавиты, редко встречающиеся в обучающих выборках, неизменно увеличивают объем данных, необходимых нейросети для понимания задачи.