Пятница, 20 ноября 2026 г., 18:43 (мск)
Главная»Технологии»Дефицит русскоязычных данных может затормозить развитие ИИ...
RSS

Дефицит русскоязычных данных может затормозить развитие ИИ

Дефицит русскоязычных данных может затормозить развитие ИИ

Результаты приводит исследование рынка больших языковых моделей, подготовленное Институтом ИИ ИТМО совместно с экспертами МГУ, РАНХиГС, ВШЭ и AIRI. Бенчмарк SLAVA включает 14 тыс. вопросов. В ноябре 2024 года в его тройке лидеров были модели из США и Китая; теперь верхние позиции занимают отечественные разработки. Авторы связывают перемены не только с инвестициями, но и с увеличением доли российских данных в обучающих массивах.

При этом русскоязычный интернет примерно в 10–20 раз меньше общемирового. Этого объёма достаточно, чтобы включать русский язык в многоязычный корпус, но недостаточно для создания универсальной модели, обученной только на русском. Эксперты оценивают оптимальную долю русскоязычных данных в 5–30%. Изоляция от мировых корпусов, по их мнению, усилит отставание от зарубежных моделей: языки содержат разные сведения, а английский остаётся главным носителем научного знания.

Для предобучения моделей используют триллионы токенов из веб-страниц, книг, научных публикаций, кода и энциклопедий. Российские команды сильнее зависят от открытых источников и располагают меньшими ресурсами для сбора и оцифровки материалов. Дополнительный потенциал могут дать данные, которых нет в открытом интернете: библиотечные и архивные фонды, профессиональные коллекции. Их оцифровка, отмечают авторы, могла бы улучшить модели в медицине, праве и строительстве.

Директор Института ИИ ИТМО Александр Бухановский считает, что отрасли нужно не только развивать собственные модели, но и обмениваться решениями. «Вместо того чтобы каждой создавать агента, читающего одну и ту же литературу, можно обмениваться такими решениями», — сказал он. Успех рынка авторы связывают с совместной работой бизнеса, государства и open-source-сообщества, использованием мировой технологической базы и её усилением отечественными данными.

Поделиться:

Комментарии (0)

Оставить комментарий

Пока нет комментариев. Будьте первым!