Результаты приводит исследование рынка больших языковых моделей, подготовленное Институтом ИИ ИТМО совместно с экспертами МГУ, РАНХиГС, ВШЭ и AIRI. Бенчмарк SLAVA включает 14 тыс. вопросов. В ноябре 2024 года в его тройке лидеров были модели из США и Китая; теперь верхние позиции занимают отечественные разработки. Авторы связывают перемены не только с инвестициями, но и с увеличением доли российских данных в обучающих массивах.
При этом русскоязычный интернет примерно в 10–20 раз меньше общемирового. Этого объёма достаточно, чтобы включать русский язык в многоязычный корпус, но недостаточно для создания универсальной модели, обученной только на русском. Эксперты оценивают оптимальную долю русскоязычных данных в 5–30%. Изоляция от мировых корпусов, по их мнению, усилит отставание от зарубежных моделей: языки содержат разные сведения, а английский остаётся главным носителем научного знания.
Для предобучения моделей используют триллионы токенов из веб-страниц, книг, научных публикаций, кода и энциклопедий. Российские команды сильнее зависят от открытых источников и располагают меньшими ресурсами для сбора и оцифровки материалов. Дополнительный потенциал могут дать данные, которых нет в открытом интернете: библиотечные и архивные фонды, профессиональные коллекции. Их оцифровка, отмечают авторы, могла бы улучшить модели в медицине, праве и строительстве.
Директор Института ИИ ИТМО Александр Бухановский считает, что отрасли нужно не только развивать собственные модели, но и обмениваться решениями. «Вместо того чтобы каждой создавать агента, читающего одну и ту же литературу, можно обмениваться такими решениями», — сказал он. Успех рынка авторы связывают с совместной работой бизнеса, государства и open-source-сообщества, использованием мировой технологической базы и её усилением отечественными данными.

Комментарии (0)
Пока нет комментариев. Будьте первым!