Языковую модель ruRoberta-large finetune, разработанную в SberDevices, признали лучшей по пониманию текста в рамках главного бенчмарка по оценке текстовых моделей Russian SuperGLUE.
В рейтинге модель «Сбера» уступила только человеку. В десятку лидеров также вошли ещё 4 модели компании.
Модель ruRoBERTa повторяет архитектуру BERT и использует токенизацию от нейросети ruGPT-3 — русскоязычного аналога GPT-3, который тоже разработала SberDevices. Она 3 недели обучалась на суперкомпьютере «Кристофари».
Источник: Код Дурова
Источник: tproger.ru
