Фото: Константин Кокошкин / Global Look Press

«Яндекс» разработал с нуля большую языковую модель Alice AI Foundation LLM без использования сторонних иностранных компонентов, сообщили в пресс-службе компании.

Модель содержит 80 млрд параметров, из которых в работе одновременно активны 3 млрд. Она обучена на 18 трлн токенов. «Яндекс» открыл веса модели и выпустил ее в открытый доступ под лицензией Apache 2.0, которая разрешает коммерческое и исследовательское использование.

Alice AI Foundation LLM является экспериментальной версией будущей единой рассуждающей модели. Она должна стать основой агентных возможностей «Алисы AI», которые позволят пользователям поручать сервису выполнение конкретных действий, сообщили РБК в пресс-службе компании.

Модель построена на архитектуре Mixture of Experts (MoE). За счет небольшого числа активных параметров она требует меньше вычислительных ресурсов при работе. По данным «Яндекса», модель показывает высокие результаты в задачах на программирование и рассуждение, а также превосходит ряд более крупных открытых моделей в тестах на знание фактов, актуальных для русскоязычных пользователей.

Для оценки этих возможностей компания разработала два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый проверяет знания дат, определений, событий и персоналий, второй охватывает более редкие области, включая медицину, право, IT и искусство. Оба набора заданий «Яндекс» также опубликовал в открытом доступе вместе с эталонными ответами и протоколом оценки.

При обучении модели инженеры оптимизировали процесс передачи данных между видеокартами, что позволило примерно вдвое ускорить отдельные этапы обучения. Кроме того, каскад классификаторов помог в десятки раз сократить объем вычислений при отборе обучающих данных.

источник