Команда «Сбера» представила новую флагманскую нейросетевую модель — GigaChat 3.5 Ultra. Она уже доступна для бесплатного использования всем желающим в ИИ-помощнике «ГигаЧат», а исходный код опубликован в open source, открывая доступ к передовым технологиям разработчикам по всему миру.
Главное техническое отличие новинки от предшественницы — собственная архитектура с линейным вниманием. Классический механизм внимания при обработке каждого нового слова заново перепроверяет его по всему предыдущему тексту. Линейное внимание действует иначе: модель один раз запоминает суть прочитанного и дальше дополняет эту память, как человек, который держит в голове краткий пересказ, а не перелистывает книгу заново на каждой странице. Это снижает вычислительную нагрузку и ускоряет работу без потери контекста. В результате модель стала почти вдвое компактнее (построена по архитектуре MoE — Mixture of Experts) и до четырёх раз быстрее при работе с длинными текстами. GigaChat 3.5 Ultra — одна из крупнейших моделей с такой архитектурой из всех, что выходили в open source. Компактность позволяет разворачивать её на более доступном оборудовании, делая технологию доступной для большего числа компаний и разработчиков.
При обучении упор был сделан на три ключевых направления:
- Программирование и математика: модель точнее генерирует и проверяет код, лучше справляется с расчётами и финансовыми задачами.
- Анализ длинных документов: контракты, техрегламенты и отчёты обрабатываются без потери точности, а скорость работы выросла до четырёх раз.
- Автономные агентные сценарии: модели можно поставить многошаговую задачу, и она сама найдёт информацию, напишет код, обратится к нужному сервису и вернёт готовый результат.
Качество новой версии обеспечено за счет увеличенного датасета из натуральных, созданных человеком текстов с многоуровневой фильтрацией — разработчики сделали ставку на качество данных, а не на их объём.
На внутренних тестах GigaChat 3.5 Ultra превзошла предыдущую флагманскую версию «Сбера» по программированию, математике, сложным многошаговым задачам и качеству русскоязычного диалога. По ряду показателей она приблизилась к результатам более крупных открытых моделей, включая DeepSeek 3.2. Масштаб проделанной работы подтверждается цифрами: в процессе разработки количество экспериментов выросло более чем вдвое — до 1500.