DeepSeek представила архитектурное улучшение Transformer

Китайская компания DeepSeek опубликовала научную работу, в которой предложила фундаментальное улучшение архитектуры Transformer, лежащей в основе большинства современных языковых моделей. Исследование посвящено новой концепции под названием Manifold-Constrained Hyper-Connections, или сокращенно mHC.

Согласно статье, разработчики обратили внимание на слабое место классических residual-соединений и так называемых hyper-connections, которые активно применяются в глубоких нейросетях. Расширение связей внутри модели действительно дает прирост качества, но одновременно приводит к нестабильности обучения, росту потребления памяти и проблемам с масштабированием.

Авторы предлагают решать эту задачу через ограничение пространства residual-соединений. В методе mHC такие связи проецируются на специальное многообразие, что позволяет сохранить ключевое свойство идентичного отображения и при этом избежать деградации обучения. Проще говоря, модель получает более сложные связи между слоями, но без хаотичного поведения при росте размера сети.

В статье подчеркивается, что новый подход дает заметный прирост производительности при обучении крупных моделей и лучше ведет себя при масштабировании. Эксперименты показали более стабильную сходимость и снижение вычислительных издержек по сравнению с классическими архитектурами.

Отдельное внимание привлек состав авторов исследования. В списке указан CEO DeepSeek Вэньфэн Лян, что для отрасли является редкостью. Это подчеркивает, что компания делает ставку не только на прикладные продукты, но и на фундаментальные исследования.

В аннотации к работе авторы отмечают, что mHC может стать практичным расширением hyper-connections и повлиять на дальнейшее развитие архитектуры базовых моделей. По их словам, подход открывает новые направления в проектировании нейросетей и помогает лучше понять топологию глубоких архитектур.

Публикация уже вызвала интерес в профессиональном сообществе, поскольку любые изменения на уровне архитектуры Transformer напрямую влияют на эффективность языковых моделей, систем генерации кода и мультимодальных ИИ. Эксперты отмечают, что подобные исследования все чаще выходят не из университетов, а из коммерческих лабораторий, которые ведут гонку за более устойчивыми и экономичными моделями.