DeepSeek元旦新论文要开启架构新篇章

新年第一天，DeepSeek 发布了一篇新论文，提出了一种名为mHC(流形约束超连接)的新架构。该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益 。简单来说，论文提出的mHC通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用Sinkhorn-Knopp算法将连接矩阵约束在双拟随机矩阵流形上，成功解决了超连接(HC)在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。这篇论文的第一作者有三位：解振达、韦毅轩、Huanqi Cao 。DeepSeek 创始人兼CEO梁文锋也在作者名单中。

—— 华尔街见闻、彭博社

via 风向旗参考快讯 - Telegram Channel