DeepSeek论文披露全新模型机制,SSD等存储需求有望再进一步,龙头还发布炸裂业绩


一季度赚了几年的利润了。今日重要性:✨

1月12日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》,梁文峰署名。

论文提出 “条件内存” 这一稀疏性新维度,通过Engram模块优化大语言模型性能。

西部证券表示,现有的Transformer架构缺乏原生的知识查找机制,只能通过计算过程低效地模拟检索行为。稀疏性已经成为了智能系统的核心设计原则,在大模型领域,其具体实现就是MoE(混合专家模型)。但现有的标准Transformer本质上没有真正的知识检索机制,导致现有大模型不得不在早期层中通过昂贵计算来“重建”静态知识,浪费了宝贵的模型深度。

针对这一现状,DeepSeek提出了条件记忆(conditional memory),从而与MoE的条件计算互补,并通过引入一个新模块Engram来实现,类似“字典”功能,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。

DeepSeek推出的Engram模块是一个巨大的、可扩展的嵌入表(Embedding Table)。通俗地说,Engram就是给Transformer加个外接记忆库,并把当前token附近的一小段内容,用快速、省参数的方式,在一个超大的静态记忆表里查到对应内容

其将高频访问的嵌入缓存于更快的存储介质中(如GPU HBM或主机DRAM),而将大量低频的长尾模式存放在容量更大但速度较慢的存储介质中(如SSD)。这种分层设计使 Engram 能够扩展到极大规模的记忆容量,同时对有效访问延迟的影响保持在最低水平。

产业方面,东方证券认为,未来2年NAND行业资本开支可能有限,头部厂商在扩产方面可能保持相对克制的水平,其中三星、美光与SK海力士的资本开支有望持续向HBM倾斜而非NAND。未来AI应用有望推动SSD用量保持高速增长态势,叠加全行业资本开支可能有限,NAND与SSD供不应求有望持续,迎来较长的景气周期。

公司方面,据上市公司互动平台、公告表示,

佰维存储:预告年报净利润8.5亿元-10亿元,同比增长427.19%-520.22%。

江波龙:公司已推出多款高速企业级eSSD产品,覆盖480GB至7.68TB的主流容量范围。

*免责声明:文章内容仅供参考,不构成投资建议

*风险提示:股市有风险,入市需谨慎

    扫码下载APP

    微信公众号二维码 公众号
    用户反馈
    回到顶部