首页 - 股票 - 研报 - 行业研究 - 正文

计算机行业定期报告:Deepseek发布全新注意力机制NSA

来源:华福证券 作者:钱劲宇 2025-02-23 17:00:00
关注证券之星官方微博:
(以下内容从华福证券《计算机行业定期报告:Deepseek发布全新注意力机制NSA》研报附件原文摘录)
投资要点:
Deepseek发布全新注意力机制NSA
NSA(硬件优化稀疏注意力机制)由Deepseek、北京大学和华盛顿大学联合提出,旨在解决传统注意力机制在长上下文、多轮对话等场景下的性能瓶颈。其创新性在于通过**三并行分支架构**(Token压缩、Token选择、滑动窗口)结合可学习门控机制,动态平衡全局与局部注意力:压缩分支粗粒度捕捉全局信息,选择分支筛选关键稀疏单元以减少计算量,滑动窗口则保留局部语法与语义连贯性;硬件层面基于Triton框架优化内存访问,通过组共享KV数据、高带宽HBM与片上SRAM协同计算,显著提升稀疏计算效率。该技术实现了推理速度与精度的平衡,适用于大语言模型加速、长文档理解等需要高效长程依赖建模的场景。
本周AI数据更新:
海外应用看,20250214-20250220期间,Chatgpt下载量逐步回升,Gemini、Perplexity和Claude整体保持稳定。
国内应用看,20250214-20250220期间,Deepseek下载量稍有回落,Kimi、通义、星火、文心一言整体保持稳定,腾讯元宝接入Deepseek后下载量显著提升,现已超过30万次/日。
风险提示
市场需求不及预期,人工智能技术发展不及预期,政策发布不及预期等。





微信
扫描二维码
关注
证券之星微信
APP下载
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-