(以下内容从华福证券《传媒行业动态跟踪:谷歌AI论文趋势:推理为王》研报附件原文摘录)
投资要点:
从谷歌前沿产品DeepThinkMode看:推理过程下的长思考2025年12月4日,谷歌在Gemini应用中向GoogleAIUltra订阅用户推送Gemini3DeepThink模式,通过运用并行思维技术推动思维能力的前沿。其上一代模型Gemini2.5DeepThink鼓励模型利用扩展推理路径,使深度思维随着时间推移成为更优秀、更直观的问题解决者;通过延长推理时间或思考时间,让AI有更多时间去探索不同的假设,并对复杂问题提出创造性的解决方案。
从谷歌近期论文看:推理端的新算法进步
新架构支持推理时学习与记忆能力。谷歌发布论文《Titans:LearningtoMemorizeatTestTime》提出了一种新的神经长时记忆模块,它能够学习记忆历史上下文,并在运用遥远历史信息的同时,协助注意力机制聚焦于当前上下文。该神经记忆模块兼具快速并行化训练与高效推理的优势。从记忆视角看,注意力机制因有限但精准的上下文
依赖建模能力,可视为短期记忆;而神经记忆凭借其数据存储能力,则发挥着长期、更持久记忆的作用。基于这两大模块,论文提出一种同时具备注意力机制和元上下文记忆的结构“Titans”,能在测试时学习记忆。
新范式显著提升长上下文推理能力。深度学习领域长期将模型架构和优化算法视为两个分开的东西。但这导致模型学会新知识就会忘掉旧知识,无法持续学习。谷歌论文《NestedLearning:TheIllusionofDeepLearningArchitecture》提出了一种全新的机器学习范式“嵌套学习NL”,模仿人脑认知机制的路径(短期内记忆快速更新,长期记忆则缓慢沉淀,不同层级协同运作),并将这一过程逻辑数字化,每个层级都拥有独立的上下文流和更新频率。从嵌套学习的视角上提出连续记忆系统CMS,每次更新仅包含少量参数,减少算力需求,使得大语言模型能够在不断学习新技能的同时,又不会遗忘旧技能构建出计算效率将大幅提升。
谷歌侧重点新趋势:从训练推理模型到关注推理过程
谷歌团队试图打破现有大模型训练即固化的静态模式,学习不再仅限于训练过程,而是发生在推理现场。现有的Transformer模型虽然强大,但通过Attention机制处理长文本计算成本高,且本质上是短期
记忆,一旦超出上下文窗口,信息就被丢弃。推理过程本身变成了获取智能、处理复杂信息的关键环节,算力的价值从后台的前期训练转移到了前台的实时推理。
投资建议
通过专注AI推理过程的算法优化,并给予大模型充足的推理算力,使得模型表现变得更快、更好、更有效。看好推理端算力的爆发。
风险提示
AI应用竞争激烈,AI模型竞争激烈