汽车行业点评报告：AI系列深度06期：Transformer如何从序列任务走向基座模型？

（以下内容从东吴证券《汽车行业点评报告：AI系列深度06期：Transformer如何从序列任务走向基座模型？》研报附件原文摘录）
投资要点
RNN与Transformer是序列建模的两代核心架构，解决文字、语音、视频和轨迹等有先后顺序的数据如何形成表征的问题。序列建模的难点在于变长、有序和长程依赖：模型既要保留上下文，又要把相距较远的相关信息联系起来。
RNN的基本思路是把历史压缩进一个随时间更新的隐藏状态。该结构推理成本相对恒定，适合早期机器翻译、语音识别和时间序列任务；LSTM、GRU通过门控机制缓解长程遗忘，Seq2Seq和注意力机制进一步推动模型更迭。但RNN必须逐步串行处理，难以充分利用并行算力，长距离信息也容易在压缩状态中衰减。
Transformer采取不同路径：不再把历史压缩成单一状态，而是用自注意力让每个位置直接与所有位置交互。多头注意力、位置编码和前馈层共同构成其结构基础，使训练可以并行、长程依赖路径显著缩短，并为模型规模化扩展提供架构基础。GPT、BERT以及后续LLM、VLM、VLA大多以Transformer为核心底座，反映其在云端通用基础模型中的主导地位。
两者分歧可归纳为记忆、计算和长程建模三组权衡：RNN以定长状态换取相对恒定的推理成本，但训练串行、记忆容量受限；Transformer全量缓存历史，训练并行、长程建模更强，但注意力计算随序列长度平方增长，超长上下文推理成本较高。该约束也是Mamba、RWKV、线性注意力和混合架构重新受到关注的重要原因。
Transformer替代传统RNN主干，并不意味着循环思想消失。2023年以来，状态空间模型、选择性状态更新和线性注意力在长上下文、端侧低功耗、低时延场景中体现价值；同时，存在混合架构的技术路径，用少数注意力层保留精确回忆能力，用多数高效层降低计算成本。整体看，Transformer仍是通用基础模型主线，新循环更像特定约束下的重要补充。
我们认为，数字AI底座模型发展路径已逐渐清晰、价值在于确定性，但其难以实现物理世界的建模闭环；我们认为物理AI将成为物理世界的AI解决方案，从而在AI的当前发展阶段成为增量更大的方向，智能驾驶作为最先跑通闭环的代表场景，我们认为应重点关注。
风险提示：技术迭代不及预期的风险，大模型厂商ARR增速放缓的风险，云服务商资本开支不及预期的风险，智能驾驶及机器人商业化落地不及预期的风险。