计算机：蒸馏模型加速AI平权

（以下内容从德邦证券《计算机：蒸馏模型加速AI平权》研报附件原文摘录）
投资要点：
成本仅50美元，性能媲美o1与R1，模型蒸馏技术的爆发年。根据Tech Crunch，李飞飞等斯坦福大学和华盛顿大学的AI研究人员的一篇新研究论文表示，他们成功地用不到50美元的费用训练了一个AI推理模型s1（仅为云计算服务费用，不包括服务器、显卡等硬件投入费用）。
1）技术路径：论文指出，推理模型可以通过相对较小的数据集和监督微调（SFT）的过程进行蒸馏，其中AI模型被明确指导去模仿数据集中的某些行为。具体来说，团队构建了“s1K”的数据集，由1000个精心筛选的问题组成，每个问题都配有推理轨迹（reasoning traces）和从Gemini Thinking Experimental蒸馏而来的答案。接着团队在一个预训练模型上进行监督微调（SFT），仅使用16张H100GPU训练26分钟。此外，为了提高答案的准确度，研究团队还运用了一种“预算强制”技术，可以控制测试时间计算，通过强制提前终止模型的思考过程，或在s1推理时多次追加“等待”指令以延长思考，从而优化性能。
2）测试结果：根据研究团队的测试结果可知，在竞赛数学问题上，s1-32B的表现较o1-preview高27%（MATH和AIME24）；且该模型在AIME24上的表现几乎与Gemini2.0Thinking API相当，显示其蒸馏过程是有效的。
低成本、开源与蒸馏将大幅降低AI模型开发门槛，有望加速AI平权过程。根据极客公园，早在2025年1月，深度求索发布推理模型DeepSeek-R1正式版，采用MIT协议，同步开源模型权重，并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。DeepSeek主动引导将R1作为教师模型来蒸馏出一个更小但仍有实力的模型，通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标OpenAI o1-mini的效果。我们认为，结合此次李飞飞团队通过超低成本从Gemini Thinking Experimental模型中蒸馏出的数据中训练了s1，同样取得了优异的模型性能，既印证了蒸馏技术是推动模型小型化与商品化的重要手段，有望缩小开源与闭源模型性能差距，从而加速AI平权过程；又为AI应用与端侧的爆发打下基础。
投资建议。我们认为，从DeepSeek R1到s1，不断证明着2025年将是大模型普惠的起点，AI应用与端侧或将同时迎来AI成本下降与模型能力提升的全面加强；此外，在蒸馏技术支持下，Jevons悖论或得到持续论证，有望涌现更多现象级的高性价比小模型，在部署在端侧和应用的同时，推动模型逐渐从预训练向推理转变，国产算力有望在推理算力爆发下迎来价值重估。建议关注：1）模型蒸馏：智信精密、拓尔思、思特奇、狄耐克、格灵深瞳、神州泰岳等；2）AI应用：金山办公、泛微网络、致远互联、博睿数据、中科星图、金蝶国际、福昕软件、彩讯股份、万兴科技、易点天下、航天宏图等；3）AI端侧：云天励飞、世运电路、联想集团、科大讯飞、乐鑫科技、中科蓝讯等；4）AI算力：云天励飞、华丰科技、海光信息、中科曙光、寒武纪、神州数码、浪潮信息、润泽科技、润建股份、世纪互联等。
风险提示：上游供应不及预期、下游AI产业落地速度不及预期、中游竞争格局加剧、国际局势风险、国内外宏观利率风险等。