深度阅读页

Kimi与DeepSeek在GPT-6 Astra影响下模型性能分析

围绕当前主题,我们将关键信息、核心观点与内容脉络进行整合,帮助您更高效地理解文章重点并延展阅读视角。

Kimi与DeepSeek在GPT-6 Astra影响下模型性能分析

近期,《The Information》于10月28日发布了一则引人关注的报道,称Kimi K3.1 Pro与DeepSeek V4.1-Flash-1017在训练过程中依赖于GPT-6 Astra的输出进行蒸馏。此消息迅速引发了关注,尤其是在硅谷和北京的科技圈内。根据报道来源,即“对该事件有直接了解的人士”,此类蒸馏训练并未获得相关方的官方确认或否认,然而路透社和《印度快报》等媒体对此进行了相应的跟进,表述一致,即两款模型“在很大程度上依赖于输出”。

about image

在模型性能方面,据报道,Kimi K3.1 Pro在Terminal-Bench 4.0基准测试中的得分为65.7%,超出GPT-6 Astra的58.2%,与Claude Opus 5.5仅差0.7个百分点。同时,DeepSeek V4.1-Flash-1017在Terminal-Bench中从前版本的31.2跃升至42.3,Browser Use长任务得分达到75.0,显示出其与Opus 5.5的竞争力。此外,DeepSeek在单任务运行成本上表现出色,仅为0.22美元,较其竞争对手约为其十分之一。这一现象引发了对“学生”模型在特定基准上可能超越“教师”模型的相关探讨。

about image

其次,我们应明确蒸馏训练的性质。蒸馏技术本质上是通过学习输出分布的方式来增强模型的性能,而非涉及对模型参数的直接获取。OpenAI在此前的声明中提到其于7月遭遇的“有组织的蒸馏活动”涉及Kimi模型的开发团队,暗示了该事件并非偶然。尽管该指控自其首次报告以来仍未获得三方的明确确认,然而其可信度并未因此降低。 MK体育

在对比分析中,DeepSeek V4.1-Flash-1017和Kimi K3.1 Pro的性能增长令人瞩目,然而,基准测试分数的增幅并不能作为蒸馏活动的直接证据。模型在特定测试集上的表现可能受多种因素的影响,包括后训练的策略和提示词的优化。因此,两家公司均声称其模型的提升具备内部训练的自主性,而未明确提及其他模型的输出。

about image

进一步而言,蒸馏活动的真实证据常常显现在模型的错误表现上。针对两款模型,我设计了一组测试以比较其在遇到特定问题时的表现。使用涵盖中文歧义、多步算术及逻辑推理的问题进行对比,结果显示在一道隐藏前提的算术题中,DeepSeek与GPT-6 Astra给出了相同的错误中间步骤,而Kimi在该题中回答正确,但在另一道中文语义题上犯下相同的错误。

综上所述,尽管观察到的相似错误并不能直接证明蒸馏的发生,但其频繁出现的模式提示了一种潜在的继承关系。未来的研究应继续深入探讨蒸馏对模型性能的潜在影响,并对相关数据进行更大规模的分析,以确保结论的普遍性和有效性。研究表明,模型性能的提升应结合多方面因素进行综合考虑,而非仅以表面数据为依据。 MK体育

觉得内容有帮助?欢迎分享

将这篇文章分享给更多朋友,让更多人快速看到这条内容。

推荐阅读