行行查
行业研究数据库
人工智能行业研究:GRPO与PPO的区别在于不用专门训练value model
- 人工智能
DeepSeek-V3在一个包含1.5M 个“指令-响应对”的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域,并采用了不同的数据构建策略,以最大程度地激发模型的潜能。DeepSeek采用了基于DeepSeek-R1(这里容易混淆R1与V3是“鸡生蛋还是蛋生鸡”,可能的时间线:V3没经过SFT的V3-base版本是生成R1的基础模型;R1作为推理能力更强的模型,其生成的优质SFT数据反过来针对V3-base版进行微调,得到完整版的V3)模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色,但其生成的响应往往存在过度推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性,SFT阶段对于每个问题生成两种类型SFT样本(分别是<问题,原始答案>、<问题,原始答案,R1的答案)),旨在引导模型蒸馏R1能力且生成更符合人类偏好的响应。非推理类数据利用DeepSeek V2.5生成响应+人工进行标注&校验。
关联报告






| 标题 | 时间 | 页数 | 目录 | 下载 |
|---|---|---|---|---|
| 人工智能对广域网的影响:思科报告2026 | 2026-10-27 | 26 | ||
| 《人工智能能力建设普惠计划》进展报告(2026) | 2026-10-27 | 22 | ||
| 人工智能的物理竞赛:对电力、水和关键矿产的控制正成为人工智能领导地位的决定性因素 | 2026-10-27 | 16 | ||
| 人工智能主线周报:智元发布具身模型,看好智能化 | 2026-11-02 | 19 | ||
| 人工智能行业专题:2026Q3海外大厂CapEx和ROIC总结梳理 | 2026-11-02 | 25 | ||
| 通信及人工智能组行业光互连系列报告(一):FAU,CPO/NPO驱动量价双升 | 2026-11-03 | 22 | ||
| 人工智能及计算机行业行业月报:国家数据集团正式成立,物理AI迎奇点时刻 | 2026-11-07 | 27 | ||
| 人工智能行业周观点:Anthropic下周正式挂牌,OpenAI推出ChatGPT钱包与商户中心 | 2026-11-16 | 50 | ||
| 人工智能行业半月报(2026年11月第2期):Anthropic即将上市,黄仁勋辞去CEO等职务 | 2026-11-18 | 20 | ||
| 专题研究报告:人工智能在资本市场的应用现状与演进方向 | 2026-11-19 | 31 |

行研数据库
创投数据库
证券数据库
商业数据库










