在大模子后老师中，数据不再仅仅 “越多越好”，而是要像东说念主类学习一样，动态采选最合适难度的样本。华为提议的 EDCO 尺度，将样本难度猜度与动态课程编排引入规模大模子微调；数月后，由 Rutgers、Amazon、Google 等作家参与的 DARE 论文即援用 EDCO，并将其手脚难度感知强化学习老师的弥留对比基线。这意味着，“老师数据如何被采选” 正在从工程细节走向核默算法问题。

作家来自华为 GTS 研发部 AI 数据团队，弥远聚焦规模大模子数据、老师与评测尺度。面向通讯等专考场景，他们眷注的不是 “再堆些许数据”，而是一个更施行的问题：当高质料规模数据稀缺且高尚时，模子每一步究竟应该先学哪些样本？

老师一个规模大模子，有时像准备一场高强度查验：题库很贵，技巧有限，但你并不知说念下一说念题究竟是在查漏补缺，如故在销耗老师预算。

在通讯、医疗、法律等垂直规模，高质料数据经常稀缺且高尚。传统微调要么立时采样，要么在老师前按照长度、困惑度等目的排好一个固定课程。但模子才能会束缚变化：昨天不会的题，今天可能照旧掌抓；看似基础的样本，也可能仍然卡在某个专科常识点上。

于是问题来了：能不可让模子每一步齐学刻下最该学的数据？

华为 GTS 研发部 AI 数据团队通过弥远在规模大模子的老师施行提议 EDCO（Entropy-based Dynamic Curriculum Orchestration），用推理熵动态编排老师课程，让模子连接靠近刻下最困惑、最有学习价值的样本。该责任已被 ICML 2026 罗致。

论文标题：EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning

代码地址：https://github.com/GTS-AIData/EDCO

从 “从易到难”，到 “刻下最该学”

静态课程学习像一张老师前写好的课表：先学什么、后学什么，一朝详情就不再变嫌。这在从零学习时很当然，但规模大模子微调不是从小学数学初始，而是在已有通用才能上补专科短板。

尤其在通讯这么的专科规模中，“浅近” 和 “有效” 并不老是一趟事。无线网罗优化任务往往不是看一条告警或一个目的就能下论断，而是要把路测轨迹、信令经由、参数建立、话统目的和众人端正放在一齐分析：通常是掉线率升高，背后可能是覆盖问题、切换参数不对理、邻区建立缺失，也可能是容量受限或终局活动极度。

数通场景通常如斯。实在运维输入经常来自多厂商、多建设、多条约的非结构化日记，文本长、术语密集、款式不援助。模子不仅要读懂日记，还要蚁集网罗拓扑、路由关连和条约机制进行判断、打算与详尽分析。这意味着，通讯任务中的样本难度并不由文本长度或名义神气决定。“同症不同因”“短问长推理”“长文本找关键极度值” 在这里相配大量：

一说念两行的题，可能笼罩着复杂条约机制或关键参数互异；

一段很长的日记，信得过决定谜底的可能仅仅少数极度目的或字段；

模子在某类厂商、制式或条约场景中学会的才能，挪动到另一类场景时有时可靠。

按困惑度（PPL）、长度这些事先算好的静态目的以致在部分场景中不如立时采选，本色因为模子的才能规模一直变化。模子照旧把 "该学的" 刷完毕，剩下的老师预算齐耗在它早就掌抓的题上。

EDCO 的中枢判断很凯旋：样本价值不是固定属性，金佰利国际娱乐官网入口而取决于模子当下是否仍然省略情。推理熵越高，讲明模子靠近该样本越彷徨，也越可能处在才能规模隔壁。

从这个角度看，EDCO 施行上把传统 “从易到难” 的课程，改形成一种更顺应规模大模子微调的动态反向课程：不是一味先喂浅近题，而是在每个老师阶段主动寻找仍能引发探索、幸免模子过早自信的样本。

EDCO：让模子学会挑 “难而有效” 的样本

图 1：EDCO 举座框架：推理熵猜度、动态课程生成与 LLM 老师闭环。

EDCO 的老师闭环由三部分构成：领先猜度老师池中样本对刻下模子的推理熵；随后采选推理熵最高的一批样本构成下一阶段课程；终末用该课程连续微调模子，并不才一个停止重新打算熵值、更新样本麇集。

1. 用推理熵预计样本挑战性

EDCO 对老师池样本猜度刻下模子的推理熵。高熵样本不是浅近好奇神往上的 “清贫”，而是刻下模子仍然拿不准、可能带来更强学习信号的样本。

这种界说的克己在于，样本是否弥留不再由老师前的静态难度决定，而是由模子及时情景决定。模子照旧掌抓的样本会逐渐退出课程，仍然让模子彷徨的样本则会被保留住来连续老师。

2. 用前缀熵猜度把动态课程作念轻

无缺序列熵猜度本钱很高。EDCO 通过 quick-answer prompting 让模子尽快插足谜底主体，再用前缀 token 条目熵雷同无缺序列熵。实验中，单样本熵猜度技巧从 2.24 秒降至 0.37 秒，打算支拨减少 83.5%。

3. 每个阶段重新选 top-N 高熵样本

在每个老师停止，EDCO 基于刻下模子重新猜度样本熵值，并采选最高熵样本构成下一阶段老师集。样本会跟着模子情景动态收支课程，而不是按固定法例走完一遍。

关键假想：动态更新不可太贵

动态课程听起来很当然，但信得过落地时会遭受一个凯旋问题：要是每次齐要让模子对整个这个词数据池生成无缺谜底，再打算无缺序列熵，老师支拨会相配高。EDCO 因此假想了两个轻量化战略。

第一，华游体育中国官网入口quick-answer prompting 会疏通模子尽快插足谜底主体，减少长链路推理带来的冗余生成；第二，前缀熵猜度只使用输出前若干 token 雷同无缺序列熵。论文实验显现，前缀猜度与无缺序列猜度具有较强研究性，约略保留样本排序所需的主要省略情趣信号。

图 2：前缀熵猜度与无缺序列熵猜度趋势一致，并可通过 prefix 长度结尾褂讪性与后果。

进一步看后果，无缺序列猜度单样本耗时 2.24 秒，前缀猜度仅需 0.37 秒；在 8 卡并行时，耗时可降至 0.04 秒。关于需要周期性扫描老师池的动态课程尺度来说，这一步让 EDCO 从 “想路可行” 变成了 “老师中可用”。

实验结尾：三域、两模子、两范式全面考证

研究团队在通讯、医疗、法律三个规模考证了 EDCO，模子覆盖 Qwen3-4B 与 Llama3.2-3B，老师范式覆盖 SFT 与 RLFT。其中，通讯规模成立了 Datacom 与 Wireless 两类任务，别离对应数通运维分析与无线网罗优化两种典型高复杂度场景。

Wireless 任务眷注无线网罗问题会诊与优化建议生成，样本触及路测、信令、建立、话统等多类专科输入，要求模子从长文本和结构化目的中识别关键极度，蚁集端正与训诲推理根因。Datacom 任务则面向数通网罗运维，覆盖多厂商、多建设、多条约日记输入，要求模子交融规模术语、判断路由与条约情景，并完成打算和详尽分析。

图 3：EDCO 在通讯规模 RLFT 与 SFT 成立下的主结尾。

在通讯规模 RLFT 中，EDCO 在 Datacom 上达到 46.96%，高于立时采样的 40.43% 和 PPL 课程的 44.78%；在 Wireless 上达到 38.70%，通常优于其他基线。

值得扫视的是，在 Wireless 场景中，一些静态战略以致会让性能低于未老师模子。这讲明在专科任务中，课程战略并不是 “有就比莫得好”：要是排序信号不适配模子刻下才能，反而可能把老师推向低效以致作假的标的。

在 SFT 中，EDCO 也得回最高准确率：Wireless 为 33.7%，Datacom 为 36.3%。在 MedQA 上达到 36.7%，JEC-QA 上达到 17.4%，跨规模上风依然保持。

更强的动态基线对比通常讲明问题：在 Datacom 上，EDCO 达到 47.0%，显然高于 Dynamic-PPL 的 41.3% 和 SEC 的 34.78%。动态更新自己还不够，关键是采选什么信号。

机制分析：让模子学会 “有所弃取”

图 4：EDCO 在老师过程中保管更高推理熵，并连接更新课程样本构成。

EDCO 不仅仅挑更难的样本。老师过程分析显现，立时采样与 PPL 课程下模子推理熵着落更快，而 EDCO 能在老师过程中连接保管更高熵值，让模子束缚战役仍具挑战性的样本。

课程构成也在束缚变化：第一次老师停止中有 3000 个新样本插足课程，之后每个停止仍会连接加入此前未被选中过的高熵样本，同期保留部分仍未被模子掌抓的旧样本。这意味着 EDCO 并不是浅近 “一轮刷题”，而是在 “温习难点” 和 “引入新挑战” 之间动态均衡。

论文还在 MedQA 上固定 Qwen3-1.7B 参数，对比 EDCO 与立时采样诱发的梯度信号。结尾显现，EDCO 所选样本的批次内梯度标的一致性达到 0.92，高于立时采样的 0.82；平均推理熵为 1.51，高于立时采样的 1.23；RL 梯度范数为 3.77，高于立时采样的 2.62。

这讲明 EDCO 选出的样本既能提供更强学习信号，又能减少梯度冲破。与其让模子在整个样本上平均使劲，不如让它把有限老师预算花在信得过能鼓动参数更新的场所。

跋文

EDCO 给规模大模子微调提供了一个很绝顶据中心 AI 滋味的启示：数据的价值不单取决于数据自己，还取决于模子刻下处在什么情景。

通过推理熵驱动的动态课程编排，EDCO 让模子在老师过程中连接靠近刻下最有信息增益的样本；通过 quick-answer prompting 与前缀熵猜度，它又把动态课程的额外本钱结尾在可袭取范围内。

该尺度不变嫌模子结构，也不绑定单一老师成见，可同期接入 SFT 与 RLFT，对通讯、医疗、法律等专科任务齐展现出褂讪收益。

规模微调：优先学习刻下最有信息增益的专科样本

老师后果：用前缀熵猜度缩短动态评估本钱

尺度兼容：不变嫌模子结构和老师成见，可接入 SFT 与 RLFT

在高质料规模数据越来越高尚的今天，如何安排数据插足老师华游体育中国官网入口，可能会和如何构造数据自己一样弥留。