高马尔今天小编(寸飛蘭)要和大家分享的是真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究,欢迎阅读~
事关路由 LLM（Routing LLM），一项截至目前最全面的研究，来了——
共计收集和整理了涉及8500+ 个LLM，在12 个Benchmark 上的共2 亿条性能记录！
先来简单科普一下路由 LLM。
这种方法主要是把像 ChatGPT、Qwen、DeepSeek 这些成型的 LLM 当作 " 专家 " ，当给一个输入的时候，有分类能力的Router（路由器）就会把这个输入分配给合适的 LLM 处理。
如此一来，就能实现高性能、低计算消耗、低幻觉等目标。
而来自中山大学和普渡大学的研究人员在基于上述海量的记录做了一番探索之后，发现了一个现象，叫做Model-level Scaling Up。
一言蔽之，就是一个好的 Router，可以让路由 LLM 范式的性能随着 LLM 候选数量的增加迅速变强。
随后，他们通过这些数据构建了针对 Router 设计的评测RouterEval。
值得注意的是，其他研究人员，也可以通过 RouterEval 在很少的计算资源下（如笔记本、单卡 GPU上）就能参与到该路由 LLM 的研究当中。
2 亿条记录中发现的新现象
当大多数研究人员和开发者第一次听到 Mixture-of-Expert ( MoE ) 的时候，可能第一反应不是现在常见的对结构中的 FFN 层进行扩展，以 FFN 层作为 "expert"。
而是直接将每一个成型的 LLM，比如 ChatGPT、Qwen、DeepSeek 等直接看做是 "expert"。
实际上，这种范式也称为路由 LLM（Routing LLMs）。
简单地说，就是给定一个输入 input，一个具有一定分类能力的 Router ( 路由器 ) 会将 input 分配给指定的 LLM 进行处理，以达到高性能、低计算消耗或者是低幻觉等各种各样的目标，或组合目标。
这类问题可以被认为是分类问题、推荐系统问题、Agent 规划甚至是检索问题（注意，不是检索数据 for LLM，而是检索 LLM for 数据）。
一些典型的例子有：
人机客服切换：机器人客服无法解决问题的时候自动切换到更高级的客服，比如更智能的机器人，甚至人类；
强弱 LLM 切换：比如困难问题给 GPT4 解决（费用贵），简单问题给 GPT3 解决（费用低）
△路由 LLM ( Routing LLMs）示意图
路由 LLM 具有很高的应用潜力和兼容性，不同 LLM 都可以被添加到 LLM 候选 Pool 中参与 routing（包括异构 LLM，各种 tuning/pretraining 方法下得到的 LLM，等等），而且可以发挥很强的性能。
比如最近 UCB 提出的 Prompt-to-Leaderboard 以很低的训练成本，以路由 LLM 的范式下实现和需要数十万个 GPU 训练得到的 Grok3 相当的性能，并登上 Arena 排行榜第一。
然而当前路由 LLM 领網域仍然存在一些挑战影响了 Router 的发展：
缺乏统一的 benchmark。各个研究都在小范围的构建各种的 benchmark 进行研究；
当前 benchmark 不够全面：当前的工作一般只涉及少量的 LLM、evaluations，而且大多数是闭源不公开。
于是，研究团队收集并整理且开源了涉及 8567 个不同 LLMs 在 12 个 evaluations 下 2 亿条性能记录，并通过这些记录发现：
Model-level Scaling Up 现象：有一定能力的 Router，可以使得 routing llm 范式下的性能随着 llm pool 的扩大而迅速上升。过去的研究由于涉及的不同 LLM 较少，不容易观察到这个现象。
通过这些数据，我们构建了全面的针对 Router 设计的评测 RouterEval。其全面性可以大大帮助 Router 设计的探索。鉴于该测评已经整理良好且很简洁，可以被看做是传统的分类问题，所有研究者都可以以很少的计算消耗（甚至单卡或筆記型電腦）参与该大模型的研究当中。
△Model-level Scaling Up 现象示意图
利用 2 亿条性能记录，可以构建完美 Router，即 oracle Router ro：
接着，根据上式可以构建不同性能的 Router ro ( p ) ，其中 wm 为随机 Router，当 p → 1 时，Router ro ( p ) 越解决上界分类性能，当 p → 0 时，ro ( p ) 越接近随机 Router。
从上图结果来看，随着 LLM 候选的数量增加，不同的 evaluation 在具有一定能力的 Router 下呈现了 Scaling Up 现象。
而性能一般的 Router，比如随机 Router 则几乎没有 Scaling Up 现象。
且快速超过参考模型 Ref. LLM 的性能（参考模型一般是 GPT4）。
另外团队还可以发现两个有趣的现象：
RouterEval 涉及的 LLM 的参数分布
弱 LLM 也能组合出非常强的性能。上图给出了 RouterEval 中涉及的 LLM 的参数分布，LLM 的参数为 7B 或以下的情况占优。文章发现，即使较弱的 LLM 也可以组合出不错的性能，比如 5 个性能在少于 0.3 的情况下，ro 可以让他们互补优势在 MMLU 上达到 0.95（超越 GPT4）的性能。
少量的 LLM 候选已经足够。从 Model-level Scaling Up 现象示意图可以看到 3-10 个 LLM 候选的时候已经可以达到非常不错的性能。而且此时的部署成本并不高，具有很高的性价比。
当前 Router 的结果
通过测试当前的已有的 Routers 的性能，可以发现现在 Router 仍然有很大的提升空间。
不过幸运的是，RouterEval 进行的 Router 设计的实验不需要大量的计算资源，且可以融入不同的已有技术，包括 few-show learning，数据增强、推荐系统、正则化方法、预训练模型、额外数据等等 .
因此 Router 将有希望快速得到实质性改进。
以及，和当前一些其他范式的区别和关系如下：
推荐系统：Routing LLM 其实是特殊的推荐系统，LLM 的 input 是推荐系统中的 user 信息，LLM 候选是推荐系统中的商品 item，而性能记录则是推荐系统中的历史用户书记记录；
LLM 集成：一般 LLM 集成是 post-decision，即让多个 LLM 完成推理后再合并。而 Routing LLM 是 pre-decision，即在 LLM 推理前就要决定是哪个 LLM 来处理；
LLM Fusion：LLM 融合主要针对是同质的 LLM 的 " 合作 "，而 Routing LLM 可以让 " 异质 "（包括不开源）的 LLM 进行 " 合作 "
Mixture-of-Experts ( MoE ) : Routing LLM 是 model-level 的 MoE
当然，研究团队也提出一些未来的挑战。
首先就是缺乏数据。
要获得足够好的 Router，当然的数据仍然远远不够，因为这些性能记录的数据一般不开源，且掌握在大公司手中，这需要全社区的共同努力。目前也可以通过算法一定程度缓解数据缺乏的问题。
其次是如何保持在多 LLM 候选情况下的 Router 性能的问题。
当 LLM 候选越多的时候，意味着 Router 要进行更多类的分类，这对于 Router 的训练来说具有很高的挑战性；
除此之外，还包括RouterEval 目前只关注在性能。
尽管 routing llm 可以考虑计算消耗、幻觉等其他目标。但是目前性能的水平还远远不够，如果现在就过度关注其他目标的话，可能言辞尚早。另外，计算消耗和幻觉等目标的数据不容易搜集，可能采集不到足够多的 LLM 的记录数据，仍然需要全社区的努力。
最后，就是部署的难度。
即使足够强的 Router 可以获得，但是此时 LLM 候选的部署可能是新的瓶颈，这在计算机系统等领網域中也有很多的研究角度，如计算负载，高效分配、动态模型激活等。幸运的是，从论文的观察来看，3-10 个 LLM 已经能得到出色的结果。
GitHub 和论文等地址放下面了，感兴趣的小伙伴可以深入研究一下哦 ~
代码地址：
https://github.com/MilkThink-Lab/RouterEval
论文地址 :
https://arxiv.org/abs/2503.10657
论文合集：
https://github.com/MilkThink-Lab/Awesome-Routing-LLMs
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
关于真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究就分享完了，您有什么想法可以联系小编(寸飛蘭)。