打败 LIama3！Qwen2.5 登上全球开源王座日本乱伦。

此后者仅以五分之一的参数边界，就在多任务中超过 LIama3 405B。

各式任务表露也远超同类别的其他模子。

跟上一代比拟，险些终澄清全面进步，尤其在一般任务、数学和编码方面的才调表露显赫。

值得细心的是，这次 Qwen 不错说是史上最大边界开源，基础模子平直开释了 7 个参数型号，其中还有六七个数学、代码模子。

像 14B、32B 以及轻量级 Turbo 模子胜过 GPT-4o-mini。

除 3B 和 72B 模子外，这次通盘开源模子均选拔 Apache 2.0 许可。

Qwen2.5：0.5B、1.5B、3B、7B、14B、32B 和 72B

Qwen2.5-Coder：1.5B、7B 和 32B（on the way）

Qwen2.5-Math：1.5B、7B 和 72B。

平直一通盘眼花头昏，依然有网友脱手用上了。

Qwen2.5 72B 与 LIama3.1 405B 水平极度

比拟于 Qwen2 系列，Qwen2.5 系列主要有这样几个方面升级。

最初，全面开源。

他们磋议标明，用户关于坐蓐用的 10B-30B 参数边界以及出动端应用的 3B 边界的模子有浓厚兴味。

因此在原有开源同尺寸（0.5/1.5/7/72B）基础上，还新增了 14B、32B 以及 3B 的模子。

同期，通义还推出了 Qwen-Plus 与 Qwen-Turbo 版块，不错通过阿里云大模子工作平台的 API 工作进行体验。

不错看到，超半数模子齐营救 128K 险峻文，最多可生成 8K 险峻文。

在他们的详细评测中，通盘模子跟上一代比拟终澄清才调的跃迁，比如 Qwen2.5-32B 胜过 Qwen2-72B，Qwen2.5-14B 胜过 Qwen2-57B-A14B。

其次，预历练数据集更大更高质料，从正本 7 万亿个 token 推广到最多 18 万亿个 token。

然后便是多方面的才调增强，比如赢得更多学问、数学编码才调以及更合乎东谈主类偏好。

此外，还有在指示追踪、长文本生成（从 1k 增多到 8K 以上 token）、结构化数据融会（如表格）和结构化输降生成（尤其是 JSON）方面均有显赫进步。

来望望实质恶果。

表格融会日本乱伦

生成 JSON 输出

此外，Qwen2.5 模子总体上对系统请示的各种性具有更强的顺应才调，增强了聊天机器东谈主的脚色演出终了和条目设定才调。

那么就来望望具体模子才调何如。

旗舰模子在前文依然看到，它在各个任务齐有显著的朝上。

而像 0.5B、1.5B 以及 3B 这样的小模子，性能粗略是这样的：

值得细心的是，Qwen2.5-0.5B 型号在各式数学和编码任务上的表露优于 Gemma2-2.6B。

除此以外，Qwen2.5 还展现了指示调优之后的模子性能，72B-Instruct 在几项要道任务中超过了更大的 Llama-3.1-405B，尤其在数学（MATH：83.1）、编码（LiveCodeBench：55.5）和聊天（Arena-Hard：81.2）方面表涌现色。

还有像 32B-Instruct、14B-Instruct 以及 Qwen2.5-Turbo，展现了与 GPT-4o-mini 极度的才调。

Qwen 史上最大边界开源

除了基础模子，这次 Qwen 还放出了代码和数学专科模子。

Qwen2.5-Coder 提供了三种模子大小：1.5B、7B 和 32B 版块（行将推出）。

主要有两点变嫌：代码历练数据边界的扩大以及编码才调的增强。

Qwen2.5-Coder 在更大边界的代码数据上进行历练，包括源代码、文本代码基础数据和合成数据，共计 5.5 万亿个 token。

它营救 128K 险峻文，遮掩 92 种编程言语。开源的 7B 版块致使超过了 DeepSeek-Coder-V2-Lite 和 Codestral 等更大型的模子，成为刻下最高大的基础代码模子之一。

而数学模子这边，Qwen2.5-Math 主要营救通过 CoT 和 TIR 处置英文和汉文数学问题。

刻下不提出将此系列模子用于其他任务。

Qwen2.5-Math 这一系列开源了包括基础模子 Qwen2.5-Math-1.5B/7B/72B、指示调优模子 Qwen2.5-Math-1.5B/7B/72B-Instruct，以及数学奖励模子 Qwen2.5-Math-RM-72B。

与 Qwen2-Math 系列仅营救使用念念维链（CoT）处置英文数学问题不同，Qwen2.5-Math 系列推广营救使用念念维链和用具集成推理（TIR）处置中英文数学问题。

跟上一版块比拟，他们主要干了这三件事来终了基础模子升级。

诈欺 Qwen2-Math-72B-Instruct 模子来合成罕见的高质料数学预历练数据。

从采集资源、竹素和代码中采集更多高质料的数学数据，尤其是汉文数据，跨越多个本事周期。

诈欺 Qwen2.5 系列基础模子进行参数脱手化，展现出更高大的言语融会、代码生成和文本推理才调。

最终终澄清才调的进步，比如 1.5B/7B/72B 在高考数学问答均区别进步了 3.4、12.2、19.8 分。

好了，以上是 Qwen2.5 系列一整套号称「史上最大边界」的开源。

不叫草莓叫猕猴桃

阿里通义开源矜重东谈主林俊旸也共享了背后的一些细节。

他最初暗示，在开源 Qwen2 的那一刻就脱手了 Qwen2.5 技俩。

在这经过中，他们意志到了好多问题和作假。

比如在预历练方面，他们们仅仅专注于提高预历练数据的质料和数目，使用了好多民众老到的形态。

比如文天职类器用于调回高质料数据，LLM 评分器用于对数据进行评分，这样就能在质料和数目之间取得均衡。

还有在创建众人模子的同期，团队还诈欺它们生成合成数据。

在后期历练时候，用户的反映来匡助他们逐个处置问题，同期他们也在探索 RLHF 形态，尤其是在线学习形态。

关于之后的升级和更新，他暗示受 o1 启发，以为应该长远磋议推理才调。

值得一提的是，在 Qwen2.5 预热之时，他们团队就披露不叫草莓，叫猕猴桃。

好了，当今猕猴桃不错快快用起来了。

参考通顺：

[ 1 ] https://x.com/JustinLin610/status/1836461575965938104

[ 2 ] https://x.com/Alibaba_Qwen/status/1836449414220779584

[ 3 ] https://qwenlm.github.io/blog/qwen2.5/  

[ 4 ] https://qwenlm.github.io/blog/qwen2.5-llm/  

[ 5 ] https://qwenlm.github.io/blog/qwen2.5-coder/  

[ 6 ] https://qwenlm.github.io/blog/qwen2.5-math/日本乱伦