核查日期：2026-11-04。用途是远端部署前的候选筛选，优先考虑生成速度、并发与可验证的量化方案；没有在目标机器下载权重、执行模型或测量性能。
入口：知识库 · 框架与优化选择 · 图像、视频和音频生成。
网页参数目录与测算工具仍是 2026-10-24 的独立快照。本文补充选型和部署证据，不更新参数目录数据，也不再维护一张参数、上下文或显存计算表。
收录与证据口径
- 官方权重：核对作者官方模型卡、文件目录或 HF metadata 中的权重文件；受限下载仍可属于开放权重，需遵守申请与许可条件。
- 官方配方：作者 README、官方开发文档明确给出加载实现、命令或框架链接。仅有 HF 页面自动生成的 “Use this model” 示例，不算作者验证过该框架。
- 待验证：本文的场景建议、跨框架迁移、量化收益和并发收益均属于待测假设；官方配方也不等于目标机器验收通过。
- “旗舰候选”表示适合进入高能力评测集合；“高效候选”表示适合比较资源效率。两者都不构成跨厂商总排名，也不承诺任一模型绝对最快。
- 本文列代表检查点和有意义的子线，不穷举每个尺寸、微调及量化副本。旧型号保留为生态或回归基线，不包装为当期旗舰。
- “开放权重”不等于许可均为 Apache/MIT；同一厂商、同一家族不同检查点也可能使用不同条款。许可栏是定位信息，实际使用以链接中的完整文本为准。
框架栏的“卡”均指模型作者维护的正文；所列版本是卡片配方的条件，不是对任意更新版本的兼容保证。需要 trust_remote_code、专用解析器、草稿模型或自定义内核时，应连同检查点 revision 固定。
通用、推理和长任务：旗舰候选
这些模型主要解决复杂推理、编码与长流程任务。最终是否值得部署，要比较任务通过率、完成耗时和合格结果成本，而不是只看一次回答的 token/s。
| 家族与官方代表检查点 | 适合纳入的任务 | 作者声明的加载入口与限制 | 许可与开放边界 |
|---|---|---|---|
| DeepSeek V4.1-Flash-1017 | 当期多模态、推理、代码和工具任务候选；Flash 名称不代表微型模型 | 卡给出 inference 参考实现与 deepseek-recipe 编码/解析工具；无 Jinja chat template。生产引擎需另验该版本，不能直接复用 V4 启动命令 | MIT；官方权重已列出 |
| DeepSeek V4-Pro-0813 | V4 系列高能力代码与 Agent 候选；作为 V4.1 升级对照 | 卡给出 vLLM、SGLang 的 DSpark 配方；草稿组件随检查点发布，计入内存与兼容性检查 | MIT |
| Z.ai GLM-5.3 | 文本代码、复杂工具调用和长任务；已有 GLM 系统的升级候选 | 卡列 SGLang、vLLM、TokenSpeed、Transformers、KTransformers；主模型为文本模型，不能从 Flash 推导视觉支持 | GLM-5.3 自定义许可；不能沿用 Flash 的 MIT 判断 |
| Moonshot Kimi-K3 | 图文/视频理解、代码和知识工作；适合有大型服务资源的候选池 | 卡推荐 vLLM、SGLang；原生 MXFP4。多轮与工具调用须保留完整 assistant 消息，包括推理和工具字段 | Kimi K3 License；官方权重已列出 |
| MiniMax M3.1-Flash / M3 | 图像、视频理解以及编码、办公 Agent；比较新旧后训练和解码方案 | M3.1 卡推荐 SGLang、vLLM、TokenSpeed，含 DSpark；Transformers、KTransformers 等仍标为集成中。M3 卡另有 Transformers/KTransformers 入口，不能外推到 M3.1 | MiniMax Community License；M 系列理解模型与 H3 视频生成不同 |
| Qwen 3.8-2.4T-A95B | 大型文本推理、编码和长任务候选 | 卡推荐 SGLang、vLLM、TokenSpeed；开放检查点为文本模型。托管 Qwen3.8-Max 的视觉、工具及默认窗口不能搬到本权重 | Qwen3.8-Max 自定义许可 |
| Meta Muse-Spark-Open-816B-A42B | 文本、图像、音频、视频输入的代码与 Agent 任务；文本输出 | Meta 文档给出 SGLang/vLLM 等运行入口，BF16/NVFP4 分开；完整权重占用与激活计算量分开考虑 | Muse Model License，HF 需申请；MaaS 等条款须核对，不能当成 Llama 或托管 Muse Spark |
| Mistral Large-4-1T-A52B | 多语种、多模态、工具调用及高能力代码候选 | 卡推荐 vLLM，亦给 SGLang、Transformers；专用镜像和 DSpark；官方 NVFP4 变体面向 Blackwell，不能泛化到全部 GPU | Mistral Ecosystem Open-Weight License；经营 Model-as-a-Service 需另行商用许可 |
| NVIDIA Nemotron-3.5-Super-VL-120B-A12B-BF16 | 推理、代码、文档及视频理解；NVIDIA 服务栈候选 | 卡列 vLLM、SGLang、MTP；BF16 面向定制和全精度对照，部署另评作者链接的 NVFP4 版本。Mamba/注意力混合结构不能套普通 KV 估算 | OpenMDW-1.1 |
| Tencent Hy4-preview | 中文知识工作、代码和长流程的当期预览候选 | 卡给 vLLM/SGLang 专用镜像和 MTP；官方承认复杂任务中过度思考、过度验证，必须计入完成时间评测 | Apache-2.0；预览发布，不等于稳定生产承诺 |
| Intern / Shanghai AI Lab Atria-Dawn | 长流程编码、工具与研究任务；Intern 系列当前代表 | 卡明确链接 GLM-5.2 架构配方：SGLang ≥0.5.13.post1、vLLM ≥0.23.0；运行时仍使用 Atria 自己的权重、模板和配置 | 卡正文声明 MIT；不以 HF license 字段缺失推断未授权 |
| StepFun Step-5-Preview | 仓库级代码、复杂工具和长任务 | 卡给 vLLM/SGLang 专用镜像及独立 Transformers 实现；FP8、BF16 是不同检查点，改变 dtype 不会把量化权重还原成 BF16 | 具体条款见仓库 LICENSE.txt；预览模型 |
| Xiaomi MiMo-V2.6-Pro-MOPD | 复杂工具工作流与多模态理解；需要比较长任务稳定性时 | 卡给 SGLang、vLLM，并沿用注明的 MiMo-V2.5 配方；MOPD 是后训练升级，针对重复工具调用，不能当成量化格式 | MIT；另阅读模型卡 Use Restrictions |
| Cohere Command A+ | 企业多语种、图文理解与工具工作流候选 | 卡给 Transformers、vLLM ≥0.21.0；正确解析依赖 Cohere melody 和对应 tool/reasoning parser | Apache-2.0；与旧 Command A 的非商业权重许可不同 |
重要更新：Mistral Large 4 已有官方权重。 本次查到官方仓库的 safetensors 文件和部署正文，不能继续沿用 10 月 24 日“仅宣布、尚待放权重”的结论；网页参数目录本次仍未修改。
DeepSeek V4.1 的作者把 inference 明确定位为可读的参考实现；deepseek-recipe 负责格式转换与解析，模型推理、工具执行和 HTTP 服务仍由调用方实现。把 tokenizer 能加载等同于完整生产支持，会漏掉这一边界。官方参考实现
Kimi K3、Qwen3.8、GLM-5.3 与 MiniMax M3.1 的推理控制和历史保留约定不同。不能通过统一删除 reasoning_content、强行关闭思考或重写工具模板来获得看似更快的结果，再认为质量可直接比较。
速度与并发优先：高效候选
这里的“高效”是筛选方向。MoE 的 Flash/Small 也可能需要装载大量权重；较低激活量不能替代完整权重、缓存、视觉编码器和草稿组件的部署预算。
| 家族与官方代表检查点 | 适合优先比较的场景 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| DeepSeek V4-Flash-0731 | V4 代码/工具能力与解码成本折中；已有 V4 栈的对照 | 卡给 vLLM、SGLang 及内置 DSpark；它是独立模型变体，不是 Pro 的量化文件 | MIT |
| Z.ai GLM-5.3-Flash | 多模态代码、文档和 Agent；相对主模型比较吞吐与质量 | 卡列 SGLang、vLLM、TokenSpeed、Transformers；新底座与混合注意力。reasoning_effort、clear_thinking 需按其卡设置 | MIT |
| Qwen 3.8-Flash-Next | 图文/视频、长上下文与高并发候选 | 卡给 SGLang、vLLM 并提 KTransformers；n-gram、MTP 等附加组件不能从权重预算中省略。扩展窗口需要配置 | Qwen Community 1.0 |
| Qwen 3.8-27B | 紧凑稠密的图文/视频、代码和通用 Agent 对照 | 卡给 Transformers、SGLang、vLLM、TokenSpeed；思考默认开启，短任务应单独测关闭或降低思考后的质量与延迟 | Apache-2.0 |
| Meta Muse-Glimmer-30B | 中小服务资源下的图文、工具和代码任务 | Meta 文档列 vLLM、SGLang、llama.cpp 等；官方量化和 DFlash 草稿需配套验证；不支持音频输入输出 | Apache-2.0 |
| Google Gemma-4-31B-it | 多语种图文理解；同族 26B-A4B 可作为 MoE 效率对照 | 卡给 Transformers；各尺寸模态不同，E2B/E4B/12B 才包含卡述音频输入。vLLM/SGLang 服务化为待核对型号配方的建议 | Apache-2.0；不沿用 Gemma 3 条款 |
| NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB | 较小内存预算下的图文与日常 Agent；比较原生低位宽方案 | 卡摘要列 A100/H100/Blackwell，集成章节却仅列 Linux、SM120/SM121，范围不一致，须按目标 GPU 的专属配方复核。示例并发为 1；另有 GGUF，24GB 名称不保证任意上下文/并发均可容纳 | OpenMDW-1.1；BF16主要供定制/对照 |
| Xiaomi MiMo-V2.6-Flash-MOPD | 工具调用密集、多模态和任务耗时敏感场景 | 卡给 SGLang、vLLM，提醒稳定版可能落后于指定镜像；包含图像、视频和音频组件，须逐模态验收 | MIT；另阅读 Use Restrictions |
| Mistral Small-4-119B-2603 | 多语种通用、图文和 Agent 的 MoE 折中 | 卡推荐 vLLM，亦列 SGLang、Transformers；Small 指产品子线，不能按名称估算完整权重 | Apache-2.0 |
| Mistral Medium-3.5-128B | 中型通用与代码/Agent 替代路线 | 卡给 vLLM、SGLang、Transformers，另有 EAGLE；作者提醒旧 Transformers config 及据此生成的 GGUF 存在长上下文问题 | Modified MIT；有大收入企业等例外，见具体许可 |
| Mistral Ministral-3-14B-Instruct-2512 | 小型多语种图文、结构化输出和工具任务；同族有更小尺寸 | 卡给 vLLM、Transformers；FP8 支持、tokenizer 与 mistral-common 版本需要成套固定 | Apache-2.0 |
| IBM Granite-4.2-8B | 企业文本、结构化工具与较小模型服务；同族可比较 3B/30B | 卡给 Transformers、vLLM、SGLang；自定义 granite_thinking_parser 与内置替代解析器的输出格式需核对 | Apache-2.0 |
| AI21 Jamba2-Mini | 长文档、企业文本和指令遵循；评估混合 SSM 架构路线 | 卡给 vLLM ≥0.12.0、Transformers + mamba-ssm；示例对 SSM cache 精度与专家 INT8 有专门设置 | Apache-2.0；Jamba 1.7 的许可不能照搬 |
| Baidu ERNIE-4.5-21B-A3B-Thinking | 中文推理、代码和较轻 MoE 文本服务 | 卡给 FastDeploy、vLLM、Transformers；卡注明 vLLM 版本排除项以及解析器额外条件，按已验证组合选型 | Apache-2.0 |
| inclusionAI Ling-3.1-flash-1019 | 科学推理、多步工具与长任务的混合线性 MoE 效率候选；仍需大权重预算 | 卡推荐 SGLang，亦给 vLLM，含 MTP/NEXTN；部分示例仍写旧 Ling-3.1-flash 路径，需按 1019 检查点核对镜像、路径和模板 | MIT |
| LiquidAI LFM3-1.7B | 小资源文本、工具调用、结构化输出与专门任务；作者不推荐重型编码或复杂多步推理 | 卡给 BF16 的 vLLM/SGLang/Transformers 入口，FP8/NVFP4 指向 SGLang；Transformers 示例使用远程代码，关闭思考的行为可能不稳定 | LFM Open License v1.0；含商用收入门槛 |
| OpenAI gpt-oss-120b / 20b | 开放文本推理与工具调用；20b 可作为较低延迟基线 | 官方文档提供 Transformers 指南，官方另说明已核验 vLLM 实现；原生 MXFP4、Harmony 与推理/工具字段处理不可省略，仍需验收实际运行版本 | Apache-2.0；这里收录 gpt-oss 开放系列，不将 GPT/o 系列 API 名称当权重 |
LiquidAI 的 LFM2.5-8B-A1B 模型卡已将 new_version 指向 LFM3-1.7B；本次确认后者有官方 safetensors 权重，采用它作为该发布方的小资源代表。两代模板和架构仍须分别核对。
模型卡中的“某卡可装下”只描述特定精度与示例条件。比较并发必须固定输入长度分布、输出预算、模态分辨率、服务端排队策略和目标延迟；只测单请求 decode 速度不能回答服务吞吐问题。
官方量化也需要质量对照。优先从作者发布的精度变体开始，再比较其他量化；不要将 Flash、Mini、蒸馏版或 MOPD 后训练版误记为同一原模型的量化结果。
gpt-oss 的 MXFP4 与 Harmony 是实际实现约束；官方专门提供了实现验收说明。 工具调用、结构化输出与多轮推理的通过率，应与纯文本生成一起验证。OpenAI 实现核验
专门代码、形式化与翻译子线
通用旗舰已覆盖大量编码场景；以下子线值得用于代码仓库、IDE、补全或形式化任务的专门对照。它们不能仅凭代码榜分数替代通用、多语种或视觉模型。
| 官方代表检查点 | 选择场景 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| Qwen3-Coder-Next | 编码 Agent、IDE/CLI 集成与长仓库任务 | 卡给 Transformers、SGLang ≥0.5.8、vLLM ≥0.15.0；使用 qwen3_coder 工具解析器，不能混用通用 Qwen 模板 | Apache-2.0 |
| Kimi-K2.7-Code | 专用代码与多模态编码工作流；K3 之外的独立代码线 | 卡列 vLLM、SGLang、KTransformers；原生 INT4，强制思考并保留历史，卡对 Transformers 有版本上限 | Modified MIT |
| Devstral-2-123B-Instruct-2512 | 较大型仓库级软件工程 Agent | 卡给 vLLM、SGLang、Transformers 与 Mistral Vibe；工具协议及 tokenizer 版本须匹配 | Modified MIT；见检查点许可 |
| Devstral-Small-2-24B-Instruct-2512 | 较小代码服务、仓库修改与工具任务 | 卡给 vLLM、SGLang、Transformers；发布的 FP8 检查点与 BF16 对照需分清 | Apache-2.0；与大型 Devstral 2 不同 |
| Cohere North-Mini-Code-1.0 | 企业代码 Agent 与工具密集任务 | 卡给 Transformers、vLLM main + melody；作者要求保留交错思考内容，不能只转发最终文本 | Apache-2.0 |
| Leanstral-1.5-119B-A6B | Lean 形式化证明与可验证代码；不作为普通聊天首选 | 卡给 vLLM ≥0.24.0 与 mistral-common 条件；还需证明器/工具环境，单独部署权重不构成验证闭环 | Apache-2.0 |
| Codestral-22B-v0.1 | 旧版代码生成/FIM 补全生态基线 | 卡给 Transformers 与 Mistral 参考入口；tokenizer 一致性需核对，不把后续 Codestral API 型号视为同一开放检查点 | MNPL-0.1 非生产许可；不作为无条件商用默认项 |
| Cohere North-Small-Translate-1.0 | 多语种专门翻译质量对照；非通用代码模型 | 卡给 Transformers、vLLM + melody；翻译输出仍需正确去除结构标记 | CC-BY-NC-4.0 + 使用条款；HF 受限访问，商用另议 |
编码服务至少要测正确工具参数、并行/多轮工具、异常重试和任务停止；较高 token/s 若伴随更多重复调用或无效修改，可能得到更长的总完成时间。
生态、研究与回归基线
保留这些家族是为了已有应用兼容、复现实验、较小尺寸或训练透明度；表内不是同一级性能排名。
| 家族与官方代表检查点 | 保留原因 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| DeepSeek R1-0528 / R1-0528-Qwen3-8B | 数学、代码推理旧旗舰与小型蒸馏对照 | 卡链接 R1 官方实现；8B 可按 Qwen3 架构加载，但必须使用该仓库全部配置与 tokenizer。原版和蒸馏版不能视作同一质量基准 | MIT；其他 R1 蒸馏底座还需逐项看许可 |
| Z.ai GLM-4.7-Flash | 小型 MoE 与已有 GLM 部署回归 | 卡给 vLLM、SGLang、Transformers；保留发布期 main/专用构建说明，部署时核对当前稳定版本是否已覆盖 | MIT |
| Meta Llama-4-Scout / Maverick | Llama 多模态生态、迁移和历史评测基线 | 卡给 Transformers；按总权重评估资源，17B 是激活量。公开模型卡不等于已获下载授权 | Llama 4 Community License 与使用政策；受限访问 |
| Meta Llama-3.3-70B-Instruct | 文本应用、既有微调和 Llama 3.x 兼容基线 | 官方卡给 Transformers；其他引擎需按检查点和量化版本另核配方，不继承 Llama 4/Muse 的模态 | Llama 3.3 Community License；受限访问 |
| Microsoft Phi-4-reasoning-plus | 较小稠密模型的数学、英文与推理对照 | 卡给 Transformers、vLLM；推理输出预算会影响完成时间，不能只按模型尺寸估计延迟 | MIT |
| Microsoft Phi-4-mini-flash-reasoning | 更小推理模型与混合架构研究/服务候选 | 卡给带远程代码的 Transformers、Mamba 依赖及 vLLM 分支/PR；不能凭普通 Phi-4 支持推断此架构已完整集成 | MIT |
| Ai2 Olmo-3.1-32B-Think | 开放训练研究、推理复现及透明度优先的候选 | 卡给 Transformers ≥4.57.0、vLLM 示例；量化依赖和数值差异需重新验证 | Apache-2.0 |
| TII Falcon-H1R-7B | 小型推理与 Transformer/Mamba2 混合路线 | 卡给 Transformers、vLLM、SGLang；SSM 状态、算子支持与普通稠密模型不同 | Falcon-LLM License；不能沿用其他 Falcon 型号许可 |
| Arcee AI Trinity-Large-Thinking | 全球独立 MoE、推理与 Agent 路线的生态对照；按实际任务比较能力和成本 | 卡推荐 vLLM，亦给 Transformers main 或远程代码入口；多轮和工具循环必须保留完整思考历史，不能只转发最终答案 | OpenMDW-1.1 |
Intern 系列的旧 Intern-S2-397B、InternLM3-8B，以及 DeepSeek V3.2、GLM-5.2、Kimi K2.5/2.6、Gemma 3、Nemotron 3、Hy3、MiMo V2.5，仍可用于已有系统回归。它们的历史参数入口保留在原目录；新部署先评估本文明确核查的代表检查点，再决定是否纳入旧版。
图像、视频与全模态理解
上面的 V4.1、Kimi K3、MiniMax M3、Qwen3.8-27B/Flash-Next、Muse、Gemma 4、Nemotron VL 与 MiMo 已覆盖多模态理解。下面补充独立理解家族；能理解图像/视频不意味着能生成图像/视频。
| 家族与官方代表检查点 | 任务定位 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| Qwen3-VL-30B-A3B-Instruct | 图文、文档、GUI 与视频理解专线；已有 Qwen-VL 的生态基线 | 卡给 Transformers 的 MoE 专用类；配套 processor、图像切片和视频时间戳不能省略。其他引擎需再查该尺寸配方 | Apache-2.0 |
| Qwen3-Omni-30B-A3B-Instruct | 文本/图像/音频/视频理解与语音交互 | 卡给 Transformers、vLLM 相关入口与 qwen-omni-utils；Thinker/Talker 是不同路径，部署引擎的支持范围需逐项核对 | 卡标明 Apache-2.0；Thinking/Captioner 与 Instruct 输出能力不同 |
| InternVL3.5-38B | 多图、文档、视频理解；可选尺寸多的视觉生态基线 | 卡给 Transformers、LMDeploy、vLLM；GitHub 格式与 -HF 格式不同，部分底座有引擎例外，不能跨尺寸直接套用 | 此检查点 Apache-2.0；其他底座逐卡核对 |
| MiniCPM-V-4.5 | 较小视觉服务、图片阅读、视频和文档理解 | 卡给带 trust_remote_code 的 Transformers 示例；高分辨率处理和多帧输入影响延迟，服务引擎需再核其专用支持 | Apache-2.0 |
| ERNIE-4.5-VL-28B-A3B-Thinking | 中文图文推理、图表、定位和工具辅助看图 | 卡给 Transformers、vLLM、FastDeploy；Transformers 有版本上限，视频时间戳依赖指定修复，不能无条件升级依赖 | Apache-2.0 |
多模态比较必须统一图片尺寸、裁剪/切片数量、视频抽帧策略、音频时长和文本输出长度。模型卡的长上下文上限不等于所有模态可任意填满该窗口。
Gemma 4 的不同尺寸、Muse Spark Open 与 Glimmer、Qwen3-Omni 的 Instruct/Thinking，在音频输入输出上有明确差别。按实际检查点和 processor 检查；不从家族名推断“全模态”。
OCR 与结构化文档解析
纯转写、表格/公式解析和通用看图问答应分别评测。小型 OCR 专用模型往往值得优先进入吞吐测试，但完整流水线还有版面分析、裁切、排序和结果拼接成本。
| 官方代表检查点 | 选择场景 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| PaddleOCR-VL-1.6 | 多语种 PDF/图片转结构化文本，表格、公式、复杂版面 | 卡给 PaddleOCR/PaddlePaddle 入口和 vLLM 服务；依赖指定 PaddleOCR 版本与配套 safetensors，完整解析还含版面模型 | Apache-2.0；流水线组件分别保留许可 |
| GLM-OCR | 紧凑文档识别与高并发候选；单独测区域识别和整页解析 | 卡给 SGLang、vLLM、Transformers，完整 SDK 配合 PP-DocLayoutV3；识别权重与完整 OCR 系统不能混称 | 模型 MIT；版面组件 Apache-2.0 |
| DeepSeek-OCR-2 | 文档转 Markdown、带定位的文本识别与复杂视觉编码对照 | 卡给带远程代码的 Transformers 固定环境，并链接官方 GitHub 的 vLLM/PDF 加速方案；动态分辨率和提示模式需固定 | Apache-2.0 |
OCR 验收除字符准确率外，还要覆盖阅读顺序、表格结构、公式、分页、漏字和幻觉补字。吞吐按实际页数/秒及失败率统计，不能把识别某个裁剪区域的速度当成整份 PDF 处理速度。
Embedding、reranker 与多模态检索
Embedding 负责召回表示；reranker 对召回候选重新打分。两者的接口与成本不同，不能用一个聊天模型的 /embeddings 兼容入口证明它具备相同检索质量。
| 家族与官方代表检查点 | 选择场景 | 作者声明的加载入口与限制 | 许可 |
|---|---|---|---|
| Qwen3-Embedding-8B | 多语种、代码和指令化检索的质量候选；同族小尺寸可做吞吐对照 | 卡给 Sentence Transformers、Transformers、vLLM；query 指令、池化和归一化必须按卡保持一致 | Apache-2.0 |
| Qwen3-Reranker-8B | 召回后精排、多语种相关性判断 | 卡给 Sentence Transformers CrossEncoder、Transformers；按模型的相关性打分方式实现，不能把生成文本直接当分数 | Apache-2.0 |
| BAAI BGE-M3 / bge-reranker-v2-m3 | 多语种 RAG 的成熟生态基线；dense/sparse/multi-vector 与轻量重排 | 卡给 FlagEmbedding；dense 可用 Sentence Transformers，重排有 Transformers 示例。只输出 dense 不等于启用 M3 全部检索方式 | BGE-M3 为 MIT；所列 reranker 为 Apache-2.0 |
| multilingual-e5-large-instruct | 多语种文本检索、已有 E5 索引的基线 | 卡给 Transformers、Sentence Transformers；query 指令模板、池化和归一化不能与其他 E5 变体混用 | MIT |
| Alibaba gte-multilingual-base | 较轻多语种检索与批量索引 | 卡给 Transformers、Sentence Transformers、TEI；示例含远程代码及特定实现，服务配置需按卡核对 | Apache-2.0 |
| nomic-embed-text-v2-moe | 多语种 MoE embedding、可裁剪维度检索 | 卡给 Transformers、Sentence Transformers，需远程代码及配套依赖；query/passage 前缀必须正确 | Apache-2.0 |
| Snowflake Arctic Embed L v2.0 | 企业多语种检索与索引成本对照 | 卡给 Sentence Transformers、Transformers；按任务指令、归一化与维度配置构建索引，不能混用不同编码版本 | Apache-2.0 |
| Qwen3-VL-Embedding-2B / VL-Reranker-2B | 图文/视频检索、截图和文档页面召回与精排 | 卡给 Sentence Transformers、Transformers、vLLM，embedding 另有 SGLang 示例；embedding 与 score 路径分开，不能复用聊天输出 | Apache-2.0 |
| NVIDIA Llama Nemotron Embed VL 1B v2 | 文档页图像、文本或图文联合检索 | 卡给 Sentence Transformers、Transformers、vLLM；vLLM 必须使用所附 query/passage chat template，否则结果不正确 | NVIDIA Open Model License；另有 Llama 3.2 相关条款 |
| Jina embeddings v4 | 多语种视觉文档、文本/代码检索研究与专门部署 | 卡给 Transformers、Sentence Transformers；vLLM 使用作者另发的任务适配变体，不能默认原仓库所有路径等价 | 卡已纠正旧 CC-BY-NC 标注，指向 Qwen Research License；商用条件须核对 |
上述检索家族没有统一总冠军。用自己的文档、语言和查询分布比较召回率、nDCG/MRR、重排收益、索引时间、存储量以及在线 P95 延迟；统一候选数量和切块策略后才比较 reranker 成本。
维度裁剪、向量量化与模型权重量化是三件事。更改 embedding 检查点、指令、池化或归一化通常意味着重新生成索引；不能把新查询编码器直接接入旧向量库后声称质量已经验收。
如何从候选池收敛
- 先按输入与输出筛选。 文本代码、看图、音频理解、OCR、向量召回和精排分开；只保留许可与实际任务相符的检查点。
- 建立两档比较。 选一至两个高能力候选，再选两至三个较小或较低激活量候选；先验证质量下限，再比较服务效率。
- 固定基线。 记录模型 revision、精度、模板、processor、运行镜像、GPU/互联、上下文、思考预算和草稿组件；不把 API 托管成绩当成本地权重成绩。
- 测端到端服务。 同时报首 token 延迟、token 间隔、完成时间、队列、P95/P99、成功率、资源占用和吞吐；按真实输入分布与并发阶梯测。
- 单独核验量化和加速。 先比较同检查点的精度变化，再比较投机解码、并行和调度；任何质量损失或失败都计入合格结果成本。
- 再决定部署组合。 复杂请求可用旗舰，小任务可用较小模型；路由收益必须包括判断成本、回退、缓存和并发争抢，不预设组合必然优于单模型。
若还没有目标机器的 GPU 型号、互联、可用显存、并发和输入分布，本页只能缩小候选范围，不能推出准确 GPU 数量、部署预算或“最高吞吐”结论。
核查锚点与维护
下列固定 revision 记录容易混淆或近期变化的证据；各表的官方模型卡是后续核对入口，不以模型名称或 HF 自动生成代码替代正文。
| 事项 | 本次读取的固定证据 | 保留的边界 |
|---|---|---|
| Large 4 权重与许可变化 | README @ af26e786 | 本次 metadata 已列 safetensors；与 10-24 目录的未发布状态不同 |
| DeepSeek V4.1 编码/参考实现 | README @ 1bae0e10 | 无 Jinja 模板；参考推理不是生产服务 |
| GLM 主模型与 Flash | 主模型 @ ba32f8c1 / Flash @ 46a050be | 结构、模态和许可不同，不能互当量化副本 |
| Muse Spark Open 开放证据 | 公开模型卡及 Meta 开发文档 | metadata 有权重清单，但 raw 文件需授权；本次未申请或下载 |
| Atria 官方部署入口 | README @ b7d9d608 | 作者链接 GLM-5.2 配方；不意味着可替换 Atria 权重/模板 |
| Jina v4 许可纠正 | README @ 853c867b | 使用现卡注明的 Qwen Research License，不沿用错误早期标签 |
后续更新先核对官方组织归属、实际权重、许可和模型卡，再更新选型结论。框架只有 PR/分支、只验证文本路径、或文档仍指向旧版时，保留这些限制；不要仅刷新核查日期。
本页的结论层级是“官方发布/声明已核对”和“待目标机验证的选型建议”。未执行模型、未证明真实生产吞吐，也未声称覆盖所有新发布检查点。