OpenCompass

OpenCompass是什么

OpenCompass 是由上海人工智能实验室发起的开源大模型评测平台，用于系统比较基础模型、聊天模型和多模态模型。它提供评测框架、数据集配置、模型适配、分布式推理、指标计算、结果汇总和排行榜，适合研究机构、模型团队和企业建立可复现的 LLM 评测流程。

OpenCompass 既指可本地安装的开源 Python 工具，也包括官网的 LLM、VLM 排行榜及 CompassHub、CompassRank 等生态。排行榜结果反映特定版本、提示词、数据集和评测方法，不代表模型在所有真实业务中都更好。

OpenCompass核心功能

多维能力评测

能力体系覆盖考试、知识、语言、理解、推理和安全等通用维度，也包括长文本、代码、工具使用、知识增强等专项能力。用户可选择已有评测集合，也能组合适合自己业务的数据集与指标。

百余数据集与配置化运行

项目内置大量中英文与专业基准，通过 Python 配置描述模型、数据集、Prompt、推理器和评估器。配置可继承和组合，便于同一模型跨数据集评测，或让多个模型在相同条件下比较。

本地模型与API模型

OpenCompass 可直接加载 Hugging Face、InternLM 等本地模型，也能连接 OpenAI、DeepSeek 等兼容 API。自建服务可通过 LMDeploy、vLLM、SGLang 等提高吞吐。闭源 API 模型无需本地显卡，但会产生 Token 费用并受供应商限流与数据政策约束。

客观评测

对选择题、填空和有标准答案的任务，可使用判别式或生成式评测。判别式方法比较候选答案困惑度，生成式方法让模型直接输出再进行规则处理。Prompt 模板、few-shot 示例和答案提取器都会影响分数，复现实验必须固定配置和随机种子。

主观评测与LLM-as-Judge

对开放回答、安全、表达和复杂推理，可使用人工或大模型裁判。GenericLLMEvaluator 允许自定义裁判 Prompt、参考答案和 Judge 模型；CascadeEvaluator 可先用规则评测，再只把未通过样本交给 LLM，降低调用成本。

LLM 裁判存在位置偏差、风格偏好、自我偏好和随机性。高风险结论应使用多裁判、交换答案顺序、人工抽检，并公开裁判模型与模板。

分布式与高效评测

框架可拆分推理和评估任务，在多张 GPU 或多台机器上执行，并通过任务监控、失败重跑和结果持久化管理大规模实验。推理加速后端能够提高吞吐，但不同后端、量化和并行设置可能改变输出，应单独记录。

多模态与专项生态

OpenCompass 生态包含 VLMEvalKit、AgentCompass 等项目，分别覆盖视觉语言模型和 Agent 能力。不同子项目有独立安装方式、数据集与许可证，不能把所有多模态能力理解为主仓库中的一个命令即可完成。

排行榜与报告

官网提供公开模型榜单，框架可生成表格、摘要和详细样本结果。看榜单时应关注模型日期、是否闭源、测试集污染、Prompt、推理预算与样本覆盖，而不是只看总平均分。

OpenCompass使用方式与成本对比

评测方法对比

OpenCompass安装教程

1. 准备环境：创建独立 Python 环境；本地模型根据 PyTorch、CUDA 和显卡安装对应依赖。
2. 安装项目：从官方仓库安装稳定版本或开发版本，并记录提交哈希。
3. 准备数据集：按文档下载所需基准，确认许可证、目录与校验结果。
4. 选择模型配置：使用已有本地或 API 配置，设置模型路径、Key、并发和上下文。
5. 运行小规模测试：先使用少量数据检查 Prompt、输出解析、显存和费用，再运行完整集合。
6. 查看结果：检查 summary、日志与样本明细，不能只看最终平均分。
7. 保存实验信息：记录模型版本、数据集、配置、后端、硬件和时间，便于复现。

自定义数据集评测

1. 整理 JSONL 或 CSV，明确问题、参考答案、类别和元数据字段。
2. 定义 Dataset Reader 的输入列与输出列，划分开发集和隐藏测试集。
3. 为模型配置 Prompt Template、Retriever 和 Inferencer。
4. 选择规则、专业指标或 LLM Judge，并编写可靠的后处理函数。
5. 用人工标注小样本验证评估器，再扩大规模并分析分组结果。

评测结果如何正确解读

总分可能掩盖单项短板，应按语言、领域、难度和安全类别查看。不同模型的上下文长度、采样参数、推理 Token 和工具权限必须尽量一致。公开数据可能进入训练语料，因此还应加入组织自建、时间更新和真实业务集，避免只优化排行榜。

适合哪些用户

• 比较开源和闭源大模型能力的研究人员与算法团队；
• 需要为模型选型建立客观基准的企业技术负责人；
• 开发推理、代码、安全、长文本或多模态模型的团队；
• 希望复现公开排行榜并分析具体样本的开发者；
• 需要搭建私有数据集和持续回归评测的组织。

优势与注意事项

OpenCompass 的优势是开源、中文生态完善、数据集和模型配置丰富，并覆盖从推理、指标到报告的完整流程。它既适合快速基准，也能扩展成组织内部评测平台。

安装和完整评测需要一定工程与算力，数据集下载也可能很大。评测分数会受 Prompt、答案提取、后端和 Judge 影响，不能视为模型绝对排名。数据集、模型权重和 API 分别有自己的许可证与隐私条款，运行代码评测还应使用隔离容器。

常见问题

OpenCompass免费吗

开源框架免费并采用 Apache 2.0 许可证，官网榜单可免费查看。本地硬件、云 GPU、模型 API 和裁判模型费用由用户承担。

OpenCompass可以评测闭源模型吗

可以，通过对应 API 配置接入，但会受供应商限流、价格和数据政策影响。

OpenCompass支持多模态吗

OpenCompass 生态提供 VLM 排行榜和 VLMEvalKit 等多模态评测工具，具体安装与数据集应看对应项目。

排行榜第一就一定最好吗

不一定。榜单只代表特定基准和配置，应结合真实业务、成本、延迟、安全和人工评测选型。

OpenCompass开源吗

开源，主仓库采用 Apache License 2.0。部分数据集、模型和生态子项目遵循各自条款。