AIGC 大模型能力评估清单

大模型能力评测意义重大，评测结果可让供需两侧了解各家大模型能力的优势与不足，做出更好的产品调优与应用选择。随着大模型产业的发展迭代，评测基准体系也在不断完善。未来大模型的产品服务能力评测将作为一项工具包，打包在大模型平台中为客户提供产品服务。 亿图展示一份AIGC大模型能力评估清单，全维度定位大模型产品的基模性能与商业能力，为业内各界对模型评估有结果需求的客户提供信息参考。

AIGC 大模型能力评估清单

平台资源：提供大模型关联能力资源，如数据管理、算力资源、云服务能力等

维度2

平台生态能力 (Platform)

生态合作：生态联盟友好度，基于生态合作伙伴完成应用落地的正向循环

迁移性：从基础大模型到下游二开微调的适配度

维度1

工程化能力 (Engineering)

落地性：将大模型能力封装到产品或解决方案中，与实际需求达成高质效结合

价格：从需求侧出发，产品模式及价格适配是核心选择要素之一

行业覆盖：从行业落地上，对金融、零售、工业、汽车等领域的覆盖度

场景覆盖：从服务模块上，对财务、营销、客服、推荐等场景的覆盖度

需求匹配能力 (Demand)

大模型产品能力

维度3

维度3

偏见评估：评估性别歧视、伦理问题、偏见、刻板印象、黄色暴力、不良引导等情况

安全可信：确保数据安全、模型安全、内容安全、指令安全

安全可控性 (Safety)

虚假信息甄别：甄别Prompt中的虚假信息与不合理前提

Prompt效率：调试后的问题优化，提升质量

情感理解：对情绪的感知与判断

维度2

回复质量：综合文本生成、语言理解、知识问答、逻辑推理、数学能力、编程能力、多模态能力维度

性能优越性 (Performance)

不确定提示：反馈模型的不确定信息，助力人工判断引入

鲁棒性：改变拼写、大小写、Prompt衡量模型- Invariance and equation transformation

响应速度：评估问题生成时间/字数比

效率稳定性 （Efficiency）

维度1

大模型产品能力