AIGC 大模型能力评估清单

大模型能力评测意义重大，评测结果可让供需两侧了解各家大模型能力的优势与不足，做出更好的产品调优与应用选择。随着大模型产业的发展迭代，评测基准体系也在不断完善。未来大模型的产品服务能力评测将作为一项工具包，打包在大模型平台中为客户提供产品服务。 亿图展示一份AIGC大模型能力评估清单，全维度定位大模型产品的基模性能与商业能力，为业内各界对模型评估有结果需求的客户提供信息参考。

AIGC 大模型能力评估清单

• 平台资源：提供大模型关联能力资源，如数据管理、算力资源、云服务能力等
• 维度2
• 平台生态能力 (Platform)
• 生态合作：生态联盟友好度，基于生态合作伙伴完成应用落地的正向循环
• 迁移性：从基础大模型到下游二开微调的适配度
• 维度1
• 工程化能力 (Engineering)
• 落地性：将大模型能力封装到产品或解决方案中，与实际需求达成高质效结合
• 价格：从需求侧出发，产品模式及价格适配是核心选择要素之一
• 行业覆盖：从行业落地上，对金融、零售、工业、汽车等领域的覆盖度
• 场景覆盖：从服务模块上，对财务、营销、客服、推荐等场景的覆盖度
• 需求匹配能力 (Demand)
• 大模型产品能力
• 维度3
• 维度3
• 偏见评估：评估性别歧视、伦理问题、偏见、刻板印象、黄色暴力、不良引导等情况
• 安全可信：确保数据安全、模型安全、内容安全、指令安全
• 安全可控性 (Safety)
• 虚假信息甄别：甄别Prompt中的虚假信息与不合理前提
• Prompt效率：调试后的问题优化，提升质量
• 情感理解：对情绪的感知与判断
• 维度2
• 回复质量：综合文本生成、语言理解、知识问答、逻辑推理、数学能力、编程能力、多模态能力维度
• 性能优越性 (Performance)
• 不确定提示：反馈模型的不确定信息，助力人工判断引入
• 鲁棒性：改变拼写、大小写、Prompt衡量模型- Invariance and equation transformation
• 响应速度：评估问题生成时间/字数比
• 效率稳定性 （Efficiency）
• 维度1
• 大模型产品能力