导图社区 打通企业AI应用落地的最后1公里
打通企业AI应用落地的最后一公里是一个重要的挑战,但也是实现人工智能真正商业价值的关键步骤。
编辑于2023-12-29 19:49:15打通企业AI应用落地的最后1公里
原文链接
TechCrunch的数据显示 下个版本更新
2022年前三个季度全球人工智能的投资已达到560亿美元,创下历史新高 2022年前AI投资创历史新高
融资较高的创业公司包括Anthropic、Cohere、AI21 Labs等,这些公司的技术都建立在大型语言模型的基础之上 融资较高的企业技术都基于大模型:Anthropic,Cohere,AI21 Labs
大模型落地的挑战
Although 给个人用户带来高度个性化体验
能够与用户进行流畅的对话,并提供即时且针对性的回应
借助基于大型语言模型的AI写作助手,用户能够快速生成高质量的文章草稿,其风格与用户贴合,极大提高了内容创作效率
But1: 专业深度不够,数据更新不及时,缺乏与真实世界的连接
在法律政策解读、电商客服、投资研报等专业领域中,由于大型模型缺乏足够的专业领域数据,用户在使用过程中经常会感觉大模型在一本正经地“胡说八道”
But2: 有Token的限制,记忆能力有限
ChatGPT 3.5只能记忆4096个Token,无法实现长期记忆
But3: 用户对于数据安全的担忧
AI技术本身不再是商业壁垒,数据才是。而企业要想利用大模型构建商业,必须将自己的数据全部输送给大模型,以进行推理和表达。如何在数据安全可控的情况下使用大模型技术,成为一个亟待解决的问题
But4: 使用成本问题
将大模型本地化,用于再训练形成企业专有的模型
成本极高,大模型由于有数千亿的模型参数,光部署计算资源的投资就得上亿。重新训练一次模型也需要近千万的投入,非常烧钱。这对于一般的中小企业是完全无法承受的。
利用公有云模型,按照请求的Token数量付费
企业构建的AI应用可以按照Token数量付费,虽然无需一次性的大额投入,但成本依然不低。以OpenAI为例,如果对通用模型进行微调(Fine-tuning)后,每使用1000个token(约600汉字)需要0.12美金。
企业级解决方案
本地私有化部署
将大模型部署到企业本地,结合企业私有数据进行训练,打造垂直领域专有模型
LLM微调参数
在大模型基础上进行参数微调,改变部分参数,让其能够掌握深度的企业知识
LLM+VDB+Prompt
围绕向量数据库打造企业的知识库,基于大模型和企业知识库再配合Prompt打造企业专属AI应用
技术原理
企业首先基于私有数据构建一个知识库,通过数据管道将来自数据库、SaaS软件或者云服务中的数据实时同步到向量数据库中,形成自己的知识库。 在这个过程中需要调用大模型的Embedding接口,将语料进行向量化,然后存储到向量数据库。当用户与企业AI应用对话时,AI应用首先会将用户的问题在企业知识库中做语义检索,然后将检索的相关答案和问题以及配合一定的prompt一并发给大模型,获得最终的答案之后回复给用户。
方案优势
充分利用大模型和企业优势
既可以充分利用企业已有知识,又可以利用大模型强大的表达和推理能力,二者完美融合
使AI应用具备长期记忆
Token的限制使大模型只能有短暂的记忆,无法将企业所有知识全部记住。利用外置的知识库,可以将企业拥有的海量数据资产全部整合,帮助企业AI应用构建长期记忆。
企业数据相对安全可控
企业可以在本地构建自己的知识库,避免核心数据资产外泄
落地成本低
通过该方案落地AI应用,企业不需要投入大量资源建设自己的本地大模型,帮助企业节省动辄千万的训练费用
从实用性和经济性的角度考虑,第3种是最为有效的解决方案
企业要落地该知识库方案仍然有一些具体问题需要解决
知识库的构建
企业需要将存在现有系统中的语料汇总到向量数据库,形成企业自有的知识空间,这个过程涉及数据采集、清洗、转换和Embedding等工作
语料来源比较多样,可能是一些PDF、CSV等文档,也可能需要接入企业现有业务系统涉及比如Mongodb、ElasticSearch等数据库,或者来自抖音、Shopify、Twitter等第三方应用
在完成数据的获取后,通常需要对数据进行过滤或者转化
从数据源实时地获取数据非常重要,比如电商机器人需要实时了解用户下单的情况,政策解读机器人需要了解最新政策信息
对于数据Embedding的过程中涉及到数据的切块,数据切块的大小会直接影响到后面语义搜索的效果,这个工作也需要非常专业的NLP工程师才能做好。
AI应用的集成
AI应用需要服务的用户可能存在于微信、飞书、Slack或者企业自有的业务系统。如何将AI应用与第三方SaaS软件进行无缝集成,直接决定用户的体验和效果。
数据安全性的问题
这个方案没有完全解决数据安全性的问题,虽然企业的知识库存储在本地,但是由于企业数据向量化的过程中需要调用公有云大模型Embedding接口。这个过程需要将企业数据切块之后发送给大模型,一样有数据安全的隐患。
大模型中间件
什么是大模型中间件?
大模型中间件是位于AI应用与大模型之间的中间层基础软件,它主要解决大模型落地过程中数据集成、应用集成、知识库与大模型融合等问题
企业AI应用的典型软件架构
大语言模型为AI应用提供基础的语义理解、推理、计算能力, 向量数据库主要提供企业知识的存储和语义搜索。 而大模型中间件解决大模型落地的最后一公里,提供语料的实时采集、数据清洗、过滤、embedding。同时,为上层应用提供访问大模型与知识库的入口,提供大模型与知识库的融合、应用部署、应用执行。
常见大模型中间件
langchain
面向AI应用的编程框架Langchain在GitHub上短短几个月内收获了超过4万个Star,Langchain旨在简化开发者基于大型语言模型构建AI应用的过程。它为开发者提供了多模型访问、Prompt的封装、多数据源加载等多种接口,让开发者构建AI应用更简单
LIamaindex
Llamaindex是另一个备受关注的开源项目,它目标是为大型模型提供统一的接口来访问外部数据。Llamaindex的Routing为开发者语义检索、基于事实混合查找、访问总结数据可以提供统一索引
Vanus AI
Vanus AI 是一个无代码构建AI应用的中间件,用户通过Vanus AI可以分钟级构建出生产可用的AI应用,它同时提供了实时知识库构建、AI应用集成、大模型插件等能力
Fixie
Fixie是一家初创公司,近期刚刚融资1200万美金,该公司的目标是构建、部署和管理大型模型代理平台,以更好地响应用户的意图
AI技术栈
企业的私有业务数据通过 Embedding组件转化成向量后可以存储到Milvus、Pinecone等向量数据库中。 目前通过Llamaindex、Vanus Connect可以批量获取PDF、CSV等文件并Embedding并存储到向量数据库中。 AirOps、Vanus AI等AI Ops平台可以连接大模型和企业知识库帮助用户一站式构建AI的应用。如 果AI应用需要连接第三方的应用执行操作可以通过Fixie或者Zapier等提供的插件