导图社区 从零到一:大语言模型学习导图
这是一篇关于大语言模型LLM的思维导图,主要内容包括:深度学习,AI 人工智能,自然语言处理NLP,智能体、AI Agent,微调、Fine tuning,增强检索、RAG,RAG及微调适用场景描述,提示词工程、Prompt,Embedding,模型评价选型,模型使用,Transform架构。
社区模板帮助中心,点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
大语言模型 LLM
Transform 架构
2017 论文: Attention is all your need ,提出该模型
有能力学习所有词的相关性和上下文,不受长度限制,核心是自注意力机制
RNN循环神经网络:逐字处理,无法并行,不能长距离预测
GPT: generative pre-trained transformer
通过概率,预测下一个词
多头自注意力机制
大模型使用场景
模型不做数学计算
多模态:涵盖文本,代码,对话,语音图像
应用场景
项目过程
参数
神经元:wx+b=y
w和b的参数量
结构
预训练
Token:分词
局限性
局限
改进
特性
文本限制
OpenAI 费用计算
8K content 模型(16000个单词,PDF10页左右),input 0.03美金/1K token, output 0.06美金/1K token
温度
幻觉
架构原理
训练流程
PetaFlop:
GAI 项目架构
奖励模型
RLHF
HHH:Helpful, honest, harmless
RLAIF
挑战
Toxicity 毒性
Hallucinations 幻觉
Intellecture property IP
使用层级
模型使用
模型评价
模型选择
项目周期
系统架构
模型评价选型
Subtopic
Embedding
向量化
向量数据库
数据检索
提示词工程 Prompt
原则
清晰度
确定焦点
相关性
公式
内容前提:让大模型知道你是谁,在时间,预算,喜好等设置旅游攻略
角色定义:赋予模型身份,让他知道他是谁
明确目标:指定清晰,有详细的描述需求和范围,如书籍或者电影推荐
补充要求:回答需要注意事项,或者回答的范围和形式
技巧
优化表达式
用继续不断输出
由浅入深,提升问题质量
预设回答方案
给参考答案,让大模型更懂你
应用
文本总结
文本判断
提取标签,提取名称,理解文本情感
文本转化
翻译
语气
格式
文本扩展
RAG及微调适用场景描述
参考一:大模型优化:RAG还是微调? https://omerwu.blog.csdn.net/article/details/132689632?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-2-132689632-blog-134542869.235%5Ev43%5Epc_blog_bottom_relevance_base5&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-2-132689632-blog-134542869.235%5Ev43%5Epc_blog_bottom_relevance_base5
需求评估
我们的用例是否需要访问外部数据源?
我们是否需要修改模型的行为、写作风格或特定领域的知识?
抑制幻觉有多重要?
有多少标记的训练数据可用?
数据的静态/动态程度如何?
我们的 LLM 应用程序需要有多透明/可解释?
都解决不了大模型从不会到会,给一个陌生民族字典,就能学会这个领域的知识
通过提示指令能够让模型更好的完成事情
优先考虑提示工程+例子
在有限上下文,能够达到效果
增强检索 RAG
https://blog.csdn.net/m0_59596990/article/details/135310933?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-1-135310933-blog-134542869.235%5Ev43%5Epc_blog_bottom_relevance_base5&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-1-135310933-blog-134542869.235%5Ev43%5Epc_blog_bottom_relevance_base5
定义
要点
具体信息和数字的了解,补充上下文,信息更完整,短期记忆,回答眼下问题
不能学习新的知识
微调 Fine tuning
适用场景
适合于调整表达方式如电商客服用亲这种语气来回答问题,学习格式
在一个特定的问题,生成固定格式,输出更标准化,提升性能
PEFT
LoRA: Low-Rank Adaptation of LLM
Prompt tuning
灾难性遗忘,catastrophic forgetting
智能体 AI Agent
智能体五种类型
使用
架构
整体架构
Langchain:LangChain 是一个开源框架,旨在简化使用大型语言模型(LLMs)创建应用程序的过程
开发业务程序
Hugging Face:专注于自然语言处理(NLP)和生成式AI的开源社区和平台,提供了大量的预训练模型和工具。
GitHub :GitHub 是一个基于网页的服务平台,主要用于代码托管和版本控制,同时也提供了协作功能,让开发者在项目中能够一起工作
自然语言处理 NLP
知识图谱
大语言模型:NLP的一种方式
AI 人工智能
机器学习
不需要显式编程,让计算机通过算法自行学习和改进, 识别模式做出预测和决策
监督学习
分类:划分不同类别
回归:对数值预测
无监督学习
聚类:自动组织归类
强化学习
在环境里学习,采取行动, 最大化奖励或者最小化损失,下围棋
深度学习
利用人工神经网络,模仿人脑处理信息的方式,通常具有多层
多层(深度)的神经网络来模拟人类大脑的工作方式,从而识别复杂的模式和数据 AIGC:生成式AI是其一种应用
大语言模型基本概念
领域相关名词和知识的介绍
模型基础概念
主要的领域知识
重点介绍作为入门者重点学习的内容
FLOATING TOPIC