导图社区 ChatGPT简介
ChatGPT简介,内容整理来自渐构《万字科普ChatGPT-4为何会颠覆人类社会》,全称叫Chat Generative Pre-trained Transformer,低配版ChatGPT --> 鹦鹉学舌,高配版ChatGPT --> 人脑神经元链接产生思考。
社区模板帮助中心,点此进入>>
互联网9大思维
组织架构-单商户商城webAPP 思维导图。
域控上线
python思维导图
css
CSS
计算机操作系统思维导图
计算机组成原理
IMX6UL(A7)
考试学情分析系统
ChatGPT简介
简介
思维导图整理自
渐构《万字科普ChatGPT-4为何会颠覆人类社会》
https://www.modevol.com/episode/clf9d5kni0zo301mm6tkl9t87
全称
Chat Generative Pre-trained Transformer
聊天生成式预训练变换模型
生成模型
比喻
低配版ChatGPT --> 鹦鹉学舌
高配版ChatGPT --> 人脑神经元链接产生思考
GPT工作原理
GPT
Generative Pre-trained Transformer
生成预训练变换模型
实质功能
单字接龙
自回归生成
输入
提前训练好的模型
即ChatGPT模型
数据库
存储信息
上下文
用户输入的问题
训练方式
学习训练材料
生成当前上下文的下一个字的概率分布模型
回答问题的底层逻辑
将问题和答案视为一句话,作为问答范例
问题是上下文
单字接龙生成下文,即答案
训练的目的不是记忆,而是学习
学会”提问-回答“的通用规律,举一反三
也称”泛化“
信息被存储在数据库中,无需在模型中记忆
GPT VS 搜索引擎
搜索引擎无法给出数据库中不存在的信息,信息是有限的。 生成模型可以创造信息,能回答的问题范围更广泛。
搜索引擎不会混淆信息,即搜索到的信息都是真实存在的,不一定是正确和有效的信息。 生成模型可能混淆信息,即胡编乱造。
长板
可以举一反三回答问题和创造信息
处理的问题范围更广泛
回答更灵活
短板
可能混淆信息,胡编乱造
人类无法理解ChatGPT学到的规律(模型)
无法直接理解模型,只能通过多次提问的方式评估模型
无法直接调整模型
即不能直接增删改查ChatGPT的学到的规律
只能通过重新训练的方式调整模型,效率低下
高度依赖学习材料,培养知识精英
学习材料的数量极大
量变产生质变
学习材料的质量要求高
名师出高徒
训练成本极高
ChatGPT制造过程
开卷有益
无监督学习
广泛学习互联网上的各种材料
扩大脑容量
学习内容来自互联网,价格低廉
无脑式学习
GPT2
学习材料40GB
参数15亿
GPT3
学习材料45TB
参数1750亿
GPT3可以理解语义,学会了词法和语法
GPT4
GPT4可以理解隐喻
ChatGPT可以学习任何以文字表达的内容
模板规范
监督学习
好内容
学习人类调整过的”优质对话范例“,即标准模板
好内容需要人类标注,价格不菲
坏内容
限定ChatGPT回答内容的边界
不允许回答有害内容和明显错误内容
符合人类的法律规范和道德规范
超大模型意外获得的理解能力
理解”指令“要求的能力
例如:ChatGPT理解”翻译“指的是将一种语言翻译成另一种语言
理解”例子“要求的能力
例如:给出示例,ChatGPT可以发现例子之间的规律,并以例子的风格回答问题
学会了如何学习
称为语境内学习(In-context Learning)
产生原因未知
分治效应
也叫思维链
对于一个综合问题,当要求GPT分步思考时,GPT答对问题的概率会大幅提升
创意引导
强化学习
巴普洛夫的狗
止步于”模板规范“会导致ChatGPT的回答过于模板化,因此需要继续进行开放式训练
鹦鹉学舌
哑巴鹦鹉
脑容量超级大的懂王鹦鹉
懂规矩的博学鹦鹉
既懂规矩又会试探的博学鹦鹉
人类大脑
涌现的能力
未来的影响
革命意义
完成了一次验证,展现了大语言模型的可行性
调整了大众预期
吸引全球资源投入大语言模型发展
大语言模型的发展和完善的速度和质量将会得到进一步提升
大语言模型的相关产品将会越来越多
应用价值
对语言和文字的理解和运用能力超越绝大多数人类
理解和运用人类从古至今的知识
知识的传承是人类超越其他动物的重要原因,是产生人类文明的重要原因
知识主要是通过语言和文字传承的
语言和文字的处理效率远胜于人类
人类的信息同步效率低下
文山会海
大公司病,流程繁琐,效率低下
社会影响
当前影响最大的行业
学术界专注于创造知识
教育界专注于传承知识
新闻界专注于传播信息
商业专注于提高生产力
如何应对
个人竞争力
个人能掌握的知识对于大语言模型而言微不足道
使用工具,驾驭工具
终身学习
跳出应试教育的局限思维
国家竞争力
国家和大公司必须研发和部署自己的大语言模型来确保信息安全和国家安全
学习系统的升级会伴随着生命的跃升
其他
GPT VS BERT
GPT 是单字接龙
用上下文预测下一个字词
BERT 是完形填空
用上下午预测空缺的字词
LLM 超大语言模型
自然语言技术(NLP)被誉为”人工智能皇冠上的明珠“
ChatGPT已摘得明珠
我的问题
模型如何使用数据库呢?既然模型可以生成下一个字的概率分布,数据库存储的信息是如何使用的?
ChatGPT使用预料数据训练模型,ChatGPT获取的知识存储在模型中,知识越多,模型的参数越多,模型体积越大
ChatGPT回答事实类问题,也是通过单字匹配吗?例如问题谷歌公司的创建时间是?
是的,ChatGPT将事实类知识存储在模型中