导图社区 Largr Language Models LLM
这是一篇关于Largr Language Models LLM的思维导图,涵盖其运作机制、词语相似性、分布假说、幻觉现象以及与人类的区别。
这是一篇关于minority language language opp的思维导图,主要内容包括:preservation / revitalisation 语言保护与复兴,language policy 语言政策,language oppression,causes of language loss。
这是一篇关于language identity 语言与身份认同的思维导图,主要内容包括:pronouns 代词,age-graded vocabulary,national identity(国家身份)、creeping Australianisms(澳洲英语的渗透)、pitch & identity(音高与身份)、race & language(种族与语言)、age - graded vocabulary(年龄分级词汇)。
这是一篇关于construction的思维导图,主要内容包括:memory limitations 记忆限制,building sentence,Morphemes,Words,Patterns 构式,chidren acquire constructions,idioms 习语,constuction grammar (缩写CxG),formulaic ut
社区模板帮助中心,点此进入>>
论语孔子简单思维导图
《傅雷家书》思维导图
《童年》读书笔记
《茶馆》思维导图
《朝花夕拾》篇目思维导图
《昆虫记》思维导图
《安徒生童话》思维导图
《鲁滨逊漂流记》读书笔记
《这样读书就够了》读书笔记
妈妈必读:一张0-1岁孩子认知发展的精确时间表
Largr Language Models LLM
运作机制
training on massive text data
next-word prediction 预测下一个词
Markov chain 马尔可夫链
ungrammatical
limited context
representing words as vectors
using layers and transformers
word similarity 词语相似性
inferring meaning 语义推断
words have patterns 词语模式
cosine similarity 余弦相似
vectors 向量
mathematical representation
问题
semantic similarity
transformers 转换器
distributional hypothesis 分布假说
Computers can learn about (say) colours by looking at where they occur in text (their distribution)
LLM
短板
tokenisation 分词
The Strawberry Problem
overfitting 过拟合
l33t leet语言
no grounded cognition
Hallucinations 幻觉
problems
not factual, just plausible
hallucinate data
give unethical advice
halllucination detection/mitigation 幻觉检测/缓解
add instructions to your prompt
examine the output to find claims
be smart and skeptical
LLM & humans 区别
LLM are stochastic parrots
humans have bodies, real-world experiences, beliefs, etc.