1. 电脑通过01编码,进行数据存储和数据运算。不能理解所表达的内容是什么。
2. Cahtgpt就是实现了,让电脑通过数据了解所表达事物的特征。
各种原来的演进
1. 将所表达的事物/内容进行向量化
当向量维度越多,表示的特征越多,描述事物就越详细。
2. 通过维度坐标,计算不同事物/内容关系。
在词语中表示维度的例如:褒义词,名词/动词,形容词等各种维度
向量是可以计算的。
然后通过词语在向量空间运算,表示词语间的关系。
3. 计算每个词与词间的关系,根据向量,定义一个函数,通过函数计算每个词与词间的关系结果距离量。结果距离量越小,表示两个词关系越近越合理。
当计算结果不合理时,或者距离远时,则这个函数就需要调整。
这个函数称之为 损失函数;
从第一个词开始,逐渐增加词的数量,然后做计算,判断。
我们每次调整都计算结果,然后再调整,再计算,以逼近正确的结果,这个过程叫做收敛。
最开始的Word2Vec 就是计算词/字间的关系,从前面几个字推出后面几个字。
这里就拓展出来之前用的RNN,循环神经网络,输入前面几个词或者几句,自动推理下一个词或者文字。以此循环下去。
但这样也会有问题。
问题时,词有可能是合适的,但是在实际表达意思,或者 长语句时,可能表达就会出现问题,或者 前后不相关,甚至相反。
4. 在上面的基础上,我们新增加 特征提取和信息压缩
通过信息特征提取,发展出来 CNN,卷积神经网络。根据目的内容进行特征提取,然后进行数据的判断。
比如:识别一只猫。
5. 到现在的GPT,新增了一个叫Transform的 自注意力机制,可以自动提取自然语言中的特征。
按照从短到长,自动组词,然后计算,再组再计算。求出最优值。
6. 整个翻译就是两个部分
前编码 -完形填空-Bert
后解码 -词语接龙-GPT
7. 通用人工智能,人类沟通通过语言,那么机器描述世界,也就通过理解语言.
两个方向
(1)通过定义场景进行算法优化,更高性能的模型
(2)提高训练层数,维度,训练数据,形成更大的模型
Chatgpt 采用了第二种形式,当向量维度超过1000亿时,智能能力形成了。
Generative
Pre-trained
Transformer
当模型越大,数据越多,训练出来的AI智能效果越好。
8. 当一定量级出现后,AI出现了理解推理能力。
9. ai处理异常数据,比如性别歧视,隐形问题
(1)有监督学习-人工标注正确的数据
(2)强化学习 -AI自己挖坑自己填写,人工确认最优答案。
(3)人类反馈思路 -把确认的错误告诉ai