微心网

从生存到生活

Chatgpt前世今生

1. 电脑通过01编码,进行数据存储和数据运算。不能理解所表达的内容是什么。

2. Cahtgpt就是实现了,让电脑通过数据了解所表达事物的特征。


各种原来的演进


1. 将所表达的事物/内容进行向量化

当向量维度越多,表示的特征越多,描述事物就越详细。

2. 通过维度坐标,计算不同事物/内容关系。

在词语中表示维度的例如:褒义词,名词/动词,形容词等各种维度

向量是可以计算的。

然后通过词语在向量空间运算,表示词语间的关系。


3. 计算每个词与词间的关系,根据向量,定义一个函数,通过函数计算每个词与词间的关系结果距离量。结果距离量越小,表示两个词关系越近越合理。

当计算结果不合理时,或者距离远时,则这个函数就需要调整。

这个函数称之为 损失函数;

从第一个词开始,逐渐增加词的数量,然后做计算,判断。


我们每次调整都计算结果,然后再调整,再计算,以逼近正确的结果,这个过程叫做收敛。


最开始的Word2Vec 就是计算词/字间的关系,从前面几个字推出后面几个字。


这里就拓展出来之前用的RNN,循环神经网络,输入前面几个词或者几句,自动推理下一个词或者文字。以此循环下去。


但这样也会有问题。

问题时,词有可能是合适的,但是在实际表达意思,或者 长语句时,可能表达就会出现问题,或者 前后不相关,甚至相反。




4. 在上面的基础上,我们新增加 特征提取和信息压缩


通过信息特征提取,发展出来 CNN,卷积神经网络。根据目的内容进行特征提取,然后进行数据的判断。

比如:识别一只猫。



5. 到现在的GPT,新增了一个叫Transform的 自注意力机制,可以自动提取自然语言中的特征。

按照从短到长,自动组词,然后计算,再组再计算。求出最优值。


6. 整个翻译就是两个部分

前编码 -完形填空-Bert

后解码 -词语接龙-GPT

 

7. 通用人工智能,人类沟通通过语言,那么机器描述世界,也就通过理解语言.

两个方向

(1)通过定义场景进行算法优化,更高性能的模型

(2)提高训练层数,维度,训练数据,形成更大的模型


Chatgpt 采用了第二种形式,当向量维度超过1000亿时,智能能力形成了。

Generative

Pre-trained

Transformer


当模型越大,数据越多,训练出来的AI智能效果越好。


8. 当一定量级出现后,AI出现了理解推理能力。


9. ai处理异常数据,比如性别歧视,隐形问题

(1)有监督学习-人工标注正确的数据

(2)强化学习 -AI自己挖坑自己填写,人工确认最优答案。

(3)人类反馈思路 -把确认的错误告诉ai

 


网站分类
文章归档
标签列表
友情链接

Powered By Z-BlogPHP 1.7.2

Copyright @2018-2023 冀ICP备08000199号-2