请选择 进入手机版 | 继续访问电脑版
MSIPO技术圈 首页 IT技术 查看内容

Transformer

2023-07-13

背景​​

电脑并不能将数字信息和现实世界建立联系,给电脑一句话让他理解到意思需要词向量化。但是词向量话在正确性方面遇到了问题:电脑给的向量的初值都是随机值,所以结果大都是错的。

解决办法

信息压缩与特征提取:找到正确的规律(这里的“规律”是指:http://t.csdn.cn/ve9bD中的:词向量化(word2vec)的好处:一、好找规律:在高维空间内,相似的点(本质是一个向量)挨得近。)所以就需要:

Transformer

Transformer是基于注意力机制的编码器-解码器类型架构:

Transformer模型详解(图解最完整版) - 初识CV的文章 - 知乎 https://zhuanlan.zhihu.com/p/338817680

编码器(Google用它做出了BERT)

考验理解语言

训练方法:

完形填空——给前后文,求中间的空

例子:兔子喜欢__胡萝卜

预训练模型框架:双向语言模型预训练+应用微调(Fine-tuning)

解码器(OpenAI用它做出了GPT(chatGPT的前身))

考验生成语言

训练方法:词语接龙

例子:兔子喜欢吃______

预训练模型框架:自回归语言模型(即从左到右单向语言模型)+Zero /Few Shot Prompt

用了自注意力机制,解决了自然语言的特征提取问题。具体是:让句子里的词自己去和句子中所有的词做向量相乘,正确的词是乘积大的。

当模型逐字生成文本时,它有能力引用或关注与生成的单词相关的单词。模型在训练过程中通过反向传播知道参考哪个词。

RNN也能看之前的输入,但注意力机制的优点是它不受短时记忆的影响。RNN的参考较短,因此当故事变得很长时,RNN无法访问序列中较早生成的单词,提取特征的效果不好:rnn循环神经网络的原则是离下一个词越近的词,权重越高。即把离得近的词认为是对的词。比如他看了b站的up的视频,很喜欢,伸手给了_________?A一键三联orB大逼兜子。rnn会根据离挖的空最近的位置的词即“伸手给了”来判断选B。所以rnn让电脑会遗忘太远的词,而且总是提取错误的特征。所以按照顺序去提取特征是行不通的。

GRU和LSTM具有更大的长时记忆能力,因此具有更长的参考窗口,但是也没什么用

所以还得是transformer(from Attention is all you need)

理论上注意力机制在计算资源充足的情况下有无限的参考窗口,因此能在生成文本时使用整个故事的上下文。

相关阅读

热门文章

    手机版|MSIPO技术圈 皖ICP备19022944号-2

    Copyright © 2024, msipo.com

    返回顶部