请选择 进入手机版 | 继续访问电脑版
MSIPO技术圈 首页 IT技术 查看内容

DataFun: ChatGPT背后的模型详解

2023-07-13

ChatGPT背后的模型详解

Overview

在这里插入图片描述

Transofrmer

在这里插入图片描述
在这里插入图片描述
各个构件都有一定的作用

Multi-head self attention

在这里插入图片描述
每个字的重要性不一样,学习QKV三个矩阵(query,key,value)
在这里插入图片描述
多组QKV
在这里插入图片描述
在这里插入图片描述

RLHF

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ChatGPT训练过程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

思维链 COT

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

相关阅读

热门文章

    手机版|MSIPO技术圈 皖ICP备19022944号-2

    Copyright © 2024, msipo.com

    返回顶部