电脑桌面
添加蜗牛文库到电脑桌面
安装后可以在桌面快捷访问

计算机-GPT产业复盘(2022):推出ChatGPT-230219.pdfVIP免费

计算机-GPT产业复盘(2022):推出ChatGPT-230219.pdf_第1页
计算机-GPT产业复盘(2022):推出ChatGPT-230219.pdf_第2页
计算机-GPT产业复盘(2022):推出ChatGPT-230219.pdf_第3页
免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。1证券研究报告计算机GPT产业复盘(2022):推出ChatGPT华泰研究计算机增持(维持)研究员谢春生SACNo.S0570519080006SFCNo.BQZ938xiechunsheng@htsc.com+(86)2129872036联系人袁泽世,PhDSACNo.S0570122080053yuanzeshi@htsc.com+(86)2128972228行业走势图资料来源:Wind,华泰研究2023年2月19日│中国内地专题研究溯源GPT发展:2022年ChatGPT面世,LLM里程碑式胜利梳理GPT系列模型的演进过程,可以看到2022年是GPT系列模型围绕GPT-3、GPT-3.5加速版本迭代的重要节点,2022年11月,ChatGPT成功面世,成为历史上用户增长最快的消费者应用。与Google、FaceBook等公司不同,OpenAI从初代模型GPT-1开始,始终贯彻只有解码器(Decoder-only)的技术路径,2018-2022年GPT系列模型几乎按照每年一代的速度,不断迭代升级。我们认为,2022年ChatGPT的成功,是OpenAI公司GPT系列模型的阶段性胜利,也是大语言模型LLM的里程碑式胜利,后续围绕LLM的技术升级、应用拓展有望加速开启,AI产业发展或将提速。ChatGPT:引入人类反馈,模型训练SFT、RM、PPO三步走ChatGPT、InstructGPT分别是基于GPT-3.5、GPT-3微调得到的新版本模型,其核心目标是实现模型输出与人类预期的需求对齐(alignment),人类反馈强化学习RLHF成为模型需求对齐的重要技术支持。ChatGPT、InstructGPT的模型训练主要包括三步:1)有监督微调SFT:通过指示学习对模型进行有监督微调;2)奖励模型RM训练:借助人工标注员对模型输出进行排序,反馈训练得到奖励模型,此步是人类反馈的重要体现;3)近段策略优化PPO强化学习:通过监督学习策略生成PPO模型,优化、迭代原有模型参数。总结来看,RLHF让模型输出更加符合用户预期。ChatGPTVSInstructGPT:核心是基础大模型的不同对比ChatGPT与InstructGPT的训练方法,可以发现,两者的训练方法基本一致,核心区别在于InstructGPT、ChatGPT分别基于GPT-3、GPT-3.5进行模型微调。与GPT-3相比,GPT-3.5增加了代码训练与指示微调:1)代码训练(Code-training):让GPT-3.5模型具备更好的代码生成与代码理解能力,同时间接拥有了复杂推理能力;2)指示微调(Instruction-tuning):让GPT-3.5模型具备更好的泛化能力,同时模型的生成结果更加符合人类的预期。作为基于GPT-3.5的模型微调产物,ChatGPT具备更好的问答能力,更加遵循人类的价值观。OpenAIVSGoogle:OpenAI贯彻Decoder-only路径,...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

蜗牛文库的最新文档

二年级数学下册其中检测卷二年级数学下册其中检测卷附答案#期中测试卷.pdf
10.00金币
0下载
二年级数学下册期末质检卷(苏教版)二年级数学下册期末质检卷(苏教版)#期末复习 #期末测试卷 #二年级数学 #二年级数学下册#关注我持续更新小学知识.pdf
10.00金币
0下载
二年级数学下册期末混合运算专项练习二年级数学下册期末混合运算专项练习#二年级#二年级数学下册#关注我持续更新小学知识 #知识分享 #家长收藏孩子受益.pdf
10.00金币
1下载
二年级数学下册年月日三类周期问题解题方法二年级数学下册年月日三类周期问题解题方法#二年级#二年级数学下册#知识分享 #关注我持续更新小学知识 #家长收藏孩子受益.pdf
10.00金币
0下载
二年级数学下册解决问题专项训练二年级数学下册解决问题专项训练#专项训练#解决问题#二年级#二年级数学下册#知识分享.pdf
10.00金币
1下载
二年级数学下册还原问题二年级数学下册还原问题#二年级#二年级数学#关注我持续更新小学知识 #知识分享 #家长收藏孩子受益.pdf
10.00金币
1下载
二年级数学下册第六单元考试卷家长打印出来给孩子测试测试争取拿到高分!#小学二年级试卷分享 #二年级第六单考试数学 #第六单考试#二年级数学下册.pdf
10.00金币
0下载
二年级数学下册必背顺口溜口诀汇总二年级数学下册必背顺口溜口诀汇总#二年级#二年级数学下册 #知识分享 #家长收藏孩子受益 #关注我持续更新小学知识.pdf
10.00金币
0下载
二年级数学下册《重点难点思维题》两大问题解决技巧和方法巧算星期几解决周期问题还原问题强化思维训练老师精心整理家长可以打印出来给孩子练习#家长收藏孩子受益 #学霸秘籍 #思维训练 #二年级 #知识点总结.pdf
10.00金币
0下载
二年级数学下册 必背公式大全寒假提前背一背开学更轻松#二年级 #二年级数学 #二年级数学下册 #寒假充电计划 #公式.pdf
10.00金币
0下载
蜗牛文库+ 关注
实名认证
内容提供者

提供各种专业文档内容

确认删除?
QQ
  • QQ点击这里给我发消息
微信客服
  • 微信客服
回到顶部