ChatGPT 林惠⽂@真格基⾦ daimajia.com 体验 ChatGPT 与 GPT-3 的对⽐ 与 GPT-3 的对⽐ 与 GPT-3 的对⽐ 强烈建议体验 https://mirror.xyz/ 0x6E12A28086548B11dfcc20c75440E0B3c10721f5/9O9CSqyKD j4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBc ChatGPT 提升的核⼼点 • 敢于质疑不正确的前提 • 主动承认错误和⽆法回答的问题 • ⼤幅提升了对⽤户意图的理解 • ⼤幅提升了结果的准确性 提升⼈类意图的⼀致性 连续多轮对话能⼒ 提升的原因 加⼊了基于⼈类的反馈系统 Reinforcement Learning from Human Feedback 丛问题库⾥抽取问题 标记者（Labeler）书 写期待的回复 什么是⾹蕉？ ⾹蕉是⼀种⽔果，从⾹蕉 树…. 采样问题，并列出所有 模型和标记者的回答 标记者（Labeler）排 序所有标记着答案 被标记的数据⽤来调优 GPT-3.5 ⽤排序答案训练 奖励模型 写个⽔獭的故事 什么是⾹蕉？ ⾹蕉是⼀种⽔果， 从⾹蕉树…. ⾹蕉是芭蕉科、芭 蕉属植物... ⾹蕉，从属性来 说，与草莓、葡 萄、猕猴桃是亲… ⾹蕉为芭蕉科植物 ⽢蕉的果实。原产 亚洲东南部… 通过模型⽣ 成初步回答 输⼊奖励模型得到 分数和优化参数 很久很久以前... 持 续 优 化 参 数 迭 代 往前捋捋 chatGPT GPT-1 GPT-2 GPT-3 2018 2019 2020 15 亿参数 1500w 美⾦ 1750 亿参数 1.17 亿参数 InstructGPT 2022 再往前捋捋 chatGPT Decoder GPT-1 Transformer T5 BERT GPT-2 BART RoBERTa GPT-3 M2m-100 XLM InstructGPT BigBird ALBERT Encoder 2017 《Attention is All You Need》 ELECTRA 继续再往前捋捋 CNN 卷积神经⽹络 Transformer RNN 循环神经⽹络 GPT-1 GPT T5 B BERT 1990开始 - 2006突破 - 2015繁荣 2017 开始 RoB 继续再往前捋捋 CNN 卷积神经⽹络 基于规则 机器学习 GPTTransformer RNN 循环神经⽹络 T5 BER 1950 开始 1980 开始 1990 开始 - 2006 突破 2017 开始 发展趋势 基于规则 机器学习 神经⽹络 Transformer ⼿写规则，简单粗暴 只能处理⾮常少量数据 找到⼀些函数或参数 分类固定量数据 像⼈脑⼀样学习 开始尝试⼤量数据 优化⼈脑学习过程 关注重点⽽⾮全部 分类⻩⾖和绿⾖ 提前标记⼀些数据 根据⼤量数据分类学习⼀个复杂的参 数集合 发展趋势 神经⽹络 Transformer 像⼈脑⼀样学习 优化⼈脑学习过程 关注重点⽽⾮全部 提前标记⼀些数据 根据⼤量数据分类学习⼀个复杂的参 数集合 GPT3 投喂 海量的学习数据 ⽆需分类数据 1200 万美⾦ ChatGPT ⼈对结果的反馈 成为学习过程的⼀部分