证券研究报告 计算机 GPT 产业梳理：GPT-1 到 ChatGPT 华泰研究 2023 年 2 月 14 日│中国内地 增持 (维持) 计算机 专题研究 ChatGPT：三个阶段打造智能对话交互式 AI 模型 ChatGPT 从诞生到现在，经历了三个大版本阶段演进。2018 年，生成式预 训练模型 GPT-1 诞生，引入有监督的微调训练。2019 年，GPT-2 以增加模 型通用性为目标，移除 GPT-1 的微调，以更大的参数量和多任务训练，进 行 zero-shot 学习；2020 年，GPT-3 用 few-shot 代替 zero-shot，并将训练 参数增加到 1750 亿，再次提高模型表现性能。2022 年，InstructGPT 引入 基于人类反馈的强化学习（RLHF），在 GPT-3 基础上进行奖励训练，以 13 亿训练参数实现了更好的模型性能。2022 年 11 月，基于 InstructGPT， OpenAI 正式推出对话交互式模型 ChatGPT，5 天时间突破了 100 万用户。 GPT-1 阶段：开启生成式预训练模型时代 GPT-1 基于 Transformer 架构，仅保留了架构中的解码器（Decoder）部分。 GPT-1 的训练过程包括预训练和微调两个阶段。1）阶段一：预训练采用内 含长段连续文本的 BooksCorpus 数据集，进行高容量无监督学习。2）阶段 二：在做下游任务时，首先根据任务类型将其转换为不同的输入形式，再针 对不用类型任务用特定训练集进行微调训练。GPT-1 的参数量为 1.17 亿。 GPT-1 在常识推理、问题回答、文本蕴涵等任务上分别比对比方法进步了 8.9%、5.7%和 1.5%。 研究员 谢春生 SAC No. S0570519080006 xiechunsheng@htsc.com SFC No. BQZ938 +(86) 21 2987 2036 联系人 SAC No. S0570122080053 袁泽世，PhD yuanzeshi@htsc.com +(86) 21 2897 2228 行业走势图 (%) 6 计算机 沪深300 (3) (12) (21) (30) Feb-22 Jun-22 Oct-22 Feb-23 资料来源：Wind，华泰研究 GPT-2 阶段：无监督训练替代有监督训练 GPT-2 通过海量数据和庞大的模型参数训练出更为通用的模型，无需经过特 定的数据集训练也能解决各类问题，即 zero-shot learning（零次学习） ，从 而提高模型的泛化能力。GPT-2 在架构上与 GPT-1 基本保持相同，预训练 阶段与 GPT-1 方法一致，采用了更大的数据集 WebText。处理下游任务时， 以无监督的训练方式进行 zero-shot 学习，通过增加 prompt 文本提示的方 式提示模型具体任务类型。GPT-2 的参数量增加到 15 亿。GPT-2 在命名实 体识别、阅读理解等任务上表现优异，在部分任务上不及预期。 GPT-3 阶段：性能不断突破，开启商业探索 GPT-3 在 GPT-2 架构基础上，舍弃极端的 zero-shot，采用 few-shot 理念， 对于特定任务给予少量（10-100 个）样例。GPT-3 最大训练参数量为 1750 亿，训练结果准确度随着 few-shot 样例的增加有明显提高。基于 GPT-3， OpenAI 发布了 Codex 和 InstructGPT。Codex 是通用代码生成模型，能够 将自然语言转换为代码，支持十几种编程语言。InstructGPT 在 GPT-3 基础 上通过 RLHF 训练奖励模型来进一步优化训练结果，仅用 13 亿参数量即可 实现更符合人类需求的输出。此外，2020 年 6 月，OpenAI 开始对外提供接 入 GPT-3 服务的 API，并按照模型类型进行收费，开启商业探索第一步。 ChatGPT 阶段：各大互联网厂商争相推出类似产品 2022 年 11 月，基于 InstructGPT，OpenAI 发布了以对话方式交互的 ChatGPT。ChatGPT 训练方法与 InstructionGPT 基本相同，区别仅在于在 微调时基于 InstructGPT 而非 GPT-3。随着 ChatGPT 用户的增多，OpenAI 推出了按月订阅的 ChatGPT Plus 服务，开启第二次商业尝试。国内外互联 网厂商纷纷跟进，微软发布基于 ChatGPT 的新版 Bing，谷歌发布 Bard 对 标 ChatGPT；百度宣布推出类 ChatGPT 应用“文心一言”，京东推出智能 人机对话平台 ChatJD，阿里宣布公司正在研发“阿里版”ChatGPT，网易 有道和 360 也表示推出类 ChatGPT 应用。 风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息 整理，不构成投资建议。 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 计算机 正文目录 ChatGPT：三个阶段打造智能对话交互式 AI 模型.......................................................................................................3 GPT-1 阶段：开启生成式预训练模型时代 ....................................................................................................................4 GPT-1：在 Transformer 架构基础上，引入微调训练 ...........................................................................................4 GPT-2 阶段：无监督训练替代有监督训练 ....................................................................................................................5 GPT-2：取消微调，用更大参数和数据集进行 zero-shot 学习 ..............................................................................5 OpenAI：得到微软注资，关注技术滥用问题 ........................................................................................................6 GPT-3 阶段：性能不断突破，开启商业探索 ................................................................................................................7 GPT-3：模型参数达 1750 亿，few-shot 进一步提高性能 .....................................................................................7 对外提供 GPT-3 API，开启商业模式探索 .............................................................................................................8 CodeX：基于 GPT-3 的代码生成工具 ..................................................................................................................9 InstructGPT：人类反馈强化学习技术加持下的“最强”GPT-3 .........................................................................10 ChatGPT 阶段：各大互联网厂商争相推出类似产品 ..................................................................................................12 ChatGPT：以对话方式交互的进化版 InstructGPT .............................................................................................12 ChatGPT Plus：商业模式二次探索 ....................................................................................................................13 微软继续加注 OpenAI，推出基于 ChatGPT 的新版 Bing ...................................................................................13 各大互联网厂商均表示将推出类 ChatGPT 产品 .................................................................................................14 风险提示..............................................................................................................................................................14 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 计算机 ChatGPT：三个阶段打造智能对话交互式 AI 模型 ChatGPT 从诞生到现在，经历了三个大版本阶段的演进。 1）GPT-1 阶段：2018 年 6 月，OpenAI 发