证券研究报告 ChatGPT：AI模型框架研究 ——AI行业深度报告 行业评级：看好 2023年3月25日 分析师 刘雯蜀 邮箱 liuwenshu03@stocke.com.cn 证书编号 s1230523020002 摘要 一、AI框架重要性日益突显，框架技术发展进入繁荣期，国内AI框架技术加速发展： 1、AI框架作为衔接数据和模型的重要桥梁，发展进入繁荣期，国内外框架功能及性能加速迭代； 2、Pytorch、Tensorflow占据AI框架市场主导地位，国内大厂加速布局AI框架技术； 3、AI框架技术从工具逐步走向社区，生态加速形成，未来围绕安全可信、场景落等维度呈现显著发展趋势； 二、GPT开启AI大模型时代，国内外大厂发力布局，商业化空间加速打开： 1、数据、算法、模型三轮驱动AI发展，大模型优势显著，成为AI主流方向； 2、GPT开启千亿参数级AI大模型时代，语言、视觉、科学计算等大模型快速发展； 3、微软加速AI商用化进程，国内大厂发力布局，看好在细分场景下的应用落地； 三、建议关注标的： 1、基础层：AI算力：中科曙光；大模型：360，科大讯飞 2、应用层：AI+工具：金山办公； AI+建筑：广联达；AI+法律：通达海； AI+医疗：创业慧康，久远银海；AI+教育： 科大讯飞； AI+网安：安恒信息、奇安信；AI+金融：同花顺； AI+交通：佳都科技 风险提示：1、AI技术发展不及预期；2、版权、伦理和监管风险； 2 AI框架 3 nMnOnNmOvNrRnRoMrRpQxP9PdN8OpNmMtRpMfQmMtQkPsQvN9PqRmQNZsOsPxNmRsO 深度学习框架：人工智能时代的操作系统 训练 数据准备 环境安装 算法实现 模型训练 推理 数据准备 环境安装 算法实现 模型训练 模型验证 人工智能开发 链条长且复杂 数据 人工智能基础设施 深度学习框架 使用深度学习框 架工具进行开发 物理资源调度、 I/O设备管理 分布式硬件资源 通用模型架构 使用深度学习框 架工具进行开发 支持计算机视觉应用 使用主流编程语言 GPU加速拓展包 模型 开发者使用简单 支持AI领域的快速变化 资料来源：北京日报，认知计算与云安全公众号，华为云，浙商证券研究所 4 01 人工智能框架技术发展进入繁荣期 指令式 API复杂 无GPU支持 手动实现网络 2000年~ 萌芽阶段 声明式 使用简单 多GPU支持 复杂网络支撑 2012年~ 成长阶段 生态友好 分布式支持 效率优化可拓展 2015-2018年 稳定阶段 编译层优化 多场景任务支持 丰富套件支持 2019-2020年~ 深化阶段 算子优化 统一标准 端云一体 大模型 大任务 全场景 隐私与公平 …… 未来 5 资料来源：中国信息通信研究院《2022年AI框架技术白皮书》，浙商证券研究所 01 国际主流深度学习框架：互联网巨头主导开发 国内外深度学习框架 发布时间 开发公司 语言 是否开源 计算图 Python √ 静态 Lua，Python （new） √ 静态 √ 2015 C++ √ 动态 √ 高效灵活、易用 2016 Python √ 动静兼容 √ 容易上手 2017 C++ √ 静态 √ 简单清晰 2020 Lua，Python（new 2020 Python 202x C++、CUDA、 2013 2014 资料来源：机器之心，CSDN，浙商证券研究所 深度学习框架 ） Python 是否是分布式框架 速度快、使用 方便、社区好 √ 性能高、适合 做语音任务 移动端高性能、 √ √ 特点/优点 通用轻便 基于源码转换自动微 分，不依赖计算图 动静合一 √ 高效灵活、易用 灵活高效 6 01 TensorFlow+Pytorch占据市场主导地位 2018-2022年全球论文发表数量（按使用框架分） 2022年中国开发者人工智能框架使用率 Pytorch TensorFlow 7 资料来源：Papers with Code，Omedia，浙商证券研究所 01 Pytorch：Meta开源的主流学习框架 Pytorch版本平均每3~4个月更新一次，功能服务持续扩充 2018年4月，0.4版 支持Windows， 并入caffe2 2017年，Pytorch 正式发布 2019年10月，1.3版 支持移动设备部署， 更多功能工具 2019年5月，1.1版 支持TensorBoard， 增强可视化 2021年3月，1.8版 支持AMD GPU 2020年4月，1.5版 与Amazon合作，提升 开发者模型部署效率 2020年1月，1.4版 支持分布式模型 并行训练 2020年11月，1.7版 支持Windows上的分布式 训练，提供更多API 2022年11月，2.0版 Transformer模型 训练速度提升1.5-2.0倍 多维优势支持Pytorch实现对TensorFlow的反超 门槛低 代码简洁灵活 文档规范 资源丰富 开发者多 大厂支撑 只需要Numpy和基本 深度学习概念 基于动态图机制，网 络搭建更方便 官方社区可查看各版 本文档 arXiv新算法大多基于 Pytorch实现 Github上贡献者1100+ Meta维护开发 适用人群广泛 深度学习初学者：快速实现模型算法，加深深度学习概念认识； 机器学习爱好者：快速实现人脸识别、目标检测、图像生成等AI功能及实验； 算法研究员：最新arXiv论文算法快速复现及开发； 资料来源：CSDN，浙商证券研究所 8 01 Open AI：从多种框架的使用到专注于Pytroch 2015年 大多数情况使用 特殊情况使用 TensorFlow Theano 深度模型框 支持GPU加速 的张量计算 架转变 2020年 Pytroch成为统一的深度学习框架 核心 功能 方便优化模型的 自动微分机制 • 简单易懂：PyTorch 具有用户友好的 API； 原因 • 便于调试：对 Python 生态的良好支持； • 强大高效：Pytorch提供了非常丰富的模型组件。 极大缩短 研究周期 9 资料来源：OpenAI官网，浙商证券研究所 01 Tensorflow：谷歌开源的向更加易用发展的主流学习框架 Tensorflow从0.1到2.0的发展历程 缺点：调试困难、API混 缺点 优点 改进之 处 发布版 本 乱、入门困难 缺乏调度能力，需手动配置 优点：更快、更灵活、 优点：简化的模型开发流程、强大 有效计算 随时就绪 的跨平台能力、强大的研究发现 采用CPU+GPU计 引入更高级的API，可在 运用更简单的模型进行构建、简化 添加两种新机制，解决输入管 算模型 移动设备上运行 PI 道瓶颈并节约资源 开源Tensorflow Tensorflow1.0.0发布， 稳定版诞生 Tensorflow2.3发布 0.1版本 Tensorflow2.0发布 使得神经网络能够 2015年 2017年 资料来源：腾讯云，CSDN，helloword，城市经济网，浙商证券研究所 2019年 202x年 10 AI框架技术呈现三层次结构，从工具走向社区生态 生态层 AI领域扩展库 AI+科学计算 （CV、NLP…） （GAN、强化学习…） （电磁仿真、视频生成…） 科学计算组件 并行及优化组件 AI 框 架 组件层 自动并行 高阶优化器 编程开发 … 科学计算（数值方法） 科学计算（AI方法） 编译优化 安全可信组件 … 模型可解释 数据-模型安全 编程接口API 分布式并行 基础层 社区 套件-模型库 图算融合 文档 工具组件 … 训练可视化 调试器 … 编码语言 自动微分 动静转换 内存优化 模型轻量化 算子生成 训练 开发 推理 部署 计算图中间表示 硬件使能 计算算子 通信算子 11 资料来源：中国信息通信研究院《2022年AI框架技术白皮书》，浙商证券研究所 01 百度PaddlePaddle飞桨平台 飞桨企业版 零门槛AI开发平台 全功能AI开发平台 飞桨产业级深度学习开源开放平台 工具与 组件 端到端 开发套件 基础 模型库 核心 框架 自动化 深度学习 强化学习 低代码开发工具 语义理解 预训练模型应用工具 文字识别 自然语言处理 静态图 图学习 可视化分析工具 图像分类 计算机视觉 科学计算 安全与隐私工具 目标检测 语音 大规模 分布式训练 量子机器学习 资源管理与调度工具 图像分割 图像生成 推荐 生物计算 云上部署编排工具 大模型训推一体 时间序列 文心大模型 学习 与实训 社区 推理部署 训练 开发 动态图 联邦学习 产业级 数据处理 模型 压缩 服务器 推理引擎 边缘与移动 端推理引擎 前端 推理引擎 服务化 部署 全场景 统一部署 12 资料来源：CSDN、中国日报中文网、浙商证券研究所 01 未来AI框架技术将呈现六大发展趋势 前景展望 发展趋势 泛开发 全场景 前端便捷化 后端高效化 全场景标准化互通 多种开发语言无缝衔接 动静图转换能力提升 后端运行效率 AI框架与硬件平台解耦，通过标准接口实现跨设备平台快速部署 超大规模 混合并行 分布式处理 科学计算 自动微分 统一加速引擎 安全可信 鲁棒性检测 模型可解释 提供丰富的 AI 鲁棒性检测工具 工程化 模型自适应 框架精细化 AI 模型的压缩和端侧推理框架的轻量化 突破五堵墙：内存墙+算力墙+通信墙+调优墙+部署墙 丰富编程接口 内置专业领域科学计算套件 13 资料来源：中国信息通信研究院《2022年AI框架技术白皮书》 、浙商证券研究所 AI大模型 14 02 算力+数据支撑AI大模型加速发展 2006年 Hadoop技术 1997年，IBM 1965年 2002年 摩尔定律 战胜卡斯帕罗夫 云存储、云计算诞生 计算和存储 能力增长 2004年 分布式技术 2005年 1G磁盘存储成 本降至2美元 2010年 开始使用GPU 训练AI模型 2013年 谷歌AI 学会策略类游戏 2017年 AlphaZero 20