AIGC发展研究 （1.0版 修订号 0.92） 清华大学 新闻与传播学院元宇宙文化实验室 @新媒沈阳 团队、 AIGC 2023年5月18日 （如有错误，提醒修订） 元宇宙/虚拟数字人/大数据/AI 系列研究 数字藏品发展研究报告1.0 虚拟数字人发展研究报告3.0 虚拟数字人发展研究报告2.0 2022 ——社会价值与风险治理 2021 虚拟数字人发展研究报告1.0 2020 元宇宙系列 虚拟数字人系列 ——产业发展与技术标准 时空智能发展研究报告1.0 韩国元宇宙动态研究报告 元宇宙发展研究报告3.0版 元宇宙发展研究报告2.0版 元宇宙发展研究报告1.0版 ——溯源应用与发展 2019 大数据/AI/5G生态报告 2017 2016 未来媒体报告 5G下一代风口：AR VR的新浪潮 2015 2007 虚拟社区与虚拟时空隧道 3 清华大学新闻学院元宇宙文化实验室  国内高校最早一批成立的元宇宙实验室，国内首个带有文化属性的元宇宙实验室。  中文在线是实验室产学研的支持单位，在未来媒体技术发展、元宇宙文创、元宇宙指数、虚拟数字人 指数等元宇宙领域展开研究。  打造成世界一流的具有行业前瞻性、理论开拓性、研发创新性的元宇宙科研机构。  实验室提供了数十个体验环节。截至2023年4月底，元宇宙文化实验室已接待1531拨访客，共计约 6606人次，涵盖中央和地方新闻媒体、各级政府机构、学界研究人员、研究学会、高校师生，业界 知名互联网企业、中小型科技创新企业。 2021年11月16日 筹建中的元宇宙研究室， 接待第一批参观者 2022年3月10日 接待文旅部领导参观 2022年3月29日 在线举办第一场元 宇宙沙龙 2022年4月16日 清华大学新闻与传播学院元宇 2022年4月24日 接待院士参观 2022年7月22日 高中生第一次参观实验室 宙文化实验室正式成立 4 产业支持单位：中文在线  中文在线的元宇宙布局横跨内容IP、虚拟数字人、区块链、数字藏品、XR、垂类模型、应用场景、商业模式等。  公司提出MWA（Metaverse、Web3.0、AIGC）科技系统驱动新一轮的内容革命，并发布元宇宙产品RESTART重启宇宙，是以 《流浪地球》为世界观基底的国内首个科幻主题元宇宙。  中文在线拥有的海量优质正版数据本身是庞大且高质量的语料库，能够大幅提高模型训练效果，数据体量已经超过了55TB。 虚拟数字人 VR/AR 制定内容IP领域的虚拟数 字人应用场景及商业变现 模式 坐拥550万种数字内容资源、450万 原创驻站作家、600余家签约版权机 构的平台优势，AIGC的多模态能力作 用于IP衍生孵化链条上，助力文字作 清华大学党委副书记 向波涛(左) 中文在线集团董事长兼总裁 童之磊(右) 品的有声化、动漫化、影视化等 本报告生成方式说明 图片 合规性 图片大部分都是AIGC制作，碳基生物做图片较少，因为法律明确规定碳基生 物（人类面部）版权，而硅基生物暂未有相关规定。 文字 公共性 在公共知识领域，尽量使用AIGC和ChatGPT抓取信息。本报告文字超过60% 由AIGC自动生成，并经过人类进行适当修改 思维 创新性 创新知识和思考主要来自自然人，会利用AIGC完善自然人的理论创新和初步 思考，加快知识生成速度。 结构 系统性 在体系和系统性上参考AIGC和ChatGPT 语种 广泛性 在跨语种知识使用上依赖ChatGPT，学会所有语种对自然人是不可能的，如法 语、德语、俄语、日语等等，现在借助ChatGPT能到任意语种熟练表达。 技术篇 深度学习进化史：知识变轨 风起云涌 已发生的关键步骤 即将发生的关键步骤 通用人工智能（AGI） 全维适应 人工神经网络的诞生 反向传播算法的提出 模型间的有效沟通与协作 共享协作 GPU的使用 大数据的出现 预训练和迁移学习 生成对抗网络（GAN）的发明 强化学习的成功应用 自然语言处理的突破 人机共生 融合与共生 模型解释性 透明智慧 模型道德和伦理 价值同构，道德编码 能源和计算效率 环境兼容 未来发展方向和挑战 新型学习方法 模型压缩与优化 网络结构和设计 创新 多模态学习 元学习、生物启发 式学习，生态学习、 泛化能力 微缩优化 创新结构主义 模态融合 安全性和鲁棒性 社会影响和监管 公正监管 深度学习模型有望逐步演变为具有更高智能和自主性的新型生命体 大语言模型进化树：迁移学习 能力涌现 灰色：词向量及早期训练模型 蓝色：仅解码器模型 粉红色：仅编码器模型 绿色：编码器-解码器模型 模型时间线的垂直位置：代表发布日期 开源模型：实心方框 闭源模型：空心方框 右下角堆叠条形图：来自各公司和机构的模型数量 分布式表示：用高维空间稠密向量捕获语言的复杂性 规模效应：性能通常与模型大小（即参数数量）和训练 数据量成正比 领域自适应：源领域知识如何应用到目标领域 引用：Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond ，JINGFENG YANG等 "Attention is All You Need"：启蒙之光 界碑之作 Transformer • 并行计算力 ~“分散式思维” • 自注意力机制 ~“自我聚焦” • 序列顺序灵活 ~“时空松弛” • 模型简化 ~“极简主义” Transformer 内容 AIGC 自注意力 Google于2017年发布的一篇论文，引入了Transformer模型，在自然语言处理（NLP）中引发了一场革命 ChatGPT：事实性通过图灵测试 01 为什么是chatGPT？ l 非线性创新 l 主流偏离，边缘性技术突破 l 黑天鹅 l 偶然性创新 02 ChatGPT闭源之后，未公开的可能的秘密 l 数据洪流之后的涌现，增强学习的算法 l 维度扩展和神经网络复杂度增加，优化了自我监督学习的算法 l 对人类的反馈进行强化优化 l 提升模型可解释性 l 新的全局算法思维和实现，多模态学习算法，更先进的生成对抗网络（GANs）算法 chatGPT类软件的研发过程 预训练过程→人机对话系统 微调 Stage 01 数据收集 需要大量的文本数据作 在特定任务，如对话系统中，可借助RLHF（基于人类反馈 的强化学习）对模型进行微调以优化其在特定任务上的性能。 为训练的基础 数据预处理 预处理的步骤包 系统设计 Stage 02 括文本清理、标 设计一套系统来处理用户的输入，生成模型的响应，以及管 准化、分词。 理对话的上下文。 模型选择 Stage 03 GPT3.5使用的Transformer 模型由多个编码器和解码器 模型训练 训练过程是基于 层组成，每一层都使用自注 评估和优化 意力机制和全连接网络。 评估模型在特定任务上的表现，如对话生成质量、准确性等。 验证和测试 部署和维护 在一个单独的测试集上 将对话系统部署到实际生产环境，并进行持续维护和更新。 Stage 04 自监督的；通过 反向传播和梯度 下降进行，以最 小化预测错误 Stage 05 评估模型的性能。 ChatGPT1/2/3/4：知新悟旧 纳微入精 G P T- 1 5GB预训练数据 1.17亿参数 G P T- 2 40GB 预训练数据 15亿参数 G P T- 3 45TB预训练数据 1750亿参数 G P T- 3 . 5 基于人类反馈的 强化学习（RLHF） G P T- 4 理解图像、人类水平 的专业和学术基准 Ø 参数扩展：参数规模数量呈指数级增长 Ø 预训练-微调范式：无标签文本数据预训练、特定任务微调、任务特化学习、细粒度的控制策略 Ø Transformer架构：高效并行计算和长距离依赖捕捉 Ø 自回归生成式预训练：生成连贯、富有逻辑的文本、连贯性生成 Ø 模型泛化能力：NLP任务中展现出更强的泛化能力、跨任务适应 Ø 零样本/少样本学习：有效学习、降低数据标注成本 Ø 多语言支持：跨语言的知识迁移和应用 Ø 开源与闭源：ChatGPT从开源到闭源引发巨大争议 注：GPT3.5和GPT4预训练数据和参数量官网尚未公布确切数据 GPT5/6/7/8：无尽探索 灵智飞升 GPT7 GPT6 GPT5 GPT8 技术特性 •更大的模型规模 •多模态学习与融合 •更强的领域适应性和可 定制化 •更强的解释性和可控性 •强化学习和自适应能力 •通用人工智能 •知识表示与推理 •混合推理和学习方法 •能量效率与模型优化 •多智能体协作 •人机协同与伦理道德 •安全和可持续发展 •人类水平的自然语言理解 •高度集成的跨领域知识 •更强的自适应和在线学习 •强化道德伦理和人工智能 政策 可能趋势 • 模型规模持续扩大 • 可解释性与可控性 • 协同学习和迁移学习 • 多模态学习 • 更强的领域适应性 • 社会和道德影响关注 • 优化与压缩 • 更广泛的应用场景 产品节奏：灰度演进 稳健狂飙 插件生态 Plugin，构建插件生态 分层服务 行业定制 Plus订阅服务 Model Instance 0 0 弹性计费 0 API接口和tokens计费 2 3 4 灰度演进 0 5 如联网查找等。满足需求,保持 0 的稳定，模块聚合 6 蓝海试探 免费试用 0 1 0 敏捷迭代 7 快速小版本迭代 推理过程：关联推测 择优输出 ü 理解输入： 分 布 式 语 义 解 析 ， 首 先 会 接 收 文 本 序 列 ， 转 化 为 词 向 量 ， 也 称 为 嵌 入 。 该 过 程 基 于 分布式语义假设，即词义由其在上下文中的使用决定。 ü 参数关联： 上 下 文 焦 点 连 锁 ， 将 这 些 词 向 量 输 入 到 Tr a n s f o rm e r 的 E n c o d e r 中 生 成 上 下 文 表 示 。 可以看作是在其内部参数模型中寻找与输入相关的信息，也可视为一种连锁反应，因为每个词的 上下文表示都取决于其前面的词的上下文表示。 ü 生成回答： 生 成 性 概 率 建 模 ， 模 型 初 始 化 Tr a n s f o rm e r 的 D e c o d e r 部 分 ， 并 将 E n c o d e r 的 输 出（即上下文表示）和当前