State of Generative AI 2023 生成式 AI State of Generative AI 2023 启明创投 × 未尽研究 启明创投 × 未尽研究 1 概要 State of Generative AI 2023 概要 种研究与创业的一体化，初创企业和风险资本起到了重要的 作用，而美国科技巨头和主要人工智能企业的研究投入、人 才密集度、包括一些底层技术的研究，这些年来已经超过了 大学等研究机构。 GPT-4 迸发出通用人工智能的“火花”，需要研究和解决的 如果说 2022 年被称为生成式人工智能之年，扩散模型应用 取得突破，ChatGPT 出世，一系列开创性的研究论文发表， 2023 年则把大模型推向了一个高峰，GPT-4 的发布，标志着 生成式人工智能，进入了面朝通用人工智能创新应用的阶段。 研究、应用、监管，合力开辟着生成式人工智能的发展之路。 创新应用 生成式人工智能的生态包括了基础设施层、模型层与应用层， 创新在每一个层面发起，竞争也在科技巨头、行业龙头和初 创公司之间展开。 在整个生态中，受益于以参数规模为代表的大模型不断扩张， 算力目前是最稀缺的资源，也处于最容易获利的要津。算力 是大模型成本结构中最大的一块，GPU 的性能，决定了这个 新兴行业的步调。但是，GPU 性能提升的速度，已经落后于 大模型训练和推理需求的增长。 问题反而更多了，如信心校准、长期记忆、持续学习、个性化、 规划和概念跨越、透明度、认知谬误和非理性，等等。而过 去半年最重要的研究方向，是破解和理解大模型神秘而又令 人兴奋的智能“涌现”。大模型既需要超越对下一个词的预 测能力，也需要一个更丰富、更复杂的“慢思考”深层机制， 来监督“快思考”预测下一个词的机制。 大模型不仅用来生成文章和图片，而且可以当成智能代理， 帮助管理和执行更复杂的任务。开源模型实现了低成本、小 型化、专业化的训练，与闭源的基础模型竞争互补，共同推 动了生成式人工智能技术的应用，也加快了模型向边缘侧和 移动端部署。生成式人工智能大模型日益向多模态发展，具 身智能也成为一个重要研究方向，帮助生成式人工智能更好 地理解和处理现实世界的复杂性和多样性。大模型更安全、 让智能更可信，成为新兴的研究热点。生成式人工智能对于 就业和经济的广泛影响，正在吸引经济学、社会学、心理学 等不同领域的研究兴趣。但仍然需求实证性的研究。 面对这一革命性的技术，不论是主动还是被动，企业都被卷 监管、 安全与人才 式都将发生变化，进而影响企业的发展。 程。欧盟努力在今年底让《人工智能法案》生效，为全球人 入其中。不管是技术的守成者、创新者还是采纳者，业务模 当前，生成式 AI 尚处于技术发展的早期阶段，基础架构和核 心技术并不成熟；科技巨头忙于研发大模型，尚未顾及深度 生成式人工智能加快了中国、欧盟和美国的监管和立法的进 工智能立法定下基调。中国也预计将于明年提出综合性的人 工智能立法。而美国重点在于建立风险控制技术标准。 切入具体的应用场景。但巨头何时添加相似的功能（feature） 中国对通用人工智能表现出很大热情与期待。地方政府中北 边界的扩张也可能在未来挤占初创企业的发展空间，可以说， 科研、创新与产业目标。中国研究人员发布的论文在数量上 始终是悬在初创企业头上的达摩克利斯之剑，而大模型能力 这是初创企业的蓝海，但也有航道下的暗礁。 在中国，目前从模型出发的公司受到看好，通用大模型和垂 京、上海、深圳是第一梯队，均提出了较具雄心的人工智能 已经超过了美国，但在金字塔顶端，无论是研究还是创业， 美国仍然占据明显的优势 。 直大模型的创业如火如荼，而自建模型的应用也在努力构建 科技部要求人工智能企业应该接受科技伦理审查；审查主体应 建大模型。我们有理由相信，在众多模型层和科技大厂的合 设立负责任与可信人工智能部门，从去年到今年以来经过一些 着自己的壁垒；同样，科技巨头正在利用自身算力优势来构 力下，模型层的整体能力将进一步完善，在未来为应用层企 业提供可靠的支撑。 前沿研究 生成式人工智能领域的一个突出特征，是研究与创新过程的 密切结合，许多在企业内部实现，迅速推出用例和产品。这 启明创投 × 未尽研究 该设立科技伦理（审查）委员会。美国人工智能企业较早开始 调整，反映出在生成式人工智能发生变革之际，企业正在寻求 用更好的技术和方案，来安全和负责地部署新技术。 十大前瞻 基于上述研究，报告对未来一至三年的大语言模型、多模态 模型和商业竞争态势，做出了十点前瞻。 1 目录 State of Generative AI 2023 目录 第一章 行业变革 第二章 前沿研究 05 生态位与新物种 22 04 生态架构 06 定价模型：基础设施层 07 定价模型：模型层 09 定价模型：应用层 10 11 12 14 16 17 18 企业运营发生改变 市场格局 GPT-3 之后的新公司 20 致敬 2022 23 24 25 26 27 大模型的“慢思考” 开源 智能代理 多模态 具身智能 安全与可信 大模型公司 第三章 监管、安全与人才 语言类 30 地方的 AI 雄心 应用层公司 多模态 29 中美欧监管 31 安全与伦理 32 33 中美塔尖人才 从研究到创新 第四章 十大展望 35 36 启明创投 × 未尽研究 十大展望 关于报告 2 State of Generative AI 2023 行业变革 第一章 行业变革 生成式人工智能的生态包括了基础设施层、模型层与 应用层。创新在每一个层面发起，竞争也在科技巨头、 行业龙头与初创公司之间展开。 启明创投 × 未尽研究 3 第一章：行业变革 State of Generative AI 2023 生态架构 生态架构 AI 1.0 时代，需要针对特定任务，利用相关的数据研发特定 模型，任务和模型耦合。AI 2.0 时代，经过大规模数据预训 练得到的大模型，带来了极好的效果和泛化能力，可以直接 用于下游的各种任务。 四代底层技术的进步，催动了四波人 工智能的发展。第一波小规模专家知 识，用了 40 年走完；第二波浅层机器 学习，用了 20 年走完；第三波深度学 习，用了 8-10 年走完，并取得一定的 成就。最近这一波 AI 新浪潮，以 2017 年基于 Transformer 的预训练模型为 起点，并在 2020 年 GPT-3 大模型发 布后突破技术奇点。 AI 2.0 的公司将分为三层： ● 基础设施层：解决大模型训练 / 推理 / 部署的工具链厂商 和提供 GPU 资源的智算中心。智算中心再往下是新一代 AI 芯片或者下一代通用 GPU。 ● 模型层：研发大模型，并对外提供 AI 模型服务或者 API 服务，包括训练（training）和推理（inference）时需要 的 GPU 资源。除了这类输出“水电”的底座大模型，也 包括提供针对特定行业或场景的垂直模型的公司。 ● 应用层：专注于解决某个特定领域的应用公司，包括自研 大模型的应用公司和利用第三方大模型的应用公司。 利用第三方模型构建的应用 Jasper, Descript, Copy. AI, TutorEva.ai 应用层 闭源大模型及 API 服务 自建大模型的 垂直应用 Adept, Runway, Character.ai, 街远科技，无限光年， 云知声 开源模型及 Model Hub Open AI, Cohere, Anthropic, 百度文心， 智谱 AI Hugging Face, Stability, 阿里云 Model Scope 应用层 模型层 工具链 AnyScale, MosaicML 智算平台 Azure, AWS，阿里云，火山引擎，智算中心 基础设施层 图中标红的企业为启明创投已布局企业。 4 生成式 AI 第一章：行业变革 State of Generative AI 2023 生态位与新物种 生态位与新物种 力于打造下一代模型的大模型公司，再到众多通用或着面 向行业的应用公司，这些企业的创新日新月异，为生成式 AI 带来了无限活力。 在生态系统中，每一个物种都拥有自 己的角色和地位，即生态位。处于不 同的生态位，则指示了不同物种之间 的合作和竞争关系。 ● 云巨头研发通用大模型，服务于自身业务，也对外开放 API。微软旗下操作系统、生产力工具、企业管理系统、 代码平台、安全套件都拥有了副驾驶（Copilot）；百度 要把每个产品重做一遍。同时，这些巨头还在开发自己的 芯片，谷歌已有了 TPU，微软则是在研发雅典娜（Athena）。 ● 芯片厂商也在拓展自己的边界，英伟达针锋相对地推出了 DGX Cloud，它还在强化赋能元宇宙（Omniverse）与 AI 2.0 的生态同样如此。新的“模型即服务（MaaS）”企业， 以及自建模型、微调模型或调用 API 服务市场具体应用场景的 企业，蔚为这个生态中的“新物种”，寻找着属于自己的新市场， 同时为竞争做着准备。以下是一些对于这些新物种的观察： ● OpenAI 是“新物种”的代表，率先打造出具备涌现能力 大模型工厂（AI Foundations）的云平台。 ● SaaS 巨头原本就是基于云的应用，正在从大模型汲取新 的动能。未来，绝大多数 SaaS 企业都会是包含生成式 AI 功能的 SaaS 企业。 ● 彭博等行业龙头开始防御性地采纳自有大模型技术，也盯 着基础模型的机会。 的大模型，激活了整个生态系统。这让在 AI 1.0 时代有所 此外，还有闭源与开源的路线，由于 License 的限制，开源 ● 生成式 AI 的原生企业，它们遍布基础设施层、模型层和 迭代来匹敌闭源模型的效果。而基于闭源模型，很多企业又 成就的企业紧张，但又让更多的创业者与投资者兴奋。 应用层。从提高研发和使用模型效率的工具链企业，到致 模型并不一定可以商用，并且开源模型无法确保在未来一直 会担心未来的迭代可能受制于人。 自建模型 利用第三方 的应用 模型的应用 应用 模型 DGX Cloud GPU 芯片巨头 （英伟达） 启明创投 × 未尽研究 云 芯片 行业巨头 （彭博等） MaaS SaaS 巨头 （Salesforce 等） 科技巨头 （微软等） 5 第一章：行业变革 State of Generative AI 2023 定价模型：基础设施层 定价模型： 基础设施层 亚马逊选择了采购 A1