---

1 经营综合报告

人工智能的未来是混合式的。生成人工智能采用在创纪录的速度1和驱动更高的对计算的需求，2人工智能处理必须分布在云和设备之间的人工智能规模和达到其全部潜力——就像传统计算从大型机和瘦客户机今天的云和边缘设备。混合人工智能架构在云和边缘设备之间分配和协调人工智能工作负载，而不是单独在云中处理。云计算和边缘设备，如智能手机、汽车、个人电脑和物联网设备，共同努力，提供更强大、更高效、更高度优化的人工智能.

其主要的动机是节省成本。例如，与传统的搜索方法相比，基于每个查询的生成式人工智能的搜索成本估计增加了10倍3——而这只是许多生成式人工智能的应用程序之一。混合人工智能将允许生成式人工智能开发者和供应商利用边缘设备上的计算能力来降低成本。混合人工智能架构（或仅在设备上运行人工智能）在全球范围内提供了性能、个性化、隐私和安全的额外好处。

混合人工智能架构可以有不同的卸载选项，根据模型和查询复杂性等因素在云和设备之间分配处理。例如，如果模型大小、提示符和生成长度小于某个阈值，并提供了可接受的精度，则推断可以完全在设备上运行。如果任务更复杂，则模型可以在云和设备上运行。混合人工智能甚至允许设备和云同时运行模型——设备运行模型的“轻”版本，而云并行处理“完整”模型的多个令牌，并在需要时纠正设备的答案。

随着强大的生成人工智能模型的变小，而设备上处理能力不断提高，混合人工智能的潜力进一步增长。拥有超过10亿个参数的人工智能模型已经在性能和精度水平与云计算相似的手机上运行，拥有100亿个或更多参数的模型将在不久的将来在设备上运行。

混合人工智能方法几乎适用于所有生成式人工智能应用程序和设备领域——包括手机、笔记本电脑、XR耳机、车辆和物联网。该方法对于生成式人工智能扩大全球规模并满足企业和消费者的需求至关重要。

2 生成式人工智能的介绍和当前的发展趋势

ChatGPT抓住了我们的想象力和我们的好奇心。在2022年11月推出仅两个月后，它的月活跃用户就达到了1亿，是历史上增长最快的消费应用，也是第一个生成式人工智能“杀手”应用。随着创新步伐的快速发展，要跟上生成式人工智能的发展就变得越来越困难了。据一家主要聚合网站称，目前有超过3000个生成式人工智能应用程序和功能可用。4人工智能正在经历一个大爆炸的时刻，类似于电视、全球网络或智能手机的发布。而这还只是个开始。

生成的人工智能模型，如ChatGPT和稳定扩散，可以创建新的和原始的内容，如文本、图像、视频、音频，或其他数据从简单的提示。这些模型正在颠覆传统的搜索、内容创建和推荐系统方法——通过从普通到创造性的用例提供了效用、生产力和娱乐方面的显著增强。建筑师和艺术家可以探索新的想法，而工程师可以更有效地创建代码。实际上，任何适合文字、图像、视频和自动化的领域都可以受益。

网络搜索是许多被生成式人工智能干扰的应用程序之一。另一个例子是微软365副驾驶，这是一个新的生产力功能，它使用生成式人工智能来帮助编写和总结文档、分析数据，或将简单的书面想法转化为演示文稿——所有这些都嵌入在微软的应用程序中，包括Word、Excel、PowerPoint、Outlook、Teams等等。

生成式人工智能的出现也标志着用户向探索更多样化和个性化的数字景观迈出的第一步。它有潜力使3D内容创造大众化，因为3D设计师可以通过生成式AI工具更快、更有效地开发3D内容。这不仅将加速沉浸式虚拟体验的创造，而且还将减少个人创造者创造他们自己的内容的进入障碍。

我们即将看到生成式人工智能中出现各种新的企业和消费者用例，提供我们甚至还没有想象到的能力。基础模型，如通用大型语言模型（GPT-4和LaMDA等LLMs），已经实现了前所未有的语言理解、生成能力和世界知识水平。这些模型中的大多数都相当大，有超过1000亿个参数，并通过免费或付费的api向客户公开了它们的功能。

使用基础模型正导致大量的初创公司和大型组织在构建跨文本、图像、视频、3D、语音和音频的应用程序。例如，代码生成（GitHub副驾驶）、文本生成（Jasper）、艺术家和设计师的图像生成（中途旅程）和会话聊天机器人（Thardes.ai）。

早期的估计是，生成式人工智能的市场规模为1万亿5美元——通过生态系统堆栈的参与者传播。为了实现这一巨大的机遇，并推动人工智能成为主流，计算架构需要大规模发展，并满足生成式人工智能不断增长的处理和性能需求。

3 混合人工智能对于生成式人工智能的规模至关重要

具有数十亿个参数的大规模生成式人工智能模型对计算基础设施提出了重大需求。因此，到目前为止，学习人工智能模型参数的人工智能训练和执行该模型的人工智能推理都被限制在大型和复杂模型的云实现中。

人工智能推理的规模将明显高于人工智能训练。尽管训练单个模型消耗大量的资源，大型生成人工智能模型预计每年只训练几次。然而，使用这些模型进行推断的成本随着日常活跃用户的数量和使用频率而相应增加。在云中运行推理会导致非常高的成本，这对于扩展是不可持续的。

混合人工智能是一个解决方案——就像传统的计算从大型机和瘦客户机转向云基础设施和包括个人电脑和智能手机在内的智能设备一样。

3.1 什么是混合人工智能？

混合人工智能是设备和云协同工作，在适当的时候和时候将人工智能计算分开，以提供增强的体验和资源的有效利用。对于某些场景，计算将主要围绕设备进行，必要时将任务卸载到云端。在以云为中心的实现中，设备将在可能的情况下，随机地从云中卸载人工智能的工作负载，并受其能力的影响。

3.2 混合人工智能的好处

混合人工智能架构（或仅在设备上运行人工智能）在全球范围内提供了在成本、能源、性能、隐私、安全和个性化方面的好处。

3.2.1 费用

随着生成式人工智能模型的使用和复杂性的持续增长，由于数据中心基础设施的成本不断增加，包括硬件成本、房地产成本、能源成本、运营成本、额外带宽和网络进出费用，因此仅在云中运行推理并不经济。

例如，目前用于LLM推断的基于云的计算架构给大小的互联网搜索公司带来了更高的运营成本。考虑一下通过生成式人工智能llm来增强互联网搜索的未来，比如运行超过1750亿个参数的GPT。生成式人工智能搜索可以提供更好的用户体验和结果，但每个查询的成本估计会比传统的搜索方法增加10倍，如果不是更多的话。目前每天有超过100亿个搜索查询，即使基于llm的搜索只占查询的一小部分，每年的增量成本也可能是数十亿美元。

将一些处理从云转移到边缘设备，可以减少云基础设施的压力，并减轻费用。这使得混合人工智能对于生成式人工智能继续扩大规模至关重要——利用了已经部署的数十亿具有人工智能能力的边缘设备，以及处理能力增强的数十亿多边缘设备。

成本节约也是生成式人工智能生态系统的一个关键推动因素，它允许oem、独立软件开发者（ISVs）和应用程序开发者更经济地进行实验和创建应用程序。例如，开发人员可以创建一个基于稳定扩散的应用程序，完全在设备上运行，并为每一张图像支付更低的查询成本，或者根本不支付成本。

3.2.2 能量

具有高效人工智能处理的边缘设备提供了领先的每瓦特性能，特别是与云计算相比。边缘设备可以以能量的一小部分运行生成式人工智能模型，特别是当不仅要考虑处理，还要考虑数据传输时。这一差异在能源成本方面非常显著，并帮助云供应商卸载数据中心的能源消耗，以实现其环境和可持续性目标。

3.2.3 可靠性、性能和延迟

在混合人工智能架构中，设备上的人工智能处理提供了可靠的性能，可以与云计算相媲美，甚至在云服务器和网络连接拥挤时更好。7.生成式人工智能查询的云需求峰值可能会产生大队列和高队列延迟，在某些情况下甚至会导致拒绝服务。8这可以通过将计算负载移到边缘设备来防止。此外，在一个混合的人工智能架构中，设备上处理的可用性可以允许生成式人工智能应用程序在用户所在的任何地方工作，即使没有连接。

3.2.4 隐私和安全

设备上的人工智能本质上有助于保护用户的隐私，因为查询和个人信息只在设备上使用。对于企业和工作场所使用生成式人工智能的情况，这有助于解决保护公司机密信息的挑战。例如，一个用于生成代码的编程助手应用程序可以在设备上运行，而不会向云泄露机密信息——这解决了当今公司已经面临的一个问题。9对于消费者来说，混合人工智能架构中的“私人模式”允许用户严格利用设备上的人工智能向聊天机器人输入敏感的提示，比如健康问题或创业想法。此外，设备上的安全性很强，并将不断发展，以确保个人数据和模型参数在边缘设备上是安全的。

3.2.5 个性化

混合人工智能使更个性化的体验成为可能。数字助手将根据用户的表达方式、怪癖和独特性进行定制，而不牺牲隐私。这个角色是基于一个人在现实生活中的行为、价值观、痛点、需求、关注和问题的表现，随着时间的推移而学习和演变。它被用于增强和定制生成式的人工智能提示，然后在设备上或云中进行处理。由于它停留在设备内，并且随着设备上的学习，角色不断得到优化和更新。

个性化并不仅仅是面向消费者的服务。例如，组织可以使用它来标准化代码的编写方式，或者以独特的音调和声音生成公共内容.

3.3 AI工作负载是如何分布的

我们设想了一个混合的人工智能架构，使用不同的卸载选项来分配处理，这将随着时间的推移而演变，这取决于模型和查询的复杂性。例如，如果模型大小、提示符、生成长度小于某一阈值，并且提供了可接受的精度，那么它就可以完全在设备上运行。如果更复杂，那么该模型可以在云上和设备上联合运行，或者如果需要更多的最新信息，那么互联网也可以提供这些信息。

3.3.1 以设备为中心的混合人工智能

在一个以设备为中心的混合人工智能架构中，该设备作为云的锚点，仅用于卸载设备不能充分执行的任务。由于许多生成式人工智能模型可以在设备上充分运行（见图2），该设备可以通过运行不那么复杂的推断来完成大部分处理。

例如，一个用户在笔记本电脑上运行微软365副驾驶驾驶或必应聊天。具有多达数百亿个参数的模型将在设备上运行，而更复杂的模型将使用云的需要。用户的体验将是无缝的，因为设备上的神经网络或基于规则的仲裁者将决定是否需要云，是为了更好的模型还是检索互联网信息。如果用户对结果的质量不满意，重试的请求可以启动使用更好的模型。随着新设备和更先进的芯片组的增加，设备上的人工智能处理得到了改进，更多的数据可以从云中卸载。

对于各种生成式人工智能应用程序，如创建图像或电子邮件草稿，快速和响应性的推断是可取的，即使这在准确性方面有一个很小的权衡。设备上AI的快速反馈（即低延迟）允许用户快速使用精炼的提示进行迭代，直到输出令人满意。

3.3.2 设备传感混合人工智能

在一个设备感知的混合人工智能场景中，边缘模型作为传感器输入-或眼睛和耳朵，云llm作为大脑。例如，一个用户会与他们的智能手机通话。一个自动语音识别（ASR）AI模型，如Whisper，运行在设备上，将语音转换为文本，然后将其作为查询发送到云。云运行一个LLM，然后将文本答案发送回该设备。该设备运行一个文本到语音（TTS）模型，以提供一个自然的和免提的响应。将ASR和TTS模型卸载到设备上可以节省计算和连接带宽。随着llm变成多模态并允许图像作为输入，计算机视觉处理也可以在设备上运行，进一步卸载计算并减少连接带宽——从而节省成本。

在一个进一步保护隐私的更高级的版本中，设备上的人工智能承担了更多的处理能力，并为云计算提供了一个改进的、更个性化的提示。通过设备学习和设备上的个人数据，如社交媒体、电子邮件、消息、日历和位置，该设备将创建一个用户的个人角色，与协调程序一起工作，基于这个额外的上下文提供改进的提示。例如，如果用户要求他们的手机安排一个时间，并在他们最喜欢的餐厅与他们最好的朋友预订一张桌子，编排器就知道这些个人信息，并可以为云LLM提供更好的提示。当LLM 9缺乏信息时，它可以在其上设置护栏，并帮助防止出现幻觉。对于更简单的查询，一个较小的LLM可以在设备上运行，而不需要任何云交互，类似于以设备为中心的混合人工智能。

3.3.3 联合加工混合人工智能

设备上和云人工智能计算也可以共同处理人工智能工作负载。针对一个LLM的多令牌生成就是一个例子。llm是由内存绑定的，这意味着计算硬件在等待来自DRAM的内存数据时更经常是空闲。llm每个推理产生一个几乎相当于一个单词，这意味着像GPT-3这样的模型必须读取所有1750亿个参数才能生成一个单词。然后再次运行完整的模型以产生下一个标记，以此类推，直到整个结果完成。由于内存读取是瓶颈，因此在从DRAM读取所有参数的同时，并行运行多个llm以生成多个令牌更有效。读取每个令牌的所有参数会消耗能量并产生热量，因此共享参数以在空闲计算上并行运行llm是性能和能量消耗的净增益。

对于四令牌生成，草案LLM比原始目标LLM小7到10倍，因此比原始目标LLM准确，它在设备上连续运行4次以生成接下来的4个令牌。该设备将这四个令牌发送到云，云通过有效地运行目标模型四次，只读取一次完整的模型参数来检查准确性。这些标记是并行计算的，每个目标模型都有0、1、2、3或4个预测标记的输入。这些标记被认为是“草稿”，直到它们被云确认或纠正。这个推测性的解码过程会继续进行，直到完整的答案完成为止。我们早期的实验和其他发表的结果表明，与4-令牌投机解码，平均2到3是正确的和可接受的，这导致每单位内令牌的净加速时间和节省能源。

4 设备上人工智能的进化与生成式人工智能的需求相交叉

设备上人工智能能力是实现混合人工智能和生成人工智能达到全球规模的关键。如何在云设备和边缘设备之间进行处理将取决于几个因素，如设备的功能、隐私和安全要求、性能要求，甚至业务模型（见第3.3节）。

在生成式人工智能到来之前，人工智能处理就已经向边缘移动，越来越多的人工智能推理工作负载运行在手机、笔记本电脑、XR耳机、车辆和其他边缘设备上。例如，手机利用设备上的人工智能来实现许多日常功能，如低光摄影、噪音消除和面部解锁。

4.1 设备上的处理可以支持各种生成式人工智能模型

如今，用户手中安装了数十亿部支持人工智能的手机、个人电脑和其他设备，为生成式人工智能利用大量设备上的设备上人工智能处理的潜力已经非常大，并将在未来几年稳步增长。

一个关键问题是，哪种生成式人工智能模型可以在具有适当性能和准确性的设备上运行。好消息是，能力非常强大的生成式人工智能模型越来越小，而设备上的处理能力也在不断提高。图2显示了大量的生成人工智能能力，可以在设备上运行，使用1到100亿参数的模型。像稳定扩散这样的模型，有超过10亿个参数，已经在性能和精度水平与云计算类似的手机上运行，而许多其他有100亿个或更多参数的生成式人工智能模型将在不久的将来在设备上运行。

5 跨设备类别的有效生成式人工智能使用例

基于基础模型的生成式人工智能的兴起正在推动了围绕内容生成、搜索和生产力的设备类别，包括智能手机、笔记本电脑和个人电脑、汽车、XR和物联网。混合人工智能架构将使生成式人工智能能够在这些领域提供新的和增强的用户体验。

5.1 智能手机：搜索和数字助理

每天有超过100亿次搜索量，移动搜索量占60%以上，生成式人工智能的采用将推动所需计算能力的实质性增长——特别是智能手机上的查询。用户已经在迁移到基于生成式AI的搜索，因为它为许多查询提供了更好的答案。

聊天作为一个搜索界面的流行也将增加总体查询的数量。随着聊天功能的提高和聊天能力的增强，智能手机可以成为一个真正的数字助手。用户可以自然地进行交流，以获得准确和相关的答案，这要感谢非常准确的设备上角色和理解文本、语音、图像、视频和任何其他输入方式的llm的结合。能够做自然语言处理、图像理解、视频理解、文本到文本的生成等功能的模型将会有很高的需求。

5.2 笔记本电脑和个人电脑：生产力

生成式人工智能能够通过简单的提示快速生成高质量的内容，因此它正在改变生产力。安装在笔记本电脑和个人电脑上的微软Office 365就是一个很好的例子。在全球拥有超过4亿的微软Office 365个座位和用户，将生成式人工智能纳入日常工作流程将产生重大影响。14个需要数小时或数天的任务现在可能需要几分钟。微软365副驾驶将llm的功能与微软图表和微软365中的用户数据应用程序相结合，将提示变成一个强大的生产力工具。15

办公室职员可以在后台运行LLM，在Outlook中阅读或撰写电子邮件，在Word中编写文档，在PowerPoint中创建演示文稿，在Excel中分析数据，或在团队会议中协作。生成的人工智能模型，如自然语言处理、文本对文本生成、图像生成、视频生成和编程——等等——对于这些大量使用的生产力任务需要大量的处理。大部分处理可能发生在PC上，以设备为中心的混合人工智能架构。

5.3 汽车行业：数字助理行业和自动驾驶行业

根据汽车内部和周围的数据，今天的人工智能驾驶的驾驶舱提供了高度个性化的体验。与智能手机和个人电脑类似，车载数字助手将使司机和乘客通过免提的自然用户界面无缝连接，同时也为该生态系统创造新的盈利机会。

数字助手可以访问用户的个人数据，如应用程序、服务和支付信息，以及来自车辆的传感器数据，包括摄像头、雷达、激光雷达、蜂窝车辆到一切（C-V2X）等等。企业api还允许第三方服务提供商集成他们的产品，将他们的客户关系扩展到车辆中。例如，通过主动的帮助，导航体验将大大改善，比如交通和天气更新，影响司机的日常旅行路线和建议为车辆充电或购买停车许可证。此外，它还可以用一个简单的信用卡订购用户最喜欢的食物。驾驶舱的媒体体验也将被改变，因为车辆识别每个乘客和定制他们的体验和内容，如音乐或播客。随着车内增强现实（AR）的普及，数字助手可以根据驾驶员或乘客的喜好定制显示器.

车辆的维护和维修也将变得更加积极主动和无缝化。通过分析诸如传感器输入、维护历史记录和驾驶行为等数据，数字助理可以预测何时需要进行维护。使用生成式人工智能，该助手可以提供有关如何维修车辆的信息，或建议用户找到正确的服务提供商，提高车辆的可靠性，同时减少时间和成本。

先进的驾驶员辅助系统和自动驾驶（ADAS/AD）解决方案经常被感知堆栈以前从未遇到过的不寻常或不熟悉的物体所混淆。通常由恶劣的照明或具有挑战性的天气条件引起，这导致驱动策略堆栈的不可预测，有时甚至危险的结果。为了防止将来出现类似情况，必须适当地捕获并标记，并对模型进行重新训练。这个循环可能非常费时费力。生成型人工智能可以创建模拟的角落案例场景，预测道路上各种代理的轨迹和行为，如车辆、行人、骑自行车者和摩托车手。规划师可以利用这些场景来决定车辆的驾驶策略。

驱动策略堆栈和感知堆栈总是在车辆的人工智能计算能力范围内在本地运行。严格的延迟要求禁止云在这些AI人工智能工作负载的决策中发挥任何作用。由于ADAS/AD解决方案采用了具有适当后处理的生成人工智能模型，不可避免地需要大量的节能人工智能计算能力。

5.4 XR： 3D内容创造和沉浸式体验

生成型人工智能为XR带来了巨大的前景。它有潜力普及3D内容的创作，并创造虚拟的化身。下一代的人工智能渲染工具将使内容创造者能够使用各种提示——如文本、语音、图像或视频——来生成3D对象、场景，以及（最终）整个虚拟世界。此外，内容创造者将可以利用文本到文本的llm，为完全发声和情感的化身生成类似人类的对话。综上所述，这些进步将改变我们在XR设备上创建和体验沉浸式内容的方式。

虽然生成式人工智能对XR的应用前景无疑令人兴奋，但很难预测这些技术何时会被广泛采用。然而，鉴于最近几个月创新的快速步伐，可以肯定地说，我们可以期待在未来几年看到重大进展。

对于沉浸式世界，文本到图像的模型，如稳定扩散，将很快使内容创造者能够为3D对象生成真实的纹理。我们预计这些功能将在一年内推广在智能手机和XR设备上使用。在XR中的部署将需要“分布式处理”，即耳机运行感知和渲染堆栈，而成对的智能手机或云运行生成的人工智能模型。几年后，第一个文本到3D和图像到3D的模型很可能会到达边缘，生成高质量的3D对象点云。在几年后，这些模型将进一步改进，甚至可以从头开始生成高质量的3D纹理对象。在十年左右的时间里，进一步的模型改进将使整个3D房间和场景产生高忠诚度，从文本或图像。在未来，文本到3D和视频到3D的模型可能最终允许我们进入从零开始生成的3D虚拟世界，例如自动构建一个仅受用户想象力限制的3D虚拟环境。

虚拟化身也会遵循类似的进程。文本到文本的模型——如130亿个参数LLaMA——将进入边缘设备，为人感觉自然和直观的虚拟形象生成对话。此外，文本到图像的模型将为这些化身生成新的纹理和服装。在接下来的几年里，图像到3d和编码器/解码器模型将产生用于电信的人类头部和全身化身。最终，我们将使用语音提示、图像或视频来生成逼真的、完全动画的、智能的和可大量生产的类人虚拟化身。

5.5 物联网：运营效率和客户支持

人工智能如今已经被广泛应用于各种物联网垂直领域，包括零售、安全、能源和公用事业、供应链和资产管理。人工智能基于近实时收集和分析的数据来改进决策，优化运营效率，并使创新能够创造竞争差异化。物联网领域将进一步受益于生成式人工智能的利用。

例如，生成式人工智能可以改善客户和员工在零售领域的体验。在现场售货亭或智能购物车的购物代理可以使用每周销售特价、预算限制和家庭偏好制作一个包含食谱的菜单。商店经理可以根据即将到来的活动来预测周期外的销售机会，并做出相应的准备。如果一支运动队进城，商店经理可以询问生成人工智能什么品牌产品粉丝们喜欢库存，并相应地增加库存。另一个用途是基于最佳实践和来自类似社区的其他商店的积极结果来创建一个新的商店平面图。生成型人工智能可以帮助商店经理通过简单的提示重新排序产品，为最赚钱的品牌扩大空间，或者可以帮助使用附近连锁店的数据来减少货架上库存不足的突出程度。

能源和公用事业部门也将受益于生成式人工智能。运营团队可以创建角落负荷场景，预测异常情况下的电力需求以及潜在的电网故障，如炎热的夏季强风和局部火灾，以更好地管理资源，避免停电。生成型人工智能还可以用来提供更好的客户服务，例如通过回答有关业务中断或账单的问题。

6 结论

混合人工智能是不可避免的。生成式人工智能的用例将继续发展，并发展成为主流体验，增加对云计算及其基础设施的需求。凭借设备上人工智能的先进能力，混合人工智能架构可以扩展以满足企业和消费者的需求，在成本、能源、性能、隐私、安全和个性化方面提供好处。云计算和设备将协同工作，通过强大、高效和高度优化的人工智能能力，提供下一代用户体验。