访谈Akamai李文涛：分布式边缘推理成智能体时代基础平台！

【ZOL中关村在线原创专访】在数字化、智能化时代，特别是工业4.0、自动驾驶、智慧城市等核心场景中，传统云计算模式正面临“高延迟、断网失效、数据隐私泄露”三大关键痛点，严重制约应用落地效果。比如，自动驾驶汽车需在100毫秒内完成障碍物识别与决策，但云端数据往返延迟往往超过200毫秒，无法满足安全需求；工厂设备故障预测场景中，敏感生产数据需在本地处理，若上传云端则可能引发数据泄露风险。

传统云的瓶颈，倒逼AI推理部署模式的革新。Akamai亚太区与全球云架构师团队总监李文涛表示：“从个性化数字体验、智能体到实时决策系统，下一代的AI应用迫切要求将AI推理部署在更靠近用户的位置，从而在用户的交互点实现即时互动，并根据用户上下文做出智能决策。”为此，Akamai发布Akamai Inference Cloud，作为分布式生成式边缘平台，它将AI算法和数据处理推向数据源附近的边缘设备，以实现低延迟、高效率和实时决策。

为何分布式边缘推理能力建设刻不容缓？

要回答这一问题，首先需明确，现有云计算能否满足AI推理负载需求？答案显然是否定的。英伟达CEO黄仁勋表示：“AI推理的工作负载规模，未来将远超训练阶段，甚至可能达到后者的十亿倍。”数据显示，大模型训练阶段或许只需数万张GPU、耗时数周或数月即可完成，但推理阶段需服务数亿乃至未来数十亿用户，所需GPU数量可能达到百万量级甚至更多。这种推理负载规模的爆发式增长，对现有云计算与算力体系提出了前所未有的严苛要求。

除了海量算力的硬性缺口，AI推理对响应速度的极致要求。Akamai云产品副总裁Shawn Michels在英伟达GTC大会上提出了“机器速度级AI”的概念，主要指远超人类反应极限的AI响应速度，其典型体现就是，在智能驾驶、IoT设备交互、网络安全威胁识别、金融反欺诈等场景中，AI必须在毫秒甚至微秒级内完成推理与响应。这就需要通过将高性能AI推理能力部署在边缘节点，助力实时性关键型应用实现机器速度级响应。

在采访中，李文涛认为，在未来的智能体互联网时代，交互将变得高度复杂，涉及多步骤的推理、持续学习、信息整合以及不同AI智能体之间的协作。这些智能体将基于实时、真实的数据，为用户提供高度个性化、沉浸式且实时响应的体验。“这些业务场景亟需分布式的边缘推理能力，以实现毫秒级的响应，真正推动业务的实时化与智能化演进。”李文涛如是说。在此背景下，分布式边缘推理无疑正在成为AI未来发展方向。

开创AI的新篇章，Akamai与NVIDIA如何强强联合？

正是在这一背景下，Akamai正式发布了Akamai Inference Cloud。据介绍，Akamai Inference Cloud是一个分布式、生成式边缘平台，能够将NVIDIA AI技术栈部署在更靠近数据生成和决策制定的位置。李文涛表示：“该平台成功将AI推理工作负载从核心数据中心扩展至互联网边缘，在更靠近用户和设备的位置实现高性能、高可扩展且安全的实时推理，从而重新定义了AI的应用场景与方式。”

具体而言，Akamai Inference Cloud将NVIDIA RTX PRO Server（配备NVIDIA RTX PRO 6000 Blackwell服务器版GPU、NVIDIA BlueField-3 DPU和NVIDIA AI Enterprise软件）与Akamai的分布式云计算基础架构及在全球拥有超过4200个位置的全球边缘网络相结合。Akamai Inference Cloud将充分利用NVIDIA最新的技术来进一步加速和保护从核心到边缘的数据访问及AI推理工作负载，以推动Akamai实现其打造全球高度可扩展、分布式AI性能的愿景。

可以说，Akamai与NVIDIA共同协作，通过Akamai Inference Cloud，以前所未有的大胆举措将AI推理拓展至全新领域，共同开创AI的新篇章。李文涛表示：“这不仅能将企业级AI工厂能力延伸至边缘，赋能智能商业体并实现高度个性化数字体验；更能实现流式推理与智能体赋能，以此提供实时金融洞察并执行即时决策；同时支撑实时物理AI系统以超人类响应速度运行，最终显著缩短AI价值的实现周期。”

边缘AI时代，Akamai Inference Cloud又能做到什么？

前文提及，Akamai与NVIDIA将AI推理拓展至全新领域，分布式边缘推理具体是如何实现的呢？李文涛认为，分布式边缘推理是AI的未来发展方向，其核心特点是能够基于真实世界的动态实时上下文数据，生成并执行新的决策。在他看来，分布式边缘推理拥有分布式GPU与AI算力管理，将不同类型的AI模型部署在边缘节点，直接在边缘执行AI推理功能，并提供RAG等相关服务。

Akamai还能在边缘侧提供三大增值服务：一是智能路由，当用户或AI智能体发起服务请求时，可根据请求具体上下文，智能将其路由至最合适的后端AI模型处理；二是双向安全管控，所有AI交互本质上通过API传输，我们既能对API调用进行权限验证，也能对AI返回内容的合规性与安全性进行审核，实现全流程双向安全防护；三是性能优化，依托Akamai的传统技术优势，对AI API请求进行针对性加速，进一步提升服务的可靠性与响应性能。

“Akamai的边缘推理解决方案不仅提供算力基础，更集成了路由、安全与优化能力，形成完整的边缘AI服务闭环。”李文涛表示，“基于边缘节点部署的英伟达Blackwell RTX PRO 6000 GPU，这一方案能够实现6-10倍的响应速度提升，P95延迟可降低高达5倍。在处理每百万Token所需的基础设施成本上，也可实现40-60%的大幅降低。同时，该方案还提供10倍的可扩展性提升，并依托Akamai的全球节点实现200倍以上的覆盖与触达能力。”

写在最后

在数字化、智能化时代，分布式边缘推理作为一种前沿的推理模式，已将AI技术引入物理世界的各个角落。对此，李文涛也强调，分布式边缘推理更是开启智能体时代不可或缺的基础平台。尽管目前仍面临部分技术挑战，但它的发展前景依旧光明。而放眼未来，要让这些大量涌现的模型真正发挥业务价值，企业还必须迈入“后训练”阶段——通过精调优化使模型适配自身知识领域与业务场景，才能将基础模型转化为真正的企业核心能力。