边缘计算和机器视觉技术已逐渐成熟。未来,我们将更关注开发和应用大语言模型和 AI。
AI 模型将逐步从云端转移到边缘端。预计将迎来一场重大的创新浪潮。我们正处于转型的重要时刻,市场已涌现出许多成熟的解决方案。
2024 英特尔网络与边缘计算行业大会期间,英特尔高级副总裁兼网络与边缘事业部总经理 Sachin Katti 在接受采访时表示:
从算力、边缘推理能力和成本综合考虑,AI 在边缘领域的渗透将成为关键趋势。多家巨头入局该领域,成熟解决方案不断涌现,边缘 AI 方兴未艾,预计 2030 年全球边缘市场规模将达千亿美元。
从英特尔方面获悉,今年上半年英特尔中国区边缘端业务同比保持增长,公司预期这一趋势将保持。
边缘 AI 多年来一直是英特尔的关注重点,涉及零售、医疗、物流、农业、交通和制造业等领域。
Sachin Katti 表示:“现在我们所说的边缘 AI 已从边缘机器视觉发展到包括大语言模型、边缘应用和生成式 AI。英特尔将持续提供相关能力,加速边缘端生成式 AI 和大语言模型的部署,拓展硬件供应范围,加入应用层、软件和客户服务支持等维度。”
今年 MWC 期间,英特尔表示已在边缘端完成超过 90000 个实际部署。Sachin Katti 在大会上表示,英特尔将采用以开放、模块化和统一平台为核心的方法,加快边缘 AI 解决方案的部署进程。
在硬件方面,英特尔将提供大内存 GPU 和 NPU 解决方案,许多模型可以在本地运行。在生态方面,英特尔已与 500 多家 OEM/ODM 和 150 多家 ISV 建立合作伙伴关系。
除了英特尔,AMD、英伟达、高通等巨头以及云天励飞、中科创达和国科微等 A 股上市公司也纷纷瞄准边缘端市场。在大会展区,机器人、深信服、数码视讯和中科创达等 A 股厂商也展示了各自的边缘 AI 成果。
值得注意的是,展会上展示了利用自动化数据标注工具进行模型训练的案例。基于英特尔酷睿处理器和锐炫独立显卡打造的 CNN 边缘训练解决方案,借助视觉大模型实现了图片自动标注和基于 MLFlow 的模型自动重训。
过去,训练模型需要寻找算法公司,并且需要人工标注数据。如今,机器标注技术使得训练成本和人力成本大幅降低,业内逐渐采用此类训练和推断方案。
英特尔打造的3D虚拟数智人“小英”已亮相,基于酷睿处理器和ARC770显卡打造,部署于边缘端,集成了大语言模型和RAG技术,可胜任客服、导购、讲解员等角色。
英特尔认为,AI发展可分为三个阶段:AI辅助时代、AI助手时代和全功能AI时代。英特尔中国区首席技术官张宇表示,中国在AI Agent领域发展迅速,电信企业已使用大模型分析网络日志文件。
英特尔高管预测,未来一至两年内将出现更多AI Agent。中国生成式人工智能市场规模预计达到33亿美元。Gartner预测,2026年全球80%的企业将使用生成式AI,50%的全球边缘部署将包含AI。
STL Partners指出,2030年全球边缘服务市场规模将达到4450亿美元,其中AI为最大的边缘工作负载。
企业在边缘侧部署AI的驱动因素包括:
- 数据安全性:是否将数据存储在云端还是边缘端更合理
- 数据传输带宽:边缘数据量增大会导致网络风暴的风险
- 实时性:某些应用仅能在边缘端实现实时性要求
英特尔副总裁郭威认为,边缘设备会产生大量本地数据,将这些数据传输到云端的成本很高。一些工厂无法负担训练超大规模模型,但可以训练中等规模模型并结合自身数据进行定制化调整。
财联社记者调查发现,当下大模型的训练、推理、调用和部署全部在云端进行,对算力(集群)、网络稳定性和能效等方面提出了极高的要求。随着大模型进入落地比拼阶段,这要求所有分析处理都在本地完成。
张宇认为,“边缘的特点便是碎片化。
不同的用户对算力、性能有不同的要求,有些性能要求很高,需要集群支撑,有些性能可能通过几个小设备就能满足,跨度很大。
边缘通常最终部署的是业务,而不是追求一种技术方案。