以“绝影”之名，加速智能汽车驶入AGI时代

图片来源于网络，如有侵权，请联系删除

（原标题：以“绝影”之名，加速智能汽车驶入AGI时代）

如今，随着科技的进步与技术的革新，汽车正在从传统的移动代步工具，向智能移动空间乃至智能生命体演变。而商汤绝影，正是这一转变的坚实推动者。

图片来源于网络，如有侵权，请联系删除

今年5月，GPT-4o带来的流式多模态交互体验，如同一股清风，吹散了人机交互领域的传统界限，让外界进一步看到了通用人工智能（AGI）带来的革新交互体验。而在汽车领域，这一技术同样激起了巨大涟漪。

2024年7月4日至7日，WAIC 2024（世界人工智能大会）在上海举办。本次大会上，商汤科技正式对外发布了“日日新5.5”大模型体系，同时，商汤绝影也带来了多个基于“日日新5.5”多模态大模型在智能汽车领域的一系列最新进展和创新成果。

作为智能汽车行业领先的AGI核心供应商，如今，商汤绝影正在加速推动智能汽车迈向超级智能体，引领AGI时代稳步向前。

多模态，让梦想照进现实

首先，让我们构想一个场景：某日，你悠然坐在车上，而你的车能够实时理解你的语音指令、面部表情和手势动作，并准确识别周围环境中的视觉信息。比如在自动驾驶模式下，导航原本规划在下一个路口调头才能抵达目的地，但你知道前方有个便捷的缺口允许直接左转。此时，你只需轻声一句“直接左拐”，系统便能迅速分析当前路况，智能调整行驶计划，执行你的指令，确保行程既高效又安全。

或许你会认为上述场景颇具科幻色彩，不太现实？其实，未来商汤绝影基于“日日新5.5”多模态大模型的能力，就可以将这样的体验带进现实。

看到这里，或许你已心生疑惑：多模态究竟何物，竟让智能汽车“恐怖如斯”？其实，这一概念并不复杂。正如人类拥有触觉、听觉、视觉等多感官体验，智能汽车也借助传感器、雷达、摄像头等“感官”，捕捉外界纷繁复杂的信息。每一种信息获取的方式或形式，便构成了一种独特的模态。

多模态，简而言之，即是从多个维度、多种渠道去感知和理解世界。多模态大模型的兴起，恰如为智能汽车插上了一对翅膀，使其未来充满了无限可能与畅想。

在过往的中小规模模型中，研究往往聚焦于语言识别、视频分析、图形识别及文本处理等单一模态的深耕细作，这种割裂的处理方式无形中束缚了AI算法的智能潜力。而多模态机器学习，恰似一门精湛的艺术，它引领算法穿梭于跨模态的数据洪流之中，汲取各领域的精髓，实现持续的进化与飞跃。

不过，这一领域的挑战亦非同小可，每增添一种模态，都意味着技术难度的指数级增长。正是在此背景下，商汤绝影率先布局，积极推动多模态大模型技术与智能汽车的融合。

自去年4月首次发布，商汤“日日新SenseNova”大模型体系已正式推出五个大版本迭代。该模型基于超过10TB tokens训练、覆盖数千亿量级的逻辑型合成思维链数据，其综合处理能力已达到全球领先水平。此前，“商汤日日新”5.0版本曾在多模态大模型权威综合基准测试MMBench中，综合得分排名首位，并在多个知名多模态榜单MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU取得领先成绩，这充分展现了其作为顶尖基础模型的非凡实力与无限潜力。

而此次发布的“商汤日日新”5.5版本在继承了前代强大功能的基础上，对多模态能力方面进行了全方位的优化与升级，可为用户带来前所未有的流式多模态交互体验，这一技术革新不仅拓宽了智能汽车的应用边界，更预示着一个全新发展范式的诞生。

它既可以让智能座舱更懂人，成为“贾维斯”一样的全能助手；也可以让智能驾驶具备更强的世界认知和理解能力，成为真正让用户安心、信赖的“AI老司机”。

端云一体，打造智能座舱里的“贾维斯”

如果你是忠实的漫威粉丝，那你一定知道钢铁侠的智能管家贾维斯（J.A.R.V.I.S.）。在漫威电影宇宙中，“贾维斯”以其高度智能化的特性，为钢铁侠提供了无微不至的协助，展现了AI技术在日常生活中的无限潜力。而在智能汽车领域，商汤绝影就将这样的“贾维斯”带进了智能座舱场景。

在商汤绝影的愿景中，多模态是智能汽车进化为超级智能体的重要支点，能够赋予智能汽车全面的世界感知能力，让智能座舱从原来“?问?答”的被动响应，演变为?模型系统主动关怀，提供深度个性化和有??关怀的全新座舱交互体验，从而开启全新的人机交互纪元。

为此，商汤绝影打造了多模态?模型引擎产品CockpitBrain，成功推出了超过15个行业首发的智能座舱产品与功能，展现出强大的持续创新能力和量产上车实力。

以多模态哨兵功能为例，搭载该功能的智能座舱能够实时监测车辆周围的环境和车内乘员的状态，一旦发现异常情况（如车辆被非法入侵、乘员健康状态异常、离车后车内人员检测功能等），便能够立即发出警报并采取相应措施。

此外，在这次更新迭代中，商汤绝影还带来了全球首个车载生成式UI-FlexInterface以及AgentFlow。其中，FlexInterface可以让用户使用简单的自然语?，让AI自由地?成和修改用户操作界?。用户可以根据天?、时间、 节?、纪念?和周围环境自动变换界??格（有系统控制开关）。

AgentFlow则进一步展现了AI在智能汽车中的潜力，它利用多模态大模型的能力，将用户的复杂需求自动拆解并生成跨应用和网站的任务流。这种能力使得用户可以通过简单的语音指令，轻松完成原本需要多个步骤和多个应用协同才能完成的任务。例如，用户想要听上世纪90年代的华语摇滚音乐，AgentFlow会自动启动车载音乐应用，搜索并播放相关歌曲，极大地提高了操作效率。

在确保高性能的同时，商汤绝影也十分注重用户隐私保护以及资源的高效利用，从而推动了智能座舱技术的持续创新与发展。为了实现这一目标，商汤绝影在端侧部署（即设备本地处理）方面进行了深入优化，并结合了端云协同的部署方案，进一步提升了技术的安全性和效率。

其中，端侧部署能够将AI处理能力直接集成到车辆内部或用户设备中，减少了数据上传到云端的需求，从而大大降低了用户隐私泄露的风险。敏感信息如语音指令、面部特征等可以在本地处理，确保用户隐私得到最大程度的保护。而由于数据处理发生在本地，端侧部署能够显著降低响应时间，实现即时反馈。这对于需要高度实时性的应用场景（如自动驾驶辅助系统中的紧急避障）尤为重要。

而端云协同的部署方案，则进一步发挥了端侧和云端各自的优势。通过智能分配任务，系统能够根据实际情况，将适合在本地处理的任务交给端侧，而将需要大规模计算资源或数据共享的任务交给云端处理。

基于端云结合的架构，商汤端侧大模型大幅超越同量级?模型，越级?肩7B、13B?模型。换句话说，“商汤??新”的强?端侧部署能?和智能汽?是“天??对”，能够帮助?企合作伙伴?更小的参数量，实现更加强?、流畅和个性化的全新智能座舱体验。据悉，目前商汤绝影的端云部署方案已经开始在各大主机厂定点落地。

敢为人先，让端到端智驾可感知、可信赖

作为行业内第一个提出端到端自动驾驶的厂商，商汤绝影在自动驾驶方面的布局也收获了行业内的广泛认可。

得益于行业领先的多模态?模型加持，商汤绝影新一代自动驾驶大模型DriveAGI具备了更加强大的泛化能?。即便在0样本的情况下， DriveAGI也可以针对不同道路环境或交通状况并做出精准决策。

据悉，该自动驾驶解决方案可在无高精地图条件下，仅依靠视觉感知实际道路情况，无论是复杂城市道路还是无中线的乡村道路上，车辆都能高效准确地完成包括大角度转向、避让占道车辆及施工区域、绕行跑步行人等一系列高难度操作，做到“像人一样开车”。

此外，DriveAGI还为自动驾驶系统赋予强大的空间智能，让?辆能够将捕捉到的二维图像信息转化为三维空间中的具体感知，从而能够准确理解现实开放世界中各类交通参与者的行为动机，指导自动驾驶系统做出恰当的行动，并能更好地应对特殊场景。

例如，在路上遇到救护车，它可以自动避让；遇到潮汐车道或公交车道时，它能根据限行规则自动规避；在绿灯同时有交警在路口指挥交通的情况下，DriveAGI还能够理解交警的手势并且将这类信息的优先级提高到红绿灯等道路信息之上；除此之外，它也可以切换不同的驾驶风格，当需要赶时间时，你可以告诉DriveAGI开得更快?些；如果是想要放松?下，你还可以让它开得平稳?些。

商业化落地方面，目前在智能座舱领域，商汤绝影已成功助力LEVC L380、小米SU7等车型实现量产，将“贾维斯”移植在了智能座舱里，带来前所未有的智能体验。而在智能驾驶领域，商汤绝影的量产智驾产品已落地包括广汽埃安LX Plus、合众哪吒S、广汽昊铂GT、红旗等品牌及车型，高速NOA等功能也开始落地。

值得一提的是，在本届WAIC上，绝影也是唯一承担VIP接驳任务的自动驾驶小巴服务提供商，提供多个地点之间的需求响应式自动驾驶巴士出行体验。

绝影L4级别自动驾驶小巴不仅适用于开放道路上短途高频次的循环接驳场景，也适用于园区、景区、校区、机场等内部有短途接驳需求的场景。目前已陆续在成都、福州、广州、青岛、苏州等城市亮相，并在上海、无锡等多地实现常态化运行，累计行驶总里程已超300万公里。

AGI，让汽车从单纯的“出行工具”

变为可靠的“智能伙伴”

在AGI时代，人工智能不再局限于简单的感知与生成，而是具有通过不断学习与进化的能力，更好地理解和适应复杂多变的环境。

在AGI时代，汽车也将迎来一场革命性的转变，从单一的“出行工具”升级为具备全面感知、决策与执行能力的“智能伙伴”。

商汤绝影，正在加速多模态大模型的前沿创新，驱动智能汽车迈入AGI时代。与此同时，商汤绝影也具备丰富工程化量产交付经验，能够针对不同芯?算?平台全?适配等，由此积极推动大模型上车，引领大模型在智能汽车的量产突破。现阶段，商汤绝影已能够兼容国内外多款主流芯片平台，完整适配从低算力、中算力到大算力的多种不同域控。

同时，针对市场上常见的多种传感器型号，商汤绝影也都已经进行了全面适配，能够全面满足行业中主流智能驾驶方案的需求，为智能汽车的量产提供了强有力的支持。

在此次WAIC上，商汤绝影的亮相不仅展示了其最新的技术成果，更向外界传递了一个明确的信息：智能汽车正在从传统的出行工具，向智能伙伴转变，而商汤绝影正是这一转变的坚实推动者。

从历史的角度来看，“绝影”作为三国时期曹操的坐骑，不仅以其卓越的速度和耐力而闻名，更是人类的忠实伙伴。如今，商汤科技以“绝影”之名，将这一精神传承至智能汽车领域，作为智能汽车驶入AGI时代的长期、可靠的战略合作伙伴，加速AGI与汽车产业的深度融合。

在商汤绝影的助力下，智能汽车不仅能够全面理解世界，更将开启未来出行的新篇章，让曾经只存在于科幻电影中的未来出行体验，逐步成为现实。