转自：周到上海
原生多模态，被认为是通往AGI的必经之路。
多模态大模型技术能使AI更好理解人类世界的复杂信息，也能让AI落地应用时更符合人类的交互习惯，在智能客服、自动驾驶、医疗诊断等多个领域展现出巨大应用潜力。
不过，当多模态能力让AI更像人时，也会带来很多隐忧。被AI换脸后，谁能鉴别这个人不是我？
7月5日，蚂蚁集团公布了其自研的百灵大模型最新研发进展：百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。
记者从大会现场的演示看到，多模态技术可以让大模型更像人一样感知和互动，支撑智能体体验升级，比如百灵的多模态能力已应用于“支付宝智能助理”上，未来还将支持更多智能体升级。
据了解，百灵大模型多模态能力，在中文图文理解MMBench-CN评测集上达到GPT-4o水平，在信通院多模态安全能力评测达到优秀级（最高），具备支持规模化应用的能力，能支持AIGC、图文对话、视频理解、数字人等一系列下游任务。
发布现场，蚂蚁集团副总裁徐鹏展示了新升级的多模态技术可实现的更多应用场景：通过视频对话的自然形式，AI助理能为用户识别穿着打扮，给出约会的搭配建议；根据用户不同的意图，从一堆食材中搭配出不同的菜谱组合；根据用户描述的身体症状，从一批药物中，挑选出可能合适的药，并读出服用指导，供用户参考等。
基于百灵大模型多模态能力，蚂蚁集团已在探索规模应用落地产业的实践。同时发布的“支付宝多模态医疗大模型”，便是这一探索的实践。据了解，支付宝多模态医疗大模型添加了包含报告、影像、药品等多模态信息在内的百亿级中英文图文、千亿级医疗文本语料、以及千万级高质量医疗知识图谱，具备专业医学知识，在中文医疗 LLM 评测榜单 promptCBLUE 上，取得 A 榜第一，B 榜第二的成绩。
同一天，蚂蚁集团联合清华大学发布大模型安全一体化解决方案“蚁天鉴”2.0版。蚁天鉴2.0新增AI鉴真功能，支持图像、视频等多模态内容真实性及深度伪造检测；并在测评功能上持续升级，打造了大模型安全测评“智能体”，并新增大模型X光、大模型基础设施测评两大测评功能。
至此，蚁天鉴2.0形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整技术链条，面向行业提供全方位智能化的大模型安全测评和防御解决方案。
记者从现场了解到，蚁天鉴2.0在防御端新增「AI鉴真」功能。支持多模态内容真实性及深度伪造检测，可快速精准鉴别图像、视频、音频、文本内容的真伪，图像识别准确率99.9%达到行业最高优秀级（信通院测评）。
目前，蚁天鉴2.0依托生成模型自建百万量级音视图多模态合成数据集，覆盖主流生成方案，有效应对AI换脸、声音模拟、证件伪造等各类深度伪造风险场景。
而在测评端，蚁天鉴2.0研发了业内首个“测评智能体”。该测评智能体提供全流程自动化的安全测评工具，支持各种形式模型和深度学习框架，可扩展测评垂类大模型、多模态大模型及Agent智能体，并能根据被测大模型的安全水位动态调整攻击策略和出具测试用例，保障测评效果和效率。
目前，蚁天鉴2.0有超300万高质量测评题库，支持最高50万/日的饱和式攻击和逐级诱导深度攻击，并实现了1工作日内完成测评，全流程自动化率＞99%。
与此同时，该智能体也增加了两项新功能。一是「大模型X-ray」。即大模型X光，可针对大模型的内在神经元进行X光扫描来做探查和判断，让研究人员了解大模型内部在发生什么、定位可能引发风险的神经元、并进行编辑修正，从而在模型内部治理幻觉，实现从源头识别和抑制风险。二是「大模型基础设施测评」。
此前蚁天鉴的测评能力主要集中于大模型生成的内容安全、合规风险等检测。蚁天鉴2.0从攻击者全链路视角出发，深入扫描模型算法组件及软件系统，可及时准确发现大模型供应链及运行环境安全问题，保障云到端的应用安全可控。
来源：周到上海 作者：姜欣愉
