微软研究院近日发布了一项突破性的人工智能研究成果——Magma，这是全球首个能够同时在数字和物理世界中执行任务的多模态AI代理基础模型。该模型不仅能理解图像和文本输入，还能根据实际目标生成行动方案，无论是在软件界面上点击按钮，还是控制机器人在物理世界中操作物体。
跨越数字与物理的智能桥梁
传统的多模态AI模型主要专注于理解世界，但缺乏与环境直接交互的能力。Magma的出现填补了这一空白，它能够同时处理用户界面导航和机器人操作等任务，成为连接数字和物理世界的智能桥梁。
微软研究院的首席研究员杨建伟表示："在这个项目中，我们开发了第一个能够理解多模态输入并在数字和物理环境中采取行动的代理基础模型Magma。"
创新技术：标记集与轨迹标记
Magma的核心创新在于两项关键技术：标记集（Set-of-Mark，SoM）和轨迹标记（Trace-of-Mark，ToM）。
标记集是一组与特定目标相关的关键对象或界面元素的注释。例如，在网页导航任务中，SoM包括所有可点击用户界面元素的边界框；在物理任务中，如摆放餐桌，SoM可能包括盘子、杯子以及每个物品在桌子上的位置。这为Magma提供了"需要关注什么"的高级提示。
轨迹标记则将"标记覆盖"的策略从静态图像扩展到动态视频，通过随时间跟踪物体移动的轨迹线。ToM捕捉元素在交互过程中的变化或移动，为Magma提供了关于动作如何展开的更丰富理解。
大规模预训练与零样本学习能力
Magma经过了大规模异构数据集的预训练，包括图像、视频和机器人数据。研究人员特别探索了利用大量无标签人类指导视频进行模型预训练的新方法，使用视频中的时间运动作为动作基础和预训练的监督信号。
在零样本评估中，Magma展现出了卓越的跨领域性能。下表显示，Magma是唯一一个能够同时执行所有代理任务的模型：
在UI导航和机器人操作中的卓越表现
在网页UI导航任务中，Magma通过高效微调在Mind2Web基准测试中取得了显著成果：
在机器人操作方面，Magma同样表现出色。通过少量样本微调，Magma在Widow-X机器人和LIBERO任务套件中都实现了显著更高的平均成功率：
即使在没有任务特定数据的情况下，Magma在多个基准测试中的表现也具有竞争力，甚至优于一些最先进的方法，如Video-Llama2和ShareGPT4Video：
广泛的应用前景
Magma的出现为AI代理系统的未来开辟了广阔前景。它可以应用于多种场景，例如：
- 家庭助手机器人：学习如何整理从未遇到过的新类型物品
- 虚拟助手：为不熟悉的任务生成分步用户界面导航指令
- 游戏AI：控制游戏角色收集特定物品
- 工业自动化：执行复杂的物体操作任务
开源与社区合作
微软已将Magma模型在Hugging Face和Azure AI Foundry上开源，并发布了相关代码、模型和演示。研究团队还计划陆续发布更多训练数据和脚本，以促进社区合作和进一步研究。
杨建伟强调："考虑到预训练数据的有限数量，我们提出了标记集和轨迹标记两种技术，以利用大量无人类标签的图像和视频进行模型预训练。最终，我们得到了一个非常兼容的基础模型，可用于广泛的多模态任务，包括理解和行动预测。"
Magma的出现标志着AI代理系统发展的重要里程碑，它不仅能理解多模态输入，还能在数字和物理环境中采取行动，为人工智能与现实世界的无缝交互开辟了新的可能性。