新芽专题介绍（12）：多模态大模型智能体及其视觉应用

一、专题介绍

1.1 研究背景

近年来，多模态大模型（Multimodal Large Language Models，MLLMs）在图像描述、视觉问答、目标定位、图像分割和视频理解等任务中展现出较强的感知、知识迁移与推理能力。然而，单个多模态大模型通常以直接生成答案为主，面对需要多步骤处理、外部知识检索或专业视觉分析的复杂任务时，仍可能受到模型自身能力边界、视觉细节不足和输出形式受限等问题的影响。

大模型智能体通过引入任务规划、工具调用、记忆管理、环境交互和反馈修正等机制，使模型能够从“理解并回答问题”进一步发展为“规划并完成任务”。在计算机视觉场景中，多模态大模型可以作为智能体的感知与决策中枢，根据用户指令动态调用图像分类、目标检测、图像分割、文字识别、图像检索、深度估计和图像生成等专业视觉工具，并依据中间结果继续推理、调整计划或纠正错误，从而完成复杂视觉任务。

本专题围绕“多模态大模型智能体及其视觉应用”展开，从深度学习、Transformer 和多模态大模型基础开始，重点学习任务分解、规划推理、视觉工具调用、记忆与反思等智能体技术，探索多模态大模型与专业视觉模型协同完成图像、视频及领域视觉任务的方法。

1.2 研究意义

1. 理解多模态大模型与智能体的基本原理
   学习视觉编码器、跨模态连接模块、大语言模型，以及智能体中的规划器、工具库、执行器、记忆和反馈模块，建立对多模态智能体系统的整体认识。

2. 扩展单一模型的视觉任务能力
   通过调用检测、分割、OCR、检索和图像处理等外部工具，弥补单个多模态大模型在细粒度定位、像素级预测、实时知识和专业任务方面的不足。

3. 提升复杂视觉任务的自动化程度
   将复杂指令分解为多个可执行的视觉子任务，自动选择工具、组织调用顺序并整合中间结果，减少人工设计固定处理流程的工作量。

4. 服务专业视觉应用场景
   面向遥感解译、工业检测和长视频理解等场景，构建能够协同领域模型与知识库的视觉智能体，提高系统的灵活性、可扩展性和可解释性。

5. 培养本科生的系统设计与科研实践能力
   通过文献阅读、智能体搭建、工具封装、实验评测和方法改进，使学生形成从需求分析、系统实现到问题定位和实验验证的基本科研能力。

1.3 当前主要挑战

1. 视觉理解与任务规划容易脱节：智能体需要同时理解图像内容和用户意图，错误的视觉感知可能导致后续任务分解与执行计划发生偏差。
2. 工具选择与参数生成困难：不同视觉工具具有不同的能力边界、输入格式和参数要求，智能体可能出现工具选择错误、参数不合法或调用不存在工具等问题。
3. 多工具协同存在接口障碍：检测框、分割掩码、图像、文本和结构化数据等输出形式不同，需要建立稳定的数据转换与信息传递机制。
4. 多步骤执行容易产生误差累积：早期工具的错误可能沿任务链传播，智能体还需要判断中间结果是否可信，并决定继续执行、重新规划或更换工具。
5. 评价与部署成本较高：除最终任务精度外，还需要综合评价规划质量、工具调用正确率、错误恢复能力、推理延迟、调用次数和计算成本。

二、主要学习内容与研究方向

2.1 基础知识学习

学生首先学习深度学习、卷积神经网络、Transformer 和视觉 Transformer 的基本原理，掌握 PyTorch 的基本使用方法；随后了解 CLIP、BLIP、LLaVA 等代表性视觉语言模型，熟悉多模态大模型从视觉特征提取、跨模态映射到语言生成的基本流程。在此基础上，学习大模型智能体中的推理、行动、观察、规划、工具调用和记忆等基本概念。

2.2 多模态大模型与视觉工具实践

选择具有公开代码和模型权重的多模态大模型，完成图像输入、视觉问答、结构化输出和多轮交互等基础实验；进一步选择若干视觉模型或图像处理函数，将其封装为具有明确名称、功能描述、输入参数和输出格式的工具。可选工具包括图像分类、开放词汇检测、图像分割、OCR、图像检索、深度估计、图像生成和 OpenCV 图像处理等。学生应能够分析不同模型的能力边界，并建立可重复的视觉工具调用基线。

2.3 多模态视觉智能体构建

围绕“多模态大模型（任务理解与规划）—工具库—执行器—记忆—评价器”构建多模态视觉智能体，重点学习并比较以下技术：

• 任务理解与分解：将自然语言描述的复杂视觉需求转化为若干可执行子任务；
• 规划与程序生成：生成线性工具链、树状搜索过程或可执行的 Python 程序；
• 视觉工具选择：根据图像内容、任务目标和工具描述选择合适的视觉模型，并生成规范的调用参数；
• 状态与记忆管理：记录用户指令、工具调用过程、中间图像和结构化结果，为后续决策提供上下文；
• 结果验证与反思：判断工具输出是否满足任务要求，在结果不一致或置信度较低时重新规划、更换工具或调整参数；
• 性能评价：综合分析任务成功率、工具调用正确率、规划步骤数、推理延迟、调用次数和计算成本。

2.4 建议研究切入点

学生可根据兴趣和基础，从下列方向中选择一个开展研究：

1. 面向复杂视觉任务的自动分解与工具调用顺序规划；
2. 面向检测、分割、OCR 和检索工具的动态选择与参数生成；
3. 基于中间结果反馈的视觉智能体结果验证、反思与重新规划；
4. 面向不确定结果或多工具冲突的可信决策与结果融合；
5. 面向遥感、工业检测或其他专业场景的领域视觉智能体；
6. 面向长视频理解的关键片段主动检索与多步骤推理；
7. 兼顾任务性能、调用次数和推理延迟的低成本视觉智能体；
8. 面向新任务和新视觉模型的工具自动注册与能力扩展。

三、学习资料与参考文献

3.1 基础教材与工具

• 《动手学深度学习》——深度学习入门教程
• PyTorch 官方教程——模型构建与实验基础
• Transformers 官方文档——多模态大模型加载与推理工具
• OpenCV 官方文档——图像处理与计算机视觉工具
• LangChain 官方文档——智能体、工具调用与工作流开发框架
• Google Colab——在线实验环境
• Kaggle——开源数据集与实践平台

3.2 多模态大模型基础文献

• An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021)
• Learning Transferable Visual Models from Natural Language Supervision (ICML 2021)
• BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation (ICML 2022)
• Flamingo: a Visual Language Model for Few-Shot Learning (NeurIPS 2022)
• BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (ICML 2023)
• Visual Instruction Tuning (NeurIPS 2023)
• InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning (NeurIPS 2023)
• PaLI: A Jointly-Scaled Multilingual Language-Image Model (ICLR 2023)
• MaPLe: Multi-Modal Prompt Learning (CVPR 2023)
• MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models (ICLR 2024)
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks (CVPR 2024)

3.3 大模型智能体基础文献

• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (NeurIPS 2022)
• ReAct: Synergizing Reasoning and Acting in Language Models (ICLR 2023)
• Toolformer: Language Models Can Teach Themselves to Use Tools (NeurIPS 2023)
• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face (NeurIPS 2023)
• Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models (NeurIPS 2023)
• Reflexion: Language Agents with Verbal Reinforcement Learning (NeurIPS 2023)
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models (NeurIPS 2023)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs (ICLR 2024)
• AgentBench: Evaluating LLMs as Agents (ICLR 2024)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents (NeurIPS 2024, Datasets and Benchmarks Track)

3.4 多模态视觉智能体与工具调用文献

• Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models (arXiv 2023)
• MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action (arXiv 2023)
• ViperGPT: Visual Inference via Python Execution for Reasoning (ICCV 2023)
• AVIS: Autonomous Visual Information Seeking with Large Language Model Agent (NeurIPS 2023)
• GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction (NeurIPS 2023)
• LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents (ECCV 2024)
• CLOVA: A Closed-LOop Visual Assistant with Tool Usage and Update (CVPR 2024)
• VideoAgent: Long-form Video Understanding with Large Language Model as Agent (ECCV 2024)
• VideoAgent: A Memory-Augmented Multimodal Agent for Video Understanding (ECCV 2024)
• DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM (ECCV 2024)
• Visual Agentic AI for Spatial Reasoning with a Dynamic API (CVPR 2025)
• SegAgent: Exploring Pixel Understanding Capabilities in MLLMs by Imitating Human Annotator Trajectories (CVPR 2025)
• NAVER: A Neuro-Symbolic Compositional Automaton for Visual Grounding with Explicit Logic Reasoning (ICCV 2025)
• VTimeCoT: Thinking by Drawing for Video Temporal Grounding and Reasoning (ICCV 2025)
• LVAgent: Long Video Understanding by Multi-Round Dynamical Collaboration of MLLM Agents (ICCV 2025)
• VCA: Video Curious Agent for Long Video Understanding (ICCV 2025)
• Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding (NeurIPS 2025)
• PANDA: Towards Generalist Video Anomaly Detection via Agentic AI Engineer (NeurIPS 2025)
• Earth-Agent: Unlocking the Full Landscape of Earth Observation with Agents (ICLR 2026)
• Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning (CVPR 2026)
• VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding (CVPR 2026)
• REALM: An MLLM-Agent Framework for Open World 3D Reasoning Segmentation and Editing on Gaussian Splatting (CVPR 2026)
• OVOD-Agent: A Markov-Bandit Framework for Proactive Visual Reasoning and Self-Evolving Detection (CVPR 2026)

3.5 视觉工具与智能体评测相关文献

• Grounded Language-Image Pre-training (CVPR 2022)
• High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022)
• Segment Anything (ICCV 2023)
• Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection (ECCV 2024)
• DINOv2: Learning Robust Visual Features without Supervision (TMLR 2024)
• Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (CVPR 2024)
• OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (NeurIPS 2024, Datasets and Benchmarks Track)
• SAM 2: Segment Anything in Images and Videos (ICLR 2025)
• SAM 3: Segment Anything with Concepts (ICLR 2026)
• DINOv3 (TMLR 2026)
• Image Generators are Generalist Vision Learners (arXiv 2026)

学生根据专业基础和编程能力选择不同难度的研究内容。低年级学生可从固定视觉工具链的搭建与评测入手，高年级学生可进一步研究动态任务规划、工具选择、反馈修正、记忆管理或面向专业场景的视觉智能体。学生也可围绕具体研究问题补充近年的代表性工作。

四、结语与期望

本专题旨在帮助学生建立对多模态大模型和智能体技术的整体认识，理解多模态大模型如何从直接生成答案进一步发展为能够规划任务、调用工具、观察环境并反馈修正的视觉智能体。希望学生在完成多模态模型推理和视觉工具封装的基础上，能够搭建可复现的智能体系统，从任务规划、工具协同、结果验证、运行成本或领域应用中发现问题，通过规范实验逐步形成独立开展科研工作的能力。