本文的第一作者为北京大学王选计算机研究所博士生雷廷，通讯作者为博士生导师刘洋。团队近年来在 TPAMI、CVPR、ICCV、ICML 等顶会上有多项代表性成果发表，多次荣获多模态感知和生成竞赛冠军，和国内外知名高校、科研机构广泛开展合作。

目前的 HOI 检测方法普遍依赖视觉语言模型（VLM），但受限于图像编码器的表现，难以有效捕捉细粒度的区域级交互信息。本文介绍了一种全新的开集人类-物体交互（HOI）检测方法——交互感知提示与概念校准（INP-CC）。

为了解决这些问题，INP-CC 提出了一种动态生成交互感知提示的策略，并通过优化语言模型引导的概念校准，提升了模型对开放世界中的交互关系理解，本方法在 HICO-DET 和 SWIG-HOI 等主流数据集上取得了当前最佳性能。

论文标题： Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration

代码链接：https://github.com/ltttpku/INP-CC

项目主页：https://sites.google.com/view/inp-cc/%E9%A6%96%E9%A1%B5

目前该研究已被 ICCV 2025 正式接收，相关代码与模型已全部开源。

HOI 检测进入「开放词汇」时代

在我们的日常生活中，人与物体之间的互动无处不在。然而，目前大多数研究主要集中在封闭环境下的人物交互检测，这些方法通常无法识别新的交互类型，因此在实际应用中受到限制。

近年来，多模态大模型得到了快速发展，并在开放环境中展现出巨大的应用潜力。如何将这些模型应用于开放场景中的人物交互检测，已经成为一个备受关注的研究方向。

传统的 HOI（人体-物体交互）检测方法通常依赖于固定类别的训练数据，难以应对现实中不断变化的交互组合。尽管像 CLIP 这样的视觉语言模型（VLM）为开放词汇的建模提供了新机会，但由于这些模型通常是基于图像级别的预训练，它们在捕捉人物与物体之间细微的局部交互语义时存在困难。另外，如何更有效地编码交互的文本描述，也限制了模型对复杂 HOI 关系的理解。

为了解决这些问题，研究团队提出了 INP-CC 模型，并在其中提出了两项核心创新：交互感知式提示生成（Interaction-aware Prompting）和概念校准（Concept Calibration）。

下图 1 中，展示了交互感知提示词融合机制。该机制使得模型可以在具有相似语义或功能模式的交互之间，选择性地共享提示。例如，「骑摩托车」和「骑马」这两种交互在人体和物体接触动态上非常相似，因此共享提示有助于更高效地学习这些交互的表示。

图 2 则展示了现有基于 CLIP 的方法在处理细粒度、多样化的交互类型时的局限性。例如，图中展示了「hurling」（猛掷）对应的视觉编码（用三角形表示）和「pitching」（抛投）的文本编码（用橙色圆圈表示）。可以看出，如左图所示，CLIP 模型的视觉编码和文本编码在这两者之间过于接近，导致模型难以区分它们。而与此对比，如右图所示，我们的方法通过调整语义编码空间，帮助模型有效区分视觉上相似的概念，从而更加高效地建模模态内和模态间的关系。

图 1 交互感知提示词融合

图 2 在 CLIP 原始空间（左侧）和我们修正后的空间（右侧）中模态内和模态间相似度。

模型架构：从「看图说话」到「聚焦交互」

图 3 INP-CC 方法框架

INP-CC 模型首先通过一个交互适应式提示生成器（图 3 灰色区域），结合输入图片特性，动态构造与场景相关的提示集合。这些提示被分为通用提示和可共享的交互提示，使得像「抱猫」和「抚摸猫」这样的相似动作可以共享同一个提示，从而提升模型对局部区域的感知能力。

在语言建模方面（图 3 浅蓝色区域），INP-CC 利用 GPT 生成各种交互的详细视觉描述，同时结合 T5 构建的 Instructor Embedding（指导嵌入）对交互语义进行嵌入和聚类，从而形成一个更细粒度的概念结构空间。这种方式帮助模型更好地理解复杂的交互语义，并将其映射到合适的语义空间中。

此外，INP-CC 在训练过程中引入了「困难负样本采样」策略，这一策略使得模型能够学会区分那些视觉上相似但语义不同的动作，例如「猛掷」和「抛投」。这一方法有效提升了模型在细粒度交互类型上的识别能力，帮助其更准确地理解和处理复杂的人物交互场景。

交互感知提示生成（Interaction-aware Prompt Generation）

为了弥合图像级预训练和细粒度区域交互检测之间的差距，INP-CC 提出了交互感知提示生成机制，通过动态生成适应不同交互模式的提示，指导视觉编码器更好地聚焦于关键的交互区域。具体来说，模型通过以下两个核心组成部分来实现这一目标：

通用提示： 该提示捕获所有交互类别共享的基本知识，适用于所有交互类型。

交互特定提示： 这些提示专门针对某些交互类型，采用低秩分解技术高效编码交互特征，从而在不增加计算负担的前提下增强模型的泛化能力。

通过将这些交互提示与通用提示结合，INP-CC 能够有效捕捉多种交互的共同特征，并通过自适应选择机制动态调整每张输入图像所需的提示，优化交互区域的聚焦能力。

交互概念校准（HOI Concept Calibration）

面对现有视觉-语言模型（VLM）在处理多样交互概念时的局限性，INP-CC 进一步引入了交互概念校准机制。该机制通过结合大规模语言模型对视觉描述进行生成与校准，提升了模型对语义细节的捕捉能力。

内模关系建模（Intra-modal Relation Modeling）： INP-CC 首先为每种交互类型生成细粒度的视觉描述，并利用 T5 语言模型将这些描述转化为嵌入向量。通过这一过程，模型能够精确区分视觉上相似但语义不同的动作类别。

负类别采样（Negative Category Sampling）： 为了解决视觉上相似但概念上不同的动作难以区分的问题，INP-CC 引入了基于语义相似度的负样本采样策略，在训练过程中从视觉描述相似的类别中采样负样本，帮助模型更好地分辨细粒度的动作差异。

实验表现：全面超越 SOTA

在 HICO-DET 和 SWIG-HOI 两大开放词汇 HOI 数据集上，INP-CC 在所有指标上均优于现有主流方法。其中，在 SWIG-HOI 全量测试集上取得了 16.74% 的 mAP，相较前一方法 CMD-SE 相对提升了近 10%，在「阅读」、「浏览」等细粒度交互中亦展现出较强的识别能力。

图 4 HICO-DET 实验结果

图 5 SWIG-HOI 实验结果

此外，可视化分析结果表明我们的模型表现出了强大的注意力集中能力，能够聚焦于关键的交互区域，以下是几个例子。例如，在图 6(a) 中，它准确地突出了阅读时的眼部区域。同样，在图 6(b) 中，模型强调了冲浪时人伸展的双臂。此外，我们的模型还能够检测到与相对较小物体的交互，比如在图 6(d) 中的相机和在图 6(a) 中部分遮挡的书籍。

图 6 可视化结果

总结：VLM + LLM 的深度融合路径

INP-CC 不仅打破了预训练视觉语言模型（VLM）在区域感知与概念理解上的瓶颈，还展现出将语言模型（LLM）知识引入计算机视觉任务的巨大潜力。通过构建「交互感知」与「语义修正」的双重引导机制，INP-CC 精准引导了 CLIP 的感知能力，为开放词汇场景下的 HOI 检测开辟了新路径。

【风险提示】关于部分上交所股票异常波动暨投资风险提示的公告尊敬的投资者：“上纬新材”(688585)股票价格自2025年7月9日以来大幅上涨，期间多次触及股票交易异常波动及严重异常波动情形，近日公司股价再次出现较大波动。公司公告称，目前公司基本面未发生重大变化；公司2025年上半年归属于上市公司股东的扣除非经常性损益的净利润较上年同期减少37.02%；收购