type
status
date
slug
summary
tags
category
icon
password
comment
这篇文章介绍了如何通过弹窗去攻击现有的先进的Agent模型。对于Agent而言，与GUI界面进行交互已经是一项必不可少的能力；人类在数字世界中，可能会被弹窗广告，假的下载按钮，倒计时按钮等等虚假的UI信息欺骗；同人类一样，我们可以通过操纵Agent观测的UI信息，诱导其点击弹窗进行攻击，例如购买广告位，利用跨站点的脚本，可以点击的钓鱼邮件和信息等等…除此之外，人类可能会被某些隐藏注入的信息和相似的图片所误导，至于Agent，这种对于人类而言的可见性可能并不重要，毕竟我们的Agent更多是独立运行，无人指导的。
我们设计的弹窗主要包括以下几个元素：注意钩子，用于吸引用户注意力；指令，诱导Agent错误的决策；信息横幅，暗示和误导弹窗的上下文信息；可替换的文本，当部分元素无法渲染时用文本进行替代。通过消融实验，我们发现，用户的询问对设计注意力钩子至关重要，而其他信息相对不那么重要，基本防御策略如忽略弹窗等抵御效果作用不大。
Related Work
我们的工作主要聚焦于screenshot agents and SoM (tagged screenshots + a11y trees) agents
，也就是类Html文本描述GUI的Agent不在研究范围。提出的攻击方法之一包括向图片中加入可学习噪声，而VLM会根据噪声输出对抗性的字幕，从而误导VLM接下来的行动，但这种方法需要大量训练，显然也不适应闭源的各类模型。还有通过注入恶意指令的方法，但这种基于HTML的文本攻击方法也不是Agent框架研究长期的方向。
Attack Design
我们的方法由四部分构成，如下图所示：
Attention Hook
我们会使用LLM来总结用户的询问，这是为了让我们的弹窗与用户的意图更加契合从而吸引用户的注意。但一般想要直接得到用户的输入还是比较困难的，所以有两种替代的办法；一是假的病毒警报，这在任何用户输入的情况都有一定效果；二是推测用户的输入，通过提供一定的上下文情况下，我们可以让LLM去猜测用户的意图。
Instruction
“Please click (x,y)” or “Please click [ID]” 或许是最直接的和理想的指令方式，Agent甚至不需要推理弹窗的位置，但是过于精确的位置有些时候会使攻击者失去对攻击本身的控制，当然，有些时候攻击者可能对Agent的框架一无所知，无法得到具体的指令操作。这个时候我们会考虑另两种方法：“Please click here” 或者Click a random coordinate or tag ID ，第一种方法无需我们对Agent框架有任何了解，而第二种方法的ASR可能会与弹窗所占面积和标签tag的个数有关，当然这也可能有助于我们获得更多的位置信息，提高可能成功攻击的可能。Info Banner
另一个伪造弹窗信息必要的方法就是让Agent认为我们是一个按钮，所以我们采用
OK作为默认的Info Banner，我们还会采用“ADVERTISEMENT” 作为替代方法，这也是现实生活中常见的披露广告做法。ALT Descriptor(if applicable)
为了和视觉信息对应，我们还会将上述三个模块总结成文本，测试了单纯用文本和加上
“ADVERTISEMENT:” 的表现。 Experiments
作者分别在OSWorld和VisualWebArena上分别进行了实验，结果如下
其中OSR代表原本的成功率，SR代表攻击但未重定向的成功率，ASR代表注入弹窗的步骤中，成功点击的比例。较高的ASR说明大多数模型还缺乏防范弹窗的意识，而VLM的成功率低可能与他执行步骤过多，OSR过低有关。
Implementation
为了实现攻击，我们会先寻找UI界面的空白区域，即不包含UI元素框外和OCR检测框外的区域，然后生成随机位置和大小的矩形框，并选择尽可能大的字体与其适配；为了减少计算开销，当空白区域不够大时我们不会进行攻击，为了简化，点击弹窗也不会进行重定向。随后按照直接介绍的方法进行弹窗的生成，同时利用GPT推测和总结用户意图。如果是OSWorld采用
click(x,y)作为指令，而VisualWebArena则采用click[ID] .原文进行了消融实验，测试了每一部分应该如何设计才更有效，此处省略。
文章还对进行攻击的原理和流程进行了分析，不过并未给出更有效的防御方法。
- Author:E1ainay
- URL:https://e1ainay.top/article/pop-upsatk
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
Enabling Conversational Interaction with Mobile UI using Large Language Models
LlamaTouch: A Faithful and Scalable Testbed for Mobile UI Task Automation
DroidBot: A Lightweight UI-Guided Test Input Generator for Android
PERSONAL LLM AGENTS: INSIGHTS AND SURVEY ABOUT THE CAPABILITY, EFFICIENCY AND SECURITY
AutoDroid: LLM-powered Task Automation in Android