论文阅读 (109)：Hard-label based small query black-box adversarial attack (2024 WACV)

1 概述

题目：基于硬标签的小查询黑盒对抗攻击 (Hard-label based small query black-box adversarial attack)

代码 (可参考)：https://github.com/satyanshukla/bayes_attack

背景：

1. 基于硬标签的黑盒攻击设置下，攻击者仅能获取目标模型的预测类别；
2. 已有的大多数方法，为了获取足够的成功率，需要设置相当大的查询次数；
3. 已有策略通常利用白盒替换模型与黑盒目标模型之间的迁移性；
4. 已有策略大都基于软标签设置，以充分利用零阶优化；

方法：

1. 提出了一个通过预训练替换模型引导的、基于硬标签的方法：
   • 基于预训练白盒模型 (替换模型) 计算关于真实标签 (可以是被攻击模型的预测结果，假设其完美预测)、输入样本+扰动向量的梯度。文章提供了两种计算策略；
   • 微调对抗样本，使其更接近决策边界；
   • 使用二分搜索更新对抗样本；
2. 实验验证了所提出方法的查询效率；

引用：

@inproceedings{
    park2024hard,
author		=	{
    Park, Jeonghwan and Miller, Paul and McLaughlin, Niall},
title		=	{
    Hard-label based small query black-box adversarial attack},
booktitle	=	{
    {
    WACV}},
pages		=	{
    3986--3995},
year		=	{
    2024}
}

2 问题定义

令$F(x)$是一个用于$k$分类的模型，其输出每个样本$x\in {\mathbb{R}}^m$的类别概率$f(x)\to {\mathbb{R}}^k$。一次成功的分类表示为$f_{c^{†}}(x)={\max }_k[f_k(x)]$，其中$c^{†}$是真实类别。

对抗攻击的目标是找到一个对抗样本$\tilde{x}$，其满足$f_{\tilde{c}}(\tilde{x})>f_{c^{†}}(\tilde{x})$且$\mathcal{D}(x,\tilde{x})$足够小，其中$\tilde{c}$是对抗类别、$\mathcal{D}$是不相似度量。在硬标签下的黑盒攻击中，攻击者的目标是在仅使用预测类别的情况下修改样本$x_t^{\prime }$。具体地，目标模型的参数$\theta$和分类概率 { f 0 ( x t ′ ) , f 1 ( x t ′ ) , … , f k ( x t ′ ) } \{f_0(x'_t),f_1(x'_t),\dots,f_k(x'_t)\} {
f0​(xt′​),f1​(xt′​),…,fk​(xt′​)}不可使用。

3 优化框架

模型$F(x)$的输出向量是一个覆盖类别 k = { 1 , … , k } \mathbf{k}=\{1,\dots,k\} k={
1,…,k}的概率分布。$F(x)$的分类函数被定义为$C:{\mathbb{R}}^m\to \mathbf{k}$，其将输入样本映射到最高概率所对应的类别上：
$$C(x):=\underset{c\in k}{\mathrm{argmax}}[f_c(x)]\text{\hspace{1em}(1)}$$假设函数$\mathcal{H}(x)$用于将真实类别$c^{†}=C(x)$转换为未知类别，即对抗类别$\tilde{c}\in \mathbf{k},\tilde{c}\ne c^{†}$：
$$\mathcal{H}(x+\alpha \mu ):=\underset{\alpha \to ϵ}{\lim }\left(f_{\tilde{c}}(x+\alpha \mu )-\underset{\tilde{c}\ne c}{\max }[f_c(x+\alpha \mu )]\right)\text{\hspace{1em}(2)}$$其中$\mu$是扰动向量、$\alpha$是缩放因子，以及$ϵ\le 1$是一个小的正值。当$\mathcal{H}(x^{\prime })$大于0时，表示$x^{\prime }$被成功攻击，小于0则说明其落在真实类别空间。当取0值时，说明其处于两个类别的决策边界，这样的样本也被称为边界样本。

在硬标签设置下，$\mathcal{H}(x^{\prime })$不再是一个线性函数。由于$f_c(x)$不再可用，其被观测为一个重阶跃函数：
$$\mathcal{H}(x^{\prime }):=\{\begin{array}{ll}1,& if{f}_{\tilde{c}}(x^{\prime })>{\max }_{\tilde{c}\ne c}[f_c(x^{\prime })]\\ -1,& otherwise.\end{array}\text{\hspace{1em}(3)}$$其中$x^{\prime }=x+\alpha \mu$。当$\alpha$足够小时，当且仅当$x^{\prime }$是边界样本的直接邻居时，才能观测到$\mathcal{H}(x^{\prime })$的状态变化。因此在硬标签设置下，有必要降低$x_t^{\prime }$与决策边界的距离。

如公式3所示，$\mathcal{H}(x^{\prime })$是一个布尔函数，因此其可以用于指示是否成功生成对抗样本。基于此的对抗攻击目标可以记作：
$$\underset{x^{\prime }}{\min }\mathcal{D}(x^{\prime },x),subjectto\mathcal{H}(x^{\prime })=1\text{\hspace{1em}(4)}$$这里$\mathcal{D}=\Vert x^{\prime }-x{\Vert }_2$。

公式4的优化，有两种梯度策略：

1. 第一种${\mathcal{H}}_w(x^{\prime })$：
   $$\nabla \mathcal{H}(x^{\prime }):={\mu }_t^{i}subjectto\underset{{\mu }_t^i}{\min }\mathcal{D}(x,x_t^{\prime }+{\delta }_t{\mu }_t^i)\text{\hspace{1em}(5)}$$其中${\mu }_t^i=\nabla {\mathcal{J}}_{\mathcal{S}}(x+v_t^i,c^{†})$是通过预训练替换模型$S(x)$生成的梯度，其能够很好地复制目标模型$F(x)$的分类行为、$v_t^i$是用于区分输入样本$x$的向量、${\delta }_t$是缩放因子。具体地，通过输入$(x+v_t^i)$和真实类别$c^{†}$到白盒攻击模型$S(x)$，输出梯度${\mu }_t^i$。在每次迭代中，将生成$n$个梯度 { μ t 0 , μ t 1 , … , μ t n } \{ \mu_t^0,\mu_t^1,\dots,\mu_t^n \} {
   μt0​,μt1​,…,μtn​}，而其中能够使得$x_t^{\prime }$更接近$x$的梯度被选择。
   布尔函数$\mathcal{H}(x^{\prime })$提供了梯度方向的近似，其也被广泛应用于黑盒攻击方法中。然而，$\mathcal{H}(x^{\prime })$的评估包含了其可能方向。因此，所提出的方法不只使用策略。
2. 第二种${\mathcal{H}}_t(x^{\prime })$：
   • 基于HSJA攻击的基本思想，首先在均匀分布下生成$p_t$个随机样本${\mu }_t^i$，其中 μ t i ∈ R m , i = { 0 , 1 , … , p t } \mu_t^i\in\mathbb{R}^m,i=\{0,1,\dots,p_t\} μti​∈Rm,i={
     0,1,…,pt​}；
   • 在每次迭代中，随机样本的数量都将被重新计算，即$p_t=10\sqrt{t+1}$；
   • 利用蒙特卡洛法计算梯度：
     $$\nabla {\mathcal{H}}_b(x_t^{\prime }):=\frac{1}{p_t}\sum _{i=1}^{p_t}\mathcal{H}(x_t^{\prime }+{\delta }_t{\mu }_t^i){\mu }_t^i\text{\hspace{1em}(6)}$$其中${\mu }_t^i\sim \mathcal{N}(O,I)$。${\delta }_t=10^{-2}\mathcal{D}(x,x_t^{\prime })$是缩放因子。

基于两种梯度策略，迭代梯度$g_t$被近似为：
$$g_t\approx {\beta }_t\frac{\nabla {\mathcal{H}}_w(x_t^{\prime })}{\Vert \nabla {\mathcal{H}}_w(x_t^{\prime }){\Vert }_2}+(1-{\beta }_t)\frac{\nabla {\mathcal{H}}_b(x_t^{\prime })}{\Vert \nabla {\mathcal{H}}_b(x_t^{\prime }){\Vert }_2}\text{\hspace{1em}(7)}$$$\beta$是一个布尔函数，其输出从 { 0 , 1 } \{0,1\} {
0,1}中选择。在算法开始阶段，设置$\beta =1$；当算法陷入局部最小值时，设置$\beta =0$。考虑到每次迭代时，基于对抗样本$x_t^{\prime }$来近似梯度$g_t$。因此，将该过程更新为${\dot{x}}_t=x_t^{\prime }+\alpha g_t$。当${\dot{x}}_t$接近边界样本时，公式4的优化将更有意义。因此，将${\dot{x}}_t$移动到边界的微调过程表示为：
$${\dot{x}}_t=\underset{\alpha }{\min }(x_t^{\prime }+\alpha g_t),suchthat\mathcal{H}({\dot{x}}_t)=1\text{\hspace{1em}(8)}$$其中$\alpha$是一个线性搜索参数。微调过程的目的是保证$\mathcal{H}({\dot{x}}_t)=1$且$\min \mathcal{D}(x_t^{\prime },{\dot{x}}_t)$，从而使得下一次迭代落在边界上。注意，这里设置$\alpha \le 1.0$。

迭代优化的最后一步是增加输入样本$x$和得到的中间对抗样本${\dot{x}}_t$之间的关联性。对此，二分搜索方法被采用：
$$x_{t+1}^{\prime }=\underset{\zeta \to 0}{\lim }(\zeta x+(1-\zeta ){\dot{x}}_t),suchthat\mathcal{H}(x_{t+1}^{\prime })=1\text{\hspace{1em}(9)}$$该式所使用的方法是一种简单的贪心搜索算法，对于硬标签算法是足够的。

3.1 替换模型的梯度

替换模型的决策边界不匹配目标模型时，其所生成的梯度的迁移性将被损害。对此，所提出的SQBA方法将使用多梯度策略。

令$\tilde{x}$表示由$S(x)$生成的对抗样本，$\tilde{v}={\nabla }_{\mathcal{S}}\mathcal{J}(x,c^{†})$表示将$x$转变为$\tilde{x}$的扰动向量。基于此计算的对抗样本计算为$x_i^{\prime }=x+{\eta }_i\tilde{v}$，其中${\eta }_i\le 1$是一个用于调控到输入样本距离的正缩放因子。如图1所示，梯度的集合可以被计算为：
$${\mu }_i={\nabla }_{\mathcal{S}}\mathcal{J}(x_i^{\prime },c^{†}),wherei=0,1,\dots ,n\text{\hspace{1em}(10)}$$

 
已有的很多工作表明，在硬标签设置下，最佳的搜索方法是与$\tilde{v}$垂直的方向。令$\mathcal{A}({\overline{a}}_1,{\overline{a}}_2):=\cos \angle ({\overline{a}}_1,{\overline{a}}_2)=({\overline{a}}_1\cdot {\overline{a}}_2)/\Vert {\overline{a}}_1{\Vert }_2\Vert {\overline{a}}_2{\Vert }_2$表示两个向量之间的角度，则$\tilde{v}$和梯度向量${\mu }_i$之间的角度被计算为$\mathcal{A}(\tilde{v},{\mu }_i)$。

为了验证样本集合$x_i^{\prime },i=0,1,\dots ,n$的梯度方法，我们分别绘制了在CIFAR-10和Image-Net100上、多个DNN模型下生成的500个实例的距离和角度关系，如图2所示：

1. 当${\eta }_i$很小时，$x_i^{\prime }$接近$x$，此时$\mathcal{A}(\tilde{v},{\mu }_i)\approx 1$；
2. 随着$\eta$的增加，$\mathcal{A}(\tilde{v},{\mu }_i)$快速下降直至0；
3. 通过观察不同的DNN或者dataset的结果，当${\eta }_i\approx 0$时，$\mathcal{A}(\tilde{v},{\mu }_i)\approx 0$；
4. 迭代近似梯度可以被选择为满足${\eta }_i\ge 0.2,\mathcal{H}(\tilde{x}+2\delta {\mu }_i)=1$的梯度向量：
   $$\nabla {\mathcal{H}}_w(\tilde{x})={\mu }_{i}wherei=\underset{\mathcal{D}}{\mathrm{argmin}}[\mathcal{D}(x,\tilde{x}+2{\delta }_t{\mu }_i)]\text{\hspace{1em}(11)}$$