可证对抗鲁棒性
本文与其他以Idea+实验+可解释性为主的论文不同,其以公式推导和数学证明为核心。因此,此笔记不使用往常顺延论文逻辑脉络的写法,意在整理整个推到过程。同时,略去一些引论的证明,只给出最终结论,目的在于突出重点,使论文证明清晰。
第一部分 : 严密可证对抗鲁棒性
该部分分为两个定理.
定理一证明的是,在扰动小于某个特定半径R的情况下,分类器一定具有鲁棒性。
定理二证明的是,在扰动半径大于该特定半径R的情况下,一定能找到一个特定的f,使平滑后的g不具有鲁棒性。即从函数的角度证明了其严密性。
最终得到的扰动边界为
$$
R = \frac \sigma 2 [\Phi^{-1}(\underline {p_A})-\Phi^{-1}(\overline{p_B})]\
\forall |\delta|<R,g(x+\delta)=c_A\
\forall |\delta|>R,\exist f,g : g(x+\delta)\ne c_A
$$
第二部分 : 在线性二分类分类器上证明对抗鲁棒性及扩展
第二部分通过四个命题,陈述了可证对抗鲁棒性在线性二分类分类器上的情况。并对无穷半径的情况进行说明。
命题一证明 :对于线性二分类分类器,其随机平滑的结果与原函数一致。
命题二证明 :对于线性二分类分类器,其扰动半径等于样本点到决策边界的距离,符合实际,佐证了定理一
命题三证明 :线性二分类分类器对于大于扰动半径的扰动,其不再具有鲁棒性。与定理二不同,命题三从“距离”的角度,证明了可证扰动半径的紧密性。
命题四证明 :存在函数和输入x,使可证扰动半径达到无穷。
命题一
命题二
命题三
命题四
第三部分 : 可证扰动半径在高分辨率图像的可拓展性
由于可证扰动半径与维度无关,作者额外证明了,在同一张图像高分辨率和低分辨率的情况下,高分辨率具有更高的扰动半径。
第四部分 : 针对可证扰动半径提出实用算法
该部分首先提出了实用算法,对于实用算法的“实用性”,命题6和命题7进行了证明。
命题6
命题7