2022年1月12日整理發布：人們越來越擔心機器學習模型成為許多關鍵應用程序的重要組成部分而產生的新安全威脅。威脅列表的頂部是對抗性攻擊，這些數據樣本經過不顯眼的修改以操縱目標機器學習模型的行為。

對抗性機器學習已成為熱門研究領域，也是人工智能會議上的演講和研討會主題。科學家們經常尋找新的方法來攻擊和防御機器學習模型。

卡內基梅隆大學和 KAIST 網絡安全研究中心的研究人員開發的一項新技術采用無監督學習來解決當前用于檢測對抗性攻擊的方法的一些挑戰。這項新技術在 ACM 知識發現和數據挖掘會議 (KDD 2021)的對抗性機器學習研討會(AdvML) 上發表，利用機器學習可解釋性方法來找出哪些輸入數據可能經歷了對抗性擾動。

創建對抗樣本

假設攻擊者想要發起對抗性攻擊，導致圖像分類器將圖像的標簽從“狗”更改為“貓”。攻擊者從未經修改的狗圖像開始。當目標模型處理此圖像時，它會返回已訓練過的每個類的置信度分數列表。具有最高置信度分數的類對應于圖像所屬的類。

然后，攻擊者在圖像中添加少量隨機噪聲，并再次通過模型運行。修改會導致模型輸出發生微小變化。通過重復該過程，攻擊者找到了一個方向，該方向將導致主要置信度得分降低而目標置信度得分增加。通過重復這個過程，攻擊者可以使機器學習模型將其輸出從一個類更改為另一個類。

對抗性攻擊算法通常具有一個epsilon參數，該參數限制允許對原始圖像進行的更改量。epsilon 參數確保對抗性擾動仍然無法被人眼察覺。

有多種方法可以保護機器學習模型免受對抗性攻擊。然而，大多數流行的防御方法在計算、準確性或通用性方面引入了相當大的成本。

例如，一些方法依賴于有監督的對抗訓練。在這種情況下，防御者必須生成大量對抗樣本并微調目標網絡以正確分類修改后的樣本。這種方法會產生示例生成和訓練成本，并且在某些情況下，它可能會降低目標模型在原始任務上的性能。它也不能保證可以抵抗未經訓練的攻擊技術。

其他防御方法需要防御者訓練一個單獨的機器學習模型來檢測特定類型的對抗性攻擊。這可能有助于保持目標模型的準確性，但不能保證能夠對抗未知的對抗性攻擊技術。