智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
威綸通
大多數(shù)人工智能系統(tǒng)都基于神經(jīng)網(wǎng)絡(luò)，其算法受到大腦中生物神經(jīng)元的啟發(fā)。然而，某些人類可以理解的視覺輸入等信息，可能被人工神經(jīng)網(wǎng)絡(luò)(ANN)解釋為完全不同的東西，比如圖像分類系統(tǒng)將貓誤認(rèn)為是狗，甚至是無人駕駛汽車可能將停車信號誤認(rèn)為是優(yōu)先通行標(biāo)志。
由于不一定總是視覺性輸入，看一眼就分析出系統(tǒng)出錯的原因并不那么容易。攻擊者可能利用這一點來破壞基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，例如巧妙地改變預(yù)期輸入模式，使其被誤解。這樣系統(tǒng)將出現(xiàn)錯誤行為，甚至可能出現(xiàn)問題。
研究人員針對此類攻擊設(shè)計過一些防御技術(shù)，但存在一定的局限性。據(jù)外媒報道，東京大學(xué)醫(yī)學(xué)系研究科(University of Tokyo Graduate School of Medicine)的應(yīng)屆畢業(yè)生Jumpei Ukita和Kenichi Ohki教授設(shè)計并測試了一種改善ANN防御機制的新方法。
Ohki表示：“神經(jīng)網(wǎng)絡(luò)通常由虛擬神經(jīng)元層組成。第一層通常負(fù)責(zé)通過識別與特定輸入相對應(yīng)的元素來分析輸入信息。攻擊者可能提供一些帶有偽影(artifact)的圖像，欺騙網(wǎng)絡(luò)對其進(jìn)行錯誤分類。針對這種攻擊的常見防御措施，可能是故意在第一層中引入一些噪聲，從而更好地適應(yīng)視覺場景或其他輸入集，但是這種方法并不總是有效。研究人員認(rèn)為，可以通過超越輸入層，深入到網(wǎng)絡(luò)內(nèi)部來改善這個問題。”
除了計算機，Ukita和Ohki還研究了人類的大腦，因此在人工神經(jīng)網(wǎng)絡(luò)中使用他們所知道的現(xiàn)象，不僅要在輸入層中添加噪聲，還要在更深的層中添加噪聲。這種做法通常是避免采用的，因為在正常情況下可能影響網(wǎng)絡(luò)的有效性。然而，結(jié)果正好相反，噪聲提高了他們測試的人工神經(jīng)網(wǎng)絡(luò)的適應(yīng)性，從而降低了其對模擬對抗性攻擊的敏感性。
Ukita表示：“第一步是設(shè)計一種假設(shè)的攻擊方法，使其攻擊深度超過輸入層。這種攻擊需要承受輸入層上具有標(biāo)準(zhǔn)噪聲防御的網(wǎng)絡(luò)的回彈(resilience)。這些被稱為特征空間對抗示例。這些攻擊的工作原理是，故意提供超出(而不是接近)ANN可以正確分類的輸入。其訣竅是向更深層呈現(xiàn)微妙的誤導(dǎo)性偽影。一旦這樣的攻擊表現(xiàn)出危險性，研究人員就會將隨機噪聲注入網(wǎng)絡(luò)中更深的隱藏層，以提高它們的適應(yīng)性，從而提高防御能力。結(jié)果證明這是有效的。”
該團(tuán)隊希望進(jìn)一步開發(fā)這項技術(shù)，使其能夠更有效地抵御預(yù)期攻擊，以及尚未測試過的其他攻擊類型。目前的防御僅針對特定類型攻擊。Ukita表示：“未來的攻擊者可能會考慮避開這項研究中提到的特征空間噪聲。事實上，進(jìn)攻和防御是同一枚硬幣的兩面，是一場雙方都不會退縮的競賽。因此，研究人員需要不斷迭代、改進(jìn)和推出創(chuàng)新想法，以保護(hù)大家日常都在使用的系統(tǒng)。”
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
