Improving ¡Adversarial ¡Robustness ¡via ¡Promoting ¡ Ensemble ¡Diversity Tianyu Pang, Kun Xu, Chao Du, Ning Chen and Jun Zhu Department of Computer Science and Technology Tsinghua University TSAIL ICML | ¡2019
Adversarial ¡Examples ¡ From Dong ¡et ¡al. ¡(CVPR ¡2018)
Previous ¡Defense ¡Strategies Single ¡model defense: ¡ e.g., ¡adversarial ¡training Enhanced ¡Model Base ¡Model
Previous ¡Defense ¡Strategies Ensemble ¡model defense: ¡ Member ¡1 Member ¡2 Member ¡3
Previous ¡Defense ¡Strategies Clean ¡input Ensemble ¡model defense: ¡ Bus Bus Bus Member ¡1 Member ¡2 Member ¡3
Previous ¡Defense ¡Strategies Adversarial ¡input Ensemble ¡model defense: ¡ Cat Cat Cat Member ¡1 Member ¡2 Member ¡3
Our ¡Strategy Training ¡ensembles ¡with ¡diversity: ¡ Member ¡1 Member ¡2 Member ¡3
Our ¡Strategy Adversarial ¡input Training ¡ensembles ¡with ¡diversity: ¡ Cat Bus Bus Member ¡1 Member ¡2 Member ¡3
non-‑maximal ¡predictions • Promoting ¡diversity ¡on ¡ Prediction 3 ( ! $ ) truck Prediction 3 ( ! $ ) truck ship ship horse horse frog frog dog dog deer deer cat cat bird Adaptive ¡Diversity ¡Promoting bird plane plane car car Prediction 2 ( ! # ) truck Prediction 2 ( ! # ) ship truck horse ship frog horse dog frog deer dog cat deer bird cat plane bird car plane car Prediction 1 ( ! " ) truck Prediction 1 ( ! " ) Baseline(( ship truck horse ship frog horse ADP dog frog deer dog cat deer bird cat plane bird car plane car & \( $ % & \( # % & \( $ % & \( # % & \( " % & \( " %
Adaptive ¡Diversity ¡Promoting • Promoting ¡diversity ¡on ¡ non-‑maximal ¡predictions & \( " % & \( # % car plane bird cat deer dog frog horse ship truck car plane bird cat deer dog frog horse ship truck car plane bird cat deer dog frog horse ship truck Prediction 1 ( ! " ) Prediction 2 ( ! # ) Prediction 3 ( ! $ ) & \( $ % Baseline(( correspond ¡to ¡all ¡potentially ¡ & \( " % & \( # % wrong ¡labels ¡returned ¡for ¡ car plane bird cat deer dog frog horse ship truck car plane bird cat deer dog frog horse ship truck car plane bird cat deer dog frog horse ship truck Prediction 2 ( ! # ) the ¡adversarial ¡examples Prediction 1 ( ! " ) Prediction 3 ( ! $ ) & \( $ % ADP
Experiments Adversarial ¡transferability ¡among ¡individual ¡members ¡of ¡ensembles
Experiments Classification ¡accuracy ¡(%) ¡on ¡adversarial ¡examples
Experiments Classification ¡accuracy ¡(%) ¡on ¡adversarial ¡examples
For ¡more ¡technical ¡details ¡and ¡results, ¡please ¡come ¡ Poster: ¡ #64 Code: https://github.com/P2333 TSAIL ICML | ¡2019
Recommend
More recommend