三方联合推出人工智能安全评估平台
来源: 《中国科学报》 2021-06-11 02:45:17
(记者沈春蕾)人工智能(AI)模型究竟是否安全,攻击和防御能力如何?日前,清华大学、阿里安全、瑞莱智慧联合推出了AI攻防对抗基准平台。该平台致力于对AI防御和攻击算法进行自动化、科学评估,AI安全基准依托清华大学人工智能研究院研发的人工智能对抗安全算法平台ARES建立。
参与该评测基准平台设计的阿里安全高级算法研究人员越丰打了一个比喻:“就像打仗一样,攻击者可能用水攻,也可能用火攻,还可能偷偷挖条地道来攻打一座城;守城的人不能只考虑一种可能性,必须布防应对许多的攻击可能性。”
美国伊利诺伊大学计算机科学系教授李博认为,机器学习在推理和决策中的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中,但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布,并未考虑潜在攻击者恶意修改两种数据分布。
他解释道,这相当于在一个人成长的过程中,故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动,误导机器学习模型的预测,或将精心设计的恶意实例注入训练数据中,通过攻击训练引发AI系统产生错误判断。这好比是从AI“基因”上做了改变,让AI在训练过程中按错误的样本进行训练,最终变成被操控的“傀儡”,只是使用的人全然不知而已。
记者获悉,不同于之前只包含零散攻防模型的对抗攻防基准,此次三方联合推出的AI对抗安全基准基本包括了目前主流的人工智能对抗攻防模型,涵盖了数十种典型的攻防算法。不同算法的比测尽量采用相同的实验设定和一致的度量标准,从而在最大限度上保证了比较公平性。
除此之外,此次发布的AI安全排行榜也包括了在刚刚结束的CVPR2021人工智能攻防竞赛中诞生的前5名代表队的攻击算法。此次竞赛获得了全球2000多支代表队提交最新算法,进一步提升了该安全基准的科学性和可信性。
清华大学计算机科学与技术系教授朱军告诉《中国科学报》:“通过对AI算法的攻击结果和防御结果进行排名、比较不同算法性能建立的AI安全基准具有重要学术意义,可以更加公平、全面地衡量不同算法的效果。”
清华大学、阿里安全、瑞莱智慧三方都表示,该基准评测平台不是专属于某一家机构或公司搭建的平台,需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威AI安全评估平台。
[ 责编:武玥彤]猜你喜欢
ipod touch有什么功能?touch苹果皮是什么?
2022-06-17 16:00:32
双wifi是什么意思啊? 双频wifi好处有哪些?
2022-06-17 15:59:08
首套国产化深水水下采油树正式投入使用
2022-06-17 15:57:39
研究人员发现:细菌“亲密行为”或解释抗生素耐药性成因
2022-06-17 15:56:47
未来手机可像乐高积木般搭建 相关研究发表在《自然·电子学》上
2022-06-17 15:55:47
待机动画是什么意思? 电脑待机动画怎么弄?
2022-06-16 16:40:55
压缩文件kz怎么转换 kz文件怎么打开如何解压kz文件?
2022-06-16 16:39:05
研究人员发现常见大麦虫能吃掉塑料垃圾
2022-06-16 16:36:14
将人类基因与其功能一一对应 项目数据在线发表于《细胞》杂志上
2022-06-16 16:35:45
“智能皮肤”可探测微生物 有助促进灵敏机器人和智能假肢的研发
2022-06-16 16:35:14
xv转rmvb格式转换器xv如何转换成rmvb?视频怎么转rmvb格式?
2022-06-15 16:42:04
巨大的“鳄鱼脸”恐龙被发现 “欧洲最大的陆地捕食者”
2022-06-15 16:39:13
研究发现:犬类与人为友的遗传线索
2022-06-15 16:36:32
超灵敏磁强计可将信号功率放大64% 并显示出创纪录的33%的超高对比度
2022-06-15 16:33:17
视网膜上这类细胞在近视形成中起重要作用 相关论文发表在《科学·进展》上
2022-06-15 16:32:50
黑鲨618狂欢盛典福利多,购黑鲨最新旗舰至高立减800元
2022-06-15 15:01:28
油价破十,双擎当时 百公里4.8L的混动皓极即将预售
2022-06-15 14:26:16
今日讯!载人航天工程30年 听航天设计师们怎么说
2022-06-13 09:44:58
每日聚焦:中国天眼“看到”持续活跃快速射电暴
2022-06-13 09:57:03
焦点快报!视网膜上这类细胞在近视形成中起重要作用
2022-06-13 09:46:52
讯息:揭秘“时间魔盒”原子钟:三千万年误差小于一秒
2022-06-13 09:43:48
今日报丨亩产801.72公斤:中国超强筋小麦单产新纪录诞生
2022-06-13 09:39:01
要闻:商用迎来三周年之际:5G全连接工厂有啥不一样
2022-06-13 09:43:15
视点!三家网店三个运营商 FOREVER21的低价策略还能奏效?
2022-06-13 08:37:45
时讯:叮咚买菜再退一城 前置仓还没过春天就入冬了?
2022-06-13 08:49:11