本文包含有待同行评审的研究成果。因此被视为初步结果,应该解释为这样的。了解同行评审过程的作用研究在这里。为进一步的信息,请联系引用源。

这是理所当然的,汽车需要定期检查和维护,以确保安全性和可靠性。另一方面,加强数字转换的需求,许多领域和行业正在积极采用人工智能(AI)和机器学习(ML)协助决策制定——从自主车辆、教育、招聘、司法、卫生、交易内容推荐和交付,机器翻译和汇总,搜索和计划、互动提问和回答,机器人,科学发现,等等。但反思的一个关键问题是:我们付出足够的努力,一样认真对待我们的汽车,检查和验证这些底层基于ai系统和算法的可信度?此外,作为一个最终用户和消费者,我们真的知道如何以及为什么AI技术决策,以及强大的人工智能技术如何对抗攻击吗?

据Gartner最近的一份报告,¹网络攻击的30%到2022年将涉及数据中毒模型盗窃或敌对的例子(见参考2的概述这些新的威胁集中在机器学习)。然而,该行业似乎准备不足。在28日的调查组织跨越小型以及大型组织中,25组织不知道如何保护他们的AI /毫升系统。³

有许多与值得信赖的人工智能相关的关键因素,包括公平、explainability、隐私、透明度和鲁棒性。在鲁棒性、汽车和值得信赖的人工智能模型有许多共同的目标。在下面,我们将强调三个车型开发中类比来解释为什么健壮性是至关重要的人工智能模型。

生命周期模型的开发和部署

像一个汽车模型的发展(电动汽车),开发人工智能模型是一个昂贵和耗时的过程。一个人工智能模型的生命周期可以分为两个阶段:培训和部署。训练阶段包括数据收集和预处理、模型选择(例如,架构搜索和设计),hyperparameter调优,模型参数优化和验证。人工智能模型训练可能是相当昂贵的,尤其是当它涉及到基础模型的训练⁴需要训练的大规模数据集与神经网络组成的一个庞大的规模可训练的参数。以生成Pre-trained变压器3 (GPT-3)⁵作为一个例子,这是有史以来最大的语言模型训练之一。GPT-3 1750亿参数和训练数据集组成的4990亿令牌。估计的培训成本大约是460万美元甚至定价最低的GPU云2020年在市场上。⁶模型的训练后,模型是“冻结”(固定模型的体系结构和参数)和准备部署。两个阶段可以复发——一个部署模型可以重新训练阶段与连续模型/数据更新。投资这么多,有一个希望生成的人工智能模型防黑客和健壮的部署。否则,一个人工智能技术的失败可能灾难性的车型回忆说。

在生命周期的错误检查和故障诊断

车辆在运动时,有几个传感器故障检测。在人工智能模型的生命周期,了解模型的失效模式和限制模型可以帮助开发人员识别隐藏的风险和错误,更重要的是,减轻负面影响和破坏之前部署在现实世界中。根据假设攻击者的能力干预AI生命周期,也被称为威胁模型,不同的攻击目标ML-based系统总结如图1所示。

图1。整体的观点对抗攻击类别和功能(威胁模型)在训练和部署阶段。在部署阶段,目标(受害者)可以获得有限黑箱系统(例如,预测API)或一个透明的白箱模型。图像改编自陈PY,刘美国整体对抗的深度学习模型的鲁棒性。出来了。doi:10.48550 / arXiv.2202。

彻底稳健性检验基于一组全面的积极的内部测试,持续的监控和性能认证(如可量化衡量的鲁棒性⁷)应该被视为一种必备标准人工智能技术,以确保它的安全性和可靠性。许多开源库等360年敌对的鲁棒性⁸提供错误检查可用的工具和机器学习模型鲁棒性评价。如图2所示,经诊断,可以解决识别问题并返回一个risk-mitigated模型使用,就像汽车检测和维修的过程!

图 2 。概念上的人工智能模型检查管道。第一阶段是确定任何潜在的威胁隐藏在一个给定的人工智能模型。第二阶段就是修复发现的错误,最后返回一个risk-mitigated模型使用。图像调整
从https://youtu.be/rrQi86VQiuc。

看不见的和敌对的环境中提高鲁棒性

汽车像火星探测车成功执行分配的任务在一个新的,看不见的地形,因为他们在模拟环境中开发的。对于人工智能模型,可以将生成的失败例子错误检查工具来提高鲁棒性的看不见的,甚至敌对的环境。这个模型被称为训练方法敌对的机器学习培训环境中,通过引入虚拟对手刺激更好、更健壮的模型。在模型训练过程中,角色的虚拟对手是模拟最坏的情况并生成新的数据样本来帮助模型推广更好的看不见的和敌对的环境中。图3总结了这种新模式的主要目标的学习对手,包括发现的局限性,提高鲁棒性,创造协同效应和提高机器学习。值得注意的是,敌对的机器学习也促使许多新颖应用鲁棒性的原始目标之外,如模型重组提供了一个有效的方法来重用pre-trained AI模型求解资源有限域的新任务。⁹

图 3 。学习的方法和一个对手,也称为敌对的机器学习。

汽车的技术和对我们的社会和生活有很深的影响。然而,我们也必须承认,解决他们陪能源消耗和空气污染等问题。同样的,当我们期待AI技术带来根本性的和革命性的改变,我们需要积极的准备我们的技术是防黑客和值得信赖。¹⁰人工智能鲁棒性研究的目的是创造一个有机的生态系统之间的人工智能技术,社会和以人为中心的信任。这样一个生态系统可以通过形式化,使人工智能模型检验标准如图2所示,确保更大的好,防止误用和成为认同快速自适应模拟故障以及真正的野生的和不可预见的挑战。

引用

1。Gartner 2020年十大战略技术趋势。Gartner。https://www.gartner.com/smarterwithgartner/gartner——高级——10 -战略-技术-趋势- - 2020。10月21日,2019年出版。2022年3月7日通过。

2。陈PY,刘美国整体对抗的深度学习模型的鲁棒性。arXiv。2022年2月15日,网上发布。doi:10.48550 / arXiv.2202

3所示。Kumar RSS Nystrom M,兰伯特J, et al .敌对的机器学习——行业视角。出来了。网上公布的2月4日,2020年。doi:10.48550 / ARXIV.2002.05646

4所示。Bommasani R,哈德逊哒,埃德里E, et al。在基础模型的机遇和风险。出来了。网上公布的8月16日,2021年。doi: 10.48550 / ARXIV.2108.07258

5。棕色的结核病,曼B,赖德N, et al . few-shot学习者语言模型。arXiv。2020年5月28日,网上发布。doi:10.48550 / ARXIV.2005.14165

6。Openai GPT-3语言模型:一个技术概述。λ。https://lambdalabs.com/blog/demystifying-gpt-3/。6月3日,2020年出版。2022年3月7日通过。

7所示。准备深度学习的现实世界——在宽范围内。IBM的研究。https://research.ibm.com/blog/deep-learning-real-world。2月9日,2021年出版。2022年3月7日通过。

8。360敌对的健壮性。IBM的研究。https://art360.mybluemix.net/。2022年3月7日通过。

9。陈PY。机器学习模型重组:资源跨域。arXiv。doi:10.48550 / ARXIV.2202.10629。2022年2月22日,网上发布。

10。保护与敌对的AI系统的鲁棒性。IBM的研究。https://research.ibm.com/blog/securing-ai-workflows-with-adversarial-robustness。2月9日,2021年出版。2022年3月7日通过。