首页天道酬勤()

()

admin 12-04 21:19 196次浏览

sk在Unsplash拍摄的照片

如何运用博弈论应对对抗风险?

近年来,人工智能取得了巨大的成功,因为它为我们提供了一种强大的算法,可以使用大型数据库进行精确的预测或分类。它们越来越多地被用于不同的目的,包括高风险的目的。

然而,它们并不是绝对可靠的。

事实上,这些算法大多是基于数据训练的,可能会被对手故意操纵,试图误导他们,导致错误。

让我们举一个简单的例子:检测垃圾邮件。首先,标准分类器如Naive tzdlc在准确性方面非常有效。然而,垃圾邮件发送者很快学会了如何通过用同义词改变“垃圾邮件”世界并添加更多“非垃圾邮件”世界来欺骗他们。因此,垃圾邮件过滤器已被更改以检测这些技术。然而,垃圾邮件发送者通过使用新邮件来回应。因此,这导致防守者和进攻者之间无休止的博弈,直到达到平衡。

在这种情况下,博弈论非常有用,因为它提供了一个数学工具,可以根据防守和进攻策略来模拟防守者和对手的行为。

更具体地说,基于博弈论的模型可以考虑以下因素:

攻击者权衡调整分类器的成本和他们从攻击中获得的好处。

防御者所做的权衡是在正确的攻击检测和错误警报之间取得平衡。

因此,基于博弈论的模型可以确定需要哪种合适的策略来减少防守者对抗攻击造成的损失。

垃圾邮件过滤并不是这些模型能够带来有价值信息的唯一情况。这个观点可以用来描述其他风险较高的情况:计算机入侵检测、欺诈检测和空中监视。

在本文中,我将与您分享关于如何将博弈论应用于对抗性机器学习的主要发现。

阅读本文后,您将了解到:

博弈论是如何应用于机器学习的?

博弈论如何帮助解决对抗性学习问题?

如何让你的机器学习算法对攻击具有鲁棒性?

如果你喜欢我的文章,请不要忘记鼓掌!

基于博弈论方法的一个例子

让我们从一个简单的例子开始:垃圾邮件检测。

下一节将介绍刘和查瓦尔为对抗性学习开发的游戏模型。

00-1010可以将其建模为垃圾邮件发送者和防御者之间的两人游戏。

垃圾邮件发送者可以选择1)通过更改垃圾邮件和通过垃圾邮件过滤器来攻击分类器,或者2)当他们知道某些垃圾邮件可能通过时不进行攻击。

防御者可以选择1)重新训练分类器以保持低误分类率,或者2)不重新训练分类器,尽管重新分类的垃圾邮件数量可能会增加。

让我们假设垃圾邮件发送者将是第一个采取行动的人。

如下图所示,有四种可能的结果。每个方案可以与两个参与者的收益相关联,以反映最终结果的相对排名。

例如,方案2对于防御者来说是最坏的情况,对于垃圾邮件发送者来说是最好的情况,因为他对未经训练的分类器的攻击会导致大量误分类的垃圾邮件。

垃圾邮件发送者和防御者之间的博弈树

00-1010可以将这种情况建模为Stackelberg博弈,即领导者(此处为垃圾邮件制造者)和追随者(防守者D)的连续博弈。

Stackelberg博弈通常被用来模拟具有一定竞争水平的市场中理性主体之间的战略互动。

在这种情况下,每个玩家通过分别选择S和D的可能动作U和V之一来响应对方的动作。让这些集合有界且凸。

每个结果都与返回函数Js和Jd相关联。利润函数Ji是二次微分映射Ji(U,V)R,其中R是反应。

因此,可以将玩家I的反应Ri视为收益最大化的玩家,即:

此外,第一个采取行动的人可以期待追随者的合理反应,并在他的第一个决定中考虑到这一点。这被称为回滚或反向检测。

这意味着垃圾邮件发送者的第一个动作是解决以下优化问题:

/850d0591bd674821bc5fc65c42f7977a?from=pc">

因此,防御者将选择最佳解决方案:

这个解(u,v)是Stackelberg平衡。

请注意,这与纳什均衡不同,纳什均衡中游戏的两个参与者同时行动并且联立方程的解为(0,0),即两个参与者都没有反应。

型号规格

既然我们已经定义了常规设置,那么在分类问题的特殊情况下,我们仍然需要确定玩家的收益函数。

为了简化,我们首先将仅考虑一个属性。 假定它们在给定其类别标签的条件下是独立的,则可以轻松地将其概括为多个属性。

首先,玩家行动的影响是什么?

让我们定义以下分布:

· P(μ',σ):垃圾邮件的分布

· Q(μ,σ):非垃圾邮件的分布

μ'<μ,因为非垃圾邮件比垃圾邮件多

对手通过将μ'移至μ'+ u(即移向μ)进行攻击。 防御者的反应是将边界从1/2(μ'+μ')移到(也移向μ)

第二,玩家的收益是什么?

为了评估数据上变换u的重要性,可以使用Kullback-Leibler散度KLD(也称为相对熵)。 它测量概率分布与另一个参考概率分布有何不同。

垃圾邮件发送者的收益:由于他的目标是增加错误分类的垃圾邮件的数量,因此他的收益可以表示为:

其中FNR是误报率的增加。 因此,α代表成本损失的强度。

防御者的收益:由于他的目标是提高分类的准确性,因此他的收益可以表示为:

其中TPR和TNR代表真实正和真实负利率的增加。 因此,β控制着训练分类器成本的强度。

在这种情况下,可以使用遗传算法求解以下方程式:

该论文的作者运用这种方法在合成数据和真实数据之间寻找平衡。 根据产生攻击和重新训练分类器(通过α和β建模)所产生的成本的重要性,他们找到不同的均衡。

基于博弈论方法的其他变体

前面的示例基于一组假设:它为一个游戏建模,在该游戏中,攻击者和防御者相继竞争。 它假定攻击者是第一个采取行动的人。 还假定这两个参与者都知道各自对手的收益和成本。

但是,这些假设并不总是成立。 幸运的是,存在大量依赖于博弈论方法的模型。 它们可以分类如下。

零和与非零和博弈

在2人零游戏中,攻击者的收益等于防御者损失的成本,反之亦然。 这意味着玩家的效用之和为0。这个假设可能非常悲观,因为防御者的效用损失可能次于对手的效用。

同步博弈与顺序博弈

在同时移动游戏中,玩家会同时选择自己的策略,而不会互相观察对方的策略。 在顺序游戏中,他们选择一个接一个地移动。

对抗学习主要被建模为顺序游戏,防御者是领导者。 实际上,通常认为,一旦防御者选择了一个分类器,攻击者就可以观察到它并决定自己的策略。

上一节中描述的模型是认为攻击者在选择其策略之前无法观察分类器的少数模型之一。

tzdlc博弈

tzdlc游戏对玩家具有不完整其他玩家信息的游戏进行建模。 这更有可能是因为防御者可能不知道生成对抗性数据的确切成本,而攻击者可能不知道防御者的确切分类成本。 他们只对这些成本有信心。

著名经济学家bhdhf(John C. Harsanyi)在博弈论中做出了重大贡献,尤其是在不完整的信息环境中,他通过以下方式描述了tzdlc博弈:

游戏中的每个玩家都与一组类型相关联,该组中的每种类型对应于该玩家可能的支付功能。 除了游戏中的实际玩家外,还有一个名为"自然"的特殊玩家。 大自然会根据玩家类型空间中的概率分布为每个玩家随机选择一种类型。 所有参与者都知道这种概率分布("共同的先验假设")。 这种建模方法将不完整信息的游戏转换为不完美信息的游戏。

资料来源:维基百科

如何使对抗学习稳健?

依赖基于博弈论框架的对抗性学习技术可能是相关的,因为它基于重新训练模型并产生攻击者所产生的收益和成本来对学习者和对手的行为进行建模。

但是,如果初始模型已经对对抗攻击具有鲁棒性怎么办?

提高此鲁棒性的最常见方法之一是对恶意数据进行建模,该恶意数据可以由对手事先生成,并将其包含在训练阶段。

在本节中,我们将考虑用于生成对抗性数据的3种主要技术:干扰技术,传输对抗性示例,生成对抗性网络(GAN)。

摄动技巧

这个想法是产生可以被潜在对手使用的综合对手数据。 为此,有必要了解并预测对手如何发动攻击。

这些技术大多数都依赖于向有效示例中添加少量噪声或扰动。 让我们看一些著名的例子:

BFGS

请注意:

· f:分类器映射,该映射对给定观察值x包含m个特征,并返回类标签

· 损失:相关的连续损失函数

· r:摄动

攻击者的目标是生成一个错误分类为l的示例,他必须解决以下优化问题:

这可以通过执行线搜索来找到最小值c> 0来实现,以下问题的最小化子r满足f(x + r)= l:

请注意,对于诸如深度神经网络之类的复杂模型,此优化问题没有封闭形式的解决方案。 但是,可以使用迭代数值方法,这会使生成速度变慢。 但是,其成功率很高。

快速梯度符号法(FGSM)

请注意:

· X:干净的观察

· ∇J(X,y):模型损失函数相对于X的梯度

· ϵ:控制对抗性扰动重要性的参数

该方法通过增加损失函数的值来生成对抗性扰动,如下所示:

注意,在梯度方向上添加扰动可以使观测有意更改,从而使模型将其分类错误。

与前一种方法相比,该方法快速且在计算上更可行。 但是,其成功率较低。

Goodfellow等。 描述此方法的论文也引起了有趣的观察,例如:

· 在创建对抗性示例时,使用扰动方向而不是扰动量会更有效

· 用对抗性示例训练分类器类似于分类器的正则化

迭代快速梯度符号

也可以以较小的步长应用FGSM几次并修剪总数,同时使干净示例和对抗示例之间的失真小于1/3。

传递对抗示例

上面描述的大多数技术都假定攻击者知道所使用的模型。 它们属于所谓的白盒攻击,而不是黑盒攻击。 但是,在现实生活中,情况并非总是如此。

那么,攻击者通常采用什么技术?

对手可以通过探测来重构模型,即向模型发送有效和对抗的示例并观察输出。 这使他能够形成可用于训练替代模型的数据集。 然后可以使用White-Box算法实现对抗性示例的生成。

但是,在某些情况下,探测可能会受到接受的最大查询数或对手所招致的成本的限制。 为了解决这个问题,对手可以生成对抗示例,以欺骗分类器并并行训练另一个模型。 然后,他可以重用这些相同的对抗性示例来欺骗多个不同的分类器。

请注意,可以使用通过模型生成的对抗性示例来欺骗黑盒模型,并且依赖于transfer属性。

生成对抗网络(GAN)

生成对抗网络(GAN)完全依赖于博弈论方法。 在这些模型中,从对手生成受干扰的示例,并同时将其用于训练学习者的模型,如下图所示。

> Generative Adversarial Network framework, Source: Article from FreeCodeCamp, Thalles Silva

如上图所示,学习者使用的功能称为鉴别器,而对手使用的功能称为生成器。

鉴别器和生成器通过零和博弈进行交互,因为它们都在寻求优化另一个相反的目标函数或损失函数。

在这种情况下,鉴别器和生成器分别连续地调整其预测和数据破坏机制。

结论

如今,随着个人和企业正在拥抱数字革命,人工智能算法已越来越多地用于解决多种情况下的复杂问题,其中某些问题可能具有很高的风险。

因此,重要的是当他们在敌对环境中面临对抗性攻击时,不要低估他们的弱点。

这些例子所揭示的例子不胜枚举:用于访问私人空间或有价值信息的图像识别系统,保护个人和公司财富的欺诈检测算法等。

在这种情况下,博弈论提供了有用的工具来对对手和学习者的行为进行建模,因为它一方面包括对手的攻击收益和生成对手数据的成本,另一方面包括 学习者更新模型的成本。

因此,基于博弈论的方法将权衡对手和学习者所采用的方法,可以用来评估实施特定技术的风险。 因此,它是一个功能强大的决策工具,需要在类似情况下更广泛地使用它。

参考文献

[1] W. Liu和S. Chawla,"对抗学习的博弈理论模型",2009年IEEE国际数据挖掘研讨会,佛罗里达,迈阿密,2009年,第25-30页。

[2] P。

[3] N. Dalvi等人,对抗分类,华盛顿大学计算机科学与工程系,西雅图,2004年8月

[4] P. L. Bajo,对抗机器学习:如何攻击和捍卫机器学习模型

[5] C. Molnar,可解释性机器学习,可解释黑匣子模型的指南,2020年4月

[6] S. Saxena,关于AI的游戏(理论)? 面向所有人的插图指南,2019年11月

(本文翻译自Lina Faik的文章《A Game Theoretical Approach for Adversarial Machine Learning》,参考:https://towardsdatascience.com/a-game-theoretical-approach-for-adversarial-machine-learning-7523914819d5)

linux下运行文件的命令是什么-linux运维SpinServers:黑五特别优惠VMware虚拟机安装苹果Mac OS的超详细教程付费方式等。Java0基础_day11-抽象类与接口雷士灯具管理系统
() 低功耗触摸芯片(低功耗芯片架构设计技术)
相关内容