当前位置:首页 > 天道酬勤 > 正文内容

谁开发了一个深度神经网络(深度神经网络是谁开发的)

张世龙2021年12月20日 08:21天道酬勤580

编辑:在机器学习的世界里,正确性和可说明性总是不并存的。 复杂的模型很准确,但是很难理解,简单的模型容易理解和错误。 微软研究院首席研究员Rich Caruana在他几十年的职业生涯中花了很多精力去探索这个问题。 在这次采访中,他为我们共享了一个更合理、更可解释的“压缩”模式,使“黑匣子”之类的机器学习过程更加透明。 这篇文章是Rich Caruana采访内容的文字简化,因为你知道整个内容,所以请听文中的采访声音。

Rich Caruana博士,微软首席执行官

采访语音

在机器学习领域,长时间存在难以取舍的问题的——模型的正确性和可解释性如同“鱼和熊掌”一样无法并存。 就像简单的线性回归、逻辑回归一样,过程是明确的,但不能用于复杂问题的分析; 像神经网络一样复杂,机器学习过程和预测结果的正确性来源于复杂的结构。 今天,随着神经网络模型的发展,为了得到更准确的结果,该模型越来越大,从初期的3、5层变为50、100层,加上千万个样本、数亿个权重,难以理解机器预测,模型

线性回归、逻辑回归这样简单准确的模型,可以很好地解决基础性问题。 但是,随着数据驱动时代的到来,庞大的数据量要求使用更复杂的模型来涵盖数据所呈现的各种情况。 但是,复杂的机器学习模式就像“黑匣子”,我们发送数据,然后输出结果。 那个箱子里发生了什么?

我认为有两个理由。 机器学习的过程就像“黑匣子”一样难以掌握。

第一,复杂模型本身的特性。 三四十年前的人工智能,例如专家系统,完全是人类手动制作的,我们很容易理解背后的结构,但现在的人工智能大部分是基于机器学习和大数据。 面对海量的数据,人们很难手动给机器制定正确的规则。 通常的做法是把数据集交给一个数据引擎,让它找到与目标结果相关的规律,学习这个规律,捕捉数据集的所有规律,最后得出预测结果。 在这个过程中我们不能确信机器发现的规律是否正确,机器也不会告诉我们它做了什么,所以我们很难完全理解整个过程。

二是模型的所有权归属问题,模型的所有者通常希望保护自己的模型。 例如,一家公司开发的评估法院付费使用的jydhk再犯罪概率的模式,根据法律规定,该模式的所有权属于这家公司,法院不希望通过研究该模式的结构找到出路。 所以,这样的模式对其他人是严格保密的。

研究生时期,我朋友在某肺炎数据集训练模型时,得出了“哮喘病史可以减少死于肺炎的概率”的荒谬结论。 事实上,哮喘是肺炎的高危相关因素之一,但数据显示,无哮喘病史患者的肺炎死亡率约为无哮喘病史患者的50%。 这是因为哮喘患者可以尽早意识到自己的发病症状,及时就医,接受优质、更积极的治疗,用这个模型来修复这个小问题并不容易,但根据这个经验,如果不了解机器学习模型的内部工作机制,就会发现这一点

注意到那个之后,我为了解决这个问题花了很多精力。 90年代初,麦迪逊大学的研究生做了一件有趣的事。 他为了了解神经网络模型的运行机理,训练了决策树模型来模拟神经网络。 15年前在康奈尔大学的时候,我们也采用了用这个简单的模型模拟复杂神经网络的方法,用小快模型模拟了用复杂模型进行的预测。 而且,速度加快了几千倍。

在过去的7年中,我们用微软开发了更简单、更能说明的模型。 我们将其称为“压缩模型”或“蒸馏模型”。 我们先训练庞大准确的数百层深度神经网络,然后把深度神经网络压缩成浅神经网络,在保持其准确率的同时提高运行效率。

另外,为了避免机器学习得出“哮喘病史会减少患者死于肺炎的概率”的结论,参考了80年代后半期统计学家提出的GAMs模型(Generalized Additive Models ),以原本简单的GAMs模型为基础进行机器学习

最后,在人工智能初期,“你应该从事最棘手的问题。 因为这是突破瓶颈的绝佳机会。 否则,有一天它会继续困扰你的。”我想业内流传着这样的话。 在研究领域,我发现最困扰我的问题往往是最好的下一个研究方向。 因此,我鼓励大家探索最棘手、最具挑战性的任务。 即使不知道是否会有回报,那也是值得的。

有关机器学习的详细内容,请点击原文访问项目页面。

你可能还想看:

感谢您关注“微软研究院AI头条”。 我期待着你的消息、投稿和交流平台的构建。 请将帖子发送到msraai@microsoft.com

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/25503.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。