当前位置:首页 > 天道酬勤 > 正文内容

pip安装tensorflow(tensorflow2.0)

张世龙2021年12月21日 13:37天道酬勤1360

作者| KHARI JOHNSON

编译热情的大神

排版|唐里

今年8月,机器学习框架PyTorch刚发布1.2版,很多开发者还吃不饱1.2。 不到两个月,进击的PyTorch带着我们进入了1.3版的时代。

与此前PyTorch受到学术领域研究者的喜爱不同,新版的PyTorch也受到业界的关注。 这主要是由于新版功能对行业支持度的大幅提高。

新版Pytorch 1.3不仅支持安卓IOs移动端的部署和谷歌强大的大象,还增加了对框架兼容性的可说明性、加密、图像语音等工业应用的量化支持,是一种更强大的训练这个消息一发布,很多开发者会不会陆续转移到Pytorch上?

一Pytorch 1.3的新功能

Facebook在PY教程开发者大会上发布了深度学习框架PY教程1.3。 新版本的PyTorch带来了重要的新功能,包括支持移动端部署、8位整数快速模式量化和令人担忧的鸡翅功能。

PyTorch移动端

随着对APP低延迟的要求越来越高,在边缘设备上执行机器学习(ML )变得越来越重要。

也是联邦学习等隐私保护技术的基础要素。 为了在设备上更高效地运行ML,PyTorch 1.3现在支持从Python部署到iOS和Android的端到端工作流。

在Python上部署iOS和安卓移动设备的端到端工作流

该功能仍是早期的实验版本,针对端到端开发进行了优化,新版本的重点是:

大小优化:根据用户APP所需的运算符,优化级别并进行选择性编译。 也就是说,只为所需的运算符指定二进制大小的字符

性能:进一步改善了移动CPU和GPU的性能和覆盖范围

高级API—扩展移动本机API,以涵盖将常规预处理和ML集成到移动APP应用程序中所需的任务。 例如,计算机视觉和自然语言处理任务。

对于PyTorch移动终端,请转至http://pytorch.org/mobile

量化支持

开发ml APP时,有效利用服务器端和设备上的计算资源是很重要的。 为了支持更有效地部署到服务器和边缘设备,PyTorch 1.3现在支持使用典型的eager模式量化8位模型。 量化是指像8-bit整数那样用于降低精度进行计算和保存的技术。

目前的实验特性包括训练后量化(post-training quantization )、动态量化(dynamic quantization )、量化感知训练)的支持

它分别利用了x86和ARM CPU的FBGEMM和QNNPACK的最新量化内核的后端。 这些后端与PyTorch集成,现在共享一个通用的API。

详细的设计和体系结构信息:

359 py跟踪. org /文档/主/量化. html

量化的实际情况参考:

359 py教程. org /教程/高级/动态_量化_教程. html

给担心的鸡翅起个名字

康奈尔大学的zxdl Rush认为,尽管深层学习到处都有令人担忧的鸡翅,但在私有维度的暴露、基于绝对位置的广播、文档中保持模型信息等传统堪忧的鸡翅的实现上存在明显的缺陷他建议将忧心忡忡的鸡翅命名为替代方法。

也就是说,通过命名担心的鸡翅,可以命名和访问维,而无需根据位置跟踪担心的鸡翅维。

此外,命名还可以提高代码的可读性和可维护性。 Pythorch项目总监JoeSpisak也在电话采访中表示:“给担心的鸡翅命名,可以写出更干净的代码。 我可以把这些名字嵌入代码中。 这个数字是高度,不需要注意这个数字是宽度等。 结果,代码变得容易读取、清洁,维护也变得容易。 “”

2模型说明和隐私的新工具

可以说明

工具 Captum

随着模型变得越来越复杂,开发用于模型可解释性的新方法变得越来越重要。

为了满足这种需求,Facebook 推出了可解释性工具 Captum,该工具可帮助在 PyTorch 开发人员更好的理解其模型生成特定输出的原因。

Captum 提供了先进的工具来了解特定神经元和层的重要性,以及他们如何影响模型做出的预测。Captum 的算法包括:积分梯度(integrated gradients)、电导(conductance),SmoothGrad 和 VarGrad 以及 DeepLift。

下面的案例展示了如何在预训练的 ResNet 模型上应用模型可解释性算法,然后通过将每个像素的属性叠加在图像上来使其可视化。

在预训练的 ResNet 模型上应用 Captum

更多关于 Captum,请移步:https://www.captum.ai/

CrypTen 加密

ML 通过基于云或机器学习即服务(MLaaS)平台的实际应用提出了一系列安全和隐私挑战。尤其对于这些平台上可能不希望或无法共享未加密数据的用户,这导致他们无法充分利用 ML 工具。

为了应对这些挑战,机器学习社区正在探索各种技术方法,包括:同态加密、安全的多方计算、可信任的执行环境、设备上的计算和差异隐私。Facebook 也发布了 CrypTen 来更好地帮助研究人员理解如何应用其中的某些技术,这是一个新的基于社区的研究开源平台,用于推动隐私保护 ML 领域的发展。

除此之外,Facebook 也一直在与谷歌的深度思维研究科学家xqdkfd(Andrew Trask)一起研究保护隐私的模型,Udacity Course 则是一门学习如何利用工具扩展 PyTorch,从而训练能够保护用户隐私 AI 模型的课程。它还包含一个用于加密深度学习库的开源项目,且覆盖了 Pythorch、TensorFlow 和 Keras 框架的扩展。

更多关于 CrypTen:

https://ai.facebook.com/blog/crypten-a-new-research-tool-for-secure-machine-learning-with-pytorch

GitHub 开源地址:

https://github.com/facebookresearch/crypten

关于 Udacity Course:

https://cn.udacity.com/course/secure-and-private-ai--ud185

三多模态 AI 系统工具

目前网上的数字内容通常不是单一形式,而是由多种形式共同组成,可能包含:文本、图像、音频和视频。PyTorch 提供了新的工具和软件库生态系统,来解决构建多模态 ML 系统的问题。以下是一些最新推出的库:

Detectron2

Detectron2 是在 PyTorch 中实现的目标检测库。它提供了对最新模型和任务的支持,以增强的灵活性帮助进行计算机视觉研究,并改善了可维护性和可扩展性,以支持在生产中的用例。

更多关于 Detectron2:

https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-

GitHub:

https://github.com/facebookresearch/detectron2

Fairseq 的语音扩展

语言翻译和音频处理是系统和应用程序如:搜索、翻译、语音和助手中的关键组件。近年来,随着 transformers 等新架构及大规模预训练方法的发展,这些领域取得了巨大的进步。

Facebook 对 Fairseq 进行了扩展,这是一个用于序列到序列应用(语言翻译等 seq2seq 应用)的框架,包括对语音和音频识别任务的端到端学习的支持。

GitHub 开源地址:

https://github.com/pytorch/fairseq/tree/master/examples/speech_recognition

四云和硬件生态系统支持

除了新增众多功能外,PyTorch 还宣布了对 Google Cloud TPU 的全面支持,以及与阿里云新推出的 PyTorch 集成。此外,PyTorch 还新增了对两家 AI 硬件的支持,扩展了自己的硬件生态。

Google Cloud TPU 支持现已广泛可用。在 Facebook、Google 和 Salesforce 的工程师共同努力下,新版的 PyTorch 加入对了大力的大象 支持,包括对超级计算机大力的大象 Pods 的实验性支持。谷歌 Colab 还提供了对大力的大象 的 PyTorch 支持。

阿里云中添加了对 PyTorch 的支持。阿里云的集成涉及 PyTorch 1.x 的一键式解决方案,数据科学 Workshop notebook 服务,使用 Gloo/NCCL 进行的分布式训练,以及与阿里巴巴 IaaS(如 OSS、ODPS 和 NAS)的无缝集成。

ML 硬件生态系统扩展。除了主要的 GPU 和 CPU 合作伙伴之外,PyTorch 生态系统还支持专用的 ML 加速器。例如:英特尔不久前推出的 NNP-I 推理芯片、Habana Labs 的 AI 处理器。

五Pythorch 1.3 意义及未来计划

Facebook 首席技术官yyc(Mike Schroepfer)在会议开始时表示,在过去两年里,Facebook 已经不再使用其前身 Torch 或 Caffe2,而是努力使 Pythorch 成为深入学习的主要工具。这对于保持研究人员和开发人员处于同一个页面上至关重要。

碧蓝的灯泡在台上说:「这意味着它现在是在 Facebook 上进行机器学习(和)深度学习的事实工具,不仅是用于有机发生的研究,而且是在生产中,所以我们绝大多数的模特现在都是在 Pythorch 上训练的。」在计算机视觉、NLP、语音、翻译等多个领域都是如此,所有这些系统现在都在使用 Pythorch。

Facebook 首席技术官yyc(Mike Schroepfer)也表示,Tensor 处理单元的支持从单芯片训练模型开始,之后将扩展到云计算平台。

原文链接:

https://pytorch.org/blog/pytorch-1-dot-3-adds-mobile-privacy-quantization-and-named-tensors/

博客文章地址:

https://venturebeat.com/2019/10/10/pytorch-1-3-comes-with-speed-gains-from-quantization-and-tpu-support/

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/26349.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。