八种主流深度学习框架介绍

开发 架构
谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架,可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow,Tensor就是张量,代表N维数组;Flow即流,代表基于数据流图的计算。
  •  框架名称:TensorFlow
  • 主要维护方:Google
  • 支持的语言:C++/Python/Java/R 等
  • GitHub源码地址:

https://github.com/tensorflow/tensorflow

  • 框架名称:Keras
  • 主要维护方:Google
  • 支持的语言:Python/R
  • GitHub源码地址:

https://github.com/keras-team/keras

  • 框架名称:Caffe
  • 主要维护方:BVLC
  • 支持的语言:C++/Python/Matlab
  • GitHub源码地址:
  • https://github.com/BVLC/caffe
  • 框架名称:PyTorch
  • 主要维护方:Facebook
  • 支持的语言:C/C++/Python
  • GitHub源码地址:

https://github.com/pytorch/pytorch

  • 框架名称:Theano
  • 主要维护方:UdeM
  • 支持的语言:Python
  • GitHub源码地址:

https://github.com/Theano/Theano

  • 框架名称:CNTK
  • 主要维护方:Microsoft
  • 支持的语言:C++/Python/C#/.NET/Java/R
  • GitHub源码地址:
  • https://github.com/Microsoft/CNTK
  • 框架名称:MXNet
  • 主要维护方:DMLC
  • 支持的语言:C++/Python/R等
  • GitHub源码地址:

https://github.com/apache/incubator-mxnet

  • 框架名称:PaddlePaddle
  • 主要维护方:Baidu
  • 支持的语言:C++/Python
  • GitHub源码地址:

https://github.com/PaddlePaddle/Paddle/

  • 框架名称:Deeplearning4j
  • 主要维护方:Eclipse
  • 支持的语言:Java/Scala等
  • GitHub源码地址:

https://github.com/eclipse/deeplearning4j

  • 框架名称:ONNX
  • 主要维护方:Microsoft/ Facebook
  • 支持的语言:Python/R
  • GitHub源码地址:

https://github.com/onnx/onnx

下面开始对各框架进行概述,让读者对各个框架有个简单的认知,具体的安装及使用方法不在本文赘述。

1.TensorFlow

谷歌的TensorFlow可以说是当今最受欢迎的开源深度学习框架,可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow,Tensor就是张量,代表N维数组;Flow即流,代表基于数据流图的计算。

  • TensorFlow是目前深度学习的主流框架,其主要特性如下所述。
  • TensorFlow支持Python、JavaScript、C ++、Java、Go、C#、Julia和R等多种编程语言。
  • TensorFlow不仅拥有强大的计算集群,还可以在iOS和Android等移动平台上运行模型。
  • TensorFlow编程入门难度较大。初学者需要仔细考虑神经网络的架构,正确评估输入和输出数据的维度和数量。

TensorFlow使用静态计算图进行操作。也就是说,我们需要先定义图形,然后运行计算,如果我们需要对架构进行更改,则需要重新训练模型。选择这样的方法是为了提高效率,但是许多现代神经网络工具已经能够在学习过程中改进,并且不会显著降低学习速度。在这方面,TensorFlow的主要竞争对手是PyTorch。

RStudio提供了R与TensorFlow的API接口,RStudio官网及GitHub上也提供了TensorFlow扩展包的学习资料。

  • https://tensorflow.rstudio.com/tensorflow/
  • https://github.com/rstudio/tensorflow

2.Keras

Keras是一个对小白用户非常友好且简单的深度学习框架。如果想快速入门深度学习, Keras将是不错的选择。

Keras是TensorFlow高级集成API,可以非常方便地和TensorFlow进行融合。Keras在高层可以调用TensorFlow、CNTK、Theano,还有更多优秀的库也在被陆续支持中。Keras的特点是能够快速搭建模型,是高效地进行科学研究的关键。

Keras的基本特性如下:

  • 高度模块化,搭建网络非常简洁;
  • API简单,具有统一的风格;
  • 易扩展,易于添加新模块,只需要仿照现有模块编写新的类或函数即可。

RStudio提供了R与Keras的API接口,RStudio的官网及GitHub上也提供了Keras扩展包的学习资料。

  • https://tensorflow.rstudio.com/keras/
  • https://github.com/rstudio/keras

3.Caffe

Caffe是由AI科学家贾扬清在加州大学伯克利分校读博期间主导开发的,是以C++/CUDA代码为主的早期深度学习框架之一,比TensorFlow、MXNet、PyTorch等都要早。Caffe需要进行编译安装,支持命令行、Python和Matlab接口,单机多卡、多机多卡等都可以很方便使用。

Caffe的基本特性如下。

  • 以C++/CUDA/Python代码为主,速度快,性能高。
  • 工厂设计模式,代码结构清晰,可读性和可拓展性强。
  • 支持命令行、Python和Matlab接口,使用方便。
  • CPU和GPU之间切换方便,多GPU训练方便。
  • 工具丰富,社区活跃。

同时,Caffe的缺点也比较明显,主要包括如下几点。

  • 源代码修改门槛较高,需要实现正向/反向传播。
  • 不支持自动求导。
  • 不支持模型级并行,只支持数据级并行。
  • 不适合非图像任务。

虽然Caffe已经提供了Matlab和Python接口,但目前不支持R语言。caffeR为Caffe提供了一系列封装功能,允许用户在R语言上运行Caffe,包括数据预处理和网络设置,以及监控和评估训练过程。该包还没有CRAN版本,感兴趣的读者可以在GitHub找到caffeR包的安装及使用的相关内容。

https://github.com/cnaumzik/caffeR

4.PyTorch

PyTorch是Facebook团队于2017年1月发布的一个深度学习框架,虽然晚于TensorFlow、Keras等框架,但自发布之日起,其受到的关注度就在不断上升,目前在GitHub上的热度已经超过Theano、Caffe、MXNet等框架。

PyTroch主要提供以下两种核心功能:

  • 支持GPU加速的张量计算;
  • 方便优化模型的自动微分机制。

PyTorch的主要优点如下。

  • 简洁易懂:PyTorch的API设计相当简洁一致,基本上是tensor、autograd、nn三级封装,学习起来非常容易。
  • 便于调试:PyTorch采用动态图,可以像普通Python代码一样进行调试。不同于TensorFlow,PyTorch的报错说明通常很容易看懂。
  • 强大高效:PyTorch提供了非常丰富的模型组件,可以快速实现想法。

5.Theano

Theano诞生于2008年,由蒙特利尔大学的LISA实验室开发并维护,是一个高性能的符号计算及深度学习框架。它完全基于Python,专门用于对数学表达式的定义、求值与优化。得益于对GU的透明使用,Theano尤其适用于包含高维度数组的数学表达式,并且计算效率比较高。

因Theano出现的时间较早,后来涌现出一批基于Theano的深度学习库,并完成了对Theano的上层封装以及功能扩展。在这些派生库中,比较著名的就是本书要学习的Keras。Keras将一些基本的组件封装成模块,使得用户在编写、调试以及阅读网络代码时更加清晰。

6.CNTK

CNTK(Microsoft Cognitive Toolkit)是微软开源的深度学习工具包,它通过有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,其他节点表示其输入上的矩阵运算。

CNTK允许用户非常轻松地实现和组合流行的模型,包括前馈神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN、LSTM)。与目前大部分框架一样,CNTK实现了自动求导,利用随机梯度下降方法进行优化。

  • CNTK的基本特性如下。
  • CNTK性能较好,按照其官方的说法,它比其他的开源框架性能都要好。

适合做语音任务,CNTK本就是微软语音团队开源的,自然更适合做语音任务,便于在使用RNN等模型以及时空尺度时进行卷积。

微软开发的CNTK-R包提供了R与CNTK的API接口。感兴趣的读者可以通过以下网址进行学习。

  • https://github.com/microsoft/CNTK-R
  • https://microsoft.github.io/CNTK-R/

7.MXNet

MXNet框架允许混合符号和命令式编程,以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序,可以动态地自动并行化符号和命令操作。其图形优化层使符号执行更快,内存效率更高。

MXNet的基本特性如下。

  • 灵活的编程模型:支持命令式和符号式编程模型。
  • 多语言支持:支持C++、Python、R、Julia、JavaScript、Scala、Go、Perl等。事实上,它是唯一支持所有R函数的构架。
  • 本地分布式训练:支持在多CPU/GPU设备上的分布式训练,使其可充分利用云计算的规模优势。
  • 性能优化:使用一个优化的C++后端引擎实现并行I/O和计算,无论使用哪种语言都能达到最佳性能。
  • 云端友好:可直接与S3、HDFS和Azure兼容。

8.ONNX

ONNX(Open Neural Network eXchange,开放神经网络交换)项目由微软、亚马逊、Facebook和IBM等公司共同开发,旨在寻找呈现开放格式的深度学习模型。ONNX简化了在人工智能不同工作方式之间传递模型的过程,具有各种深度学习框架的优点。

ONNX的基本特性如下。

  • ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行预测。
  • ONNX模型目前在Caffe2、CNTK、MXNet和PyTorch中得到支持,并且还有与其他常见框架和库的连接器。

onnx-r包提供了R与ONNX的API接口。感兴趣的读者可以通过以下网址进行学习。

  • http://onnx.ai/onnx-r/
  • https://github.com/onnx/onnx-r

关于作者:谢佳标,资深AI技术专家和数据挖掘专家,拥有超过14年的技术研发和管理经验。精通Python和Keras等深度学习框架,在数据挖掘和人工智能技术领域有非常深厚的积累。连续6年(2017~2022年)被微软评为数据科学和AI方向MVP。资深R语言技术专家,“中国现场统计研究会大数据统计分会”第一届理事。历届中国R语言和数据科学大会特邀演讲嘉宾,受邀在国内多所高校举行以数据主题的公益讲座。

本文摘编自《Keras深度学习:入门、实战与进阶》,经出版方授权发布。(ISBN:9787111691501)

 

责任编辑:武晓燕 来源: 大数据DT
相关推荐

2022-02-25 20:44:28

框架深度学习架构

2022-11-13 08:11:03

TensorFlow人工智能开源

2022-04-17 23:09:07

深度学习人工智能芯片

2021-04-12 09:00:00

机器学习深度学习技术

2018-03-09 09:00:00

前端JavaScript机器学习

2018-05-04 08:20:39

机器学习深度学习人工智能

2011-09-21 11:21:00

NoSQL

2018-10-13 09:02:25

Python 开发深度学习

2018-05-14 12:18:47

AI开发深度学习框架

2019-04-15 13:52:18

微服务配置中心Apollo

2010-02-23 10:50:11

Python 测试框架

2019-03-06 09:55:54

Python 开发编程语言

2021-11-05 12:59:51

深度学习PytorchTenso

2016-12-15 09:44:31

框架Caffe源码

2012-08-14 13:30:00

XML

2022-03-09 09:56:14

深度学习算法人工智能

2012-08-15 10:44:07

JavaXML

2010-03-05 13:19:23

2022-11-25 07:35:57

PyTorchPython学习框架

2023-06-27 16:42:18

Tinygrad深度学习工具
点赞
收藏

51CTO技术栈公众号