中国领先的IT技术网站
|
|

Alluxio1.0发布:API顺畅衔接大数据应用与存储

作为Tachyon的化身,Alluxio已经开始为多个大数据项目提供支持,而Spark则正是其中的典型代表。

作者:核子可乐译来源:51CTO.com|2016-02-26 09:48

沙龙活动 | 去哪儿、陌陌、ThoughtWorks在自动化运维中的实践!10.28不见不散!


【51CTO.com快译】最初定名为Tachyon的Alluxio公司正积极构建API方案,旨在帮助大数据应用程序以更快速度通过统一化接入方式访问数据所驻留的存储体系。

Alluxio的存储API能够支持Amazon S3、Google Cloud Storage、OpenStack Swift、EMC以及NetApp。

Alluxio1.0发布:API顺畅衔接大数据应用与存储

目前已经迎来1.0版本的Alluxio API方案能够帮助Spark、MapReduce、Flink或者Presto等框架访问多种存储系统类型。除了Amazon S3、Google Cloud Storage以及OpenStack Swift等受支持云存储供应商外,EMC与NetApp等传统存储方案供应商亦在其支持列表当中。

从表面上看,Alluxio似乎属于一套类似于Memcached或者Redis的内存缓存系统。但恰恰相反,它立足于分布式计算应用与存储体系之间,并通过提供统一化API帮助前者与后者顺畅对接。各应用程序能够利用Alluxio的API享受到出色的访问速度,同时摆脱各类传统API(例如HDFS实现机制)糟糕的速度与兼容性表现。

在本月早些时候发布的一篇博文当中,英特尔公司的工程师们描述了Alluxio如何帮助其解决大数据框架使用当中所出现的各类常见难题,例如在不同应用程序之间进行数据共享。相较于将数据写入至HDFS再重新加以读取,现在用户能够将数据写入至Alluxio的内存内存储体系,并以更快速度完成二次读取。

同样的,一直困扰着Spark等大数据框架的JVM垃圾回收与堆缓存问题亦可通过Alluxio得到切实解决。IBM公司早在Alluxio尚处于Tachyon时代时即给出过类似的结论,表示其能够将内存内HDFS的写入速度提升110倍,同时“将端到端现实工作流延迟削减至原本的四分之一”。

Alluxio还能够对其它解决方案做出补充; 举例来说,通过将Apache Arrow与适合现代CPU之应用程序格式相对接以显著提高数据处理速度。Arrow所需要的存储数据全部由Alluxio负责供应。

作为Tachyon的化身,Alluxio已经开始为多个大数据项目提供支持,而Spark则正是其中的典型代表。该公司计划进一步面向其它大数据项目及存储系统供应商构建更为全面的支持能力。

原文链接:Big data, but faster: API speeds links between apps and storage

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

【编辑推荐】

  1. 优秀API设计的十大原则
  2. Web API接口设计经验总结
  3. 基于HBase做Storm 实时计算指标存储
  4. 寻找大数据时代金融集中存储解决方案
  5. 给ASP.NET MVC及WebApi添加路由优先级
【责任编辑:Ophira TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

热门职位+更多

读 书 +更多

Java面向对象编程

Java是当前最流行的程序设计语言之一。本书以Java最新版本Java SE5为基础,涵盖了Java SE5最新特性,由浅入深地介绍了Java SE5的主要内容。...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× Python最火的编程语言