你现在所在的位置: 首页 > 开发 > 大数据应用 >

一个适合小公司用的开源数据管道工具

发布时间:2016-05-25 10:14:04等你来评论浏览数:20592

airbnb是我很喜欢的公司,他们有很多开源的工具,airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理,甚至是可以当做更高级的cron job 来使用。[全文阅读]

标签

开源数据管道 ETL

分享到:

云计算将在大数据领域扮演什么角色?

发布时间:2016-05-25 14:47:17等你来评论浏览数:3672

自从大数据进入企业数据中心和业务部门,一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料,存储方面要考虑的因素随之[全文阅读]

标签

云计算大数据存储

分享到:

共话数据驱动下的技术创新和商业变革

发布时间:2016-05-24 14:42:32等你来评论浏览数:1677

“认知分析、大数据即服务、开源大数据平台、机器学习……”这些陌生又熟悉的技术名词你了解多少?近日,为期一周的大数据主题嘉年华——IBM Insight Week 2016 在北京香格里拉饭店拉开序幕。来自国内典型传统企业、[全文阅读]

标签

大数据技术创新IBM

分享到:

CTO训练营耿志峰:大数据驱动网络反欺诈

发布时间:2016-05-24 10:50:49等你来评论浏览数:4629

由51CTO高招主办的“CTO训练营”活动圆满结束,来自百度商业安全部资深架构师耿志峰在活动现场做了主题为“大数据驱动网络反欺诈”的分享,本文章是针对演讲干货整理,呈献给大家。[全文阅读]

标签

大数据网络反欺诈

分享到:

小米数据工场的技术架构和小团队如何玩转大数据

发布时间:2016-05-23 15:10:52等你来评论浏览数:10890

由51CTO举办的WOT2016互联网运维与开发者峰会上,来自前小米数据工场负责人、现任火线数据创始人兼CEO卢学裕做了以 “小米数据工场的技术架构和小团队如何玩转大数据”为主题的演讲。本文章是把本次分享干货亮点的整[全文阅读]

标签

小米技术架构大数据

分享到:

解密 Uber 数据团队的基础数据架构优化之路

发布时间:2016-05-23 13:50:23等你来评论浏览数:6108

Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是,就像 Uber数据部门的主管 Aaron Schildkrout所说:商业计划[全文阅读]

标签

UberHadoopSpark

分享到:

为什么Redis内存不宜过大

发布时间:2016-05-26 12:11:00等你来评论浏览数:41874

redis这个内存数据库,它的高性能、稳定性都是不用怀疑的,但我们塞进redis的数据过多,内存过大,那如果出问题,那它可能会带给我们的就是灾难性。[全文阅读]

标签

Redis内存开源

分享到:

一周热文

专题推荐

金三银四跳槽季 开发者...
我面试过很多人,大部分是开发者,部分是产品经理,有

非要一决高下?听说Hado...
过去几年,随着数据科学趋于成熟,也日益需要用一种不

如何成为人见人爱的数据...
数据科学已经成为专业人士不容忽视的一大全新发展机遇

你了解AJAX吗?TA不是新...
AJAX (Asynchronous JavaScript and XML) 是一种交互

图书推荐

零基础学大数据算法
《零基础学大数据算法》是通俗易懂的大数据算法教程。通篇采用师生对话的形式,旨在用通俗的语言、轻松的气氛,帮助读者理解大数据计...

热门标签

刀片服务器 | 云计算 | ARP攻防 | 思科培训 | 故障宝典 | HTML5 | 嵌入式开发 | Sniffer | LAMP精解 | 图书热读榜 | Scala | JAVA招聘

51CTO旗下网站

领先的IT技术网站 51CTO 领先的中文存储媒体 WatchStor 中国首个CIO网站 CIOage 中国首家数字医疗网站 HC3i 51CTO学院