中国领先的IT技术网站
|
|

Gartner预警:千万别把数据湖与数据仓库混为一谈

数据湖常常被厂商说成是应对大数据挑战的一种手段,它其实有助于你搞清楚针对你的数据提出的新问题,但前提是你得有相应技能。换句话说,别头脑发热将数据湖用于数据仓库

作者:布加迪编译来源:51CTO.com|2016-01-27 09:49

开发者大赛路演 | 12月16日,技术创新,北京不见不散


【51CTO.com快译】炒作过后就是幻灭,最后有价值的东西才会出现。 

2014年年中,市场研究机构Gartner的两位分析师对于炒作越来越猛的数据湖(data lake)概念进行了一番尖锐的批评。

Gartner的研究主管Nick Heudecker说:“数据湖方面的基本问题是,它对于信息使用者做了某些假设。”

“它假设使用者认识或了解关于采集如何数据的上下文偏见(contextual bias),假设他们知道如何合并和协调不同的数据源,而没有‘先验知识’;假设他们了解数据集的不完整性,不管是什么样的数据结构。”

一年半后,Gartner的担忧似乎并没有得到缓解。虽然确实有成功的项目,但是也有失败案例,而关键成功因素似乎是深入了解数据湖和数据仓库各自扮演的不同角色。

Heudecker表示,数据湖常常被厂商说成是应对大数据挑战的一种手段,它其实有助于你搞清楚针对你的数据提出的新问题,“前提是你得有相应技能。”

“如果这是你想要做的,我倒不太关心数据湖的具体实施。但是如果你的场景是把原先针对数据仓库的服务级别协议(SLA)重新实施于数据湖,风险就很高了。”

Heudecker表示,数据湖通常针对不同的使用场合、并发性和多租户水平进行优化。

“换句话说,别头脑发热将数据湖用于数据仓库。”

他表示,需要两者完全合情合理,因为各自针对不同的服务级别协议、用户和技能进行了优化。

笼统地说,数据湖是面向整个企业的平台,用于分析采用原生格式的不同数据源,以消除数据摄取的成本和数据转换复杂性。而这里就面临挑战:数据湖缺乏语义一致性和经过治理的元数据,因而将分析方面的许多责任推到熟练用户的身上。

Heudecker表示,大家的认识有所提高,但是数据湖炒作仍然很普遍。

由于实施数据湖的技术选择继续在迅速变化,这项技术的成熟度更难掌控。

Heudecker说:“比如说,Spark是一种流行的数据处理框架,它平均每隔43天就推出新版本。”

他表示,数据湖项目的成功因素归结为元数据管理、是否具备技能以及执行相应级别的治理机制。

“我接触过这样的公司:建立起了数据湖,往里面放入一堆数据,却根本找不到任何有价值的信息。另一些公司根本不知道哪些数据集不准确、哪些数据集高品质。与IT行业的其他领域一样,这方面同样没有妙方高招。”

他表示,数据湖是个架构概念,而不是一种特定的实施方法。

“就像任何新的概念或技术一样,总是会出现炒作期,然后是幻灭期,最后才成为一种广为人知的实践。

数据湖会继续是使用它们的数据科学家的真实反映。

这项技术可能会改变和改善,可能会充分发挥GPU或FPGA之类技术的优势,但总的目标是,发掘数据的新用途和新机会。”

原文:Data lakes, don't confuse them with data warehouses, warns Gartner

【51CTO.com独家译稿,合作站点转载请注明来源】

【编辑推荐】

  1. Gartner和Ovum看淡“大数据”热潮
  2. 数据仓库中的数据清洗
  3. Gartner发布2014年十大战略性技术趋势
  4. 大数据之路(一)数据仓库也需要大数据
  5. 数据湖前途未卜?
【责任编辑:Ophira TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

热门职位+更多

读 书 +更多

精通JBuilder 2006

JBuilder 2006是一款强大的Java企业级开发平台,其集成了几乎所有的Java技术,涵盖了软件开发生命周期的各个过程。本书深入浅出地介绍了JBu...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊