XDA智能手机网 - 第一智能手机评述媒体
科技您的位置:首页 >科技 >

Databricks推出了新的开源项目来清理数据湖

发布时间:2019-04-25 16:09:24 来源:

在我们2018年的预测期间,我们预测云存储将成为事实上的数据湖。困境在于云存储是专为存储而设计的。但越来越多的业务分析师和数据科学家希望能够访问这些数据。通过Athena,AWS可以在S3中查询数据。ChaosSearch将您的Amazon S3存储转变为事实上的Elasticsearch集群。云数据仓库将其范围扩展到查询云存储,而大多数云管理的Hadoop服务使用该存储层作为默认选项。

当然,挑战在于,默认情况下,涌入云存储的数据往往会落在那里。你猜怎么着?在这些情况下,治理或跟踪数据沿袭这样的好事最终会不一致地应用(如果有的话)。不可否认,如果目的只是在进行决策分析之前探索数据,那么损失可能看起来微不足道。这个理由的缺点是,在GDPR时代,企业可能会在存储无权的数据时遇到麻烦。然后,当您有多个相互冲突的事实版本时,会出现常年数据验证问题。它可以使数据科学或机器学习项目失控。在数据湖时代,“垃圾进,垃圾出”几乎不会过时。

在Spark + AI峰会召开之前,Databricks正在推出一个新的开源项目Delta Lake,该项目与河豚或收获小龙虾无关。它处理使用Spark处理的数据以使其成为事务性的,并将其置于常见的Parquet格式中。Delta Lake,在Apache 2.0开源许可下可用,应用ACID事务层,该事务层固定在Spark数据管道上,以确保按流和/或批处理到达的数据更新不会相互跳闸,导致部分或复制已损坏的提交。如果未分化的云存储是事实上的数据湖,那么这旨在开发一个干净的着陆区。

拥有事务支持意味着数据工程师或开发人员不必构建单独的层来确保一致的更新。鉴于数据湖通常具有多个同时读取和写入数据的数据管道,这具有重大影响。数据库开发了事务支持,以使数据提交干净;到目前为止,数据湖泊缺乏这样的机制,迫使数据工程师或开发人员编写自己的事务逻辑。在大多数情况下,无所事事是默认选项,因为可以选择费力且难以维护的自定义开发。

Delta Lake允许您在选择时强制执行模式,这一概念与关系数据库而非数据湖更相关(模式实施是可选的)。它还提供快照,以便开发人员可以访问或恢复到早期版本。这不仅对审计有用,而且对于测试任何模型的有效性都很有用。由于它完全兼容Spark,因此它将插入现有的Spark数据管道。

热点推荐
随机文章