XDA智能手机网 - 第一智能手机评述媒体
科技您的位置:首页 >科技 >

是否有单一来源的数据管理提供商

发布时间:2019-04-11 17:22:56 来源:

架构师可以并且确实选择主云服务提供商和/或Hadoop系统来存储他们的数据。移动,转换,编目和管理数据是一个不同的故事,所以建筑师在投入武器寻找驯服信息结构的解决方案之后来找我,认为他们必须遗漏一些东西:“是不是有一个平台?” 他们问。

可悲的是没有。转型中只有最好的工具或数据管理平台。

这背后有历史。数据管理中间件公司往往相对较小。IBM,Oracle和SAP等信息管理供应商选择较小的数据管理供应商,并将其产品作为其整体平台产品组合的解决方案添加,作为其大数据和云系统的推动者。随着市场转向大数据和云等新架构,小型供应商没有资金预先建立功能。大型供应商解决了使用传统可靠技术运营业务的公司的80%规则。因此,数据管理和治理落后于大数据和云趋势。最终,只有当客户开始表现出更高的兴趣水平时(这些都在RFI / RFP中),两家供应商都有了观望策略,构建功能并重新架构解决方案。

我们的Forrester Wave评估记录了这个故事。Forrester看到,2011年有50%的公司正在构建Hadoop数据湖,而分析/ BI正在不久之后转向云计算,我们的Waves中的数据管理供应商才开始明白如何在这些环境中工作并在本地运行即使在今天,许多这些供应商仍然提供一个本地工具和另一个云工具。较新的可能只能在云中运行。

风险资本家和私募股权公司早早就开始为大数据创业公司提供资金。但是,当已经存在用于摄取,管道,安全性和元数据的开源工具的整个市场时,很少有初创公司出现。钱在哪里?因此,市场转向机器学习的性价比主张,随后是投资者资金。当您有见解时,为什么要关心数据?

那么,企业关心的是数据。他们总是这样做,而且总是如此 它是组织中技术和人才债务的最大领域。大型数据湖泊和物联网和人工智能等规模扩大的系统区域的失速都源于数据基础滞后。这是一个马车前的情景。

“大!” 你说。“很好的历史课。那我们 该怎么办?”

认识到它们的新工具。忽略应用于产品名称和商品的平台和解决方案标签。可用的是针对特定数据用例的松散整合功能。商业产品中存在完整解决方案的潜力。用户界面和体验优于开源。存在更多通信和协作功能。供应商知道,合规性和安全支持是任何企业的赌注。如果没有领先的云和Hadoop平台,或领先的BI和业务应用程序的连接器,这是一个交易破坏者。获取这些工具的基本策略归结为了解您的用户及其流程,元数据存储库的开放性以及订阅模型。最终, 面向未来的。您将尽快重构您的平台。

现在,您需要了解主要数据管理工具:

元数据管理。 您将需要两个或三个数据目录:一个用于数据工程师构建和管理系统所需的物理和逻辑元数据管理; 一个用于数据管理员来管理逻辑元数据,语义和数据策略; 可能还有第三个数据目录,支持BI分析师和数据科学家的搜索和消费功能,以便在数据管理员的数据治理目录无法完成工作时使用数据。是的,Collibra,EDQ和Informatica是常见的同床人。对于数据湖,Hadoop生态系统中的Navigator或Atlas的升级也不常见。

主数据管理。 通常运行传统的基于关系的MDM工具来支持系统之间复杂的数据映射。它是数据库和集成的核心。然后,当逻辑模型需要更多准备并转换为语义或业务模型时,您会发现基于图形的MDM可以为客户和产品处理复杂视图,从而更接近BI和业务应用程序系统。然后是生活在数据虚拟化和Kafka中的DIY MDM,它可以为BI视图,微服务和ESB提供数据模型和映射。

数据集成。 这是有趣的开始,因为ETL,数据虚拟化,数据总线,流,复制,摄取工具和数据准备都独立存在或集成在管道中。工作负载模式定义了使用哪些数据集成工具以及数据流或生态系统(云/内部部署)所需的位置。您的数据体系结构采用与事务,业务流程,自动化,分析和分析(OLAP)和操作(OLTP)工作负载相对应的参考模式。您的参考架构首先针对数据流而不是传统上完成的数据源设计。

数据剖析和血统。 独立或嵌入式 - 随意挑选。但关键是如果嵌入分析和谱系分析,那么它很可能面向基础解决方案。存储库配置文件用于元数据和数据源捕获。逻辑和业务元数据以及源代码的数据治理工具概要文件。物理和逻辑元数据,数据关系和源沿的数据目录配置文件。有些可能会分析数据流元数据。独立工具倾向于关注元数据,模型,沿袭和数据流分析,以进行根本原因分析。请注意谁将使用该工具,他们需要知道什么,并且分析和谱系分析对于理解数据的所有数据职责是强制性的。

热点推荐
随机文章