您当前的位置:首页 - 解决方案 - Microsoft

现代数据仓库

来源:     发布时间:2015-09-11     点击数:1747

现代数据仓库


Microsoft 的现代数据仓库解决方案通过无缝整合传统的大容量关系存储和用于非结构化数据的全新数据存储(如 Hadoop),来帮助您从大数据中发现新的见解。


 

任意数量、速度和种类的数据


传统的结构化关系数据仓库在设计上绝对无法应对爆炸式数据增长、半结构化和非结构化数据类型,以及更快的数据处理速度。Microsoft 的现代数据仓库解决方案将传统数据仓库与非关系数据进行集成—从而可以处理各种规模和类型的数据,并提供实时性能。


优势 

•并入各种数据源类型,包括移动、社交、扫描仪、照片、视频、传感器、设备、RFIDWeb 日志、高级分析、点击流、机器学习和第三方数据源。查询传统关系数据以及这些新的数据类型。

•通过在现有基础结构中逐渐增加节点来从数十 TB 字节扩展至数 PB 字节。

•允许用户近乎实时地获取其查询的结果。通过采用 in-memory 技术和流式技术可将花费数小时的查询缩短至数分钟至数秒。

•提供受信任的基础结构,满足用户对数据可信性和一致性的需求


整合结构化关系数据与非关系数据


当今,各个企业都会收集网络日志、传感器数据、社会舆论和设备等非关系数据源,以从中获得更深入的见解并增强竞争优势。将关系数据提取并清理到中央存储库的传统策略需要适应这个崭新的数据时代。Microsoft 的现代数据仓库解决方案可以适应 Hadoop 等新的存储技术,以并入非关系源并在关系仓库和 Hadoop 群集之间实现整合。


优势 

•通过并入新的非关系数据类型,各个公司可以获得更深入的见解并且能够做出更明智的决策,从而推动业务发展。

•现代数据仓库通过在单个 T-SQL 查询内交叉引用关系和非关系数据,能够使客户更轻松地分析数据。


功能 

在您的硬件上自行部署 Hadoop

通过与 Hortonworks 建立战略合作伙伴关系,Microsoft 向希望在其服务器上部署 Hadoop 的客户提供 Hortonworks Data Platform for Windows

 

预先构建的 Hadoop 设备

SQL Server 并行数据仓库是一个预先构建的设备,它在同一机架中同时具有关系数据仓库引擎和 Hadoop 区域。与某些仅包含 Hadoop 或仅包含数据仓库的设备不同,单台设备即可提供完全集成的解决方案。

 

云中的 Hadoop 产品

使用 Windows Azure HDInsight 在云中缩放 Hadoop 群集。由于无需购买硬件且设置最少,因此客户可以在 10 分钟内在其 Hadoop 实现中启动和运行群集。

 

集成的关系和非关系查询引擎

PolyBase 将关系和非关系数据在查询级别进行了统一。客户可以利用他们已经掌握的知识 (T-SQL),而无需学习新的查询语言,例如 MapReducePolyBase 可与现有的 Hadoop 产品(包括 Hortonworks Cloudera)集成。


 

通过现代数据仓库处理所有规模的数据


在使用传统的数据仓库技术的时代,您的数据规模受限并且当需要更多容量时,就必须购买新的硬件。Microsoft 现代数据仓库可满足最苛刻的企业要求。随着数据要求的不断提高,您可以通过在现有基础结构中逐渐增加节点来从数十 TB 字节扩展至数 PB 字节。


 

优势 

•使用 SQL Server 并行数据仓库使小型 TB 字节仓库的数据量增长至 PB 字节,从而能够处理任意规模的结构化关系数据

•通过 Windows Azure HDInsight,可以将非关系数据(例如来自社交源、传感器、设备和日志的信息)存储在 Hadoop 中,并进行扩展以容纳大量数据。


 

功能 

“无需共享”体系结构

并行数据仓库中的大规模并行处理利用具有多个物理节点的“无需共享”体系结构;每个节点运行带有专用 CPU、内存和存储的其自己的 SQL Server 实例。这导致性能比传统的体系结构快了许多倍。

 

Windows Azure 存储 blob

Windows Azure HDInsight 利用在 Azure 存储 blob 中存储数据的灵活云基础结构。这允许用户在 Azure 中存储任意数量的数据。

 

独立于存储扩展 Hadoop 集群

Windows Azure HDInsight 具有将 Hadoop 集群与数据存储分离的体系结构。这允许用户动态增加或缩减 Hadoop 集群或让多个 Hadoop 集群处理相同的数据。

 


让用户实时获取其查询的结果


使用传统数据仓库技术,查询可能需要数分钟、数小时,有时甚至需要通宵达旦进行处理。Microsoft 现代数据仓库可为用户提供近乎实时的结果。通过采用强大的查询处理和 in-memory 技术,客户可以看到完成其运行时间最长的查询的速度现在提高了 10 - 100 倍。


 

优势 

•通过采用 Microsoft 现代数据仓库中的 in-memory 技术,客户可以看到完成其运行时间最长的查询的速度现在提高了 10 - 100 倍。客户还看到了高达 10 倍的数据压缩率。

•通过并行化查询处理,客户可以看到其大规模复杂查询的性能提升了高达 100 倍。

•通过部署使用 StreamInsight 的复杂事件处理应用程序获得针对事件流源的实时洞察力。


功能 

列存储

通过在列存储(而非行存储)中重定向数据,组织可以缩短查询时间并提高数据的压缩率。以列格式组织数据可实现更高的存储和数据集返回效率,从而最终实现成本的降低。

 

In-memory 数据仓库技术

In-memory 列存储可将常见的数据仓库查询的速度最多提高 100 倍。当查询运行时,SQL Server PDW 将自动选择最优索引并根据需要将数据写入或读出内存。

 

针对流式数据的复杂事件处理

Microsoft StreamInsight 是开发和部署复杂事件处理应用程序的强大平台。其高吞吐量流式处理体系结构和基于 Microsoft .NET Framework 的开发平台允许您快速实施强大且高效的事件处理应用程序。

 

并行化查询处理

通过多核硬件平台,SQL Server 可缩短访问大量数据的查询的响应时间。SQL Server PDW 的并行查询处理功能的速度随着查询所用逻辑处理器的数量的增加而近乎线性地增加。


信任您的数据


企业集成管理所提供的解决方案组合使组织能够信赖其数据所提供的可信性和一致性,从而帮助他们做出重要的业务决策。

 

优势 

•通过数据质量服务减少数据约束和错误,同时提高数据质量

•通过集成服务访问所有异构数据源(包括结构化数据、应用程序数据、云数据或实时数据)中的数据。

•通过主数据服务收集并维护准确完整的主数据,以确保跨所有 IT 资产标准化主要业务实体的数据定义。


功能 

清理、匹配、标准化和扩充您的数据

数据质量服务允许您清理、匹配、标准化和扩充您的数据,以便为商业智能、数据仓库和事务处理工作负载提供受信任的信息。

 

与任何异构数据源集成

集成服务是一个数据集成平台,允许您无需编码即可提取、转换和加载 Microsoft 数据和非 Microsoft 数据源。

 

通过标准化数据定义来创建主数据

SQL Server Master Data Services 提供一个中央数据中心,以便跨不同的应用程序确保信息的完整性和数据的一致性。