Redshift 与 Hadoop 和 Hadoop Hive：简要比较

barikulislam015

您应该选择 Amazon Redshift 还是 Hadoop/Hadoop Hive 作为您的数据仓库？ 在本指南中，我们研究了 Redshift 和 Hadoop 的历史和功能，以及它们在价格、性能和易用性方面的比较。根据我们的研究、个人经验以及客户的经验，我们推荐 Redshift 适用于几乎所有情况，并在下面详细说明原因。我们知道，为您的数据需求选择正确的解决方案既重要又具有挑战性，因此，如果您有任何疑问，请在评论中告诉我们，我们会尽快回复您。 一个简短的历史 当 Apache 软件基金会于 2005 年首次发布 Hadoop 时，它改变了大数据领域的游戏规则。通过使用共享文件系统在多个服务器之间分发数据集，可以比以往更轻松、更快速地分析大型数据集。


这是因为 MPP 数据库通常是列式的，这使得分析查询的处理速度更快。我们建议您阅读我们的柱状数据库指南以了解更多信息。 由于这些原因，设置管道以顺利、轻松地将数据加载到 Redshift 可能是一个相当大 电子邮件营销列表 的工程。如果您希望近乎实时地复制数据（跟踪重要业务指标通常就是这种情况），则尤其如此。这就是 Integrate.io 发挥作用的地方。Integrate.io 提供从事务数据库（例如 MySQL、PostgreSQL、Amazon Aurora 等）到 Redshift 的连续、近乎实时的复制。通过简单的一次性设置，我们强大的系统可确保每次负载 100% 的准确性。您的数据始终是最新的。



2010 年，Facebook 试图通过发布 Hadoop Hive（一种类似于 SQL 的 Hadoop 查询接口）来使其数据分析师团队更容易使用 Hadoop。然后，在 2012 年，Amazon Web Services 发布了 Redshift，极大地减少了存储和分析 TB 级结构化数据集的时间和成本。2016 年，AWS 推出了 Athena，允许对 s3 中的文件进行类似 SQL 的查询；2017 年 4 月，AWS 宣布在 Redshift 平台上推出类似的新增功能：Redshift Spectrum，允许客户直接通过 Redshift 查询 s3 文件，并将结果，他们的数据已在 Redshift 中。 什么是 Hadoop？ Hadoop 是解决日益常见的问题的首批尝试之一：如何存储和分析太大而无法容纳在一台服务器上的数据集？Hadoop 通过利用分布式文件系统和 MapReduce 解决了这个问题。