Amazon Aurora zero-ETL与Amazon Redshift集成使客户能够近乎实时地分析pb级的事务数据,从而消除了自定义数据管道的需求
Amazon Redshift与Apache Spark的集成使得客户可以使用AWS分析和机器学习服务更轻松、更快地在Amazon Redshift的数据上运行Apache Spark应用程序
拉斯维加斯——(商业连线)——在AWS re:Invent上,亚马逊公司(NASDAQ: AMZN)旗下的亚马逊网络服务公司(AWS)今天宣布了两项新的集成,使客户更容易跨数据存储连接和分析数据,而无需在服务之间移动数据。今天的公告使客户能够使用Amazon Redshift近乎实时地分析Amazon Aurora数据,消除了在服务之间提取、转换和加载(ETL)数据的需要。客户现在还可以使用AWS分析和机器学习(ML)服务(例如Amazon EMR、AWS Glue和Amazon SageMaker)在Amazon Redshift数据上轻松运行Apache Spark应用程序。总之,这些新功能帮助客户在AWS上迈向零etl的未来。要了解更多关于使用AWS解锁数据价值的信息,请访问aws.amazon.com/data.
“如今客户管理的数据庞大而复杂,这意味着他们无法用单一的技术甚至一小套工具来分析和探索这些数据。AWS数据库、分析和机器学习副总裁Swami Sivasubramanian表示:“我们的许多客户依赖多个AWS数据库和分析服务从他们的数据中提取价值,确保他们能够获得正确的工具,这对他们的成功至关重要。”“今天宣布的新功能帮助我们将客户带到AWS上的零etl未来,减少了在不同服务之间手动移动或转换数据的需求。通过为我们的客户消除ETL和其他数据移动任务,我们可以让他们专注于分析数据,并为他们的业务提供新的见解——无论他们的组织和数据的规模和复杂性如何。”
数据是每个应用程序、流程和业务决策的中心,也是几乎每个组织数字化转型的基石。但是,现实世界的数据系统通常是庞大而复杂的,不同的数据分散在多个服务和本地系统中。许多组织都坐在数据的宝库上,并希望最大化他们从中获得的价值。AWS提供了一系列专门构建的工具,如Amazon Aurora(用于在MySQL和postgresql兼容的关系数据库中存储事务数据)和Amazon Redshift(用于在pb级数据上运行高性能数据仓库和分析工作负载)。但要真正实现数据价值的最大化,客户需要这些工具无缝地协同工作。这就是为什么AWS投资于零etl功能,如Amazon Aurora ML和Amazon Redshift ML,这让客户可以利用Amazon SageMaker进行ML驱动的用例,而无需在服务之间移动数据。此外,AWS还提供从AWS流媒体服务(例如Amazon Kinesis和Amazon MSK)无缝的数据导入到广泛的AWS数据存储中,例如Amazon Simple Storage Service (Amazon S3)和Amazon OpenSearch Service,因此客户可以在数据可用时立即分析数据。今天的公告建立在AWS数据库和分析组合的强大和深度集成的基础上,使客户能够更快、更容易、更经济地跨AWS上的数据存储访问和分析数据。
Amazon Aurora zero-ETL与Amazon Redshift的集成使得在Amazon Aurora中使用Amazon Redshift几乎实时地对交易数据运行pb级分析变得更容易
对交易数据(例如,购买、预订和财务交易)的近实时洞察的需求随着组织寻求更好地理解核心业务驱动因素和制定增加销售、降低成本和获得竞争优势的策略而增长。如今,许多组织依赖于由三部分组成的解决方案来分析其事务数据——存储数据的关系数据库、执行分析的数据仓库以及关系数据库和数据仓库之间的ETL数据的数据管道。数据管道的构建成本很高,管理起来也很有挑战性,需要开发人员编写自定义代码,并不断地管理基础设施,以确保其可扩展以满足需求。有些公司维持整个团队只是为了促进这一过程。此外,在数据准备好进行分析之前可能需要几天的时间,而间歇性的数据传输错误可能会进一步延迟对时间敏感的见解的访问,从而导致错过商业机会。
通过Amazon Aurora zero-ETL与Amazon Redshift的集成,交易数据在写入Amazon Aurora后几秒内自动连续复制,并在Amazon Redshift中无缝提供。一旦数据在Amazon Redshift中可用,客户就可以立即开始分析数据,并应用数据共享和Amazon Redshift ML等高级功能来获得全面和预测性的见解。客户可以将多个Amazon Aurora数据库集群中的数据复制到同一个Amazon Redshift实例中,从而获得跨多个应用程序的见解。现在,客户可以使用Amazon Aurora来支持他们的事务数据库需求,使用Amazon Redshift来支持他们的分析,而无需构建或维护复杂的数据管道。
Amazon Redshift与Apache Spark的集成使得使用AWS分析和ML服务更容易在Amazon Redshift的数据上构建和运行Apache Spark应用程序
许多开发人员使用Apache Spark(用于大数据工作负载的开源处理框架)来支持广泛的分析和ML应用程序。今天,AWS在Amazon EMR上支持Apache Spark、AWS Glue和Amazon SageMaker,并提供完全兼容的AWS优化运行时,比开源快3倍。客户通常希望直接从这些服务中分析亚马逊红移数据。这要求他们经历一个复杂而耗时的过程,寻找、测试和认证第三方连接器,以帮助在他们的环境和Amazon Redshift之间读写数据。即使在找到连接器之后,客户也必须管理中间数据暂存位置(例如Amazon S3),以便向Amazon Redshift读写数据。所有这些挑战都增加了操作的复杂性,并使客户难以充分使用Apache Spark。
Amazon Redshift与Apache Spark的集成使得开发人员可以使用aws支持的分析和ML服务更容易地在Amazon Redshift中的数据上构建和运行Apache Spark应用程序。AWS对Apache Spark的Amazon Redshift集成进行了认证、打包并提供了支持,从而消除了与第三方连接器相关的繁琐且容易出错的过程。开发人员可以使用流行的语言框架(如Java、Python、R和Scala)在几秒钟内开始对基于Apache spark的应用程序的Amazon Redshift数据进行查询。中间数据暂存位置是自动管理的,客户不需要在应用程序代码中配置和管理这些位置。要了解Apache Spark的Amazon Redshift集成,请访问aws.amazon.com/redshift/features/integration-for-apache-spark.
Adobe使每个人(从个人和小型企业到政府机构和全球品牌)都能够创建和交付卓越的数字体验。Adobe Acrobat Sign首席科学家Jack Lull表示:“Adobe的使命是通过数字体验改变世界,在当今世界,这意味着拥有能够提供深度和实时洞察的分析。”“作为Amazon Aurora的客户,我们很高兴Amazon Aurora支持与Amazon Redshift的零etl集成,这将为我们不断增长的Acrobat Sign客户群提供新的见解和更快的分析性能,而不需要我们自己的团队进行持续的维护。”
Infor是全球领先的商业云软件和行业特定的企业资源规划解决方案提供商。“在Infor,我们使用AWS来构建和部署现代工具,帮助我们的客户实现业务转型并加速创新。这包括为我们客户的行业云数据提供新的托管数据仓库服务,这将帮助我们的客户通过高级分析和机器学习更快地做出决策,”Infor云服务高级副总裁Jim Plourde说。“我们很高兴Amazon Aurora能够支持与Amazon Redshift的零etl集成,这将通过在Amazon Redshift中近乎实时地提供来自Amazon Aurora的交易数据来减轻我们的运营负担。现在,我们可以从Amazon Aurora作为关系数据库管理系统的性能中受益,同时轻松地利用Amazon Redshift的分析和ML功能用于我们新的托管数据仓库服务。”
GE航空航天公司是一家为商用和军用飞机提供喷气发动机、部件和系统的全球供应商。自第一次世界大战以来,该公司一直在设计、开发和制造喷气发动机。“亚马逊红移是我们战略的一个焦点,使数据在我们的组织中非常易于访问和使用,”GE Aerospace高级首席数据架构师Alcuin Weidus说。“数据科学家、工程师和开发人员利用Apache Spark在Amazon EMR、AWS Glue和AWS托管的第三方ML平台上构建数据产品并运行分析工作负载。我们对亚马逊Redshift与Apache Spark的集成感到兴奋,这将简化我们开发人员的构建过程,并有助于使应用程序更高效、更安全。”
高盛集团是一家全球领先的金融机构,为包括企业、金融机构、政府和个人在内的庞大而多元化的客户群提供投资银行、证券、投资管理和消费银行等广泛的金融服务。“我们的重点是为高盛的所有用户提供自助数据访问。通过我们的开源数据管理和治理平台Legend,我们使用户能够开发以数据为中心的应用程序,并在我们在整个金融服务行业合作时获得数据驱动的见解,”高盛(Goldman Sachs)首席数据官尼玛•拉斐尔(Neema Raphael)表示。“通过将亚马逊红移集成到Apache Spark,我们的数据平台团队将能够以最少的手动步骤访问亚马逊红移数据,允许零代码ETL,这将提高我们的能力,使工程师在收集完整和及时的信息时更容易专注于完善他们的工作流程。我们希望看到应用程序的性能和安全性得到改善,因为我们的用户现在可以轻松地访问亚马逊Redshift的最新数据。”
关于亚马逊网络服务
15年来,亚马逊网络服务一直是世界上最全面、最广泛采用的云服务。AWS一直在不断扩展其服务,以支持几乎任何云工作负载,现在它拥有200多种功能齐全的服务,涉及计算、存储、数据库、网络、分析、机器学习和人工智能(AI)、物联网(IoT)、移动、安全、混合、虚拟和增强现实(VR和AR)、媒体以及应用程序开发、部署和管理,覆盖30个地理区域的96个可用区。宣布计划在澳大利亚、加拿大、以色列、新西兰和泰国再增加15个可用性区域和5个AWS区域。数以百万计的客户(包括增长最快的初创公司、最大的企业和领先的政府机构)都信任AWS为他们的基础设施提供动力,使其变得更加敏捷,并降低成本。要了解AWS的更多信息,请访问aws.amazon.com.
对亚马逊
亚马逊遵循四项原则:以客户为中心而不是以竞争对手为中心;对发明充满热情;致力于卓越运营;亚马逊致力于成为地球上最以客户为中心的公司、地球上最好的雇主和地球上最安全的工作场所。顾客评论、一键购物、个性化推荐、Prime、亚马逊履约、AWS、Kindle直接出版、Kindle、职业选择、Fire平板电脑、Fire电视、亚马逊Echo、Alexa、Just Walk Out技术、亚马逊工作室和气候承诺都是亚马逊首创的一些东西。更多信息,请访问amazon.com/about并关注@AmazonNews。
资料来源:亚马逊公司