天天觀點：亞馬遜云科技發布兩項新功能幫助客戶邁向Zero-ETL未來

2022-12-06 16:03:12 來源: 電子創新網

Amazon Aurora zero-ETL與Amazon Redshift 集成的功能助力客戶近乎實時地分析 PB 級交易數據，無需自定義數據管道

面向 Apache Spark的Amazon Redshift集成功能幫助客戶在使用亞馬遜云科技的分析和機器學習服務時可以更快更輕松地通過Apache Spark 應用程序訪問到Redshift上的數據

(相關資料圖)

亞馬遜云科技在2022 re:Invent全球大會上發布兩項全新的集成功能，使客戶可以連接和分析多地存儲的數據，無需在不同服務間進行數據遷移。客戶可以使用Amazon Redshift近乎實時地分析Amazon Aurora中的數據，無需在不同服務之間提取、轉換和加載（ETL）數據。客戶還可以使用亞馬遜云科技的分析和機器學習服務（如?Amazon EMR、Amazon Glue和Amazon SageMaker）在Amazon Redshift的數據上輕松運行 Apache Spark應用程序。這兩項新功能共同幫助客戶在亞馬遜云科技上邁向一個"Zero-ETL的未來"。

"當前，客戶管理的數據既龐大又復雜，這意味著他們不能只用單一技術或幾個工具來分析和探索這些數據。我們的許多客戶都通過亞馬遜云科技的眾多數據庫和分析服務從數據中提取價值。確保他們能夠使用正確的工具完成工作，對于他們的企業成功非常重要。"亞馬遜云科技數據庫、分析和機器學習副總裁?Swami Sivasubramanian表示，"今天發布的新功能幫助我們的客戶在亞馬遜云科技上邁向一個‘Zero-ETL的未來"，減少在不同服務間手動遷移或轉換數據的工作。無論企業和數據的規模有多大，復雜度有多高，通過為客戶消除?ETL 和其它數據遷移任務，我們都能助力客戶專注于分析數據，面向業務獲取新的洞察。"

數據是所有應用程序、流程和業務決策的核心，也幾乎是每個企業數字化轉型的基石。但是，現實世界的數據系統通常既龐大又復雜，各種數據分散在多個云服務和本地系統中。許多企業坐擁大量數據，希望最大限度地從數據中獲得價值。亞馬遜云科技提供了一系列專門構建的工具，例如?Amazon Aurora用于將交易數據存儲在與?MySQL 和 PostgreSQL 兼容的關系數據庫中，Amazon Redshift用于在PB級數據上運行高性能數據倉庫和分析工作負載。但要真正實現數據價值最大化，客戶需要這些工具無縫協作。因此，亞馬遜云科技投入開發了基于Zero-ETL理念的功能，例如?Amazon Aurora ML 和?Amazon Redshift ML，讓客戶可以在機器學習用例受益于Amazon SageMaker的功能，而無需在不同服務間遷移數據。此外，亞馬遜云科技確保可以從流式服務（如Amazon Kinesis?和?Amazon MSK）向廣泛的數據存儲服務（如Amazon S3和Amazon OpenSearch Service）無縫注入數據，從而助力客戶及時分析數據。亞馬遜云科技數據庫和分析產品組合性能卓越，集成深入，在此基礎之上此次發布的新功能會助力客戶更快、更輕松、更經濟高效地訪問和分析存儲在亞馬遜云科技上的數據。

Amazon Aurora zero-ETL與Amazon Redshift?集成的功能助力客戶輕松使用Amazon Redshift對?Amazon Aurora中的交易數據進行近乎實時的PB級分析

企業希望更好地了解核心業務驅動因素，制定戰略以增加銷售額、降低成本、獲得競爭優勢，因此，近乎實時地從購買、預訂和金融交易等交易數據中獲得洞察的需求不斷增加。當前，許多企業用以分析交易數據的解決方案分為三部分：用關系數據庫存儲數據，用數據倉庫分析數據，并用數據管道在關系數據庫和數據倉庫之間提取、轉換和加載（ETL）數據。數據管道構建成本高昂且難以管理，需要開發人員編寫自定義代碼，并且持續管理基礎設施以確保其按需擴展。一些公司甚至需要投入整個團隊以完成這項工作。此外，用這種方式準備好數據可能需要幾天的時間，而且間歇性的數據傳輸錯誤會影響客戶獲得稍縱即逝的洞察，甚至錯失商機。

借助Amazon Redshift集成的Amazon Aurora zero-ETL功能，交易數據在寫入Amazon Aurora后的幾秒鐘內可以自動連續復制，使其在Amazon Redshift中即時可用。一旦數據在Amazon Redshift中可用，客戶立即可以開始分析數據，并且應用數據共享和Amazon Redshift ML等高級功能獲得全面的預測性洞察。客戶可以將數據從多個Amazon Aurora數據庫集群復制到同一個Amazon Redshift實例，跨多個應用程序獲得洞察。如此，客戶可以使用Amazon Aurora支持交易數據庫需求，使用?Amazon Redshift進行分析，無需構建或維護復雜的數據管道。

面向Apache Spark的Amazon Redshift集成功能幫助客戶在使用亞馬遜云科技的分析和機器學習服務時可以更快更輕松地通過Apache Spark?應用程序訪問到Redshift上的數據。

許多開發人員使用Apache Spark（一種用于大數據工作負載的開源處理框架）來支持各種分析和機器學習應用程序。當前，亞馬遜云科技支持在Amazon EMR、Amazon Glue和Amazon SageMaker上運行?Apache Spark，功能完全兼容，優化后的運行時間比開源版本快3倍。客戶通常希望直接從這些服務中分析Amazon Redshift中的數據。他們需要經歷復雜、耗時的過程查找、測試和認證第三方連接器，以在他們的環境和Amazon Redshift之間讀取和寫入數據。即使找到連接器，客戶還必須管理中間的數據暫存位置（如Amazon S3），以便從Amazon Redshift讀取和寫入數據。所有這些挑戰都增加了操作的復雜性，使客戶難以充分利用Apache Spark。

面向Apache Spark的Amazon Redshift集成功能使開發人員可以輕松地使用亞馬遜云科技支持的分析和機器學習服務，在Amazon Redshift數據上構建和運行Apache Spark應用程序。該集成功能由亞馬遜云科技認證、打包和支持，消除了與第三方連接器相關的繁瑣而且容易出錯的過程。開發人員可以使用流行的語言框架（如 Java、Python、R和Scala），在幾秒鐘內開始從基于Apache Spark的應用程序對 Amazon Redshift 數據運行查詢指令。中間數據暫存位置是自動管理的，客戶無需在應用程序代碼中配置和管理這些位置。

從個人和小型企業到政府機構和全球品牌，Adobe使每個人都能創造和交付卓越的數字體驗。"Adobe 的使命是通過數字體驗改變世界，在當今世界，這意味著擁有能夠提供深刻和實時洞察的分析工具。"?Adobe Acrobat Sign 首席科學家Jack Lull表示，"作為?Amazon Aurora 的客戶，我們非常歡迎Amazon Redshift集成的Amazon Aurora zero-ETL功能。它將為我們不斷擴大的Acrobat Sign 客戶群提供新的洞察和更快的分析能力，并隨著他們用量的增加而同步增長。所有這些都不需要我們自己的團隊做日常維護。"

Infor是商業云軟件和特定行業ERP解決方案的全球領導者。"在Infor，我們使用亞馬遜云科技構建和部署現代化的工具，幫助客戶轉型其業務并加速創新，其中包括我們最新提供的面向客戶行業云數據的托管數據倉庫服務，以幫助客戶通過高級分析和機器學習更快地做出決策。"Infor云服務高級副總裁Jim Plourde表示，"我們很高興使用Amazon Redshift集成的Amazon Aurora zero-ETL功能，它將讓Amazon Aurora中的交易數據近乎實時地提供給Amazon Redshift，減輕我們的運營負擔。現在，我們既可以受益于Amazon Aurora用作關系數據庫管理系統的性能，又可以輕松利用?Amazon Redshift的分析和機器學習功能實現新的托管數據倉庫服務。"

高盛集團是一家領先的全球金融機構，為包括企業、金融機構、政府和個人在內的龐大而多元化的客戶群提供投資銀行、證券、投資管理和消費者銀行業務等廣泛的金融服務。?"我們的重點是為高盛內所有用戶提供自助式數據訪問。當在整個金融服務行業開展協作時，我們通過開源數據管理和治理平臺Legend可以助力用戶開發以數據為中心的應用程序，并且獲得數據驅動的洞察。"高盛首席數據官Neema Raphael 表示，"通過面向Apache Spark的Amazon Redshift集成功能，我們的數據平臺團隊以最少的定制化操作就可以訪問Amazon Redshift數據，實現零代碼ETL，使我們更有能力在工程師收集完整及時的信息時，讓他們更容易專注于完善其工作流。由于我們的用戶現在可以輕松訪問Amazon Redshift中的最新數據，我們將能實現更高的應用程序性能和更強的安全性。"

關鍵詞：應用程序機器學習開發人員可以使用數據倉庫

天天觀點：亞馬遜云科技發布兩項新功能幫助客戶邁向Zero-ETL未來

您可能也感興趣:

今日熱點

中國算力發展指數白皮書發布廣東算力創新水平和研發投入居首

生命科技標準創新研討會舉行打通標準應用“最后一公里”

“黑科技”廣泛應用我國單位GDP二氧化碳排放持續下降

更多

更多

排行

最近更新

今日要聞

天天觀點：亞馬遜云科技發布兩項新功能幫助客戶邁向Zero-ETL未來

您可能也感興趣:

今日熱點

中國算力發展指數白皮書發布 廣東算力創新水平和研發投入居首

生命科技標準創新研討會舉行 打通標準應用“最后一公里”

“黑科技”廣泛應用 我國單位GDP二氧化碳排放持續下降

為您推薦

近十年財險業務快速發展 財產保險業風險保障水平不提升

遼寧擴大緩繳社保費政策實施范圍 補繳期間免收滯納金

增額終身壽險成銀保市場上的黑馬 中途退保恐會損失保費

保險公司紛紛探索轉型之路 聚焦細分業務、推出新產品

更多

更多

排行

最近更新

今日要聞

中國算力發展指數白皮書發布廣東算力創新水平和研發投入居首

生命科技標準創新研討會舉行打通標準應用“最后一公里”

“黑科技”廣泛應用我國單位GDP二氧化碳排放持續下降

近十年財險業務快速發展財產保險業風險保障水平不提升

遼寧擴大緩繳社保費政策實施范圍補繳期間免收滯納金

增額終身壽險成銀保市場上的黑馬中途退保恐會損失保費

保險公司紛紛探索轉型之路聚焦細分業務、推出新產品