北京2020年11月30日 /美通社/ -- 日前，亞馬遜云服務(AWS)宣布面向Apache Airflow的Amazon Managed Workflows(MWAA)正式可用。這項全新服務讓數(shù)據(jù)工程師可以更輕松地在云端運行數(shù)據(jù)處理工作流。Apache Airflow是一款流行的開源工具，可以幫助客戶編寫、調度和監(jiān)控工作流。通過Amazon MWAA，客戶可以使用熟悉的Airflow平臺來管理工作流，而不改變現(xiàn)有的操作方式，同時改善可伸縮性、可用性和安全性，又無需承擔構建、擴展和管理底層基礎設施。Amazon MWAA可根據(jù)客戶需求，擴展工作流執(zhí)行能力，并與AWS安全服務集成，提供安全訪問客戶數(shù)據(jù)的入口。使用Amazon MWAA無需前期投入，客戶只需為使用的資源付費。如欲開始使用Amazon MWAA，請訪問：https://aws.amazon.com/mwaa。
如今，客戶正使用數(shù)據(jù)分析和機器學習，從大量數(shù)據(jù)中獲得洞察力。為了有效地使用這些數(shù)據(jù)，客戶通常需要首先構建一個工作流，定義一系列連續(xù)的任務來準備和處理這些數(shù)據(jù)。數(shù)以萬計的客戶使用AWS Step Functions，可視地構建和運行具有成本效益和可伸縮的事件驅動工作流，這些工作流跨多個AWS服務執(zhí)行任務。還有一些客戶想要通過Apache Airflow來編排工作流。Apache Airflow有著活躍的開源社區(qū)，有大量的庫，集成了Apache Spark、Hadoop等第三方數(shù)據(jù)處理工具，并可使用Python腳本創(chuàng)建工作流。然而，使用Apache Airflow需要數(shù)據(jù)工程師安裝、維護、擴展和保護Apache Airflow環(huán)境，這增加了成本和操作復雜性。此外，為了支持基于角色的身份驗證、以實現(xiàn)安全訪問，Apache Airflow通常需要手動、反復地更改配置，有時要使用命令行命令，在某些情況下，還需要對Apache Airflow代碼進行編輯，容易出錯。客戶還必須集成和配置額外的工具，用以對系統(tǒng)停機、工作流錯誤和任務執(zhí)行延遲等問題發(fā)出告警。雖然客戶確實喜歡Apache Airflow預集成第三方工具、使用熟悉的Python編程語言等特性，但他們希望不要增加運營成本和復雜性。
Amazon MWAA使得客戶可以很方便地在AWS中構建和執(zhí)行Apache Airflow工作流。Amazon MWAA負責管理Apache Airflow的配置和日常維護，客戶不再需要操心補丁、擴展，不需要保護自管理的Apache Airflow部署。使用Amazon MWAA，執(zhí)行任務的計算資源可以按需伸縮，為用戶提供一致的性能。客戶數(shù)據(jù)默認是安全的，因為工作負載使用Amazon VPC虛擬私有云，運行在客戶自己隔離的安全云環(huán)境中，存儲的數(shù)據(jù)使用AWS KMS 密鑰管理服務加密。Amazon MWAA使得客戶可以很容易地使用任何Apache Airflow的集成來組合數(shù)據(jù)，可以使用AWS服務，也可使用Apache Hadoop、Presto、Hive和Spark等流行的第三方工具，從而實現(xiàn)數(shù)據(jù)處理、機器學習管道以及軟件開發(fā)與運營的自動化?？蛻艨梢酝ㄟ^AWS IAM身份與訪問管理服務，輕松安全地實現(xiàn)基于角色訪問Apache Airflow用戶界面，為調度和查看工作流執(zhí)行提供用戶單點登錄(SSO)的訪問。Amazon MWAA自動向AWS監(jiān)控服務Amazon CloudWatch發(fā)送Apache Airflow系統(tǒng)指標和日志，客戶無需第三方工具，即可輕松查看跨一個或多個環(huán)境的任務執(zhí)行延遲和工作流出錯情況。通過使用Amazon MWAA，數(shù)據(jù)工程師可以獲得Apache Airflow可擴展性、可用性和AWS的安全性。
“客戶告訴我們，他們非常喜歡Apache Airflow，因為它可以加速數(shù)據(jù)處理和機器學習工作流的開發(fā)，但希望它沒有擴展、操作和保護服務器的負擔?！盇WS應用集成副總裁Jesse Dougherty表示，“有了Amazon MWAA，客戶就可以和現(xiàn)在一樣地使用Apache Airflow平臺，同時獲得AWS的可伸縮性、可用性和安全性?！?/p>
客戶可以從AWS管理控制臺、CLI、AWS CloudFormation或AWS SDK啟動新的Amazon MWAA環(huán)境，并在幾分鐘內開始運行。Amazon MWAA現(xiàn)已在美國東部（弗吉尼亞北部）、美國西部（俄勒岡）、美國東部（俄亥俄）、亞太地區(qū)（新加坡）、亞太地區(qū)（東京）、亞太地區(qū)（悉尼）、歐洲（愛爾蘭）、歐洲（法蘭克福）和歐洲（斯德哥爾摩）區(qū)域正式推出，其它區(qū)域也將很快推出。
