一年一度的 AWS 技術大會 re:Invent 上周在拉斯維加斯舉行,宣佈多項服務,包括挑戰不需萃取、轉移與載入 (extract, transfer, and load, ETL) 的資料整合技術、新處理器及執行個體服務。
ETL 向來是資料分析過程中,整合不同資料源時的一大痛點,特別是資料源充滿錯漏、格式不一致等資料時,市場上的 ETL 工具往往相當昂貴,且也需 IT 人員撰寫程式。 AWS 本周宣佈,它的關聯式資料庫 (RDBMS) Amazon Aurora 支援和資料倉儲服務 Amazon Redshift 的零 ETL 整合,因而實現數 PB 交易資料的幾近即時分析和機器學習。
AWS 在 Re:Invent 大會上公佈 Aurora 和 Redshift 零 ETL 整合的預覽版。同時 AWS 也宣佈 Amazon Redshift 和開放原始碼大數據處理平台 Apache Spark 的整合工具,允許資料在兩個平台上搬動而無需 ETL 。後者已經在 AWS 各區域上線。
本文目錄
新的雲端處理器及執行個體
AWS 也宣佈協助企業分析及資料管理的硬體技術。首先是處理更大資料流量的新版 Nitro 晶片,以及用於高效能運算 (HPC) 任務的 Graviton 3E 新處理器。與前代相比,Nitro v5 傳輸吞吐量 (packet per second) 高 60%,延遲性減少 30%,而每瓦特電力效能則提升 40% 。
AWS 自有 Arm 架構晶片 Graviton ,最新一代 Graviton3E 晶片則較前一代 Graviton 效能提升 35%,新晶片將成為 EC2 執行個體 Hpc7G 的基礎,後者提供最高 64vCPU 及 128 GiB 記憶體,預計 2023 年初問世。
另外,AWS 還宣佈採用第 2 代機器學習推論 Inferentia 晶片的 EC2 執行個體 Inf2 、使用第 3 代 Xeon Scalable processors (Ice Lake) 晶片的執行個體 M6in 。 Hpc6id 支援 Intel 專門功能,像是 Math Kernel Library 或 AVX-512,具備 200 EFA(Elastic Fabric Adapter) 頻寬、 1024 GiB 及 15.2TB local SSD,可作為 HPC 負載較低成本的執行個體選擇 。 Hpc6id 已經上線。
無伺服器服務
儘管今年 Re:Invent 大會並未著重基礎架構的技術,但仍然有創新。包括無伺服器平台 Lambda 新版,使用了記憶體快照 Firecracker 及 Snapshotting 能力,冷啟動速度提升 90% 。 OpenSearch Serverless 現為預覽版,支援大規模搜尋和分析工作,但用戶無需管理叢集。
其他方面還有 AWS BI 服務 QuickSight Q 加入機器學習預測功能、雲端客服 Amazon Connect 則加入機器學習預測和引導客服專員的工作空間。雲端供應鏈管理應用 AWS Supply Chain,以及基因資料儲存、查詢及分析服務 Amazon Omics 。
來源:AWS 、 Silicon Angle
