宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

解構Amazon MSK快速代理遷移策略 擴展速度較標準代理快20倍

2025年03月18日 首頁 » 熱門科技

解構Amazon MSK快速代理遷移策略 擴展速度較標準代理快20倍


Amazon MSK現在提供名為快速代理 (Express Brokers) 的新代理類型。與運行Apache Kafka的標準代理 (Standard Brokers) 相比,它能為每個代理提供高達3倍的輸送量,擴展速度提高20倍,並將恢復時間縮短90%。

快速代理預配置了Kafka最佳實踐,支持Kafka API,並提供與Amazon MSK客戶期望的相同的低時延性能,讓客戶可繼續使用現有的用戶端應用程序,而無需進行任何更改。快速代理無需預先配置即可提供無限存儲空間。用戶使用Amazon MSK Replicator將所有數據和元數據從現有MSK集群複製到由快速代理科成的新集群。

在以下部分中,我們將概要分析使用MSK Replicator進行遷移所需的考慮,以及將數據從標準代理MSK集群複製到Express代理MSK集群的解決方案。有興趣了解完整內容的讀者可參閱詳情原文。

從標準代理遷移到快速代理需要徹底規劃並仔細考慮各種因素。首先,用戶需要評估源集群的基礎設施和需求,其中考慮因素包括CPU使用率、網路輸送量、數據吞吐量 (volume throughput)、平衡分區 (balanced partitions)。其次,用戶需要評估目標集群的基礎設施和需求。使用相同的大小調整工具,用戶可以估計到快速代理集群的大小。通常與標準代理相比,對於相同的工作負載,可能需要更少快速代理,因為根據實例 (instance) 大小,快速代理允許的進口吞吐量 (ingress throughput) 最多增加三倍。

當評估好需求後,用戶需要配置Express Broker以及安排用戶端與目標集群的連接。繼而用戶可以選擇一次過進行遷移或分階段遷移。一次過遷移的操作較簡單,但出現故障的話會對客戶端帶來風險。分階段遷移則能有效降低風險,但需要仔細規劃。另外,用戶還需要考慮採用Consumer或Producer優先的策略。 每種策略都有其利弊,用戶既可以參考更多遷移案例,又或尋找本地可靠的雲計算遷移專家了解更多。

最後,當用戶做好壓縮類型配置,制定切換計劃(cutover plan),以及確保原有的schema註冊表可繼續使用之後,便可以開始部署遷移。

在下圖可見,部署了兩個Amazon MSK預置集群:一個使用標準代理(原始),另一個使用快速代理(目標)。兩個集群位於同一AWS區域和VPC中,並激活了IAM身份驗證。MSK Replicator用於將主題、數據和配置從原始集群複製到目標集群。Replicator配置在兩個集群之間保持相同的主題名稱,從而提供無縫複製,也無需更改用戶端。

解構Amazon MSK快速代理遷移策略 擴展速度較標準代理快20倍


當MSK Replicator將原始數據複製到目標集群後,用戶需要評估目標集群的運行狀況。確認運行狀況良好後,用戶可以選擇Producer優先或Consumer優先的遷移方法。下圖採取的是消費者優先的方法,您首先停止Consumer,將其重新配置為從目標集群讀取,然後重新啟動它們。

解構Amazon MSK快速代理遷移策略 擴展速度較標準代理快20倍


將所有Consumer遷移到目標集群後,停止原始集群中的Producer。允許MSK Replicator完成從原始集群到目標集群的任何未完成數據的複製。最後,重新配置Producer以在目標集群中發布並重新啟動它們,如下圖所示。

解構Amazon MSK快速代理遷移策略 擴展速度較標準代理快20倍


使用MSK Replicator從標準代理MSK集群遷移到快速代理MSK集群,可實現無縫、高效過渡,同時將停機時間降至最低。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新