Amazon ElastiCache for Valkey の耐久性機能

このアップデートの要点

Amazon ElastiCache for Valkey に、データ損失を許容できないワークロードに対応するための耐久性機能が提供開始されました。この機能により、キャッシュだけでなく永続的なデータストアとしても ElastiCache を利用できるようになります。耐久性は、マルチ AZ トランザクションログを使用して、インフラストラクチャ障害時の高速リカバリと再起動によるデータ保護を提供します。ゼロデータ損失を設計した同期書き込みと、マイクロ秒単位の書き込みレイテンシーを実現する非同期書き込みの 2 つのオプションが用意されています。

主な機能と特徴

ElastiCache の耐久性は、マルチ AZ トランザクションログを活用してデータ保護を行います。

同期書き込み

• データ損失が許容できない場合に適しています。
• クライアントに応答する前に、マルチ AZ トランザクションログ内の少なくとも 2 つのアベイラビリティーゾーン (AZ) にデータを永続化します。
• 確認応答された書き込みはすべて永続的であり、書き込みレイテンシーは 1 桁台のミリ秒です。
• プライマリノードは強い整合性を持ち、プライマリでの読み取り操作は常に最新のデータを返します。
• RAG アプリケーション向けのナレッジベース、AI エージェントの長期メモリ、AI エージェントのワークフロー状態、決済トークン化、ストリーミングメタデータ、ゲームプレイヤーの状態、リアルタイム在庫管理などのユースケースに適しています。

非同期書き込み

• データが復旧可能であるものの、ソースからの再構築が遅い、または運用コストが高い場合に適しています。
• クライアントへの応答後にデータが Multi-AZ トランザクションログに永続化されるため、追加コストなしでマイクロ秒単位の書き込みレイテンシーを維持できます。
• 万が一障害が発生した場合、最大 10 秒間のコミットされていないデータが失われる可能性があります。
• 潜在的なデータ損失を制限するため、ElastiCache は耐久性ラグを監視し、このラグが 10 秒に達するとプライマリノードはログが追いつくまで書き込みの受け入れを停止します。
• セッションストア、ゲームのリーダーボード、リアルタイム分析、事前ロードされたデータセットなど、数秒間の最近の書き込みを失うことは許容できるものの、より大きなギャップが生じると調整にコストがかかる場合に最適です。

耐久性を有効にしていない ElastiCache は、データがオンデマンドで簡単に再構築できる場合に適しています。元となるデータベースに基づくリードスルーキャッシュ、レート制限カウンター、または欠落したエントリをその場で取得または再計算できるワークロードに使用してください。

同期書き込みと非同期書き込みの両方で、マイクロ秒単位の読み取りレイテンシーが維持されます。いずれのオプションでも、レプリカノードは結果整合性を持ち、レプリカからの読み取り操作は常に最新の書き込みを反映するとは限りません。

アーキテクチャ

ElastiCache の耐久性は、Multi-AZ のトランザクションログを使用して機能します。

同期書き込みのアーキテクチャ

クライアントが書き込みコマンドを送信すると、プライマリノードがメモリ内で実行し、少なくとも 2 つのアベイラビリティーゾーンにまたがる Multi-AZ トランザクションログに永続化されます。永続化が確認されると、プライマリはクライアントに成功レスポンスを返します。これにより、プライマリノードが障害を起こしても書き込みは失われず、今後の読み取りに反映されます。ただし、AZ 間ネットワークラウンドトリップにより、書き込みレイテンシーは数ミリ秒になります。

非同期書き込みのアーキテクチャ

クライアントが書き込みコマンドを送信すると、プライマリノードはメモリ内で実行し、マイクロ秒のレイテンシーで即座にクライアントに応答を返します。書き込みはバックグラウンドで Multi-AZ トランザクションログに書き込まれます。クライアントが成功レスポンスを受信した時点では、書き込みはまだトランザクションログに書き込まれていない可能性があり、プライマリノードに障害が発生すると失われる可能性があります。この潜在的なデータ損失を制限するため、ElastiCache は最大 10 秒の耐久性バッファを強制し、DurabilityLag メトリクスとして CloudWatch に公開します。このラグが 10 秒を超えると、プライマリは追いつくまで一時的に書き込みを拒否します。

パフォーマンス分析

ElastiCache で耐久性を有効にした場合と無効にした場合のスループットと読み取り/書き込みレイテンシーを測定した結果、耐久性を有効にしても、お客様が期待するマイクロ秒単位のレイテンシーが損なわれないことが実証されました。テストでは、r7g.4xlarge ノードを使用し、耐久性なし、非同期書き込み、同期書き込みの各設定で Valkey 9.0 for Amazon ElastiCache クラスターを起動しました。80% 読み取り、20% 書き込みの混合ワークロードで 50K TPS と 100K TPS のスループットレベルでテストした結果、すべてのオプションでマイクロ秒の読み取りレイテンシーが維持されました。非同期書き込みは、耐久性を有効にしていない場合と比較して、書き込みレイテンシーがわずかに改善または同等でした。同期書き込みは、他のオプションと比較して書き込みレイテンシーがミリ秒単位に増加しましたが、データ損失ゼロの保証を提供します。

出典: https://aws.amazon.com/jp/blogs/news/announcing-durability-for-amazon-elasticache/