AWS

EMRのSparkやHiveを、クラスタサイズを指定せずにサーバーレス実行できるモード。ジョブが来たらリソースを自動で割り当て、終われば解放するから手動のスケール管理が不要なんだ。

巨大リストやS3の大量ファイルを、ステートマシンのMapステートで自動的に分割して並列処理する拡張。数万～数百万の要素を捌けるから、大規模バッチでもLambdaが詰まらないんだ。

Lambda関数の裏でEFSをマウントし、大容量ファイルを扱えるようにする機能。関数の中に置けないほど大きいデータでも、EFSを通じて読み書きができるんだ。

ドラッグ&ドロップでステートマシンを描けるビジュアルツール。条件分岐やタスクをブロックに置いて、つなげるだけ。JSONを書かなくても複雑な自動化が作れるよ。

Lambda関数をARMアーキテクチャのGraviton2で走らせると、同じ性能でコストが下がる場合がある。コンテナイメージがARM対応なら検討するとお得になるんだ。

EKSクラスタ上でEMR(Sparkなどのビッグデータ処理)をコンテナとして動かす仕組み。既存K8s環境を流用でき、EMRのスケーリングとK8sのオーケストレーションが一体化するんだ。

一度に扱えるジョブの数(アレイジョブの上限)が増えたアップデート。大量のファイルを並列処理するとき、従来より一気に作業を分割できるからビッグデータ解析が加速するんだ。

EKS上のPodやノードに障害を故意に注入して、可用性をテストするカオスエンジニアリングの機能。システムがちゃんと自己修復できるか、本番前に確かめられるんだ。

ProtonでECSの標準テンプレを提供し、開発者はそれを使うだけでVPCやロードバランサーを含めた環境が完成。微妙に繰り返し設定しがちなコンテナインフラを自動化する。

MGNで移行するサーバーの設定(インスタンスタイプやネットワーク)をテンプレ化して、複数サーバーを一括で移行できる。大規模データセンターの移行時に作業を効率化できるんだ。