AWS

同じタスクをパラメータ違いで多数並列実行する機能。たとえば画像ファイルが100枚あるなら、番号を変えて100本ジョブを投げて一気に回す。並列数を指定すれば大量処理がぐっと速くなるよ。

クラスター内のリソースや稼働状況をブラウザで見られるK8sの公式UI。EKSにも導入できるし、ポッドやデプロイの状態が可視化されて便利。ただ公開にはセキュリティ設定が要るよ。

ジョブAが終わってからジョブBをやる、みたいな順序づけが可能。結果を引き継ぐバッチなど、ステップ式の流れを作れる。大掛かりな計算でも失敗しにくくなるんだ。

AWS Secrets ManagerやParameter Storeから認証情報を取得してK8sのSecretsとして利用可能。セキュアにパスワードを取り扱えるから、外部への漏れを防ぎやすい。

失敗したら何回再試行するか、どのくらい待って再実行するかを細かく決められる。ネットワーク障害や一時的エラーなら数回リトライでうまくいくことがあるから、自動復旧が期待できる。

EBSをK8sのボリュームとして使いやすくするプラグイン。Podがストレージを簡単にマウントできるし、動的にボリュームを作成するのも自動化できる。持続的データが必要なアプリに便利だよ。

一定時間内に終わらなかったら強制終了する設定。無限ループや遅すぎるジョブを止めたいときに有効だし、コストが暴走するのを防ぐ。

同じくEFSをK8sでPV/PVCとして扱えるドライバ。複数Podでファイルを共有したいときにEFSがあると楽。ステートフルなワークロードでもフォルダを共有できて、スケールアウトが容易になるんだ。

Dockerイメージの場所や環境変数、メモリ/CPUの要求などをまとめてテンプレにしたもの。ジョブごとにこれを指定して送るから、プロジェクトの標準化が楽になるんだ。

K8sのPodログやシステムログをCloudWatchに集められる。自前でログ基盤を作らなくてもOKだから、トラブル時に検索しやすいし大規模でも管理がしやすいんだ。