AWS

大都市の近くに小さなAWS拠点を用意して超低遅延を実現する仕組み。映像配信やゲームなど、ミリ秒単位の反応が必要なサービスにメリット大。特定リージョンから物理的に遠いユーザー向けだね。

学習と推論で共通の“特徴量”を保管し、一貫した状態を保つ仕組み。モデルに使う変換後のデータをここにまとめて、重複や不整合を減らせるから大きなMLプロジェクトで便利。

Batchが自動でインスタンスタイプを選んで立ち上げ、ジョブが終わったらシャットダウンまでしてくれるモード。シンプルに使えてコスト最適化されやすいから、多くの人はこちらを選ぶね。

自分で作ったEC2クラスターをBatchに登録して使うモード。特殊な環境やライセンスが必要な場合に向いてる。自由度がある代わりにサーバー管理も自分でやる必要がある。

ジョブのキューごとに優先度を付けて、緊急のジョブから先に処理するよう指示できる。大量ジョブが一気に来ても、大事な仕事だけすぐ終わらせて他は後回しにする、みたいな制御ができるんだ。

どのPodをFargateに置くかをルールで指定できる。WebフロントはFargate、DB系はEC2など、用途に応じたハイブリッドが可能。コンテナごとの要望に合わせて柔軟に混在できるんだ。

同じタスクをパラメータ違いで多数並列実行する機能。たとえば画像ファイルが100枚あるなら、番号を変えて100本ジョブを投げて一気に回す。並列数を指定すれば大量処理がぐっと速くなるよ。

クラスター内のリソースや稼働状況をブラウザで見られるK8sの公式UI。EKSにも導入できるし、ポッドやデプロイの状態が可視化されて便利。ただ公開にはセキュリティ設定が要るよ。

ジョブAが終わってからジョブBをやる、みたいな順序づけが可能。結果を引き継ぐバッチなど、ステップ式の流れを作れる。大掛かりな計算でも失敗しにくくなるんだ。

AWS Secrets ManagerやParameter Storeから認証情報を取得してK8sのSecretsとして利用可能。セキュアにパスワードを取り扱えるから、外部への漏れを防ぎやすい。