AWS Amazon MQ – Brokers
メッセージを受け取って保管し、送る先へ振り分ける“メインのサーバー”だよ。ActiveMQかRabbitMQを選べて、どんな設定にするかも細かく決められる。AWSが運用してくれるので障害対応が楽になるんだ。
AWS AWS Amazon MQ
Apache ActiveMQやRabbitMQをマネージドで使えるサービス。メッセージのやり取りを“郵便局”みたいに管理して、プログラム同士が順番待ちや同時通知を簡単にできるんだ。自分でブローカーを立てなくてもいいのが魅力。
AWS AWS Data Pipeline – Logging
パイプライン全体の実行ログや各ステップの詳細をCloudWatch Logsなどに記録する。失敗やエラーが起きたときにすぐ原因を追跡できるし、成功していてもどれくらい時間がかかったか確認できる。
AWS AWS Data Pipeline – Pipeline Templates
よくある処理パターンがテンプレート化されていて、そこから作り始めれば設定がだいぶ省ける。初心者でも典型的なバッチ処理を迷わず始められるし、使い回しも楽になるんだ。
AWS AWS Data Pipeline – IAM Roles
パイプラインがS3やRedshiftにアクセスするときの権限を設定する仕組み。必要最小限だけ許すことで、誤って他のバケットをいじらないようにできる。セキュリティを保ちつつ自動化も実現できるんだ。
AWS AWS Data Pipeline – Pipeline Versioning
パイプライン定義をバージョン管理できる。以前の設定に戻したいとか、新しい定義を試す前にバックアップしたいときに助かる。大規模運用で複雑なJSONを書き換えるときに特に重要。
AWS AWS Data Pipeline – ShellCommandActivity
シェルコマンドを自由に書いて実行させる作業。独自のスクリプトや外部ツールを呼び出すときに便利。例えばEC2上で一括処理をしたいときなどに使えるんだ。
AWS AWS Data Pipeline – EMRActivity
EMRクラスターを立ち上げてHadoopやSpark処理を走らせる。終わったらクラスターを片付けるなども自動化できる。大きなバッチ分析を定期的に回すのに最適だけど、今はGlueの方が簡単な場合もあるね。
AWS AWS Data Pipeline – CopyActivity
S3とRedshift間でデータを大量にコピーする定番の作業。パイプライン上で予定を組んでおけば、毎晩自動で転送できる。バッチ処理によるデータ更新に向いてるんだ。
AWS AWS Data Pipeline – SqlActivity
RDSやRedshift上でSQL文を実行する作業だよ。大量データの集計や変換をSQLでまとめてやって、結果を別の場所にコピーする流れを簡単に作れる。