proxmox.blog

データを暗号化して送受信し、保管時も安全を保つ仕組み。AWSのキーマネジメントサービスとも連携するから、機密情報を扱うETLでも安心。誤って漏れても解読は難しいんだ。

ジョブがどれくらい時間かかったか、処理したデータ量などをログやメトリクスで可視化できる。失敗したステップがあればわかりやすいし、改善ポイントも掴みやすいんだ。

S3にパーティション分割されたデータを素早く探して読み込むための仕組み。通常よりも検索時間を大幅に減らせることがある。大きなデータを抱えるときでも必要な部分だけサッとアクセスできる。

重複データを自動判別したり、欠損値を補完したりなど、機械学習を使った賢い“データお掃除”ができる。単純ルールでは難しいパターンもAIが見分けて補正してくれるから、品質がぐんと上がるんだ。

Kinesisなどのストリーミングデータをリアルタイムに取り込み、その場で整形・変換してから保存できる。随時更新されるログやセンサー情報も滞りなく処理できるから、即時分析に向いてる。

変換したデータを直接Redshiftに取り込んだり、また逆にRedshiftのデータをS3に出したりETLできる。大規模分析用データをしっかり下ごしらえして、分析をスムーズにするのにピッタリ。

Glueのカタログ情報を使って、AthenaでSQL検索が可能に。どこにどんなデータがあるかGlueが教えてくれるから、Athenaはすぐにクエリを実行できる。S3にあるファイルを表みたいに扱えるんだ。

ノーコードでデータの前処理や可視化ができるサービス。列をマージしたり不要な値を消したりをマウス操作だけでできる。大規模なクリーニング作業を専門的スキルなしでもすすめられるんだ。

Webブラウザ上の画面でドラッグ&ドロップしながらETLジョブを作れるツール。プログラミングが苦手でも流れを簡単に組めるし、裏ではPySparkのコードを自動生成してくれるから学習しやすい。

ジョブが前回どこまで処理したかを覚えていて、次回は続きから処理する機能。毎回全部を再変換しなくていいし、差分だけやるから速く終わる。ログの更新分だけ取り込むなどのシナリオで助かるんだ。