proxmox.blog

Shardsを増やしたり減らしたりして、受け取れるデータ量を調整できる仕組み。アクセスが増えたらShardsを追加、落ち着いたら減らしてコストを下げるなど、柔軟に運用できる。オートスケールも組めるんだ。

複数の消費者(コンシューマー)が同時にデータを取りに来ても、データを分けて並行に配れる高速モード。従来の方法より遅延が少なくなるから、リアルタイム処理をたくさん走らせたいときに便利なんだ。

ストリームの中でデータを何時間(または何日)保管するかを決める設定。期限が過ぎると古いデータは消えちゃう。リアルタイム分析が終われば用済みのことも多いから、効率よく再利用する仕組みなんだ。

どのShardに振り分けるかを決めるための“振り分けラベル”だよ。同じキーのデータは同じShardに集まるから、順序を保つ必要があるログなどを扱うときに便利。一方で偏りが起こると混雑することもあるんだ。

データの通り道を小分けにした“レーン”みたいなものだよ。どのレーンに入れるかで並列処理ができる。たくさんのデータが押し寄せるならShardsを増やせば処理力が上がり、コストもShardsの数で決まるんだ。

流れてくるデータを“見ながらその場で計算や集計”ができるサービス。SQLを使ってフィルタしたり平均を出したりして、結果を別のストリームやS3へ送れる。リアルタイムにダッシュボードを更新したい時などに最適なんだ。

届いたデータを“自動的にS3やRedshiftへ貯める”ところまでやってくれる機能。パイプを通して決まった倉庫に運ぶイメージで、設定しておけば勝手に蓄積してくれる。あとはアプリがゆっくり分析できるんだ。

途切れなく届くデータを高速で受け止めて、必要な人やシステムにリアルタイム配信する“本流”みたいな機能。センサー情報やログなどを、その場で分析したり保存したりする入り口として使われることが多いんだ。

動いている最中のデータ(ストリーム)をリアルタイムに受け取り、分析や保存に回せるサービスだよ。水が流れるようにずっと送られてくるデータを途切れずに扱いたいとき、Kinesisが大活躍するんだ。

全モノがどのくらいデータを送っているか、エラー率はどれくらいかなど、まとめて“指標”にして統計をとる仕組み。個別に見るより先に全体の傾向を把握し、問題があるなら特定のグループをチェックする、という流れが作りやすい。