アマゾン ウェブ サービス (AWS) Kinesis は、大規模な分散データ ストリームをリアルタイムで完全に管理できるクラウドベースのサービスです。 このサーバーレス データ サービスは、大量のデータをキャプチャ、処理、保存します。 これは、ほぼすべての業界の何百万もの顧客を持つ、機能的で安全なグローバル クラウド プラットフォームです。 ComcastからHearst Corporationまでの企業が使用しています AWSキネシス.
にジャンプする：
AWS Kinesis の 4 つのタイプとは?
AWS Kinesis データ ストリームにはさまざまなタイプがあります。 これらには、ビデオ ストリーム、データ Firehose、データ ストリーム、およびデータ分析が含まれます。 これらはそれぞれデータの処理方法と保存方法が異なりますが、重複する類似点があります。 以下に、これらの各サービスに関する詳細情報を示します。
ビデオストリーム
それは何ですか：
Amazon Video Streams は、さまざまな接続デバイスから AWS にビデオをストリーミングする簡単な方法をユーザーに提供します。 それかどうか 機械学習ビデオ ストリームは、ストリーミング データからインフラストラクチャを自動的にスケーリングし、ビデオ データの暗号化、保存、インデックス作成を行います。 これにより、ライブのオンデマンド表示が可能になります。 このプロセスにより、OpenCV、TensorFlow、Apache MxNet などのライブラリとの統合が可能になります。
使い方：
Amazon ビデオ ストリームは、AWS マネジメント コンソールの使用から始まります。 デバイスに Kinesis Video Streams をインストールすると、ユーザーはメディアを AWS にストリーミングして、分析、再生、および保存することができます。 ビデオ ストリームは、カメラ付きデバイスからアマゾン ウェブ サービスにビデオをストリーミングするための特定のプラットフォームを備えています。 これには、インターネット ビデオ ストリーミングやセキュリティ映像の保存が含まれます。 このプラットフォームは、WebRTC のサポートと、アプリケーション プログラミング インターフェイスを使用する接続デバイスも提供します。
データ コンシューマー:
MxNet、HLS ベースのメディア再生、Amazon SageMaker、Amazon Rekognition
利点：
- 最低料金や前払いの義務はありません。
- ユーザーは使用した分だけ料金を支払います。
- ユーザーは、文字通り何百万もの異なるデバイスからビデオをストリーミングできます。
- ユーザーは、リアルタイムのコンピューター支援ビジョン機能を備えたビデオ対応アプリを構築できます。
- ユーザーは、録画およびライブ ビデオ ストリームを再生できます。
- ユーザーは、機械学習アプリケーション用の画像を抽出できます。
- ユーザーは、検索可能で耐久性のあるストレージを利用できます。
- 管理するインフラストラクチャはありません。
使用事例：
- ユーザーは、ピアツーピアのメディア ストリーミングに参加できます。
- ユーザーは、ビデオ チャット、ビデオ処理、およびビデオ関連の AI/ML に参加できます。
- スマート ホームは、ビデオ ストリームを使用して、ベビー モニター、ドアベル、さまざまな家庭用監視システムなどのデバイスからライブ オーディオとビデオをストリーミングできます。
- ユーザーは、玄関先の人と話すときにリアルタイムの対話を楽しむことができます。
- ユーザーは携帯電話からロボット掃除機を操作できます。
- Secure Video Streams は、Access Management (IAM) と AWS Identity を使用してストリームへのアクセスを提供します。
- 市政府 Video Streams を使用して、信号機やその他の公共施設のカメラからの大量のビデオ データを安全に保存および分析できます。
- Amber Alert システムは、Video Streams を使用した具体的な例です。
- 産業用途には、ビデオ ストリームを使用して、LIDAR や RADAR 信号などのタイム コード データを収集することが含まれます。
- ビデオ ストリームは、さまざまな産業機器からデータを抽出して分析し、それを予測メンテナンスに使用したり、特定の部品の寿命を予測したりするのにも役立ちます。
データファイアホース
それは何ですか：
Data Firehose は、ストリーミング データを抽出、キャプチャ、変換し、分析サービスとデータ レイクに配信できるサービスです。 Data Firehose は生のストリーミング データを取得し、Apache Parquet などのさまざまな形式に変換できます。 ユーザーは、配信先を選択し、配信ストリームを作成し、わずか数ステップでリアルタイムでストリーミングを開始できます。
使い方：
Data Firehose を使用すると、ユーザーは、完全に統合された数十の AWS サービスおよびストリーミング先に接続できます。 Firehose は、基本的に、ユーザーが使用できるすべてのデータの安定したストリームであり、更新されたデータが入ってくると、常にデータを配信できます。通過するデータの量は、大幅に増加するか、少しずつ流れていく可能性があります。 すべてのデータは、視覚化、グラフ化、または公開の準備が整うまで処理を続けます。 Data Firehose は、データを次の形式に変換しながら、Amazon Web Services にデータをロードします。 クラウドサービス 基本的に分析目的で使用されています。
データ コンシューマー:
コンシューマーには、Splunk、MongoDB、 Amazonレッドシフト、Amazon Elasticsearch、Amazon S3、および汎用 HTTP エンドポイントです。
利点：
- ユーザーは、送信したデータに対してのみ料金を支払うことができます。
- Data Firehose は、簡単な起動と構成を提供します。
- ユーザーは、パイプラインを処理することなく、データを分析用の特定の形式に変換できます。
- ユーザーは、バッチのサイズを指定し、データのアップロード速度を制御できます。
- 起動後、配信ストリームは柔軟なスケーリングを提供します。
- Firehose は、Apache ORC や Apache Parquet などのデータ形式をサポートできます。
- 保存する前に、Firehose はデータ形式を JSON から ORC 形式または Parquet に変換できます。 これにより、分析とストレージのコストを節約できます。
- ユーザーは、動的に定義されたキーまたは静的キーを使用して、分割されたデータを S3 に配信できます。 Data Firehose は、異なるキーでデータをグループ化します。
- Data Firehose は、さまざまな機能をすべての入力データ レコードに自動的に適用し、変換されたデータを各宛先にロードします。
- Data Firehose は、アップロード後にデータを自動的に暗号化するオプションをユーザーに提供します。 ユーザーは、AWS Key Management 暗号化キーを明確に指定できます。
- Data Firehose は、コンソールと Amazon CloudWatch で見つかるさまざまなメトリクスを備えています。 ユーザーは、これらのメトリックを実装して、配信ストリームを監視し、宛先を変更できます。
使用事例：
- ユーザーは、機械学習ストリーミング アプリケーションを構築できます。 これは、ユーザーが推論エンドポイントを予測し、データを分析するのに役立ちます。
- Data Firehose は、さまざまなデータ送信先をサポートします。 現在サポートされているものには、Amazon Redshift、Amazon S3、MongoDB、Splunk、Amazon OpenSearch Service、および HTTP エンドポイントが含まれます。
- ユーザーは、イベント管理 (SIEM) ツールとサポートされているセキュリティ情報を使用して、ネットワーク セキュリティを監視できます。
- Firehose は、Zip、Snappy、GZip、Hadoop 互換の Snappy などの圧縮アルゴリズムをサポートしています。
- ユーザーは、リアルタイムの IoT 分析で監視できます。
- ユーザーは Clickstream セッションを作成し、ログ分析ソリューションを作成できます。
- Firehose はいくつかの機能を提供します セキュリティ 機能。
データストリーム
それは何ですか：
Data Streams は、耐久性とスケーラビリティを提供し、何十万もの異なるソースからギガバイトを継続的にキャプチャできるリアルタイム ストリーミング サービスです。 ユーザーは、サーバーやさまざまなモバイル展開からログ イベントを収集できます。 この特定のプラットフォームは、セキュリティに重点を置いています。 データストリームにより、ユーザーは AWS KMS マスターキーとサーバー側の暗号化システムを使用して機密データを暗号化できます。 と Kinesis プロデューサー ライブラリ、ユーザーはデータ ストリームを簡単に作成できます。
使い方：
ユーザーは、Kinesis Data Streams アプリケーションや、Data Streams を使用したその他のタイプのデータ処理アプリケーションを作成できます。 ユーザーは、処理されたレコードをダッシュボードに送信して、アラートの生成、広告戦略の変更、価格の変更に使用することもできます。
データ コンシューマー:
Amazon EC2、Amazon EMR、AWS Lambda、および Kinesis Data Analytics
利点：
- データ ストリームは、集約データをマップ削減クラスターまたはデータ ウェアハウスにロードした後、リアルタイムのデータ集約を提供します。
- Kinesis Data Streams は、レコードがストリームに入れられてからユーザーがレコードを取得できるようになるまでの約 XNUMX 秒未満の遅延時間を特徴としています。
- Data Streams アプリケーションは、データを追加した後、ほぼ瞬時にストリームからデータを消費できます。
- データ ストリームを使用すると、ユーザーはスケールアップまたはスケールダウンできるため、ユーザーは有効期限が切れる前にデータを失うことはありません。
- クライアント ライブラリは、フォールト トレラントなデータ消費をサポートし、サポート データ ストリーム アプリケーションのスケーリングをサポートします。
使用事例：
- Data Streams は、IT インフラストラクチャ ログ データ、市場データ フィード、Web クリックストリーム データ、アプリケーション ログ、およびソーシャル メディアと連携できます。
- Data Streams は、アプリケーション ログと、わずか数秒で処理できるプッシュ システムを提供します。 これにより、アプリケーションまたはフロントエンド サーバーに障害が発生した場合でも、ログ データが失われるのを防ぐことができます。
- ユーザーは、データを送信して取り込む前に、サーバー上でデータをバッチ処理しません。 これにより、データの取り込みが加速されます。
- ユーザーはデータのバッチを受信するのを待つ必要はありませんが、データがストリーミングされているときにメトリックとアプリケーション ログで作業できます。
- ユーザーは、複数のデータ ストリーム アプリケーションを並行して実行しながら、サイトのユーザビリティ エンゲージメントを分析できます。
- ゲーム会社は、自社のゲーム プラットフォームにデータをフィードできます。
データ分析
それは何ですか：
Data Analytics は、AWS サービス統合、AWS SDK、Apache Beam、Apache Zeppelin、Apache Flink などのオープンソース ライブラリを提供します。 これは、ストリーミング データをリアルタイムで変換および分析するためのものです。
使い方：
その主な機能は、追跡および分析プラットフォームとして機能することです。 具体的には、目標を設定し、迅速な分析を実行し、さまざまなサイトに追跡コードを追加し、イベントを追跡できます. Data Analytics と Data Studio を区別することが重要です。 Data Studio は、Data Analytics と同じ多くのデータにアクセスできますが、サイト トラフィックを異なる方法で表示します。 データスタジオは、ユーザーが、おそらく技術的でなく、分析をよく理解していない他のユーザーとデータを共有するのに役立ちます。
データ コンシューマー:
結果は、Lambda 関数、Kinesis Data Firehose 配信ストリーム、または別の Kinesis ストリームに送信されます。
利点：
- ユーザーは数秒でストリーミング データを配信できます。 データをさまざまなサービスに配信するアプリケーションを開発できます。
- ユーザーは、10 を超える Apache Flink コネクタを含む高度な統合機能や、カスタム統合をまとめる機能さえ利用できます。
- わずか数行のコードで、ユーザーは統合機能を変更し、高度な機能を提供できます。
- Apache Flink プリミティブを使用すると、ユーザーはソケット、ディレクトリ、ファイル、またはインターネットからの他のさまざまなソースからの読み取りと書き込みを可能にする統合を構築できます。
使用事例：
- Data Analytics は AWS Glue Schema Registry と互換性があります。 これはサーバーレスであり、ユーザーは Apache Avro スキームを使用しながらストリーミング データを制御および検証できます。 これは追加料金なしです。
- Data Analytics は、Python の API を備えています。 SQL、Scala、およびJava。 これらは、ストリーミング ETL、ステートフル イベント処理、リアルタイム分析など、さまざまなユース ケースに特化しています。
- ユーザーは、以下にデータを配信し、Amazon Simple Storage Service、Amazon OpenSearch Service、Amazon DynamoDB、AWS Glue Schema Registry、Amazon CloudWatch、Amazon Managed Streaming for Apache Kafka の Data Analytics ライブラリを実装できます。
- ユーザーは「XNUMX回限りの処理」を楽しむことができます。 これには、Apache Flink を使用して、処理されたレコードが結果に影響するアプリケーションを構築することが含まれます。 内部サービス メンテナンスなどの中断が発生した場合でも、データは重複データなしで引き続き処理されます。
- ユーザーは、AWS Glue データ カタログ ストアと統合することもできます。 これにより、ユーザーは複数の AWS データセットを検索できます
- Data Analytics には、入力データ構造を検索および編集するためのスキーマ エディターが用意されています。 システムは、CSV や JSON などの標準データ形式を自動的に認識します。 エディターは使いやすく、データ構造を推測し、ユーザーがさらに改良するのに役立ちます。
- Data Analytics は、Amazon Kinesis Data Firehose と Data Streams の両方と統合できます。 データ分析を入力ストリームに向けると、データが自動的に読み取られ、解析され、処理できるようになります。
- Data Analytics では、上位 K 分析やストリーミング データの異常検出などの高度な処理機能を使用できます。
Data Firehose と Data Streams の主な違いは何ですか?
主な違いの 3 つは、それぞれのアーキテクチャにあります。 たとえば、データは Kinesis Data Streams を介して入力されます。これは、最も基本的なレベルではシャードのグループです。 各シャードには、独自の一連のデータ レコードがあります。 Firehose 配信ストリームは、SXNUMX、Redshift、Splunk などの特定の宛先にデータを自動的に送信するのに役立ちます。
両者の主な目的も異なります。 Data Streams は基本的に低レイテンシ サービスであり、大規模に取り込みます。 Firehose は通常、データ転送および読み込みサービスです。 Data Firehose は、ユーザーが選択した宛先にデータを常にロードしていますが、Streams は通常、処理のために日付を取り込んで保存します。 Firehose は分析用のデータを保存し、Streams はカスタマイズされたリアルタイム アプリケーションを構築します。
LogicMonitorを選択する理由
LogicMonitor は、主要な SaaS ベースの IT です データ コラボレーションとオブザーバビリティ プラットフォーム. シームレスなインフラストラクチャ監視プラットフォームを必要とする企業は、LogicMonitor を頼りにして、可観測性の単一ソースを提供できます。 最先端のクラウド リソースを提供し、サーバー、ネットワーク、アプリケーション、ログ データを XNUMX つのプラットフォームで可視化できます。 LogicMonitor は、Kinesis と Firehose の両方のデータを分析できます。 幅広い指標を自動的に分析します。 お問い合わせ デモ用LogicMonitor.