LogicMonitorを使用したAWSMSKのモニタリング

LogicMonitorのベストプラクティスブログ

Kafka(MSK)のAmazonマネージドストリーミングは AWSサービス これは、ApacheKafka上に構築されたアプリケーションの構築と実行に役立ちます。 Kafkaは、多数のデバイスおよびアプリケーションから生成された小さなレコードまたはイベントの連続ストリームを処理するように設計されたプラットフォームです。 

Kafka環境が効率的に実行されていることを確認するには、クラスターレベルとブローカーレベルの両方でKafka環境を適切に監視することが重要です。 これは、パフォーマンスのボトルネックを特定し、アプリケーションをスケーリングする必要がある時期を判断し、アプリケーションが低遅延でKafkaを介してメッセージを正常にストリーミングしていることを証明するのに役立ちます。

AWS MSKのサポートを含むように、モニタリングの対象範囲を拡大しました、およびブローカーとクラスターのメトリックを収集してアラートを出すためのXNUMXつのデータソースを提供します。 後 AWS環境を追加する 新しいサービスを有効にし、 インポート 監視を開始するための最新のデータソース。 クラスターとブローカーは自動的に検出され、グループ化されて管理が容易になります。

事前設定されたブローカーグラフ

さらに、クラスターとブローカーの両方が、ブローカーID、ノードタイプ、Kafkaバージョンなどの便利な自動プロパティを受け取ります。

MSKブローカーの自動プロパティ

Cloudwatch APIを使用して、LogicMonitorはAWSから直接ポーリングし、コントローラー数、パーティション数、使用ディスク、ネットワークトラフィックなどの有用なKafkaデータポイントの入力を開始します。 デフォルトのアラートしきい値は、潜在的な問題が検出されたときに高度な通知を提供します。 ベストプラクティスとして、次の点に注意することをお勧めします。

  1. 使用されたルートディスク:これは、ブローカーによって使用されるルートディスクのパーセンテージの測定値です。 ディスクがいっぱいになるとKafkaサービスが中断する可能性があるため、使用可能な空きディスク容量を監視することが重要です。 デフォルトでは、残りのスペースが5%以下に達したときにアラートを出すしきい値が含まれています。 
  2. アクティブなコントローラーの数:クラスターごとにXNUMXつのコントローラーのみをアクティブにする必要があります。 しきい値は、クラスター内に複数のアクティブなコントローラーが長期間存在する場合にアラートを出すように設定されています。
  3. オフラインパーティションカウント:これは、クラスター内でオフラインになっているパーティションの総数を測定します。 パーティションがオフラインになった場合、これはパーティションのレプリケーションを増やす必要があることを示している可能性があります。 これにより、フェッチが追いついていない場合にもブローカー数を増やす必要が生じる可能性があります。

LogicMonitorのAWSMSKモニタリングを使用すると、クラウドKafkaインフラストラクチャからのデータを収集、視覚化、アラートすることができ、他のハイブリッドインフラストラクチャと一緒にXNUMX枚のガラス板に収めることができます。 サインアップして 無料試用 今日!

ティム・グズマン

Tim Guzmanは、LogicMonitorの従業員です。

LogicBlogを購読して、LogicMonitorの最新の開発に関する最新情報を入手し、ITエキスパートとエンジニアのワールドクラスのチーム、およびITプロフェッショナルが愛する製品。

LogicBlogの他の記事

アンペアロボット 影

お店の話をしましょう。

STARTED GET