LogicMonitorを使用したAWSMSKのモニタリング

Kafka（MSK）のAmazonマネージドストリーミングは AWSサービス これは、ApacheKafka上に構築されたアプリケーションの構築と実行に役立ちます。 Kafkaは、多数のデバイスおよびアプリケーションから生成された小さなレコードまたはイベントの連続ストリームを処理するように設計されたプラットフォームです。 

Kafka環境が効率的に実行されていることを確認するには、クラスターレベルとブローカーレベルの両方でKafka環境を適切に監視することが重要です。 これは、パフォーマンスのボトルネックを特定し、アプリケーションをスケーリングする必要がある時期を判断し、アプリケーションが低遅延でKafkaを介してメッセージを正常にストリーミングしていることを証明するのに役立ちます。

AWS MSKのサポートを含むように、モニタリングの対象範囲を拡大しました、およびブローカーとクラスターのメトリックを収集してアラートを出すためのXNUMXつのデータソースを提供します。 後 AWS環境を追加する 新しいサービスを有効にし、 import 監視を開始するための最新のデータソース。 クラスターとブローカーは自動的に検出され、グループ化されて管理が容易になります。

さらに、クラスターとブローカーの両方が、ブローカーID、ノードタイプ、Kafkaバージョンなどの便利な自動プロパティを受け取ります。

Cloudwatch APIを使用して、LogicMonitorはAWSから直接ポーリングし、コントローラー数、パーティション数、使用ディスク、ネットワークトラフィックなどの有用なKafkaデータポイントの入力を開始します。 デフォルトのアラートしきい値は、潜在的な問題が検出されたときに高度な通知を提供します。 ベストプラクティスとして、次の点に注意することをお勧めします。

1. 使用されたルートディスク：これは、ブローカーによって使用されるルートディスクのパーセンテージの測定値です。 ディスクがいっぱいになるとKafkaサービスが中断する可能性があるため、使用可能な空きディスク容量を監視することが重要です。 デフォルトでは、残りのスペースが5％以下に達したときにアラートを出すしきい値が含まれています。 
2. アクティブなコントローラーの数：クラスターごとにXNUMXつのコントローラーのみをアクティブにする必要があります。 しきい値は、クラスター内に複数のアクティブなコントローラーが長期間存在する場合にアラートを出すように設定されています。
3. オフラインパーティションカウント：これは、クラスター内でオフラインになっているパーティションの総数を測定します。 パーティションがオフラインになった場合、これはパーティションのレプリケーションを増やす必要があることを示している可能性があります。 これにより、フェッチが追いついていない場合にもブローカー数を増やす必要が生じる可能性があります。

LogicMonitorのAWSMSKモニタリングを使用すると、クラウドKafkaインフラストラクチャからのデータを収集、視覚化、アラートすることができ、他のハイブリッドインフラストラクチャと一緒にXNUMX枚のガラス板に収めることができます。 サインアップして 無料試用 今日！