LogicMonitor は、800 億ドルの評価額で 2.4 億ドルの戦略的投資を行い、データ センターに革命を起こすことで AI 環境を破壊しようとしています。

もっと詳しく知る

    プラットフォーム

    リアルタイムの洞察と自動化を取得して、エージェントレス アーキテクチャによる包括的でシームレスな監視を実現します。

  • ITを
    モニタリング
  • クラウド監視
  • デジタル体験
  • AIOPS

      • ソリューション

      MSP、エンタープライズIT、またはその中間のどこで作業していても、ソリューションは明確です。

    イニシアチブによる
    業界別

      企業情報

      LogicMonitor と私たちのチームについて知りましょう。

    詳しく知る
    サービス

      リソース

      当社のブログ、ガイド、ケーススタディ、電子書籍、その他の実用的な洞察を活用して、IT 監視と観測性を強化してください。

    リソース

      ドキュメント

      ドキュメントを読んだり、最新のリリース ノートを確認したり、ワールドクラスのカスタマー サービス チームにチケットを送信したりしてください。

    サポート

    製品ドキュメント

    ApacheHadoopモニタリング

    最終更新日: 25 年 2024 月 XNUMX 日

    概要

    Apache Hadoopは、コモディティハードウェアのクラスター全体で大規模なデータセットの分散処理を可能にするソフトウェアのコレクションです。 LogicMonitor Hadoopパッケージは、次のコンポーネントのメトリックを監視します。

    • HDFS ネームノード
    • HDFS データノード
    • 糸
    • MapReduce

    互換性

    2020年3.2.1月の時点で、HadoopパッケージがバージョンXNUMXと互換性があることを確認しています。 古いバージョンのHadoopを監視することは可能かもしれませんが、すべてのデータポイントのデータが返されるわけではありません。

    セットアップ要件

    HadoopホストでJMXを有効にする

    LogicMonitorは、JMXを介して直接ではなく、RESTAPIを介してHadoopメトリックを収集します。 ただし、メトリックは元々JMXを使用して収集および保存されるため、HadoopホストでJMXを有効にする必要があります。 JMXの有効化の詳細については、の「JMXの有効化」セクションを参照してください。 Javaアプリケーション（JMX経由）モニタリング サポート記事。

    モニタリングへのホストの追加

    Hadoopホストをモニタリングに追加します。 監視にリソースを追加する方法の詳細については、を参照してください。 デバイスの追加.

    Hadoopリソースへのプロパティの割り当て

    次のカスタムプロパティは、LogicMonitor内のHadoopリソースに設定する必要があります。 プロパティの設定の詳細については、を参照してください。 リソースとインスタンスのプロパティ.

    プロパティ

    値
    hadoop.namenode.port HadoopがRESTAPIを介してHDFSネームノードメトリックを公開するTCPポート。 このポートはカスタマイズできますが、デフォルトでは、Hadoopはポート50070を使用します。
    hadoop.datanode.port HadoopがRESTAPIを介してHDFSデータノードメトリックを公開するTCPポート。 このポートはカスタマイズできますが、デフォルトでは、Hadoopはポート50075を使用します。
    hadoop.secondarynamenode.port HadoopがRESTAPIを介してセカンダリネームノードメトリックを公開するTCPポート。 このポートはカスタマイズできますが、デフォルトでは、Hadoopはポート50090を使用します。
    hadoop.yarn.port HadoopがRESTAPIを介してYarnメトリックを公開するTCPポート。 このポートはカスタマイズできますが、デフォルトでは、Hadoopはポート8088を使用します。
    hadoop.mrhistory.port HadoopがRESTAPIを介してMapReduce履歴メトリックを公開するTCPポート。 このポートはカスタマイズできますが、デフォルトでは、Hadoopはポート19888を使用します。

    ご注意: これらのポートは、コレクターに対して開いている必要があります。

    ご注意: 正しいポートが使用されていることを確認するには、http：//にアクセスできる必要があります。 ： / jmxおよびさまざまなコンポーネントのそれぞれのメトリックを表示します。

    LogicModulesをインポートする

    LogicMonitorリポジトリから、にリストされているすべてのHadoopLogicModuleをインポートします。 パッケージ内のLogicModules このサポート記事のセクション。 インポート時に、前のセクションにリストされたプロパティが割り当てられていると仮定すると、これらのLogicModuleはHadoopリソースに自動的に関連付けられます。

    パッケージ内のLogicModules

    Apache Hadoop用のLogicMonitorのパッケージは、次のLogicModuleで構成されています。 完全にカバーするには、これらのLogicModuleがすべてLogicMonitorプラットフォームにインポートされていることを確認してください。

    表示名

    種類

    Description
    addCategory_Hadoop_ResourceManager プロパティソース Hadoopリソースマネージャーを検出します。
    addCategory_Hadoop_NameNodePrimary プロパティソース Hadoop名ノードを検出します。
    addCategory_Hadoop_NameNodeSecondary プロパティソース Hadoopセカンダリネームノードを検出します。
    addCategory_Hadoop_DataNode プロパティソース Hadoopデータノードを検出します。
    Apache_Hadoop_情報 プロパティソース ApacheHadoopデバイスのホストプロパティを生成します。
    Hadoop MapReduce ジョブ データソース Hadoopで実行されているMapReduceジョブのメトリック。
    Hadoopヤーンクラスターのステータス データソース サービスステータスについてHadoopHDFSresourcemanagerから報告されたクラスターメトリック。
    HadoopヤーンJVMのパフォーマンス データソース Hadoop YarnresourcemanagerノードでのJVMパフォーマンスを監視します。
    Hadoopヤーンアプリケーション データソース Hadoopで実行されているYarnアプリケーションのメトリック。
    Hadoopヤーン容量スケジューラ データソース Hadoop Yarnresourcemanagerノードの容量スケジューラメトリック。
    HadoopヤーンRPCアクティビティ データソース Hadoop HDFSResourceManagerのさまざまなポートでのRPCアクティビティを監視します。
    Hadoopヤーンキューメトリック データソース HadoopYarnキューのメトリックを集約します。
    Hadoop HDFSNameNodeステータス データソース HDFSNameNodeサーバーのステータス。
    Hadoop HDFS DataNodeRPCアクティビティ データソース Hadoop HDFSDataNodeのRPCメトリック。
    Hadoop HDFSDataNodeボリューム データソース HadoopHDFSのボリュームメトリック。
    Hadoop HDFSDataNodeアクティビティ データソース HadoopHDFSのデータノードアクティビティに関するメトリック。
    Hadoop HDFS NameNodeRPCアクティビティ データソース Hadoop HDFSNameNodeのRPCメトリック。
    Hadoop HDFSNameNode情報 データソース クラスター全体で使用されるスペースの量に関するメトリック。
    Hadoop HDFS DataNodeFS状態 データソース HadoopHDFSのFS状態のメトリック。
    Hadoop HDFSNameNodeアクティビティ データソース ファイル生成、スナップショット情報、編集ログ同期操作など、HadoopHDFSのプライマリネームノードでの操作の概要。
    HadoopHDFSスタートアップ データソース HDFSNameNode起動タスクのステータス。
    Hadoop HDFS JVMDataNodeのパフォーマンス データソース HadoopHDFSデータノードのJVMパフォーマンスを監視します。
    Hadoop HDFS NameNodeJVMのパフォーマンス データソース HadoopHDFSネームノードのJVMパフォーマンスを監視します。
    HadoopHDFSセカンダリネームノードJVMのパフォーマンス データソース HadoopHDFSのセカンダリNamenodeJVMパフォーマンス。
    Hadoop HDFS ネームノード FSNamesystem データソース Hadoop HDFS NameNodeFSNamesystemのメトリック。
    Hadoop HDFSNameNode再試行キャッシュ データソース Hadoop HDFSNamenodeの再試行キャッシュを監視します。

    データポイントしきい値の構成

    Hadoopパッケージには、事前定義されたデータポイントしきい値が含まれていません（つまり、収集されたデータに基づいてアラートがトリガーされることはありません）。 これは、テクノロジの所有者が、大多数のユーザーに確実に拡張できるKPIを提供していないためです。 収集されたデータのアラートを受信するには、で説明されているように、カスタムしきい値を手動で作成する必要があります。 データポイントの静的しきい値の調整.

    次に、しきい値の設定を検討する必要があるデータポイントをいくつか示します。

    • データソース：Hadoop HDFS DataNodeFS状態
      • NumFailedVolumes。 失敗したボリュームの総数を報告するデータポイント。
      • 残り。 データノードの残りの容量を報告するデータポイント。
    • データソース：Hadoop HDFSNameNode情報
      • NumberOfMissingBlocksWithReplicationFactorOne。 クラスター全体でコピーがXNUMXつしかないブロックの数を報告するデータポイント。
      • PercentUsed。 クラスター全体の使用済みスペースのパーセンテージを報告するデータポイント（DFSおよび非DFS）。
    • データソース：Hadoop HDFSNameNodeステータス
      • ServiceRestart。 サービス状態が変化したときに0より大きい値を返すデータポイント
      • 状態。 Hadoopネームノードサービスのステータスを示すステータスコードを返すデータポイント。
    • データソース：Hadoop HDFS NameNode FSNamesystem
      • CorruptBlocks。 レプリカが破損しているブロックの現在の数を報告するデータポイント。
      • CorruptReplicatedBlocks。 複製された破損ブロックの数を報告するデータポイント。
      • FSState。 FSが動作可能かセーフモードかを示すステータスコードを返すデータポイント。
      • MissingBlocks。 欠落しているブロックの現在の数を報告するデータポイント。
      • MissingReplicationOneBlocks。 レプリケーション係数が1の欠落ブロックの数を報告するデータポイント。
      • NumDeadDataNodes。 現在死んでいるデータノードの数を報告するデータポイント。
      • UnderReplicatedBlocks。 レプリケートされているブロックの現在の数を報告するデータポイント。
      • VolumeFailuresTotal。 すべてのデータノードにわたるボリューム障害の総数を報告するデータポイント。
    • データソース：Hadoopヤーンキューメトリック
      • AppsFailed。 完了できなかったアプリケーションの数を報告するデータポイント。
    • データソース：Hadoopヤーンクラスターステータス
      • NumLostNMs。 ハートビートを送信しなかったために失われたNodeManagerの現在の数を報告するデータポイント。
    記事上で