Webページ(HTTP / HTTPS)データ収集

最終更新日: 30 年 2020 月 XNUMX 日

Webページコレクターを使用して、HTTPまたはHTTPSを介して任意のシステムからデータを照会できます。

注:  Webページコレクターは、最大3つのリダイレクトまでの循環リダイレクトをサポートします。

トークンの置換 コレクターを汎用にするために使用できます(通常、## WILDVALUE ##はActiveDiscoveryデータソースで使用され、Webページが検出されたXNUMXつまたは複数のポートに置き換えられます。## WILDVALUE ##は同じデータソースが異なるページを収集できるようにセクションをリクエストします。もちろん、任意のプロパティを文字列の任意の場所で使用することも、リテラル文字列を使用することもできます。)

計測パラメータ

  • SSL:リクエストにSSLを使用するかどうか。
  • ポート:HTTPまたはHTTPSトラフィックに使用するTCPポート。
  • 接続する タイムアウト:コレクターが接続の確立を待機する時間
  • 読み取りタイムアウト:コレクターが要求に応答してデータが返されるのを待つ時間
  • 要求:HTTPまたはHTTPSリクエストで送信するコンテンツ。 これは、有効なHTTP1.0またはHTTP1.1リクエストである必要があります。

'\ n'を使用して改行を送信します。
含まない content-length。 これは自動的に構成されます。

HTTP1.1リクエストを送信する場合は、HOSTヘッダーを含める必要があります。 このヘッダーにトークンを使用できます。つまり、## HOSTNAME ##を使用して、データソースが現在収集しているシステムを置き換えることができます。 例えば:

計測パラメータ

 マルチインスタンスデータソースがある場合 アクティブディスカバリー 有効にすると、ポートとしてではなく、リクエストで## WILDVALUE ##を使用できます。例:

認証

Webページコレクタは、保護されたWebページにアクセスするための基本的なMD5およびNTLM認証をサポートします。 認証は、Webサイトでホストのプロパティを定義することによって構成されます。 プロパティ http.userhttp.pass ユーザー名/パスワードを指定するために使用され、NTLM認証の場合はプロパティ ntlm.ドメイン 使用するNTLMドメインを提供するために使用されます。 他の構成は必要ありません–最初に認証なしでページへのアクセスが試行されます–サーバーが認証が必要であると応答した場合、関連するプロパティとともに適切な認証方法が使用されます。

注:NTLM認証にはHTTP 1.1要求が必要であり、Connection:closeヘッダーがないことを確認してください。

また、コレクターが十分な特権で実行されている必要があります。ローカルシステムとして実行するだけでは不十分です。

データポイント

  • ステータスの値を使用:データポイントの使用価値にステータスが選択されている場合は、「なし」のポストプロセッサを選択する必要があります。 次に、データポイントにはhttp応答に関する情報が含まれます。
    • 1 = HTTPはコード200 / OKを返しました。
    • 2 = 300の範囲のHTTP戻りコード
    • 3 = 400の範囲のHTTP戻りコード
    • 4 = 500の範囲のHTTP戻りコード
    • 5 =ネットワーク接続が拒否されました
    • 6 =無効なSSL証明書
  • responseTimeの値を使用します。 「なし」のポストプロセッサを選択する必要があります。 データポイントには、http応答の時間がミリ秒単位で含まれます。
  • 出力の使用価値:この選択により、Webページの応答の出力が解釈されます。 解釈されるページに適した後処理方法を選択する必要があります。 最も一般的なポストプロセッサは次のとおりです。
  • 名前値:これは、ポストプロセッサのパラメータ列にWebページで検索する文字列が含まれていることを前提としています。 データポイントには、Webページの等号の後に見つかった値が割り当てられます。
たとえば、Webページが次の形式でコンテンツを返す場合:sales = 2501
クエリ= 12022

NameValueのポストプロセッサメソッドと「sales」のポストプロセッサパラメータを持つデータポイントは、値2501を返します。

  • 正規表現:これは、ポストプロセッサパラメータの正規表現の後方参照によって返される値を返します。
たとえば、Webページが返された場合:Apacheステータス:アクセス:8988

正規表現のポストプロセッサとポストプロセッサパラメータが「。* accesss:(\ d +)」のデータポイントは8988を返します

  • テキストマッチ:テキスト一致ポストプロセッサは、返されたWebページのポストプロセッサパラメータで指定されたテキストの存在を検索し、テキストが存在する場合は1を返し、存在しない場合は0を返します。
記事上で