生成AIアプリケーション監視

大規模言語モデル (LLM)、AI チャットボット、その他の GenAI 搭載アプリケーションでは、信頼性と精度の高いパフォーマンスを実現するためにリアルタイムのモニタリングが必要です。LogicMonitor による Generative AI (GenAI) アプリケーションのモニタリングにより、重要なメトリクスのモニタリング、早期の問題の特定、大規模なモデル パフォーマンスの最適化が可能になります。LogicMonitor OpenTelemetry Collector (OTEL) は、OpenLIT および Traceloop のメトリクスとトレースをサポートしており、LLM および GenAI アプリケーションの完全な可観測性を実現します。詳細については、以下を参照してください。 OpenLIT メトリクス OpenLitから OpenLLMetry とは何ですか? Traceloopより。 
次の図は、GenAI アプリケーション監視ワークフローを示しています。

GenAI アプリケーション監視の設定には、次の作業が含まれます。

1. OpenLit または Traceloop を使用してアプリケーションをインストルメント化する
2. LM OTELコレクターの設定 

GenAI アプリケーション メトリックの監視要件

GenAI アプリケーション メトリックを表示するには、次のものが必要です。

• OpenLitまたはTraceloopの最新バージョンがインストールされています。インストール手順の詳細については、 OpenTelemetryを使用してAIアプリケーションを監視する と OpenLLMetryとは それぞれ OpenLit と Traceloop 用です。 
• LogicMonitor OpenTelemetry Collector (lmotel) 5.1.00 以降がインストールされています。
• 次の設定の権限を管理します。
  • データの取り込み>トレース
  • OpenTelemetryコレクター
    データソースは、OpenTelemetryCollectorによってPushMetricsAPIを使用して作成されます。
    詳細については、を参照してください。 役割.

OpenLit を使用したアプリケーションのインストルメント化

1. ファイルの先頭にあるアプリケーション コードに次の行を入力します。
   OpenLit メトリックは、OpenTelemetry プロトコル (OTLP) を介して LM OTEL コレクターに送信されます。

import openlit
import os
 
if not os.path.exists(pricing_path):
 
    print(f"Warning: {pricing_path} not found. Using default pricing configuration.") #optional
 
OTLP_ENDPOINT = os.getenv("OTEL_EXPORTER_OTLP_ENDPOINT", "http://localhost:4318")
 
print("openlite initializing...") #optional 
 
openlit.init(
 
    otlp_endpoint= OTLP_ENDPOINT,
 
    collect_gpu_stats=True,
 
    pricing_json=pricing_path if os.path.exists(pricing_path) else None
 
)
 
print("openlite initialized") #optional 

2. 加えます OTEL_EXPORTER_OTLP_ENDPOINT エンドポイントを動的に構成するための環境変数。
   たとえば、次の URL を追加します。

export OTEL_EXPORTER_OTLP_ENDPOINT="http://localhost:4318"

3. 加えます OTEL_RESOURCE_ATTRIBUTES 特定のリソースにメトリックをレポートまたはアタッチするための環境変数。これにより、リソースの表示名がLMリソース属性のhost.nameとして送信されます。
   例：

export OTEL_RESOURCE_ATTRIBUTES="host.name=US-W2:GenAI_App_i-06a9a8c9e10ece23b"

Status OTEL_RESOURCE_ATTRIBUTES 環境変数が利用できない場合は、LM OTEL コレクターのホスト名を持つ新しいリソースが作成され、メトリックがそれにアタッチされます。

Traceloop を使用したアプリケーションのインストルメント化

1. ファイルの先頭にあるアプリケーション コードに次の行を入力します。
   Traceloop メトリックは、OpenTelemetry Protocol (OTLP) を介して LM OTEL コレクターに送信されます。

from traceloop.sdk import Traceloop
import os

print("Traceloop initializing...") #optional 
 
Traceloop.init(
    disable_batch=True, should_enrich_metrics=False, resource_attributes={"host.name": "<enter your resource display name>"})

 
print("Traceloop initialized") #optional

2.  加えます TRACELOOP_BASE_URL エンドポイントを動的に構成するための環境変数。
   たとえば、次の URL を追加します。

export TRACELOOP_BASE_URL="http://localhost:4318"

LM OTELコレクターの設定

1. LogicMonitorで、次の場所に移動します 設定> OpenTelemetryコレクター.
2. 選択する 会場は  既存の LM OTEL コレクターを編集するための列。

3. 設定ファイルで、 サービス 次のコードを含むセクション:

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [lmexporter]
    metrics:
      receivers: [otlp]
      exporters: [lmexporter]

4. 選択する 有効にする その後 投稿.

監視対象の GenAI アプリケーション メトリックの表示

1. LogicMonitorで、次の場所に移動します リソースツリー > OpenLit または Traceloop リソースを選択します。

2. 関連情報を表示するには、さまざまなリソース タブを選択します。
   たとえば、 Rawデータ タブをクリックすると、関連するプロパティの生データが表示されます。
   
   これらの指標はダッシュボードを使用して表示することもできます。詳細については、 ダッシュボードの作成.