Skip to main content

Traceloop

Traceloop SDK 是一個專為 LLM 應用程式設計的輕量級檢測工具包。 它使開發人員能夠自動捕獲和匯出來自其 LLM 驅動工作 Flow的追蹤、指標和關鍵可觀測性訊號。

與 Instana 結合使用時，從 Traceloop 匯出的遙測數據提供了端到端可見性，允許使用者視覺化追蹤、分析效能瓶頸，並確保 LLM 驅動應用程式的可靠運作。

本指南演示如何使用 Traceloop SDK 將 Instana 可觀測性平台與您的 AgentBuilder 應用程式整合，以便監控和分析 LLM 效能。

先決條件​

配置環境變數​

  1. 在您的 AgentBuilder 應用程式根資料夾中，編輯現有的 AgentBuilder .env 檔案或建立新檔案。

  2. 輸入以下環境變數，然後將佔位符替換為您的部署或需求的值：


    _10
    TRACELOOP_API_KEY=tl_dummy_1234567890abcdef1234567890abcdef
    _10
    TRACELOOP_BASE_URL=https://otlp-magenta-saas.instana.rocks:4318
    _10
    TRACELOOP_HEADERS="x-instana-key=INSTANA_KEY"
    _10
    OTEL_EXPORTER_OTLP_INSECURE=false
    _10
    TRACELOOP_METRICS_ENDPOINT=HOST:8000
    _10
    TRACELOOP_METRICS_ENABLED=true
    _10
    OTEL_METRIC_EXPORT_INTERVAL=10000

    為每個環境變數設定必要的值：

    • TRACELOOP_API_KEY: Traceloop API 金鑰，用於驗證您的應用程式與 Traceloop 監控服務。 您可以從 Traceloop 帳戶儀表板取得此金鑰。

      此整合使用 Traceloop SDK 進行檢測，這需要 Traceloop API 金鑰才能正確初始化。 如果您沒有 Traceloop API 金鑰，您可以使用前面範例中的佔位符 API 金鑰繼續。

    • TRACELOOP_BASE_URL: Instana 端點 URL，用於遙測數據收集，這是您的 Instana 後端端點，例如 https://otlp-magenta-saas.instana.rocks:4318。 您可以從您的 Instana 配置取得，或聯絡您的 Instana 管理員。

    • TRACELOOP_HEADERS: Instana 數據收集的驗證標頭。設定為 "x-instana-key=INSTANA_KEY"，將 INSTANA_KEY 替換為來自您的 Instana 設定的 Instana 金鑰。

    • OTEL_EXPORTER_OTLP_INSECURE: OpenTelemetry Protocol 連接的安全設定。設定為 false 以進行安全的 HTTPS/TLS 連接。對於生產 Instana SaaS 端點建議使用此設定。在本地開發期間設定為 true 以進行不安全的 HTTP 連接。

    • TRACELOOP_METRICS_ENDPOINT: 單獨的指標端點配置，格式為 OTEL_DC_LLM_HOST:8000。對於 Docker 環境，通常設定為 host.docker.internal:8000。根據您的部署設定調整主機和連接埠。

    • TRACELOOP_METRICS_ENABLED: 布林值，用於啟用指標收集。設定為 true 以啟用指標收集。

    • OTEL_METRIC_EXPORT_INTERVAL: 指標匯出的間隔（毫秒）。設定為 10000 表示 10 秒匯出間隔，或根據您的監控需求進行調整。

  3. 確保 OpenTelemetry Data Collector (OTel DC) 正在運行並正確配置。 打開您的 Collector's config.yaml 檔案，輸入以下配置，然後將佔位符值替換為來自您的數據收集器設定或需求的值：


    _10
    llm.application: "LLM_DC"
    _10
    instances:
    _10
    - otel.agentless.mode: true
    _10
    # 範例端點：https://otlp-magenta-saas.instana.rocks:4318
    _10
    otel.backend.url: "INSTANA_ENDPOINT"
    _10
    otel.backend.using.http: false
    _10
    callback.interval: 10
    _10
    otel.service.name: "DC1"
    _10
    otel.service.port: 8000
    _10
    currency: "USD"

    此配置使 OTel Collector 能夠在無代理模式下運作，並使用適當的服務識別和收集間隔將遙測數據路由到您的 Instana 後端，以實現有效的監控整合。

使用 Traceloop 環境變數啟動 AgentBuilder​

使用您的 .env 檔案啟動 AgentBuilder 應用程式：


_10
uv run langflow run --env-file .env

Traceloop 會自動開始監控和收集來自您的 LLM 應用程式的遙測數據。

驗證整合​

要驗證可觀測性是否正常運作：

  1. 在 AgentBuilder 中執行FLOW以產生流量。

  2. 要在 Instana 中查看追蹤，打開 Instana 並點擊 Applications。

  3. 在 Services 中，搜尋 AgentBuilder。

  4. 點擊 AgentBuilder 以查看和分析相關的呼叫。

    Instana Traces dashboard

  5. 要在 Instana 中查看指標，打開 Instana 並點擊 Infrastructure。

  6. 在 Analyze Infrastructure 中，點擊 Otel LLMonitor。

  7. 要查看您的 Metrics 儀表板，點擊 LLM:DC1@your_machine_name.local。

    Instana Metrics dashboard

另請參閱​

Search