Skip to main content

Arize

Arize 是建置在 OpenTelemetry 和 OpenInference 上的工具，用於監控和優化 LLM 應用程式。

要啟用 Arize 追蹤，請在您的 AgentBuilder 部署中設定必要的 Arize 環境變數。 Arize 會自動開始監控和收集來自您的 LLM 應用程式的遙測數據。

tip

在 Arize 文件中也可以找到整合 AgentBuilder 和 Arize 的說明：

先決條件​

將 Arize 連接到 AgentBuilder​

  1. 在您的 Arize 儀表板中，複製您的 Space ID 和 API Key (Ingestion Service Account Key)。

  2. 在您的 AgentBuilder 應用程式根目錄中，編輯現有的 AgentBuilder .env 檔案或建立新檔案。

  3. 添加 ARIZE_SPACE_ID 和 ARIZE_API_KEY 環境變數：


    _10
    ARIZE_SPACE_ID=SPACE_ID
    _10
    ARIZE_API_KEY=API_KEY

    將 SPACE_ID 和 API_KEY 替換為您從 Arize 平台複製的值。

    如果您使用標準 Arize 平台，則不需要指定 Arize 專案名稱。

  4. 使用您的 .env 檔案啟動 AgentBuilder 應用程式：


    _10
    uv run langflow run --env-file .env

執行FLOW並在 Arize 中查看指標​

  1. 在 AgentBuilder 中，執行具有 LLM 驅動組件的FLOW，例如 Agent 組件或任何語言模型組件。 您必須與FLOW聊天或觸發 LLM 以產生流量供 Arize 追蹤。

    例如，您可以建立具有 Simple Agent 範本的FLOW，將您的 OpenAI API 金鑰添加到 Agent 組件，然後點擊 Playground 與FLOW聊天並產生流量。

  2. 在 Arize 中，打開您的專案儀表板，然後等待 Arize 處理數據。 這可能需要幾分鐘時間。

  3. 要查看FLOW的指標，請前往 LLM Tracing 標籤頁。

    每個 AgentBuilder 執行會在 Arize 中產生兩個追蹤：

    • AgentExecutor 追蹤是 LangChain 的 AgentExecutor 在 Arize 中的追蹤。
    • UUID 追蹤是 AgentBuilder 組件的追蹤。

  4. 要查看追蹤，請前往 Traces 標籤頁。

    追蹤 是請求的完整旅程，由多個 跨度 組成。

  5. 要查看跨度，請前往 Spans 標籤頁。

    跨度 是追蹤中的單一操作。 例如，跨度 可以是對 OpenAI 的單一 API 呼叫或對自訂工具的單一函數呼叫。

    有關 Arize 中追蹤指標的資訊，請參閱 Arize LLM 追蹤文件。

  6. 要將跨度添加到資料集，請點擊 Add to Dataset。

    LLM Tracing 標籤頁上的所有指標都可以添加到資料集。

  7. 要查看資料集，請點擊 Datasets 標籤頁，然後選取您的資料集。

Search