Skip to main content

NVIDIA

Bundles 包含支援與 AgentBuilder 特定第三方整合的自訂Components。

此頁面描述 NVIDIA bundle 中可用的Components。

NVIDIA​

此Components使用 NVIDIA LLM 產生文字。 如需 NVIDIA LLM 的詳細資訊，請參閱 NVIDIA AI 文件。

NVIDIA 參數​

NameTypeDescription
max_tokensInteger輸入參數。要產生的最大 token 數。設定為 0 表示無限制 token。
model_nameString輸入參數。要使用的 NVIDIA 模型名稱。預設值：mistralai/mixtral-8x7b-instruct-v0.1。
base_urlString輸入參數。NVIDIA API 的基礎 URL。預設值：https://integrate.api.nvidia.com/v1。
nvidia_api_keySecretString輸入參數。NVIDIA API 金鑰，用於驗證。
temperatureFloat輸入參數。控制輸出中的隨機性。預設值：0.1。
seedInteger輸入參數。種子控制工作的可重現性。預設值：1。
modelLanguageModel輸出參數。使用指定參數配置的 ChatNVIDIA 實例。

NVIDIA NIM on WSL2​

NVIDIA NIM (NVIDIA Inference Microservices) 提供容器來自我託管 GPU 加速的推理微服務。

您可以使用 NVIDIA Components將 AgentBuilder 與安裝了 Windows Subsystem for Linux 2 (WSL2) 的 RTX Windows 系統上的 NVIDIA NIM 連接。 以下範例將 AgentBuilder 中的 NVIDIA 語言模型Components連接到部署在具有 WSL2 的 RTX Windows 系統 上的 mistral-nemo-12b-instruct NIM。

  1. 準備您的系統：

    • 安裝 NVIDIA NIM WSL2

    • 根據模型的指示部署 NIM 容器

      先決條件因模型而異。 例如，要部署 mistral-nemo-12b-instruct NIM，請按照您的模型部署概覽上的 Windows on RTX AI PCs (Beta) 指示操作。

    • Windows 11 build 23H2 或更高版本

    • 至少 12 GB RAM

  2. 基於 Basic Prompting 範本建立 Flow。

  3. 用 NVIDIA Components替換 OpenAI 模型Components。

  4. 在 NVIDIA Components的 Base URL 欄位中，新增您的 NIM 可存取的 URL。如果您遵循了模型的部署指示，值為 http://localhost:8000/v1。

  5. 在 NVIDIA Components的 NVIDIA API Key 欄位中，新增您的 NVIDIA API 金鑰。

  6. 從 Model Name 欄位中選擇您的模型。

  7. 開啟 Playground 並與您的 NIM 模型聊天。

NVIDIA Embeddings​

NVIDIA Embeddings Components使用 NVIDIA 模型 產生嵌入。

如需在 Flow中使用嵌入模型Components的詳細資訊，請參閱嵌入模型Components。

NVIDIA Embeddings 參數​

NameTypeDescription
modelString輸入參數。用於嵌入的 NVIDIA 模型，例如 nvidia/nv-embed-v1。
base_urlString輸入參數。NVIDIA API 的基礎 URL。預設值：https://integrate.api.nvidia.com/v1。
nvidia_api_keySecretString輸入參數。用於驗證 NVIDIA 服務的 API 金鑰。
temperatureFloat輸入參數。嵌入產生的模型溫度。預設值：0.1。
embeddingsEmbeddings輸出參數。用於產生嵌入的 NVIDIAEmbeddings 實例。
Tokenization 考量

請注意您的嵌入模型的區塊大小限制。 如果您的文字區塊太大，可能會發生 tokenization 錯誤。 如需詳細資訊，請參閱由於區塊大小導致的 Tokenization 錯誤。

NVIDIA Rerank​

此Components使用 NVIDIA API 尋找和重新排序文件。

NVIDIA Retriever Extraction​

NVIDIA Retriever Extraction Components與 NVIDIA nv-ingest 微服務整合，用於資料擷取、處理和文字檔案擷取。

nv-ingest 服務支援 PDF、DOCX 和 PPTX 檔案類型的多種擷取方法，並包含預處理和後處理服務，如分割、區塊化和嵌入產生。擷取器服務的高解析度模式使用 nemoretriever-parse 擷取方法來從掃描 PDF 文件中獲得更好的品質擷取。此功能僅適用於 PDF 文件。

NVIDIA Retriever Extraction Components匯入 NVIDIA Ingestor 客戶端，使用請求到 NVIDIA ingest 端點來擷取檔案，並將處理的內容作為 Data 物件清單輸出。Ingestor 接受其他文字格式資料擷取的額外配置選項。要配置這些選項，請參閱參數。

tip

NVIDIA Retriever Extraction 也稱為 NV-Ingest 和 NeMo Retriever Extraction。

在 Flow中使用 NVIDIA Retriever Extraction Components​

NVIDIA Retriever Extraction Components接受 Message 輸入，然後輸出 Data。Components呼叫 NVIDIA Ingest 微服務的端點來擷取本機檔案並擷取文字。

要在您的 Flow 中使用 NVIDIA Retriever Extraction Components，請遵循以下步驟：

  1. 準備您的系統：

    • NVIDIA Ingest 端點。如需設定 NVIDIA Ingest 端點的詳細資訊，請參閱 NVIDIA Ingest 快速入門。

    • NVIDIA Retriever Extraction Components需要在您的 AgentBuilder 環境中安裝額外依賴。要在虛擬環境中安裝依賴，請執行以下命令。

      • 如果您有從來源複製和安裝的 AgentBuilder 儲存庫：

      _10
      source **YOUR_LANGFLOW_VENV**/bin/activate
      _10
      uv sync --extra nv-ingest
      _10
      uv run langflow run

      • 如果您從 Python Package Index 安裝 AgentBuilder：

      _10
      source **YOUR_LANGFLOW_VENV**/bin/activate
      _10
      uv pip install --prerelease=allow 'langflow[nv-ingest]'
      _10
      uv run langflow run

  2. 將 NVIDIA Retriever Extraction Components新增到您的 Flow。

  3. 在 Base URL 欄位中，輸入 NVIDIA Ingest 端點的 URL。 您也可以將 URL 儲存為全域變數，以在多個Components和 Flow 中重複使用。

  4. 點擊 Select Files 選擇要擷取的檔案。

  5. 選擇要從檔案中擷取的文字類型：文字、圖表、表格、圖片或資訊圖表。

  6. 選用：對於 PDF 文件，啟用 High Resolution Mode 以從掃描文件獲得更好的品質擷取。

  7. 選擇是否將文字分割成區塊。

    某些參數在視覺編輯器中預設為隱藏。 您可以透過 Components的標頭選單 中的 Controls 修改所有參數。

  8. 點擊 Run component 來擷取檔案，然後點擊 Logs 或 Inspect output 來確認Components已擷取檔案。

  9. 要將處理的資料儲存在向量資料庫中，請將向量儲存Components新增到您的 Flow，然後將 NVIDIA Retriever Extraction Components的 Data 輸出連接到向量儲存Components的輸入。

    當您使用向量儲存Components執行 Flow 時，處理的資料會儲存在向量資料庫中。 您可以查詢您的資料庫來擷取上傳的資料。

    NVIDIA Retriever Extraction component flow

NVIDIA Retriever Extraction 參數​

NVIDIA Retriever Extraction Components具有以下參數。

如需詳細資訊，請參閱 NV-Ingest 文件。

輸入​

NameDisplay NameInfo
base_urlNVIDIA Ingestion URLNVIDIA Ingestion API 的 URL。
pathPath要處理的檔案路徑。
extract_textExtract Text從文件中擷取文字。預設值：true。
extract_chartsExtract Charts從圖表中擷取文字。預設值：false。
extract_tablesExtract Tables從表格中擷取文字。預設值：true。
extract_imagesExtract Images從文件中擷取圖片。預設值：true。
extract_infographicsExtract Infographics從文件中擷取資訊圖表。預設值：false。
text_depthText Depth擷取文字的等級。選項：'document', 'page', 'block', 'line', 'span'。預設值：page。
split_textSplit Text將文字分割成較小的區塊。預設值：true。
chunk_sizeChunk Size每個區塊的 token 數。預設值：500。確保區塊大小與您的嵌入模型相容。如需詳細資訊，請參閱由於區塊大小導致的 Tokenization 錯誤。
chunk_overlapChunk Overlap從前一個區塊重疊的 token 數。預設值：150。
filter_imagesFilter Images篩選圖片（請參閱進階選項的篩選條件）。預設值：false。
min_image_sizeMinimum Image Size Filter最小圖片寬度/長度（以像素為單位）。預設值：128。
min_aspect_ratioMinimum Aspect Ratio Filter允許的最小長寬比（寬度 / 高度）。預設值：0.2。
max_aspect_ratioMaximum Aspect Ratio Filter允許的最大長寬比（寬度 / 高度）。預設值：5.0。
dedup_imagesDeduplicate Images篩選重複的圖片。預設值：true。
caption_imagesCaption Images使用 NVIDIA 字幕模型為圖片產生字幕。預設值：true。
high_resolutionHigh Resolution (PDF only)以高解析度模式處理 PDF，以從掃描 PDF 獲得更好的品質擷取。預設值：false。

輸出​

NVIDIA Retriever Extraction Components輸出 Data 物件清單，其中每個物件包含：

  • text：擷取的內容。
    • 對於文字文件：從文件中擷取的文字內容。
    • 對於表格和圖表：擷取的表格/圖表內容。
    • 對於圖片：圖片字幕。
    • 對於資訊圖表：擷取的資訊圖表內容。
  • file_path：來源檔案名稱和路徑。
  • document_type：文件的類型，可以是 text、structured 或 image。
  • description：內容的額外描述。

輸出根據 document_type 而變化：

  • 具有 document_type: "text" 的文件包含：

    • 從文件中擷取的原始文字內容，例如 PDF 或 DOCX 文件的段落。
    • 內容直接儲存在 text 欄位中。
    • 使用 extract_text 參數擷取的內容。

  • 具有 document_type: "structured" 的文件包含：

    • 從表格、圖表和資訊圖表中擷取的文字，並處理以保留結構資訊。
    • 使用 extract_tables、extract_charts 和 extract_infographics 參數擷取的內容。
    • 從 table_content 中繼資料處理後儲存在 text 欄位中的內容。

  • 具有 document_type: "image" 的文件包含：

    • 從文件中擷取的圖片內容。
    • 當啟用 caption_images 時，字幕文字儲存在 text 欄位中。
    • 使用 extract_images 參數擷取的內容。

NVIDIA System-Assist​

NVIDIA System-Assist Components將您的 Flow與 NVIDIA G-Assist 整合，透過自然語言提示啟用與 NVIDIA GPU 驅動程式的互動。 例如，使用 "What is my current GPU temperature?" 或 "Show me the available GPU memory" 提示 G-Assist 獲取資訊，然後告訴 G-Assist 修改您的 GPU 設定。 如需詳細資訊，請參閱 NVIDIA G-Assist 儲存庫。

  1. 準備您的系統：

    • NVIDIA System-Assist Components需要在 Windows 作業系統上安裝 NVIDIA GPU。
    • 它使用 gassist.rise 套件，該套件與包含此Components的所有 AgentBuilder 版本一起安裝。

  2. 使用 Chat Input Components、NVIDIA System-Assist Components和 Chat Output Components建立 Flow。

    這是一個簡化的範例，只使用三個Components。 根據您的使用案例，您的 Flow 可能使用更多Components或不同的輸入和輸出。

  3. 將 Chat Input Components連接到 NVIDIA System-Assist Components的 Prompt 輸入。

    Prompt 參數接受由 NVIDIA G-Assist AI Assistant 處理的自然語言提示。 在此範例中，您將作為聊天輸入提供提示。 您也可以直接在 Prompt 輸入中輸入提示，或連接另一個輸入Components。

  4. 將 NVIDIA System-Assist Components的輸出連接到 Chat Output Components。

  5. 要測試 Flow，請開啟 Playground，然後詢問您的 GPU 相關問題。 例如，"What is my current GPU temperature?"。

    透過 NVIDIA System-Assist Components，NVIDIA G-Assist 根據提示查詢您的 GPU，然後將回應列印到 Playground。

    Components的輸出是包含 NVIDIA G-Assist 回應的 Message。 包含完成操作結果的字串回應可在 Message 物件的 text 鍵中取得。

Search