英偉達推出NeMo Switchyard，利用AI模型路由技術降低智能體運行成本

Odaily星球日報訊 推出 AI 模型路由系統 NeMo Switchyard，旨在幫助開發者在多個大模型之間動態分配 AI 智能體（AI Agent）任務，在保證性能的同時降低成本和延遲。

表示，構建 AI 智能體並不意味著必須依賴單一大模型。不同模型在推理能力、響應速度和運行成本方面各有優勢，例如分類任務可能適合輕量模型，複雜推理則需要更強大的前沿模型。如果所有請求都發送至最大規模模型，將導致成本和延遲增加；而全部使用小模型則可能降低複雜任務完成質量。NeMo Switchyard 透過智能路由機制，根據任務需求、模型能力、成本、延遲以及系統狀態等因素，在多個專用模型和前沿模型之間自動選擇最合適的執行模型。該系統支持開發者在不改變應用架構的情況下切換不同模型供應商和模型版本。

介紹，NeMo Switchyard 提供多種路由策略，包括無需訓練的 LLM 分類器路由、階段路由（Stage Router）、升級路由（Escalation Router），以及基於真實工作負載數據訓練的可調節路由模型。其中，升級路由會優先將任務分配給低成本模型，並在檢測到任務複雜度提升、持續錯誤或執行停滯時，將請求升級至更強模型，從而實現性能與成本之間的平衡。

表示，在相關測試中，NeMo Switchyard 透過在不同模型之間分配任務，在保持較高任務完成率的同時顯著降低 AI Agent 運行成本。例如，與僅使用前沿模型相比，基於升級路由的方案在 LangChain 多輪智能體測試中降低約 74%的成本，僅有 7%的請求需要調用前沿模型。

此外，已與 Cognition、Nous Research、Ramp、LangChain、LiteLLM、Kong 等企業合作，將 NeMo Switchyard 集成至 AI Agent 開發流程和企業應用基礎設施中。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。