法國AI初創Kog押注軟體提速GPU推理

AI 推理提速競爭正在升溫。法國初創公司 Kog 沒有選擇自研晶片，而是押注透過底層軟體優化，進一步釋放企業現有數據中心 GPU 的推理能力。

先瞄準企業高時延場景

這家公司在今年 5 月因一項技術預覽受到關注。Kog 當時展示，使用 AMD MI300X 和 Nvidia H200 等標準數據中心 GPU，也能實現極快的單請求解碼速度。公司隨後稱，這一展示帶來了約 200 個明確的商業線索。

Kog 目前優先關注對響應速度要求較高的專業工作流，尤其是軟體工程場景。按照公司說法，一些重度代碼生成用戶等待結果的時間可能長達數小時，推理延遲已成為影響使用體驗和成本的重要問題。

公司還在與部分設計合作夥伴推進應用落地。這類客戶允許用戶透過提示詞生成遊戲或應用，若推理速度提升，通常意味著更高的轉化效率和收入空間。

小模型已跑出 3000 TPS

Kog 此前提出「讓大模型推理提速 30 倍」的目標，但目前公開演示仍主要基於小模型。其展示使用的是約 20 億參數的 Laneformer 2B，單請求推理速度達到每秒 3000 個 token。該模型現已開源。

不過，市場需求並未停留在小模型微調。Kog 表示，潛在客戶並不準備把重點放在小模型上，因此公司自發布演示後，已將主要精力轉向更大模型的加速開發，以匹配實際需求。

9 月前後驗證大模型能力

Kog 認為，GPU 在推理解碼上的潛力仍未被完全釋放。公司首席執行官 Gaël Delalleau 表示，隨著新一代 GPU 記憶體帶寬持續提升，軟體層仍有較大優化空間。

這種方法的代價是研發週期較長。Kog 表示，每適配一款新 GPU，團隊往往需要投入數週甚至數月做硬體層面的研究。以目前 11 人團隊規模來看，公司短期內可支持的晶片數量仍然有限。

Kog 計劃未來把這套方法逐步接入基於智能體的研發流程，以支持更多晶片和模型。眼下更關鍵的節點，是先證明這一路線能在大模型上成立。Delalleau 預計，公司將在 9 月前後完成首個主要模型約 10 倍提速的實現，並據此展示客戶進展，推動後續 A 輪融資。

本內容僅供參考，不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊，不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性，存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。