Coinbase：已將 AI 支出削減近 50%，正嘗試默認采用開放權重模型

ChainCatcher 消息，Coinbase CEO Brian Armstrong 發文介紹公司在 AI 成本優化方面的最新進展。 Armstrong 表示，隨著 AI 使用量和 Token 消耗持續增長，控制成本的關鍵并非限制員工使用或頻繁發送預算提醒，而是優化默認模型選擇、任務路由機制以及緩存策略。 他透露，Coinbase 正通過內部 LLM 網關嘗試將 GLM 5.2、Kimi 2.7 等開放權重模型作為默認選項，同時仍允許工程師根據具體任務需求選擇其他模型。數據顯示，公司 91% 的員工從未達到 AI 使用額度上限，因此 Coinbase 并未選擇收緊配額，而是通過更低成本的模型方案提升整體效率。 在模型路由方面，Coinbase 會對提示詞進行預處理，并結合緩存命中率及不同模型的定價情況，將任務自動分配給最合適的模型。Armstrong 認為，規劃和推理等復雜任務可能需要前沿模型支持，但執行類任務未必需要調用成本更高的模型。未來，模型選擇過程應更多由 AI 自動完成，而非依賴人工決策。 此外，他指出緩存命中率是影響 AI 成本的重要因素之一。Coinbase 已將緩存感知機制納入請求流程，以提高歷史結果復用率。以 LibreChat 為例，在優化緩存方案后，其緩存命中率已從 5% 提升至 60%。 Armstrong 還表示，公司要求工程師盡量保持上下文精簡，包括切換任務時開啟新會話、縮小文件上下文范圍以及關閉未使用工具等，以減少不必要的 Token 消耗。 據其透露，通過上述措施，Coinbase 已成功將 AI 支出降低近 50%，同時 Token 使用量仍保持增長。

• 喜歡使用社交軟體關注？關注我們的 Twitter，或者加入 Telegram！
• 想關注最新資訊？ 下載CoinCarp App吧
• 有新聞需要爆料，官方公告需要發布? 來給我們發郵件吧！[email protected]