Prime Intellect 推理平台上线:內部每日運算量已接近1萬億 Token
2026-10-04 23:31:03
幣界網消息,Prime Intellect 推理平臺正式上線,內部每天處理接近1萬億 tokens。該平臺發布了開源模型推理服務 prime inference,用戶可以按需調用模型,支持長期穩定運行的算力鎖定。接口兼容 OpenAI API,首個公開部署的模型爲 glm-5.3。Prime Intellect 從今年1月起為客戶運行大規模部署,重點優化 agent 的長上下文負載,測試中將 p90 token 之間的延遲降低近40%。同時,Prime Intellect 壓縮了 kv 缓存,相同顯存下每個解碼器可緩存的 token 從109萬增加到163萬,提升約50%。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注HKWDB官方帳號,及時關注最新動態









