IT之家 11月6日消息，淘寶旗下的MNN團隊今日發布了MNN-Pocket-0.3B模型，針對手機應用的任務需求與資源預算，在有限的算力、內存和能耗下，兼顧任務能力、響應速度與持續運行體驗。

圍繞淘寶等綜合型手機應用，團隊將「手機應用原生大模型」落實為四個維度的設計目標：

• 在速度方面，於指定的設備及上下文配置下，解碼吞吐量可超過 200 token /s。此目標參考了高速雲端模型服務的生成吞吐量，旨在為用戶提供流暢的本地生成體驗。
• 在内存方面，於指定的測試條件下，峰值內存低於 300MB。即便手機擁有 8 至 16GB 的內存，這些內存仍需由系統與多個應用程式共同分享。以約 500MB 的模型模組預算為例，將推理峰值控制在 300MB 以下，便能為上下文增長及整合開銷留下餘地。
• 在功耗方面，於典型的推理負載下（輸入 512~1024 token、輸出 128 token），單次推理的增量能耗目標不超過參考手機電池能量的萬分之一，也就是說100次推理的能耗不超過電池總量的1%，從而控制高頻調用的續航開銷。
• 在能力方面，以在指定的業務場景上達到8B級模型的效果為目標，兼顧中文與英文的理解、世界知識與數學、代碼推理能力，重點強化指令遵循，並為長上下文與多步驟任務保留擴展空間。

MNN 团隊從零設計並訓練了這個約有 3 億個參數的輕量語言模型，該模型主要支持中文和英文。他們將模型結構、詞表、訓練數據、預訓與後訓練方法，以及量化和推理引擎納入協同優化，為淘寶業務和開源社區開發者提供了一個具備任務理解能力、反應迅速、易於適配和集成的模型基礎。

在蘋果 iPhone 18 Pro 上的真機表現實測中，模型通過 MNN 推理引擎完全離線運行，平均解碼速度約為 350 token /s。

MNN-Pocket-0.3B 的 INT4 MNN 部署文件體積僅為 173MB，包含模型權重、分詞器、計算圖和推理配置。

在 iPad Pro M5、Metal 后端、512 token 测试配置下，模型加载与推理期间的峰值 Metal 驻留内存相对加载前基线增加 228MB。

在同一測試中，Qwen3-0.6B的部署文件體積為340MB，峰值內存增量為427MB。相比之下，MNN-Pocket-0.3B的部署體積減少了約49%，峰值內存增量減少了約47%。

對於手機應用原生大模型而言，較小的部署體積能夠降低模型下載與更新的成本，較低的運行內存則為頁面、圖片、視頻等業務模塊保留更多空間，降低應用集成的資源負擔。

團隊在蘋果與 Android 裝置上，使用 Metal、OpenCL 和 CPU 後端評估推理吞吐量。測試採用 MNN 3.6.2、INT4 量化及統一運行設定，每組配置預熱一次、測量五次，取吞吐量中位数，Prefill 與 Decode 分別測量。

在 iPad Pro M5 / Metal、512 token 的測試配置下，MNN-Pocket-0.3B 的 Prefill 吞吐量達到 8,721 token /秒，Decode 吞吐量達到 466 token /秒，約為相同條件下 Qwen3-0.6B（286 token /秒）的 1.63 倍。在 Snapdragon 8 Gen 5 的 CPU 後端，Decode 的吞吐量達到 251 token /秒。

針對手機應用原生大模型，團隊將峰值內存低於 300MB、解碼吞吐量高於 200 token /s 作為架構選型目標，在資源預算內盡可能保留模型容量。圍繞這一目標，團隊構建了覆蓋約 50M 至 1.3B 参数的稠密（Dense）模型配置，在 iPad Pro M5、統一推理設定下進行測試。約 300M 是該組實驗中同時滿足兩項約束的最大候選規模。

確定規模後，團隊進一步在相近參數預算內，聯合調整模型深度、隱藏層寬度、前馈網路與注意力配置。從16層增加到28層帶來了能力提升；繼續增加到36層，評測均分沒有進一步提高，但解碼吞吐量卻從355 token /s 降至323 token /s。此處的吞吐量用於架構選型對比，與前述最終部署版本的測試配置不同。

最終，MNN-Pocket-0.3B採用了28層結構，結合分組查詢注意力（GQA）等配置，在模型能力、運行內存與推理效率之間取得了平衡。

針對中文互聯網手機應用，MNN-Pocket-0.3B 將中文和英文作為重點支持語言，降低對其他語言分詞效率的優先級。基於 Qwen3 分詞器，團隊將詞表從約 151K 精簡至 64K，詞條數量減少約 57%，降低詞嵌入與輸出層的參數和存儲需求，並降低逐 token 生成時的輸出投影開銷。

在能耗方面，團隊還在一加13（騰龍8尊貴版）上，對MNN與MNN-Pocket-0.3B的4種模型進行了功耗測試。在1024個執行線程、輸入128的基準負載下，通過采集電池電流與電壓，並扣除閒置時的基準耗電量，三輪測試折算的平均增量能耗約為2.7J/輪。以該手機電池容量6000mAh計算，執行100次同等負載任務後的累計增量能耗約佔電池總電量的0.3%。

在模型能力方面，根據技術報告中採用的評測設定，MNN-Pocket-0.3B的英文IFEval得分為73.20，團隊構建的中文指令遵循IFEval-zh得分為74.59，在所比較的模型中均取得了最高分。

在覆蓋中文與英文知識、推理、數學、代碼及指令遵循的11項評測中，該模型的平均得分達到50.00，高於報告中列出的同規模模型，以及MiniCPM4-0.5B、Qwen3-0.6B等更大規模的對比模型。其中，中文數學MGSM-zh的得分为51.20，代碼生成HumanEval的得分为53.66。

手機應用原生大模型的價值，還需要通過任務適配與應用集成來驗證。為此，MNN-Pocket-0.3B提供了從預訓練、後訓練到端側部署的多個版本，讓研究人員與開發者能夠選擇合適的起點，繼續訓練、評測和構建應用。

從研究到部署，MNN團隊開源不同階段的模型入口：

IT 之家附開源地址如下：

__BJW_BOLOKA_00001__ :// _BJW_BOLOKA_00003__ / _BJW_BOLOKA_00004__