12GB 显存显卡可跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元/秒
The Block
54分钟前
Ai 焦点
科技媒体 gigazine 报道,开发者 Niko1221 开源推出 Strata 引擎,可在 12GB 及以上显存的消费级显卡上运行量化的 Qwen3.8-Flash-Next 模型。文章给出最低硬件要求,并列出 RTX 5070 与 RX 9070 XT 的推理速度测试结果。
有帮助
No.帮助

IT之家 10 月 6 日消息,科技媒体 gigazine 今天(10 月 6 日)报道,开发者 Niko1221 开源推出 Strata 引擎,可以在 12GB 及以上显存的消费级显卡上,运行量化的 Qwen3.8-Flash-Next 模型(1250 亿参数)。

IT之家注:Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家(MoE)模型的压缩版本,配有 125B 参数,另含 51B 参数的 n-gram 嵌入表,原生支持 262K token 上下文长度。

Strata 为了降低显存占用,主要采用两项关键技术:其一是将 MoE(混合专家)模型整体载入 RAM,仅将高频使用的专家模型载入 VRAM。其二使用轻量模型进行投机解码,预测下一 Token 以加速推理过程。

硬件要求方面,运行 Qwen3.8-Flash-Next 需满足最低配置:12GB 以上 VRAM 的 NVIDIA 或 AMD 显卡、32GB 以上 RAM、80GB 以上存储空间(推荐 SSD)、Windows 10/11 或 Linux 系统。

性能方面,在 NVIDIA GeForce RTX 5070(12GB VRAM)、Ryzen 5 7600、64GB RAM 配置下,2 比特量化版 Q2_0 达到 94 词元/秒推理速度,3 比特量化版 IQ3_S 为 53 词元/秒。AMD Radeon RX 9070 XT(16GB VRAM)环境下,Q2_0 版本达到 60 词元/秒。

英伟达主机性能表现:

硬件配置:NVIDIA RTX 5070(12GB 显存),AMD Ryzen 5 7600,64GB 系统内存。

AMD 主机性能表现:

硬件配置:AMD RX 9070 XT(16GB 显存),AMD Ryzen 9 3900X,47GB 内存。

这里的“写答案”对应生成回复(输出)的速度,“阅读提示”对应处理你输入的 prompt(上下文)的速度。

参考:点此前往 GitHub 体验 Strata。

打赏
$0
点赞
0
收藏
0
浏览量 10
HKWDB提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
比特币价格在 8.7 万美元附近反复受阻,是什么在压制上涨
比特币10月6日回落至约85,500美元附近,此前再次在87,000美元附近受阻。美国现货比特币ETF周一净流出8,990万美元,结束此前两日的净流入。分析师称,83,300至84,600美元区间形成主要支撑,而86,700美元是买家需要突破的关键位。
crypto.news
·2026-10-06 18:04:15
0
三星提交美国专利申请,涉及智能合约驱动的加密钱包
三星电子已提交一项美国专利申请,内容是一种数字资产钱包系统,利用智能合约让设备在不直接存储或使用私钥的情况下发起加密交易。该专利还描述了多设备协同管理同一钱包的结构,但文件并未确认该技术会用于 Samsung Wallet,也未给出产品上线或商业化时间表。
crypto.news
·2026-10-06 17:53:41
5
ChainIT在新加坡TOKEN2049周发布Agentic Web3完整商业架构
ChainIT Inc.在新加坡TOKEN2049周期间发布其“Agentic Web3 Complete Commerce”架构,并推出题为《ChainIT Transaction Truth:稳定币、Web3钱包与多轨商业》的高管白皮书。公司称,该架构旨在让AI代理在经验证身份、授权边界、运行时合规和受控执行的框架下,通过Web3钱包、稳定币及传统支付轨道完成交易,并对结算与商业结果提供可验证证据。
PR Newswire
·2026-10-06 17:44:01
12
中国 AI 融资激增 美企竞逐万亿美元估值
DeepSeek 和 Moonshot 在计划上市前吸引新一轮资金,OpenAI 也在接洽大额投资者。DeepSeek 正接近至少 120 亿美元融资,Moonshot 估值已达 500 亿美元,二者都瞄准 2027 年初 IPO;OpenAI 则寻求按 1.4 万亿美元估值融资至少 300 亿美元。
CoinDesk
·2026-10-06 17:33:18
5
Ontinue推出ION暗网监测服务 扩展外部威胁可视性
Ontinue宣布推出ION for Dark Web Monitoring,这是一项新的托管附加服务,可将ION MXDR扩展到企业边界之外,持续识别暴露凭证、检测品牌冒充并发现新兴外部威胁。公司称,该服务将调查、自动化和响应能力结合起来,把外部威胁情报转化为可执行的安全结果。
PR Newswire
·2026-10-06 17:33:16
11
查看更多