蚂蚁开源 Ling-3.0-tiny，79 亿参数，M4 Pro 本地跑到 90 Token/s

蚂蚁百灵开放 Ling-3.0-tiny 权重，提供 BF16、FP8 和 INT4 三个版本，采用 MIT 许可。该模型共有 79 亿参数，每个 Token 只激活 13 亿，主要用于本地部署和 Agent 场景。Ling-3.0-tiny 配备 128 个路由专家，每个 Token 选择其中 8 个专家，外加 1 个共享专家。注意力部分采用 3:1 的 KDA 与 MLA 混合架构，每 3 层 Kimi Delta Attention 后接 1 层 MLA。官方表示，FP8 版在 M4 Pro MacBook 上可达到约 86-90 Token/s，DGX Spark 上约为 100-105 Token/s。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。