快科技10月30日消息，本地部署AI大模型是很多人期待的方案，等于Token自由，以前都只能部署小参数模型，现在DeepSeek V4.1 Flash-1017这样的大模型也能本地部署了。
Unsloth一直在搞本地部署DeepSeek V4.1 Flash-1017优化，今天又放出了Dynamic V3.1 量化号称可以在最低64GB内存设备上本地部署，而且相比前版性能更强、任务完成更快、输出更短，性价比全面提升。
根据他们公布的数据，Dynamic V3.1的性能非常强，在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等基准测试上排名第一。
更重要的是，速度也更快了，Unsloth Desktop + llama.cpp相比其他专注于 CPU/VRAM/n-gram的仓库可实现约快3倍的DeepSeek-V4.1 推理。
不过Unsloth的文章中提到了可以在64GB内存的设备上运行，但没有提供具体的测试数据，而最小量化的IQ1_S版本也需要122.4GB内存，不知道他们是怎么做到在64GB内存上跑的。
考虑到V4.1 Flash的架构，1950亿参数的n-gram存储可以用SSD来运行，但这样的配置对速度显然是很不利的。
所以就算是能做到在64GB内存设备上跑，速度应该也没有什么价值，Token输出自由了，只不过体验应该没有意义，至少还得128GB，毕竟128GB内存跑起来也不会有多快的速度。
详细的介绍和部署方法可以查看Unsloth官网说明。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：宪瑞
