LM Studio 0.3.7
我们很高兴推出 LM Studio 0.3.7,它支持 DeepSeek R1 蒸馏模型和 llama.cpp 模型的 KV 缓存量化。
DeepSeek 备受期待的 R1 模型是一个 SOTA(最先进)开源推理模型,旨在达到与 OpenAI o1 相当的性能。
LM Studio 内提供了多种“蒸馏”模型供下载,包括 1.5B、7B、8B、13B、14B、32B 和 70B 变体。蒸馏模型是通过使用来自更大、更强大模型(在此案例中为 DeepSeek 的完整 R1 模型)的输出来微调较小模型而生成的。如果您好奇,请在此处查看 DeepSeek 的技术报告:此处。
如果您使用 DeepSeek R1,您会注意到它会输出其“思考过程”,并用 <think>
</think>
标记包围。这些目前像普通响应一样打印到聊天窗口中,使得处理起来很困难。我们正在开发 UI 升级,以便您可以折叠和展开思考过程。敬请期待 0.3.8 更新。
版本 2
版本 1
Cmd/Ctrl + Shift + H
打开。