LM Studio 0.3.7
我们很高兴分享 LM Studio 0.3.7,它支持 DeepSeek R1 Distilled 模型和 llama.cpp 模型的 KV 缓存量化。
DeepSeek 备受期待的 R1 模型是一款 SOTA 开源推理模型,旨在实现与 OpenAI o1 相当的性能。
LM Studio 中提供了 1.5B、7B、8B、13B、14B、32B 和 70B 变体的“蒸馏”模型。蒸馏模型是通过使用更大、更强大的模型(在此示例中为 DeepSeek 的完整 R1 模型)的输出对较小的模型进行微调而制成的。如果您感到好奇,请在此处查看 DeepSeek 的技术报告 here。
如果您使用 DeepSeek R1,您会注意到它会输出其被 <think>
</think>
标记包围的“思维过程”。这些内容目前像常规响应一样打印在聊天窗口中,使得处理起来很困难。我们正在开发 UI 升级,以允许您折叠和展开思维过程。敬请期待 0.3.8 更新。
版本 2
版本 1
Cmd/Ctrl + Shift + H
打开。