LM Studio 0.3.7

2025-01-20

我们很高兴分享 LM Studio 0.3.7,它支持 DeepSeek R1 Distilled 模型和 llama.cpp 模型的 KV 缓存量化。

通过应用内更新或从 https://lm-studio.cn 升级。

DeepSeek R1,有什么大不了的?

DeepSeek 备受期待的 R1 模型是一款 SOTA 开源推理模型,旨在实现与 OpenAI o1 相当的性能。

LM Studio 中提供了 1.5B、7B、8B、13B、14B、32B 和 70B 变体的“蒸馏”模型。蒸馏模型是通过使用更大、更强大的模型(在此示例中为 DeepSeek 的完整 R1 模型)的输出对较小的模型进行微调而制成的。如果您感到好奇,请在此处查看 DeepSeek 的技术报告 here

如果您使用 DeepSeek R1,您会注意到它会输出其被 <think> </think> 标记包围的“思维过程”。这些内容目前像常规响应一样打印在聊天窗口中,使得处理起来很困难。我们正在开发 UI 升级,以允许您折叠和展开思维过程。敬请期待 0.3.8 更新。

LM Studio 0.3.7 完整更新日志

版本 2

  • 支持 DeepSeek R1。

版本 1

  • 新功能:任务控制中的硬件选项卡。使用 Cmd/Ctrl + Shift + H 打开。
  • 新功能:添加了服务器文件日志模式选项,让您对日志文件中记录的内容有更精细的控制。
  • 新功能:llama.cpp 模型的 KV 缓存量化(需要 llama.cpp/1.9.0+ 运行时)
  • 添加了对 Open AI 兼容 API 服务器中 null 的支持。
  • 修复了预测队列不工作的问题。(队列中的预测将返回空结果)
  • 仅显示当前使用的运行时的运行时更新通知
  • 当 LM Studio 由于文件系统访问权限不足而无法启动时,添加了描述性错误提示。
  • 修复了 JIT 模型加载有时会导致错误的错误
  • 修复了引擎扩展输出在日志中包含多余换行符的错误
  • 修复了新用户有时会创建两个聊天的错误。

更多