LM Studio 0.3.7

2025-01-20

我们很高兴分享 LM Studio 0.3.7 版本,该版本支持 DeepSeek R1 Distilled 模型和 llama.cpp 模型的 KV 缓存量化。

通过应用内更新或从 https://lm-studio.cn 升级。

DeepSeek R1,有什么大不了的?

DeepSeek 备受期待的 R1 模型是一款 SOTA 开源推理模型,旨在实现与 OpenAI o1 相当的性能。

LM Studio 内提供了一系列“distilled”(蒸馏)模型供下载,包括 1.5B、7B、8B、13B、14B、32B 和 70B 变体。蒸馏模型是通过使用更大、更强大的模型(在本例中为 DeepSeek 的完整 R1 模型)的输出来微调较小的模型而制成的。如果您好奇,请查看 DeepSeek 的技术报告 此处

如果您使用 DeepSeek R1,您会注意到它会输出包含在 <think> </think> 标记中的“思考过程”。这些目前像常规响应一样打印到聊天窗口中,使其难以使用。我们正在进行 UI 升级,以允许您折叠和展开思考过程。请继续关注 0.3.8 更新。

完整的 LM Studio 0.3.7 更改日志

Build 2

  • 支持 DeepSeek R1。

Build 1

  • 新增:任务控制中的硬件选项卡。使用 Cmd/Ctrl + Shift + H 打开。
  • 新增:添加了服务器文件日志记录模式选项,使您可以更精细地控制日志文件中记录的内容。
  • 新增:llama.cpp 模型的 KV 缓存量化(需要 llama.cpp/1.9.0+ 运行时)
  • 在 Open AI 兼容 API 服务器中添加了对 null 的支持。
  • 修复了预测排队不起作用的问题。(排队的预测将返回空结果)
  • 仅针对当前使用的运行时显示运行时更新通知
  • 当 LM Studio 因缺少文件系统访问权限而启动失败时,添加了描述性错误。
  • 修复了有时 JIT 模型加载可能导致错误的问题
  • 修复了引擎扩展的输出在日志中包含多余换行符的错误
  • 修复了有时会为新用户创建两个聊天的错误。

更多内容