← 返回博客

LM Studio 0.3.9

作者
LM Studio 团队

•

2025-01-30

undefined

可选地在一定时间后自动卸载未使用的 API 模型

LM Studio 0.3.9 包含新的空闲 TTL 功能，支持 Hugging Face 仓库中的嵌套文件夹，以及一个实验性 API，可在聊天完成响应的单独字段中接收 reasoning_content。

0.3.9 的早期版本在流式传输 DeepSeek R1 聊天完成响应时存在一个错误。请更新到最新版本 (5) 以修复此问题。

通过应用内更新或从 https://lm-studio.cn/download 升级。

空闲 TTL 和自动清除

用例：想象您正在使用像 Zed、Cline 或 Continue.dev 这样的应用程序，通过 LM Studio 提供的 LLM 进行交互。这些应用程序利用 JIT 在您第一次使用模型时按需加载。

问题：当您不主动使用模型时，您可能不希望它一直加载在内存中。

解决方案：为通过 API 请求加载的模型设置 TTL（生存时间）。空闲计时器在模型每次收到请求时重置，因此在您使用它时它不会消失。如果模型没有执行任何工作，则被认为是空闲的。当空闲 TTL 过期时，模型会自动从内存中卸载。

您可以在请求负载中以秒为单位设置 TTL，或者对于命令行使用，使用 lms load --ttl <seconds>。

在文档文章中了解更多信息：TTL 和自动清除。

聊天完成响应中的独立 reasoning_content

undefined

对于 DeepSeek R1，在单独的字段中获取推理内容

DeepSeek R1 模型在 <think> </think> 标签内生成内容。此内容是模型的“推理”过程。在聊天完成响应中，您现在可以在一个名为 reasoning_content 的单独字段中接收此内容，遵循 DeepSeek API 中的模式。

这适用于流式和非流式完成。您可以在应用程序设置 > 开发者中启用此功能。此功能目前处于实验阶段。

注意：根据 DeepSeek 的文档，您不应该在下一个请求中将推理内容传递回模型。

LM 运行时自动更新

LM Studio 支持多种 llama.cpp 引擎变体（仅限 CPU、CUDA、Vulkan、ROCm、Metal）以及 Apple MLX 引擎。这些引擎会频繁更新，尤其是在发布新模型时。

为了减少手动更新多个部分的需求，我们引入了运行时自动更新。此功能默认启用，但您可以在应用程序设置中将其关闭。

运行时更新后，您将看到显示发布说明的通知。您也可以在运行时选项卡中自行管理此功能：Windows/Linux 上为 Ctrl + Shift + R，macOS 上为 Cmd + Shift + R。

undefined

LM 运行时将自动更新到最新版本。您可以在设置中关闭此功能。

支持 Hugging Face 仓库中的嵌套文件夹

一个长期以来备受期待的功能：您现在可以从 Hugging Face 仓库的嵌套文件夹中下载模型。如果您最喜欢的模型发布者将模型组织在子文件夹中，您现在可以直接在 LM Studio 中下载它们。

这使得下载像 https://hugging-face.cn/unsloth/DeepSeek-R1-GGUF 这样的模型变得容易。也适用于 lms get <hugging face url>。


# Warning: this is a very large model
lms get https://hugging-face.cn/unsloth/DeepSeek-R1-GGUF

0.3.9 - 完整更新日志

版本 6

  • 修复了在包含图像的聊天中使用纯文本模型时出现“无法读取未定义的属性”的错误
  • 修复了 Windows 上导致某些机器上的 LM 运行时异常行为的路径解析问题
    • CUDA 模型加载崩溃，“llm_engine_cuda.node。系统无法访问该文件”
    • ROCm 乱码模型生成
  • 修复了使用旧版本应用程序创建的聊天中 RAG 消息不显示的错误
  • 修复了输入法编辑器 (IME) 错误：现在按下 Enter 后，除非输入完成，否则消息不会发送

版本 5

  • 修复了 API 错误，其中流式传输 DeepSeek R1 聊天完成响应时未遵守 reasoning_content 设置

版本 4

  • 新实验性 API：在聊天完成响应（流式和非流式）的单独字段中发送 reasoning_content
    • 适用于在 <think> </think> 标签内生成内容的模型（如 DeepSeek R1）
    • 在应用程序设置 > 开发者中启用

版本 3

  • 新增：添加聊天外观选项以自动展开新添加的思维 UI 块
  • 新增：当应用程序发出系统资源不足错误通知时，显示快速访问防护配置
  • 修复了如果删除非默认模型目录，新模型将不被索引的错误
  • 修复了硬件检测中的一个错误，该错误在使用 Vulkan 后端时，有时会在多 GPU 设置中错误地过滤掉 GPU
  • 修复了模型加载 UI 中的一个错误，其中没有闪存注意力的 F32 缓存类型未被识别为 llama.cpp Metal 运行时的有效配置

版本 2

  • 新增：增加了对从 Hugging Face 仓库的嵌套文件夹下载模型的支持
  • 改进了直接使用 Hugging Face URL 进行搜索的支持
  • 新增：自动更新选定的运行时扩展包（您可以在设置中关闭此功能）
  • 新增：添加了使用 LM Studio 的 Hugging Face 代理的选项。这可以帮助那些难以直接访问 Hugging Face 的用户
  • 新增：MLX 模型的 KV 缓存量化（需要 mlx-engine/0.3.0）
  • 我的模型选项卡刷新：更整洁的模型名称和模型类型侧边栏类别
    • 可以在应用程序设置 > 常规中切换回显示完整文件名
    • 要查看原始模型元数据（以前是：(i) 按钮），请右键单击模型名称并选择“查看原始元数据”
  • 修复了在采样设置中清除 Top K 会触发错误的错误

版本 1

  • 新增：TTL - 可选地在一定时间后自动卸载未使用的 API 模型（请求负载中的 ttl 字段）
  • 新增：自动清除 - 可选地在加载新模型之前自动卸载先前加载的 API 模型（在应用程序设置中控制）
  • 修复了模型思维块内的公式有时会在块下方生成空白区域的错误
  • 修复了提示通知中的文本无法滚动的情况
  • 修复了取消选中并重新选中结构化输出 JSON 会导致架构值消失的错误
  • 修复了生成时自动滚动有时不允许向上滚动的错误
  • [开发者] 将日志选项移至开发者日志面板标题（••• 菜单）
  • 修复了聊天外观字体大小选项无法缩放思考块中文本的错误

更多