← 返回博客

LM Studio 0.3.9

•

2025-01-30

undefined

可选择在一段时间后自动卸载未使用的 API 模型

LM Studio 0.3.9 包括新的 空闲 TTL 功能，支持 Hugging Face 仓库中的嵌套文件夹，以及一个实验性 API，用于在聊天完成响应中接收单独字段的 reasoning_content。

早期版本的 0.3.9 在流式传输 DeepSeek R1 聊天完成响应时存在错误。请更新到最新版本 (5) 以修复此问题。


通过应用内更新升级，或从 https://lm-studio.cn/download 下载。

空闲 TTL 和自动驱逐

用例： 假设您正在使用像 Zed、Cline 或 Continue.dev 这样的应用程序与 LM Studio 提供的 LLM 交互。这些应用程序利用 JIT 在您首次使用模型时按需加载模型。

问题： 当您不积极使用模型时，您可能不希望它仍然加载在内存中。

解决方案： 为通过 API 请求加载的模型设置 TTL。空闲计时器在模型每次收到请求时重置，因此它不会在您使用时消失。如果模型没有执行任何工作，则被认为是空闲的。当空闲 TTL 过期时，模型将自动从内存中卸载。

您可以在请求负载中以秒为单位设置 TTL，或者使用 lms load --ttl <seconds> 用于命令行使用。

在文档文章中阅读更多信息： TTL 和自动驱逐。

在聊天完成响应中分离 reasoning_content

undefined

对于 DeepSeek R1，在单独的字段中获取推理内容

DeepSeek R1 模型在 <think> 和 </think> 标签内生成内容。此内容是模型的“推理”过程。在聊天完成响应中，您现在可以在名为 reasoning_content 的单独字段中接收此内容，遵循 DeepSeek API 中的模式。

这适用于流式和非流式完成。您可以在“应用设置”>“开发者”中启用此功能。此功能目前为实验性功能。

注意： 根据 DeepSeek 的文档，您不应在下一个请求中将推理内容传递回模型。

LM 运行时的自动更新

LM Studio 支持多种 llama.cpp 引擎（仅 CPU、CUDA、Vulkan、ROCm、Metal）以及 Apple MLX 引擎的变体。这些引擎经常收到更新，尤其是在发布新模型时。

为了减少手动更新多个组件的需求，我们引入了运行时的自动更新。默认情况下启用此功能，但您可以在“应用设置”中将其关闭。

运行时更新后，您将看到显示发行说明的通知。您也可以在运行时选项卡中自行管理： Windows/Linux 上使用 Ctrl + Shift + R，macOS 上使用 Cmd + Shift + R。

undefined

LM 运行时将自动更新到最新版本。您可以在设置中关闭此功能

支持 Hugging Face 仓库中的嵌套文件夹

一项长期以来被要求的功能： 您现在可以从 Hugging Face 仓库中的嵌套文件夹下载模型。如果您最喜欢的模型发布者将其模型组织在子文件夹中，您现在可以直接在 LM Studio 中下载它们。

这使得下载像 https://hugging-face.cn/unsloth/DeepSeek-R1-GGUF 这样的模型变得容易。也适用于 lms get <hugging face url>。


# Warning: this is a very large model
lms get https://hugging-face.cn/unsloth/DeepSeek-R1-GGUF

0.3.9 - 完整更新日志

版本 6

  • 修复了在与图像的聊天中使用纯文本模型时出现“无法读取未定义属性”的问题
  • 修复了 Windows 上的路径解析问题，该问题导致某些机器上的 LM 运行时行为异常
    • CUDA 模型加载崩溃，“llm_engine_cuda.node. 系统无法访问该文件”
    • ROCm 模型生成乱码
  • 修复了在旧版本应用程序创建的聊天中 RAG 消息未显示的问题
  • 修复了输入法编辑器 (IME) 错误： 现在，除非完成输入，否则按 Enter 键不会发送消息

版本 5

  • 修复了在流式传输 DeepSeek R1 聊天完成响应时，不遵守 reasoning_content 设置的 API 错误

版本 4

  • 新的实验性 API： 在聊天完成响应中（流式和非流式）在单独的字段中发送 reasoning_content
    • 适用于在 <think> 和 </think> 标签内生成内容的模型（如 DeepSeek R1）
    • 在“应用设置”>“开发者”中开启

版本 3

  • 新增： 添加聊天外观选项，以自动展开新添加的“思考”UI 块
  • 新增： 当应用程序给出系统资源不足错误通知时，显示对防护栏配置的快速访问
  • 修复了如果删除非默认模型目录，则新模型将不会被索引的错误
  • 修复了硬件检测中的一个错误，该错误有时在使用 Vulkan 后端时，在多 GPU 设置中错误地过滤掉 GPU
  • 修复了模型加载 UI 中的一个错误，该错误导致没有 flash attention 的 F32 缓存类型未被识别为 llama.cpp Metal 运行时的有效配置

版本 2

  • 新增： 添加了对从 Hugging Face 仓库中的嵌套文件夹下载模型的支持
  • 改进了直接使用 Hugging Face URL 进行搜索的支持
  • 新增： 自动更新选定的运行时扩展包（您可以在“设置”中关闭此功能）
  • 新增： 添加了使用 LM Studio 的 Hugging Face 代理的选项。这可以帮助难以直接访问 Hugging Face 的用户
  • 新增： MLX 模型的 KV 缓存量化（需要 mlx-engine/0.3.0）
  • “我的模型”选项卡刷新： 更简洁的模型名称，以及模型类型的侧边栏类别
    • 可以在“应用设置”>“常规”中切换回显示完整文件名
    • 要查看原始模型元数据（之前： (i) 按钮），请右键单击模型名称并选择“查看原始元数据”
  • 修复了清除采样设置中的 Top K 会触发错误的错误

版本 1

  • 新增： TTL - 可选择在一段时间后自动卸载未使用的 API 模型（请求负载中的 ttl 字段）
  • 新增： 自动驱逐 - 可选择在加载新 API 模型之前自动卸载先前加载的 API 模型（在“应用设置”中控制）
  • 修复了模型思考块内的公式有时会在块下方生成空白区域的错误
  • 修复了 toast 通知中的文本无法滚动的情况
  • 修复了取消选中和选中“结构化输出 JSON”会导致架构值消失的错误
  • 修复了生成时的自动滚动有时不允许向上滚动的问题
  • [开发者] 将日志记录选项移动到“开发者日志”面板标题（••• 菜单）
  • 修复了“聊天外观”字体大小选项未缩放“思考”块中的文本的问题

更多内容