← 返回博客

LM Studio 0.3.6

作者
LM Studio 团队

•

2025-01-06

LM Studio 0.3.6 通过 LM Studio 的 OpenAI 兼容 API 引入了函数调用/工具使用 API。

这意味着您可以将 LM Studio 与任何目前支持使用 OpenAI 工具的框架配合使用，并转而利用本地模型进行工具使用。此功能处于测试阶段，我们非常乐意收到您的错误报告和反馈。

0.3.6 版本中其他新功能包括支持新的视觉输入模型：在 LM Studio 的 MLX 和 llama.cpp 引擎中，都支持 Qwen2VL 系列 + Qwen/QVQ（一个大型视觉推理模型）。

临时说明：从 0.3.5 (稳定版) 进行的应用内更新将于本周晚些时候开始，因为我们正在过渡到新的更新系统。LM Studio 0.3.5 b10 及更高版本的更新已完全正常运行。请手动安装 LM Studio 以获取最新版本。


🔔 订阅我们的邮件列表，获取 LM Studio 发布通知。

LM Studio 0.3.6 新增功能

本次发布的一大亮点是，我们已经自动化了整个构建和发布流程，这意味着发布新的 LM Studio 应用程序和引擎更新将变得更加容易。我们对此感到非常兴奋。

请参阅下面的完整发布变更日志，了解新功能和错误修复。

工具调用 API（测试版）

  • 新 API：可直接替代 OpenAI 的函数调用/工具使用 API
    • 支持 llama.cpp 和 MLX 模型
    • 支持流式和非流式
  • 工具使用文档可在以下网址查阅：https://lm-studio.cn/docs/advanced/tool-use
  • 通过类 OpenAI API 使用任何支持工具使用和函数调用的 LLM
    • Qwen、Mistral 和 Llama 3.1/3.2 模型在工具使用方面表现良好
  • 应用程序内代码片段中包含入门代码
  • 通过对流式和非流式工具使用的采样配置，提高了工具调用的可靠性
Badge indicating a model was trained for tool use

一个指示模型经过工具使用训练的徽章

新的视觉输入模型

  • 在 GGUF 和 MLX 中均增加了对 Qwen2VL (2B, 7B, 72B) 和 QVQ (72B) 的支持
  • 增加了对 .webp 图像的支持
  • 为视觉模型输入添加了图像自动调整大小功能，硬编码宽度为 500px 并保持宽高比

undefined

一个识别简单手写文字的 2B Qwen2VL 视觉输入模型

全新改进的安装程序

  • 在 Windows 上：您现在可以选择安装驱动器和目录！
  • 在所有平台上：全新的 LM Studio 应用内更新系统
    • 订阅稳定版或测试版更新。测试版更新将更频繁地发布。
      • 注意：以前发布渠道不工作。现在它们可以了。
  • 应用程序更新不会重新下载数百 MB 不变的依赖项，并且通常会更小、下载速度更快。
    • 我们还确定了进一步缩小这些更新包的区域
  • 下载应用内更新时的进度条

undefined

订阅测试版渠道以获取更频繁的 LM Studio 更新

LM 运行时改进

  • 改进的 LM 运行时发布系统（llama.cpp、MLX 等）
    • 这已经实施了一段时间，但我们几乎将此过程中的所有内容都自动化了。
  • 当有新的 llama.cpp / MLX 版本可供下载时，应用内通知
    • 不会需要完整的应用更新
  • 添加了“缺少库”运行时兼容性状态，允许用户“修复”安装不当的运行时

undefined

一旦更新可用，即可立即更新您的 llama.cpp 或 MLX 引擎，大多数情况下无需等待 LM Studio 应用程序更新

UI 改进

  • 聊天侧边栏 UI 改进
  • 服务器页面 UI 改进
  • 更新后在应用内显示发布说明
  • 添加了一个设置选项，即使生成速度慢，也始终使用 LLM 生成标题

MLX 更新（Apple Silicon）

  • MacOS 15 性能改进
  • VLM 性能改进
  • 长上下文生成性能改进
  • 提升 mlx-engine 依赖版本：mlx==0.21.1, mlx_lm==0.20.4, mlx_vlm==0.1.4
  • 支持 MLX 模型的 3 位和 6 位量化

开发者体验

  • 新的应用内“快速文档”，包含代码片段和工具使用示例（右上角）
    • 在新窗口中打开，以便在 LM Studio 中并排使用
  • 改进了服务器 API 中的错误报告
  • 通过按 cmd / ctrl + shift + J 将服务器日志弹出到新窗口
    • 在聊天页面也可用
  • 对于高级用户：LM Studio 的主目录已从原先的 ~/.cache/lm-studio 移动到新的 ~/.lmstudio。
    • 这仅对首次安装生效。
    • 如果您在 ~/.cache/lm-studio 中已有数据，应用程序将不会尝试移动它。

错误修复

  • 修复了使用 /completions API 端点时出现的“inputConfig required to render jinja prompt”错误
  • 修复了入职期间首次模型下载显示空白屏幕的问题
  • 修复了 Windows 上为所有用户安装应用程序时运行时设置不正确的问题
  • 错误修复：使 tool_call_id 可选
  • 修复了 Qwen2VL 及其他模型的 jinja 模板处理错误
  • 修复了更新后未选择较新 LM 运行时的问题
  • 修复了在编辑时点击聊天名称字段会取消重命名的问题
  • [Mac] 修复了向启用视觉功能的模型发送图像时出现错误的问题
  • 修复了工具调用消息中“content”: null 被错误拒绝的问题
  • 修复了有时预设的辅助点击不起作用的问题
  • 修复了 RAG 不工作的问题
  • 修复了聊天和文件夹无法拖动到侧边栏根目录的问题
  • 修复了计算 token/使用嵌入模型时内存泄漏的问题
  • 修复了安装程序在高 DPI 屏幕上模糊的问题
  • 修复了安装新运行时后，模型搜索过滤器未更新的问题
  • 修复了搜索“Qwen VL”无法得到正确结果的问题
  • 修复了应用程序仍在初始化时模型无法加载的问题
  • 修复了聊天页面有时会软锁定（softlock）的问题
  • 修复了聊天侧边栏滚动条长度与内容高度不同步的问题
  • 修复了运行时删除不起作用的问题
  • 修复了一个罕见错误，即删除聊天有时会软锁定（softlock）应用程序
  • 修复了 lms load 命令
  • 修复了 lms unload 和 lms status 不适用于嵌入的问题
  • 修复了启用详细日志记录时（服务器）请求日志记录的问题
  • 修复了当提示和响应日志记录关闭时，某些请求/响应未被编辑的问题
  • 修复了下载恢复功能
  • 修复了 UI 元素上更多的可访问性标签
  • 修复了拖放文件附件不起作用的问题
  • [MLX] 修复了导致某些模型性能下降的错误
  • 修复了应用程序无法在某些 Linux 发行版上启动的问题
  • 修复了可访问性按钮标签（以前显示 Object object）
  • 修复了没有聊天模板的模型（包括嵌入模型）无法索引的错误
  • 修复了 API 请求中传递空或 null 的工具数组被视为未提供工具的问题
  • 修复了 API 请求中，助手消息中传递空或 null 的 tool_calls 数组被视为模型没有进行工具调用的问题
  • 修复了文件附件导致错误的问题
  • 修复了聊天名称过长导致聊天操作按钮在侧边栏中被挤压的问题
  • Hugging Face 模型搜索的候选修复，从应用程序内无法下载（“获取失败”）
  • 修复了从 Microsoft Word 粘贴文本时提示粘贴图像的错误
  • 修复了 GGUF 模型的结构化输出问题 lmstudio-bug-tracker/issues/173
  • 修复了 1-2 个 CPU 核心的机器出现 CPU 线程过低错误的问题
  • 修复了服务模式启用时应用内更新的问题
  • 修复了客户端应用程序生命周期中的 JIT 加载问题

更多内容