← 返回博客

LM Studio 0.3.6

作者

•

2025-01-06

LM Studio 0.3.6 通过 LM Studio 的 OpenAI 兼容性 API 引入了函数调用 / 工具使用 API。

这意味着您可以将 LM Studio 与目前知道如何使用 OpenAI 工具的任何框架一起使用，并利用本地模型进行工具使用。此功能目前处于 Beta 测试阶段，我们希望收到您的错误报告和反馈。

0.3.6 版本的其他新功能包括支持新的视觉输入模型：Qwen2VL 系列 + Qwen/QVQ（一个大型视觉 + 推理模型），同时支持 LM Studio 的 MLX 和 llama.cpp 引擎。

临时提示：从 0.3.5（稳定版）开始的应用内更新将在本周晚些时候开始，因为我们正在过渡到新的更新系统。对于 LM Studio 0.3.5 b10 及更高版本，更新已全面运行。手动安装 LM Studio 以获取最新版本。


🔔 订阅我们的邮件列表，获取 LM Studio 发布通知。

LM Studio 0.3.6 的新功能

此版本的一大亮点是我们自动化了整个构建和发布流程，这意味着发布新的 LM Studio 应用和引擎更新将变得更加容易。我们对此感到非常兴奋。

请参阅下面的完整发布更改日志，了解新功能和错误修复。

工具调用 API (Beta)

  • 新 API：OpenAI 函数调用 / 工具使用 API 的直接替代品
    • 同时支持 llama.cpp 和 MLX 模型
    • 同时支持流式和非流式
  • 工具使用文档请访问：https://lm-studio.cn/docs/advanced/tool-use
  • 通过类似 OpenAI 的 API 使用任何支持工具使用和函数调用的 LLM
    • Qwen、Mistral 和 Llama 3.1/3.2 模型非常适合工具使用
  • 应用内代码片段中包含入门代码
  • 通过流式和非流式工具使用的采样配置，提高了工具调用可靠性
Badge indicating a model was trained for tool use

指示模型是否经过工具使用训练的徽章

新的视觉输入模型

  • 增加了对 GGUF 和 MLX 中的 Qwen2VL (2B, 7B, 72B) 和 QVQ (72B) 的支持
  • 增加了对 .webp 图像的支持
  • 为视觉模型输入添加了图像自动调整大小功能，硬编码为 500 像素宽度，同时保持宽高比

undefined

一个 2B Qwen2VL 视觉输入模型识别简单的手写

全新且改进的安装程序

  • 在 Windows 上：您现在可以选择安装驱动器和目录！
  • 在所有平台上：全新的 LM Studio 应用内更新系统
    • 订阅稳定版或 Beta 版更新。Beta 版更新频率更高。
      • 注意：以前的版本发布通道不起作用。现在它们可以正常工作了。
  • 应用更新不会重新下载数百 MB 不会更改的依赖项，并且通常下载量会更小、速度更快。
    • 我们已经确定了可以进一步缩小这些更新的领域
  • 应用内更新下载时的进度条

undefined

订阅 Beta 版通道以获取更频繁的 LM Studio 更新

LM 运行时改进

  • 改进的 LM 运行时发布系统（llama.cpp、MLX 等）
    • 这已经存在一段时间了，但我们几乎自动化了此过程中的所有内容。
  • 当新的 llama.cpp / MLX 版本可供下载时，应用内通知
    • 不需要完整的应用更新
  • 添加了“缺少库”运行时兼容性状态，允许用户“修复”未正确安装的运行时

undefined

在大多数情况下，无需等待 LM Studio 应用更新，即可在更新可用时立即更新您的 llama.cpp 或 MLX 引擎

UI 改进

  • 聊天侧边栏 UI 改进
  • 服务器页面 UI 改进
  • 更新后在应用内显示发布说明
  • 添加了一个设置选项，即使生成速度较慢，也始终使用 LLM 生成标题

MLX 更新（Apple Silicon）

  • 改进了 MacOS 15 的性能
  • 改进了 VLM 的性能
  • 改进了长上下文生成的性能
  • 升级了 mlx-engine 依赖项版本：mlx==0.21.1, mlx_lm==0.20.4, mlx_vlm==0.1.4
  • 支持 MLX 模型的 3 位和 6 位量化

开发者体验

  • 新的应用内“快速文档”，包含代码片段和工具使用示例（右上角）
    • 在新窗口中打开，以便在 LM Studio 中并排使用
  • 改进了服务器 API 中的错误报告
  • 按 cmd / ctrl + shift + J 将服务器日志弹出到新窗口
    • 在聊天页面也有效
  • 对于高级用户：LM Studio 的主目录已从历史路径 ~/.cache/lm-studio 移动到新的 ~/.lmstudio。
    • 这仅对首次安装生效。
    • 如果您已经在 ~/.cache/lm-studio 中有数据，则应用不会尝试移动它。

错误修复

  • 修复了使用 /completions API 端点时出现“inputConfig required to render jinja prompt”的错误
  • 修复了首次模型下载期间，在引导过程中显示空白屏幕的问题
  • 修复了在 Windows 上为所有用户安装应用时，运行时未正确设置的问题
  • 错误修复：使 tool_call_id 可选
  • 修复了 Qwen2VL 和其他模型的 jinja 模板处理错误
  • 修复了更新后未选择较新的 LM 运行时的问题
  • 修复了在编辑时单击聊天名称字段会取消重命名的错误
  • [Mac] 修复了向启用视觉功能的模型发送图像时出错的问题
  • 修复了工具调用消息的 “content”: null 被错误拒绝的问题
  • 修复了有时无法使用预设辅助单击的问题
  • 修复了 RAG 无法工作的问题
  • 修复了聊天和文件夹无法拖动到侧边栏根目录的错误
  • 修复了在计算令牌/使用嵌入模型时发生的内存泄漏
  • 修复了在高 DPI 屏幕上安装程序模糊的问题
  • 修复了安装新运行时后，模型搜索过滤器未更新的问题
  • 修复了搜索 “Qwen VL” 未给出正确结果的问题
  • 修复了应用仍在初始化时无法加载模型的问题
  • 修复了聊天页面可能软锁定的问题
  • 修复了聊天侧边栏滚动条长度与内容高度不同步的问题
  • 修复了运行时删除不起作用的问题
  • 修复了一个罕见的错误，即删除聊天有时会导致应用软锁定
  • 修复了 lms load 命令
  • 修复了 lms unload 和 lms status 不适用于嵌入的问题
  • 修复了启用详细日志记录时（服务器）请求日志记录的问题
  • 修复了在关闭提示和响应日志记录时，某些请求/响应未被编辑的问题
  • 修复了下载恢复
  • 修复了 UI 元素上更多辅助功能标签
  • 修复了拖放文件附件不起作用的问题
  • [MLX] 修复了降低某些模型性能的错误
  • 修复了应用在某些 Linux 发行版上无法启动的问题
  • 修复了辅助功能按钮标签（之前显示 Object object）
  • 修复了没有聊天模板的模型（包括嵌入模型）无法被索引的问题
  • 修复了在 API 请求中传递空或 null 工具数组被视为未提供工具的问题
  • 修复了在 API 请求中的助手消息中传递空或 null tool_calls 数组被视为模型未进行任何炫酷调用的问题
  • 修复了文件附件导致错误的问题
  • 修复了长聊天名称将聊天操作按钮推到侧边栏中的问题
  • 候选修复：huggingface 模型搜索，从应用内永远无法访问下载（“fetch failed”）
  • 修复了从 Microsoft Word 粘贴文本时出现关于粘贴图像的错误
  • 修复了 GGUF 模型的结构化输出 lmstudio-bug-tracker/issues/173
  • 修复了 CPU 线程过低的 1-2 个 CPU 核心的机器出现错误的问题
  • 修复了启用服务模式时的应用内更新
  • 修复了客户端应用程序生命周期内的 JIT 加载

更多