LM Studio 0.3.6 通过 LM Studio 的 OpenAI 兼容性 API 引入了函数调用 / 工具使用 API。
这意味着您可以将 LM Studio 与目前知道如何使用 OpenAI 工具的任何框架一起使用,并利用本地模型进行工具使用。此功能目前处于 Beta 测试阶段,我们希望收到您的错误报告和反馈。
0.3.6 版本的其他新功能包括支持新的视觉输入模型:Qwen2VL 系列 + Qwen/QVQ(一个大型视觉 + 推理模型),同时支持 LM Studio 的 MLX
和 llama.cpp
引擎。
临时提示:从 0.3.5(稳定版)开始的应用内更新将在本周晚些时候开始,因为我们正在过渡到新的更新系统。对于 LM Studio 0.3.5 b10 及更高版本,更新已全面运行。手动安装 LM Studio 以获取最新版本。
🔔 订阅我们的邮件列表,获取 LM Studio 发布通知。
LM Studio 0.3.6 的新功能
此版本的一大亮点是我们自动化了整个构建和发布流程,这意味着发布新的 LM Studio 应用和引擎更新将变得更加容易。我们对此感到非常兴奋。
请参阅下面的完整发布更改日志,了解新功能和错误修复。
- 新 API:OpenAI 函数调用 / 工具使用 API 的直接替代品
- 同时支持
llama.cpp
和 MLX
模型
- 同时支持流式和非流式
- 工具使用文档请访问:https://lm-studio.cn/docs/advanced/tool-use
- 通过类似 OpenAI 的 API 使用任何支持工具使用和函数调用的 LLM
- Qwen、Mistral 和 Llama 3.1/3.2 模型非常适合工具使用
- 应用内代码片段中包含入门代码
- 通过流式和非流式工具使用的采样配置,提高了工具调用可靠性
- 增加了对 GGUF 和 MLX 中的 Qwen2VL (2B, 7B, 72B) 和 QVQ (72B) 的支持
- 增加了对 .webp 图像的支持
- 为视觉模型输入添加了图像自动调整大小功能,硬编码为 500 像素宽度,同时保持宽高比
一个 2B Qwen2VL 视觉输入模型识别简单的手写
全新且改进的安装程序
- 在 Windows 上:您现在可以选择安装驱动器和目录!
- 在所有平台上:全新的 LM Studio 应用内更新系统
- 订阅稳定版或 Beta 版更新。Beta 版更新频率更高。
- 注意:以前的版本发布通道不起作用。现在它们可以正常工作了。
- 应用更新不会重新下载数百 MB 不会更改的依赖项,并且通常下载量会更小、速度更快。
- 应用内更新下载时的进度条
订阅 Beta 版通道以获取更频繁的 LM Studio 更新
LM 运行时改进
- 改进的 LM 运行时发布系统(llama.cpp、MLX 等)
- 这已经存在一段时间了,但我们几乎自动化了此过程中的所有内容。
- 当新的 llama.cpp / MLX 版本可供下载时,应用内通知
- 添加了“缺少库”运行时兼容性状态,允许用户“修复”未正确安装的运行时
在大多数情况下,无需等待 LM Studio 应用更新,即可在更新可用时立即更新您的 llama.cpp 或 MLX 引擎
UI 改进
- 聊天侧边栏 UI 改进
- 服务器页面 UI 改进
- 更新后在应用内显示发布说明
- 添加了一个设置选项,即使生成速度较慢,也始终使用 LLM 生成标题
MLX 更新(Apple Silicon)
- 改进了 MacOS 15 的性能
- 改进了 VLM 的性能
- 改进了长上下文生成的性能
- 升级了 mlx-engine 依赖项版本:
mlx==0.21.1
, mlx_lm==0.20.4
, mlx_vlm==0.1.4
- 支持 MLX 模型的 3 位和 6 位量化
开发者体验
- 新的应用内“快速文档”,包含代码片段和工具使用示例(右上角)
- 在新窗口中打开,以便在 LM Studio 中并排使用
- 改进了服务器 API 中的错误报告
- 按
cmd
/ ctrl
+ shift
+ J
将服务器日志弹出到新窗口
- 对于高级用户:LM Studio 的主目录已从历史路径
~/.cache/lm-studio
移动到新的 ~/.lmstudio
。
- 这仅对首次安装生效。
- 如果您已经在
~/.cache/lm-studio
中有数据,则应用不会尝试移动它。
错误修复
- 修复了使用
/completions
API 端点时出现“inputConfig required to render jinja prompt”的错误
- 修复了首次模型下载期间,在引导过程中显示空白屏幕的问题
- 修复了在 Windows 上为所有用户安装应用时,运行时未正确设置的问题
- 错误修复:使
tool_call_id
可选
- 修复了 Qwen2VL 和其他模型的 jinja 模板处理错误
- 修复了更新后未选择较新的 LM 运行时的问题
- 修复了在编辑时单击聊天名称字段会取消重命名的错误
- [Mac] 修复了向启用视觉功能的模型发送图像时出错的问题
- 修复了工具调用消息的 “content”: null 被错误拒绝的问题
- 修复了有时无法使用预设辅助单击的问题
- 修复了 RAG 无法工作的问题
- 修复了聊天和文件夹无法拖动到侧边栏根目录的错误
- 修复了在计算令牌/使用嵌入模型时发生的内存泄漏
- 修复了在高 DPI 屏幕上安装程序模糊的问题
- 修复了安装新运行时后,模型搜索过滤器未更新的问题
- 修复了搜索 “Qwen VL” 未给出正确结果的问题
- 修复了应用仍在初始化时无法加载模型的问题
- 修复了聊天页面可能软锁定的问题
- 修复了聊天侧边栏滚动条长度与内容高度不同步的问题
- 修复了运行时删除不起作用的问题
- 修复了一个罕见的错误,即删除聊天有时会导致应用软锁定
- 修复了 lms load 命令
- 修复了 lms unload 和 lms status 不适用于嵌入的问题
- 修复了启用详细日志记录时(服务器)请求日志记录的问题
- 修复了在关闭提示和响应日志记录时,某些请求/响应未被编辑的问题
- 修复了下载恢复
- 修复了 UI 元素上更多辅助功能标签
- 修复了拖放文件附件不起作用的问题
- [MLX] 修复了降低某些模型性能的错误
- 修复了应用在某些 Linux 发行版上无法启动的问题
- 修复了辅助功能按钮标签(之前显示 Object object)
- 修复了没有聊天模板的模型(包括嵌入模型)无法被索引的问题
- 修复了在 API 请求中传递空或 null 工具数组被视为未提供工具的问题
- 修复了在 API 请求中的助手消息中传递空或 null tool_calls 数组被视为模型未进行任何炫酷调用的问题
- 修复了文件附件导致错误的问题
- 修复了长聊天名称将聊天操作按钮推到侧边栏中的问题
- 候选修复:huggingface 模型搜索,从应用内永远无法访问下载(“fetch failed”)
- 修复了从 Microsoft Word 粘贴文本时出现关于粘贴图像的错误
- 修复了 GGUF 模型的结构化输出 lmstudio-bug-tracker/issues/173
- 修复了 CPU 线程过低的 1-2 个 CPU 核心的机器出现错误的问题
- 修复了启用服务模式时的应用内更新
- 修复了客户端应用程序生命周期内的 JIT 加载
更多