LM Studio 0.3.15:RTX 50 系列 GPU 支持及 API 工具调用功能改进

2025-04-24

LM Studio 0.3.15 现已作为稳定版本发布。此版本增加了对 NVIDIA RTX 50 系列 GPU(CUDA 12)的支持,对 UI 进行了润色(包括全新的系统提示词编辑器 UI)。此外,我们改进了 API 对工具调用的支持(tool_choice 参数),并新增了将生成的每个片段记录到 API 服务器日志中的选项。

通过应用内更新或从 https://lm-studio.cn/download 升级。

支持带 CUDA 12 的 RTX 50 系列 GPU

LM Studio 现已支持 RTX 50 系列 GPU(CUDA 12.8),适配 Windows 和 Linux 上的 llama.cpp 引擎。这一变更使得在 RTX 50 系列 GPU 上首次加载模型的时间达到了预期的快速表现。对于配备 RTX 50 系列 GPU 的设备,如果 NVIDIA 驱动版本兼容,LM Studio 将自动升级到 CUDA 12。

最低驱动版本要求:

  • Windows:551.61 或更高版本
  • Linux:550.54.14 或更高版本

如果您拥有 RTX 50 系列 GPU 且驱动版本兼容,LM Studio 将自动升级至 CUDA 12。如果不兼容,LM Studio 将继续使用 CUDA 11。您可以通过 Ctrl + Shift + R 进行管理。

全新的系统提示词编辑器 UI

系统提示词是自定义模型行为的强大工具。它们可以是寥寥数语,也可以长达数页。LM Studio 0.3.15 引入了更大的视觉空间来编辑较长的提示词。您仍然可以使用侧边栏中的迷你提示词编辑器。

改进的工具调用 API 支持

类 OpenAI 的 REST API 现在支持 tool_choice 参数,允许您控制模型使用工具的方式。tool_choice 参数可接受以下三个值:

  • "tool_choice": "none" - 模型不会调用任何工具
  • "tool_choice": "auto" - 模型自行决定是否调用工具
  • "tool_choice": "required" - 强制模型仅输出工具调用(仅限 llama.cpp 引擎)

我们还修复了 LM Studio OpenAI 兼容模式中的一个错误,该错误导致在适当情况下,数据块的 "finish_reason" 未被正确设置为 "tool_calls"。

还有……社区预设 (预览版)

预设是将系统提示词和模型参数打包在一起的便捷方式。

从 LM Studio 0.3.15 开始,您可以与社区分享您的预设,并通过网络 ☁️ 下载其他用户制作的预设。您还可以点赞或复刻(fork)他人制作的预设。

设置 (Settings) > 常规 (General) > 启用发布和下载预设 (Enable publishing and downloading presets) 中开启此功能。开启后,在侧边栏中右键点击预设时,您会看到一个新的“发布”按钮,允许您将预设发布到社区。

前往 https://lm-studio.cn/login 注册您的用户名,开始分享您的预设吧!您无需注册账号即可下载预设,仅在发布时需要。

此功能目前处于预览阶段,我们期待大家的反馈。如果您有任何建议或遇到问题,请联系我们:bugs@lmstudio.ai

0.3.15 - 完整更新日志

**Build 11**

- Llama 4 prompt template fixes to improve tool call reliability

**Build 10**

- Preview: Add the ability to publish and download presets from the community (head to Settings to enable)
- Add `tool_choice` parameter support to OpenAI-like REST API
  - `"tool_choice": "none"` - Model will not call any tools
  - `"tool_choice": "auto"` - Model decides whether or not to call tools
  - `"tool_choice": "required"` - Forces model to only output tools (llama.cpp engines only)
- Added an option to log each generated fragment to API server logs
- Fixed the erroneous "Client disconnected. Stopping generation..." message when using the API server
- Fixed a front end error when using the preset selection in the developer page
- Fix for GLM prompt template
- Fix Llama 4 prompt template bug "Unknown ArrayValue filter: trim" when using tools

**Build 9**

- Fix: Ensure OpenAI-like REST API chunk "finish_reason" is "tool_calls" when appropriate
- Fixes "N/A" token count in system prompt editor when model is loaded

**Build 8**

- Experimental feature behind flag in Chat Appearance, smooth autoscroll latest chat message to top

**Build 7**

- [CUDA12] Fix incorrect VRAM capacity showing on Hardware page on some machines
- Fix Llama 4 crashes when using GPU settings: priority order, limit offload to dedicated GPU memory
- [GGUF] Fixed bug where top-k sampling parameter could not be set to 0
- [MLX] Removed the checkbox from top-k sampling parameter

**Build 6**

- Chat terminal message styling updates
- Conversation font scale introduced in chat Appearance tab
- Conversation font weight introduced in chat Appearance tab

**Build 5**

- [CUDA] CUDA 12 engine auto-upgrade if driver is compatible and *any* GPU is 50-series and above
- [MLX] Add top-k sampler

**Build 4**

- New: CUDA 12 support in LM Studio's llama.cpp engines (Windows/Linux)
  - Dramatically faster first-time model load times on RTX 50-series GPUs
  - Initial compatibility requirements:
    - NVIDIA driver version:
      - Windows: 551.61 or newer
      - Linux: 550.54.14 or newer
    - At least one GPU of the following:
      - GeForce RTX 5090, RTX 5080, RTX 5070 Ti, or RTX 5070
      - Datacenter GPU with Hopper or Blackwell micro-architecture
  - App will automatically upgrade you if your machine is compatible
  - Check your system compatibility by running `nvidia-smi` in terminal
- Added support for sorting models by last load time in the model loader (the new default)
- Adds new system prompt editor UI
- Adds a toggle to hide/show advanced settings while loading models
- Fix Cogito jinja parsing error "Unexpected character: ~"
- Fixes downloads pane resize bug

**Build 3**

- Fixed lms CLI sometimes not initializing properly on MacOS

**Build 2**

- Fixes bug where the chat sidebar labels would overflow
- Fixes bug where the downloads pane would open at wrong position

**Build 1**

- UI touchups:
  - New and improved chat input box
  - Neatened up app action bar layout
  - Slimmer app sidebar
  - Chat sidebar segments: Context and Model



更多内容