LM Studio 0.3.15:RTX 50 系列 GPU 和改进的 API 工具使用
LM Studio 0.3.15 现已作为稳定版本发布。此版本包括对 NVIDIA RTX 50 系列 GPU(CUDA 12)的支持,UI 改进包括一个新的系统提示编辑器 UI。此外,我们改进了对 API 工具使用(tool_choice 参数)的支持,并添加了一个新选项,用于将每个生成的片段记录到 API 服务器日志中。
LM Studio 现在通过我们的 Windows 和 Linux 上的 llama.cpp 引擎支持 RTX 50 系列 GPU(CUDA 12.8)。此更改使得 RTX 50 系列 GPU 上的首次模型加载时间达到预期速度。对于配备 RTX 50 系列 GPU 的机器,如果 NVIDIA 驱动程序版本兼容,LM Studio 将自动升级到 CUDA 12。
最低驱动程序版本为
如果您有 RTX 50 系列 GPU 且驱动程序版本兼容,LM Studio 将自动升级到 CUDA 12。如果您有 RTX 50 系列 GPU 且驱动程序版本不兼容,LM Studio 将继续使用 CUDA 11。您可以在 Ctrl + Shift + R 中管理此设置。
系统提示是自定义模型行为的强大方式。它们可能只有几个词,也可能长达多页。LM Studio 0.3.15 引入了一个更大的可视化空间来编辑更长的提示。您仍然可以使用侧边栏中的迷你提示编辑器。
与 OpenAI 类似的 REST API 现在支持 tool_choice 参数,该参数允许您控制模型如何使用工具。tool_choice 参数可以取三个值:
"tool_choice": "none" - 模型不会调用任何工具"tool_choice": "auto" - 模型决定是否调用工具"tool_choice": "required" - 强制模型只输出工具(仅限 llama.cpp 引擎)我们还修复了 LM Studio 的 OpenAI 兼容模式中的一个错误,即在适当情况下未将 chunk "finish_reason" 设置为 "tool_calls"。
预设是一种将系统提示和模型参数打包在一起的便捷方式。
从 LM Studio 0.3.15 开始,您可以通过网络☁️与社区分享您的预设,并下载其他用户创建的预设。您还可以点赞和分叉他人创建的预设。
在 设置 > 常规 > 启用发布和下载预设 中启用此功能。启用后,当您右键单击侧边栏中的预设时,会看到一个新的“发布”按钮。这将允许您将预设发布到社区。
在 https://lm-studio.cn/login 获取您的用户名并开始分享您的预设!您无需账户即可下载预设,只需发布。
此功能目前处于预览阶段,我们正在征求大家的反馈。如果您有任何建议或问题,请告诉我们:[email protected]。
**Build 11** - Llama 4 prompt template fixes to improve tool call reliability **Build 10** - Preview: Add the ability to publish and download presets from the community (head to Settings to enable) - Add `tool_choice` parameter support to OpenAI-like REST API - `"tool_choice": "none"` - Model will not call any tools - `"tool_choice": "auto"` - Model decides whether or not to call tools - `"tool_choice": "required"` - Forces model to only output tools (llama.cpp engines only) - Added an option to log each generated fragment to API server logs - Fixed the erroneous "Client disconnected. Stopping generation..." message when using the API server - Fixed a front end error when using the preset selection in the developer page - Fix for GLM prompt template - Fix Llama 4 prompt template bug "Unknown ArrayValue filter: trim" when using tools **Build 9** - Fix: Ensure OpenAI-like REST API chunk "finish_reason" is "tool_calls" when appropriate - Fixes "N/A" token count in system prompt editor when model is loaded **Build 8** - Experimental feature behind flag in Chat Appearance, smooth autoscroll latest chat message to top **Build 7** - [CUDA12] Fix incorrect VRAM capacity showing on Hardware page on some machines - Fix Llama 4 crashes when using GPU settings: priority order, limit offload to dedicated GPU memory - [GGUF] Fixed bug where top-k sampling parameter could not be set to 0 - [MLX] Removed the checkbox from top-k sampling parameter **Build 6** - Chat terminal message styling updates - Conversation font scale introduced in chat Appearance tab - Conversation font weight introduced in chat Appearance tab **Build 5** - [CUDA] CUDA 12 engine auto-upgrade if driver is compatible and *any* GPU is 50-series and above - [MLX] Add top-k sampler **Build 4** - New: CUDA 12 support in LM Studio's llama.cpp engines (Windows/Linux) - Dramatically faster first-time model load times on RTX 50-series GPUs - Initial compatibility requirements: - NVIDIA driver version: - Windows: 551.61 or newer - Linux: 550.54.14 or newer - At least one GPU of the following: - GeForce RTX 5090, RTX 5080, RTX 5070 Ti, or RTX 5070 - Datacenter GPU with Hopper or Blackwell micro-architecture - App will automatically upgrade you if your machine is compatible - Check your system compatibility by running `nvidia-smi` in terminal - Added support for sorting models by last load time in the model loader (the new default) - Adds new system prompt editor UI - Adds a toggle to hide/show advanced settings while loading models - Fix Cogito jinja parsing error "Unexpected character: ~" - Fixes downloads pane resize bug **Build 3** - Fixed lms CLI sometimes not initializing properly on MacOS **Build 2** - Fixes bug where the chat sidebar labels would overflow - Fixes bug where the downloads pane would open at wrong position **Build 1** - UI touchups: - New and improved chat input box - Neatened up app action bar layout - Slimmer app sidebar - Chat sidebar segments: Context and Model