LM Studio 0.3.23
📣 提示:LM Studio 现已免费用于工作!阅读更多 https://lm-studio.cn/blog/free-for-work
LM Studio 0.3.23 现已作为稳定版发布。此版本专注于可靠性改进、低配设备的性能优化以及若干错误修复。
openai/gpt-oss 聊天内工具调用(tool calling)的可靠性现在,工具名称在发送给模型之前会进行统一格式化。此前,名称中带有空格的工具会干扰 gpt-oss 并导致工具调用失败。现在工具名称会被转换为 snake_case(蛇形命名法)。
此外,我们还解决了一些此前可能导致聊天中出现解析错误的错误。您可能会注意到工具调用可靠性有了显著提升。
与 0.3.22 版本相比,这是一个行为上的变化。
message.content 将不再包含推理内容或 <think> 标签。choices.message.reasoning(非流式)和 choices.delta.reasoning(流式)中。o3-mini 的行为保持一致。在此版本中,我们添加了一项高级模型加载设置,可将所有 MoE 专家权重放置在 CPU 或 GPU(默认)上。

开启此选项可强制将 MoE 专家权重置于 CPU。请在显存(VRAM)较低的机器上尝试此操作。
如果您没有足够的显存将整个模型加载到 GPU 专用内存中,这将非常有益。在这种情况下,请尝试在高级加载设置中开启“强制将模型专家权重置于 CPU”选项。
如果您可以将整个模型加载到 GPU 内存中,最好坚持将专家权重也放置在 GPU 上(这是默认选项)。
这使用了与 llama.cpp 的 --n-cpu-moe 相同的底层技术。
请记住,您可以为每个模型设置持久化配置。请参阅 文档以获取更多信息。
版本 3
版本 2
/v1/chat/completions 发送某些包含工具的请求时出现的“无法读取未定义的属性(读取 'properties')”错误Error: EPERM: operation not permitted, unlink 错误版本 1
v1/chat/completions 中不输出思考标签的问题message.content 将不包含推理内容或特殊标签o3-mini 的行为保持一致。choices.message.reasoning(stream=false)和 choices.delta.reasoning(stream=true)中