LM Studio 0.3.23
📣 提示:LM Studio 现已免费用于工作!阅读更多 https://lm-studio.cn/blog/free-for-work
LM Studio 0.3.23 现已作为稳定版本发布。此版本侧重于提高可靠性、改善低配置设备的性能以及修复一些错误。
openai/gpt-oss
聊天工具调用可靠性工具名称现在在发送到模型之前会保持一致的格式。以前,名称中包含空格的工具会使 gpt-oss 感到困惑并导致工具调用失败。现在工具名称已转换为 snake_case 格式。
此外,我们修复了一些解析错误,这些错误以前可能导致聊天中出现解析错误。您可能会注意到工具调用可靠性方面的显著改进。
这与 0.3.22 版本的行为有所不同。
message.content
将不再包含推理内容或 <think>
标签。choices.message.reasoning
(非流式)和 choices.delta.reasoning
(流式)。o3-mini
的行为一致。在此版本中,我们添加了一个高级模型加载设置,可以将所有 MoE 专家权重放置到 CPU 或 GPU(默认)。
开启此选项可强制将 MoE 专家权重置于 CPU 上。适用于低 VRAM 的机器。
如果您没有足够的 VRAM 来将整个模型卸载到 GPU 专用内存中,这将很有用。如果是这种情况,请尝试在高级加载设置中打开“强制模型专家权重到 CPU”选项。
如果您可以将整个模型卸载到 GPU 内存中,那么最好还是将专家权重也放置到 GPU 上(这是默认选项)。
这利用了与 llama.cpp
的 --n-cpu-moe
相同的底层技术。
请记住,您可以设置持久的每模型设置。有关详细信息,请参阅文档。
版本 3
版本 2
/v1/chat/completions
请求出现“Cannot read properties of undefined (reading 'properties')”错误的问题Error: EPERM: operation not permitted, unlink
错误的问题版本 1
v1/chat/completions
中不输出思考标签的问题message.content
将不包含推理内容或特殊标签o3-mini
的行为一致。choices.message.reasoning
(stream=false) 和 choices.delta.reasoning
(stream=true)