文档
API 更新日志
LM Studio API 更新日志 - 新功能和更新
stream_options
对象的支持。将 stream_options.include_usage
设置为 true
可在流式传输期间返回提示和完成令牌使用情况 ‡。response_format.type
字段现在在聊天完成请求中接受 "text"
‡。$defs
被剥离的错误 ‡。parameters
对象的工具,以及防止 MCP 服务器重新加载时挂起 ‡。GET /models
中的模型功能/api/v0
) 现在在 GET /models
响应中返回一个 capabilities
数组。每个模型都列出了其支持的功能(例如 "tool_use"
)‡,以便客户端可以以编程方式发现支持工具的模型。类 OpenAI REST API 现在支持 tool_choice
参数
{ "tool_choice": "auto" // or "none", "required" }
"tool_choice": "none"
— 模型将不会调用工具"tool_choice": "auto"
— 模型自行决定"tool_choice": "required"
— 模型必须调用工具 (仅限 llama.cpp)分块响应现在在适当的时候设置 "finish_reason": "tool_calls"
。
RESTful API 和 SDK 支持在请求中指定预设。
(需要示例)
通过 "draft_model"
在 API 请求中启用推测解码
{ "model": "deepseek-r1-distill-qwen-7b", "draft_model": "deepseek-r1-distill-qwen-0.5b", "messages": [ ... ] }
响应现在包含用于推测解码的 stats
对象
"stats": { "tokens_per_second": ..., "draft_model": "...", "total_draft_tokens_count": ..., "accepted_draft_tokens_count": ..., "rejected_draft_tokens_count": ..., "ignored_draft_tokens_count": ... }
为通过 API 请求加载的模型设置 TTL(以秒为单位)(文档文章:空闲 TTL 和自动驱逐)
curl https://:1234/api/v0/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-r1-distill-qwen-7b", "messages": [ ... ] + "ttl": 300, }'
使用 lms
lms load --ttl <seconds>
reasoning_content
对于 DeepSeek R1 模型,可在单独的字段中获取推理内容。在此处查看更多信息 here。
在应用程序设置 > 开发人员中开启此功能。
通过类 OpenAI API 使用任何支持工具使用和函数调用的 LLM。
文档:工具使用和函数调用。
lms get
:从终端下载模型您现在可以使用关键字直接从终端下载模型
lms get deepseek-r1
或完整的 Hugging Face URL
lms get <hugging face url>
要仅筛选 MLX 模型,请在命令中添加 --mlx
。
lms get deepseek-r1 --mlx
此页面的源代码可在 GitHub 上获取
本页内容
流式传输和工具调用错误修复
流式传输选项和工具调用改进
工具调用可靠性和令牌计数更新
GET /models 中的模型功能
改进的工具使用 API 支持
[API/SDK] 预设支持
推测解码 API
空闲 TTL 和自动驱逐
聊天完成响应中的独立 reasoning_content
工具和函数调用 API
隆重推出 lms get:从终端下载模型