文档
API 变更日志
为通过 API 请求加载的模型设置 TTL(以秒为单位)(文档文章:空闲 TTL 和自动驱逐)
curl https://127.0.0.1:1234/api/v0/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-r1-distill-qwen-7b", "messages": [ ... ] + "ttl": 300, }'
使用 lms
lms load --ttl <seconds>
reasoning_content
对于 DeepSeek R1 模型,在单独的字段中获取推理内容。点击此处查看更多。
在应用设置 > 开发者中开启此功能。
使用任何支持通过类 OpenAI API 进行工具使用和函数调用的 LLM。
文档:工具使用和函数调用。
lms get
: 从终端下载模型现在你可以直接从终端使用关键词下载模型
lms get deepseek-r1
或者完整的 Hugging Face URL
lms get <hugging face url>
要仅筛选 MLX 模型,请在命令中添加 --mlx
。
lms get deepseek-r1 --mlx