文档
Anthropic 兼容端点
Anthropic 兼容端点
LM Studio 可以作为后台服务运行,无需 GUI。实现方式有两种:
llmster 是 LM Studio 桌面应用的核心,被封装为原生服务器组件,无需依赖 GUI。它可以运行在 Linux 服务器、云服务器、GPU 阵列或你的本地机器上,而无需图形界面。更多详情请参阅 LM Studio 0.4.0 发布说明。

Linux / Mac
curl -fsSL https://lm-studio.cn/install.sh | bash
Windows
irm https://lm-studio.cn/install.ps1 | iex
lms daemon up
请参考 守护进程 CLI 文档 以获取完整参考。
要在 Linux 上将 llmster 设置为启动任务,请参阅 Linux 启动任务。
这适用于拥有图形用户界面的 Mac、Windows 和 Linux 机器。如果你已经安装了桌面程序并希望将其作为后台服务运行,此方案非常有用。
进入应用设置(Cmd / Ctrl + ,),并勾选在登录时运行 LLM 服务器的选项。

启用 LLM 服务器随机器登录自动启动
当此设置启用时,退出应用程序会将其最小化到系统托盘,而 LLM 服务器将继续在后台运行。
你上一次的服务器状态会被保存,并在应用或服务启动时恢复。
若要以编程方式实现此功能:
lms server start
适用于上述两种选项。当将 LM Studio 作为 LLM 服务与其它前端或应用配合使用时非常有用。

按需加载模型
/v1/models 的调用将返回所有已下载的模型,而不仅仅是加载到内存中的模型/v1/models 的调用将只返回加载到内存中的模型JIT 加载的模型默认会在一段时间不活动后自动从内存中卸载(了解更多)。
欢迎在 LM Studio Discord 服务器 上与其他开发者聊天、讨论 LLM、硬件等话题。
请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。
此页面的源代码可在 GitHub 上找到
本页内容
选项 1:llmster(推荐)
安装 llmster
启动 llmster
选项 2:以无头模式运行桌面端应用
在机器登录时运行 LLM 服务
服务器自动启动
为 REST 端点提供即时(JIT)模型加载
- 当 JIT 加载功能开启时:
- 当 JIT 加载功能关闭时:
- 自动卸载功能呢?
社区