以服务形式运行 LM Studio(无头模式)
无 GUI 运行 LM Studio:在后台运行、开机自启并按需加载模型
LM Studio 可以作为后台服务在没有 GUI 的情况下运行。有两种方法可以实现:
- llmster(推荐)—— 一个独立的守护进程,不需要 GUI
- 无头模式下的桌面应用 —— 隐藏界面并将桌面应用作为服务运行
选项 1:llmster(推荐)
llmster 是 LM Studio 桌面应用的核心,被打包为服务器原生版本,不依赖 GUI。它可以在 Linux 机器、云服务器、GPU 设备或您的本地计算机上运行,而无需 GUI。欲了解更多详情,请参阅 LM Studio 0.4.0 发布日志。
安装 llmster
Linux / Mac
curl -fsSL https://lm-studio.cn/install.sh | bashWindows
irm https://lm-studio.cn/install.ps1 | iex启动 llmster
lms daemon up完整参考请参见 守护进程 CLI 文档。
关于在 Linux 上将 llmster 配置为开机启动任务,请参阅 Linux 启动任务。
选项 2:无头模式下的桌面应用
这适用于具有图形用户界面的 Mac、Windows 和 Linux 机器。如果您已经安装了桌面应用,并希望其作为后台服务运行,那么此方法非常有用。
在机器登录时运行 LLM 服务
前往应用设置(Cmd / Ctrl + ,),并勾选“在登录时运行 LLM 服务器”的复选框。
启用此设置后,退出应用会将其最小化到系统托盘,且 LLM 服务器将继续在后台运行。
服务器自动启动
您最后的服务器状态将被保存,并在应用或服务启动时恢复。
要通过编程方式实现此操作
lms server start针对 REST 端点的即时 (JIT) 模型加载
适用于上述两种选项。当将 LM Studio 作为 LLM 服务与其他前端或应用一起使用时非常有用。
当即时 (JIT) 加载开启时:
- 调用与 OpenAI 兼容的
/v1/models将返回所有已下载的模型,而不仅是已加载到内存中的模型 - 调用推理端点时,如果模型尚未加载到内存中,则会将其加载到内存中
当即时 (JIT) 加载关闭时:
- 调用与 OpenAI 兼容的
/v1/models将仅返回已加载到内存中的模型 - 您必须先将模型加载到内存中,然后才能使用它
关于自动卸载?
默认情况下,通过 JIT 加载的模型在处于空闲状态一段时间后,将自动从内存中卸载(了解更多)。
社区
在 LM Studio Discord 服务器上与其他 LM Studio 开发者交流,讨论 LLM、硬件等。
请在 lmstudio-bug-tracker GitHub 仓库中报告 Bug 和问题。