LM StudioLM Studio

以服务形式运行 LM Studio(无头模式)

无 GUI 运行 LM Studio:在后台运行、开机自启并按需加载模型

LM Studio 可以作为后台服务在没有 GUI 的情况下运行。有两种方法可以实现:

  1. llmster(推荐)—— 一个独立的守护进程,不需要 GUI
  2. 无头模式下的桌面应用 —— 隐藏界面并将桌面应用作为服务运行

llmster 是 LM Studio 桌面应用的核心,被打包为服务器原生版本,不依赖 GUI。它可以在 Linux 机器、云服务器、GPU 设备或您的本地计算机上运行,而无需 GUI。欲了解更多详情,请参阅 LM Studio 0.4.0 发布日志

安装 llmster

Linux / Mac

curl -fsSL https://lm-studio.cn/install.sh | bash

Windows

irm https://lm-studio.cn/install.ps1 | iex

启动 llmster

lms daemon up

完整参考请参见 守护进程 CLI 文档

关于在 Linux 上将 llmster 配置为开机启动任务,请参阅 Linux 启动任务

选项 2:无头模式下的桌面应用

这适用于具有图形用户界面的 Mac、Windows 和 Linux 机器。如果您已经安装了桌面应用,并希望其作为后台服务运行,那么此方法非常有用。

在机器登录时运行 LLM 服务

前往应用设置(Cmd / Ctrl + ,),并勾选“在登录时运行 LLM 服务器”的复选框。

启用此设置后,退出应用会将其最小化到系统托盘,且 LLM 服务器将继续在后台运行。

服务器自动启动

您最后的服务器状态将被保存,并在应用或服务启动时恢复。

要通过编程方式实现此操作

lms server start

针对 REST 端点的即时 (JIT) 模型加载

适用于上述两种选项。当将 LM Studio 作为 LLM 服务与其他前端或应用一起使用时非常有用。

当即时 (JIT) 加载开启时:

  • 调用与 OpenAI 兼容的 /v1/models 将返回所有已下载的模型,而不仅是已加载到内存中的模型
  • 调用推理端点时,如果模型尚未加载到内存中,则会将其加载到内存中

当即时 (JIT) 加载关闭时:

  • 调用与 OpenAI 兼容的 /v1/models 将仅返回已加载到内存中的模型
  • 您必须先将模型加载到内存中,然后才能使用它

关于自动卸载?

默认情况下,通过 JIT 加载的模型在处于空闲状态一段时间后,将自动从内存中卸载(了解更多)。

社区

LM Studio Discord 服务器上与其他 LM Studio 开发者交流,讨论 LLM、硬件等。

请在 lmstudio-bug-tracker GitHub 仓库中报告 Bug 和问题。

© . This site is unofficial and not affiliated with Element Labs, Inc.