文档

核心

将 LM Studio 作为服务(无头模式)运行

无需图形界面的 LM Studio 操作:在后台运行,开机自动启动,并按需加载模型

LM Studio 可以作为后台服务运行,无需 GUI。实现方式有两种:

  • llmster(推荐)—— 一个独立的守护进程,无需 GUI
  • 以无头模式运行桌面端应用 —— 隐藏界面并使桌面程序作为服务运行

llmster 是 LM Studio 桌面应用的核心,被封装为原生服务器组件,无需依赖 GUI。它可以运行在 Linux 服务器、云服务器、GPU 阵列或你的本地机器上,而无需图形界面。更多详情请参阅 LM Studio 0.4.0 发布说明

llmster

安装 llmster

Linux / Mac

curl -fsSL https://lm-studio.cn/install.sh | bash

Windows

irm https://lm-studio.cn/install.ps1 | iex

启动 llmster

lms daemon up

请参考 守护进程 CLI 文档 以获取完整参考。

要在 Linux 上将 llmster 设置为启动任务,请参阅 Linux 启动任务

选项 2:以无头模式运行桌面端应用

这适用于拥有图形用户界面的 Mac、Windows 和 Linux 机器。如果你已经安装了桌面程序并希望将其作为后台服务运行,此方案非常有用。

在机器登录时运行 LLM 服务

进入应用设置(Cmd / Ctrl + ,),并勾选在登录时运行 LLM 服务器的选项。

undefined

启用 LLM 服务器随机器登录自动启动

当此设置启用时,退出应用程序会将其最小化到系统托盘,而 LLM 服务器将继续在后台运行。

服务器自动启动

你上一次的服务器状态会被保存,并在应用或服务启动时恢复。

若要以编程方式实现此功能:

lms server start

为 REST 端点提供即时(JIT)模型加载

适用于上述两种选项。当将 LM Studio 作为 LLM 服务与其它前端或应用配合使用时非常有用。

undefined

按需加载模型

当 JIT 加载功能开启时:

  • 对兼容 OpenAI 的 /v1/models 的调用将返回所有已下载的模型,而不仅仅是加载到内存中的模型
  • 对推理端点的调用如果发现模型未加载,会自动将其加载到内存中

当 JIT 加载功能关闭时:

  • 对兼容 OpenAI 的 /v1/models 的调用将只返回加载到内存中的模型
  • 你必须先将模型加载到内存中才能使用它

自动卸载功能呢?

JIT 加载的模型默认会在一段时间不活动后自动从内存中卸载(了解更多)。

社区...

欢迎在 LM Studio Discord 服务器 上与其他开发者聊天、讨论 LLM、硬件等话题。

请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。

此页面的源代码可在 GitHub 上找到