文档

将 LM Studio 作为服务运行(无头模式)

高级

从 v0.3.5 版本开始,LM Studio 可以作为无 GUI 服务运行。这对于在服务器上或在本地机器后台运行 LM Studio 非常有用。


将 LM Studio 作为服务运行

将 LM Studio 作为服务运行包含多项新功能,旨在提高 LM Studio 作为开发者工具的使用效率。

  • 无需 GUI 即可运行 LM Studio 的能力
  • 能够在机器登录时以无头模式启动 LM Studio LLM 服务器的能力
  • 按需模型加载

在机器登录时运行 LLM 服务

要启用此功能,请前往应用设置(Cmd / Ctrl + ,),并勾选“登录时运行 LLM 服务器”复选框。

undefined

启用 LLM 服务器在机器登录时启动

启用此设置后,退出应用程序会将其最小化到系统托盘,并且 LLM 服务器将在后台继续运行。


针对 OpenAI 端点的即时 (JIT) 模型加载

当 LM Studio 作为 LLM 服务与其他前端或应用程序配合使用时非常有用。

undefined

按需加载模型


当 JIT 加载开启时

  • 调用 /v1/models 将返回所有已下载的模型,而不仅仅是已加载到内存中的模型
  • 对推理端点的调用如果模型尚未加载,则会将其加载到内存中

当 JIT 加载关闭时

  • 调用 /v1/models 将仅返回已加载到内存中的模型
  • 您必须先将模型加载到内存中才能使用它
自动卸载呢?

截至 LM Studio 0.3.5 版本,自动卸载功能尚未实现。通过 JIT 加载的模型将保留在内存中,直到您手动卸载它们。我们预计在不久的将来实现更复杂的内存管理。如果您有任何反馈或建议,请告诉我们。


自动服务器启动

您的上一个服务器状态将在应用程序或服务启动时保存并恢复。

要以编程方式实现此功能,您可以使用以下命令

lms server start
专业提示

如果您尚未操作,请按照此处的说明在您的机器上引导 lms


社区

LM Studio Discord 服务器上与其他 LM Studio 开发者聊天,讨论 LLM、硬件等。

请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。