文档

以服务 (无头模式) 运行 LM Studio

高级

从 v0.3.5 版本开始，LM Studio 可以作为服务在无 GUI 界面下运行。这对于在服务器上或本地机器后台运行 LM Studio 非常有用。

以服务运行 LM Studio

以服务运行 LM Studio 包含几个旨在提高 LM Studio 作为开发者工具使用效率的新功能。

  • 无需 GUI 界面运行 LM Studio 的能力
  • 在机器登录时以无头模式启动 LM Studio LLM 服务器的能力
  • 按需模型加载

在机器登录时运行 LLM 服务

要启用此功能，请前往应用设置 (Cmd / Ctrl + ,) 并勾选“在登录时运行 LLM 服务器”的复选框。

undefined

启用 LLM 服务器在机器登录时启动

启用此设置后，退出应用程序将使其最小化到系统托盘，并且 LLM 服务器将继续在后台运行。

OpenAI 接口的即时 (JIT) 模型加载

当将 LM Studio 作为 LLM 服务与其他前端或应用程序一起使用时非常有用。

undefined

按需加载模型

当 JIT 加载开启时

  • 调用 /v1/models 将返回所有已下载的模型，而不仅仅是已加载到内存中的模型
  • 对推理接口的调用将在模型尚未加载时将其加载到内存中

当 JIT 加载关闭时

  • 调用 /v1/models 将仅返回已加载到内存中的模型
  • 您必须先将模型加载到内存中才能使用它
自动卸载呢？

截至 LM Studio 0.3.5 版本，自动卸载尚未实现。通过 JIT 加载的模型将一直保留在内存中，直到您卸载它们。我们希望在不久的将来实现更完善的内存管理。如果您有任何反馈或建议，请告诉我们。

自动服务器启动

您上次的服务器状态将被保存并在应用程序或服务启动时恢复。

要以编程方式实现此目的，您可以使用以下命令

lms server start
专业提示

如果您尚未执行此操作，请按照此处的说明在您的机器上引导启动 lms。

社区

在 LM Studio Discord 服务器上与其他 LM Studio 开发者聊天，讨论 LLM、硬件等。

请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。