以服务 (headless) 模式运行 LM Studio

高级

从 v0.3.5 版本开始，LM Studio 可以作为服务在没有 GUI 的情况下运行。这对于在服务器上或本地机器后台运行 LM Studio 非常有用。

以服务模式运行 LM Studio

以服务模式运行 LM Studio 包含几个旨在提高 LM Studio 作为开发者工具使用效率的新功能。

• 无需 GUI 运行 LM Studio 的能力
• 在机器登录时以 headless 模式启动 LM Studio LLM 服务器的能力
• 按需模型加载

在机器登录时运行 LLM 服务

要启用此功能，请前往应用设置 (Cmd / Ctrl + ,) 并选中复选框以在登录时运行 LLM 服务器。

启用 LLM 服务器在机器登录时启动

启用此设置后，退出应用会将其最小化到系统托盘，并且 LLM 服务器将继续在后台运行。

OpenAI 接口的即时 (JIT) 模型加载

当将 LM Studio 作为 LLM 服务与其他前端或应用程序一起使用时非常有用。

按需加载模型

当 JIT 加载开启时

• 调用 /v1/models 将返回所有已下载的模型，而不仅仅是已加载到内存中的模型
• 对推理接口的调用会将模型加载到内存中（如果尚未加载）

当 JIT 加载关闭时

• 调用 /v1/models 将仅返回已加载到内存中的模型
• 您必须先将模型加载到内存中才能使用它

自动卸载呢？

截至 LM Studio 0.3.5 版本，自动卸载尚未实现。通过 JIT 加载加载的模型将保留在内存中，直到您卸载它们。我们希望在不久的将来实现更完善的内存管理。如果您有任何反馈或建议，请告诉我们。

自动服务器启动

您上次的服务器状态将被保存并在应用或服务启动时恢复。

要以编程方式实现此目的，您可以使用以下命令

lms server start

社区

在 LM Studio Discord 服务器上与其他 LM Studio 开发者聊天，讨论 LLM、硬件等。

请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。