文档
将 LM Studio 作为服务运行(无头模式)
高级
从 v0.3.5 版本开始,LM Studio 可以作为无 GUI 服务运行。这对于在服务器上或在本地机器后台运行 LM Studio 非常有用。
将 LM Studio 作为服务运行包含多项新功能,旨在提高 LM Studio 作为开发者工具的使用效率。
要启用此功能,请前往应用设置(Cmd
/ Ctrl
+ ,
),并勾选“登录时运行 LLM 服务器”复选框。
启用 LLM 服务器在机器登录时启动
启用此设置后,退出应用程序会将其最小化到系统托盘,并且 LLM 服务器将在后台继续运行。
当 LM Studio 作为 LLM 服务与其他前端或应用程序配合使用时非常有用。
按需加载模型
/v1/models
将返回所有已下载的模型,而不仅仅是已加载到内存中的模型/v1/models
将仅返回已加载到内存中的模型截至 LM Studio 0.3.5 版本,自动卸载功能尚未实现。通过 JIT 加载的模型将保留在内存中,直到您手动卸载它们。我们预计在不久的将来实现更复杂的内存管理。如果您有任何反馈或建议,请告诉我们。
您的上一个服务器状态将在应用程序或服务启动时保存并恢复。
要以编程方式实现此功能,您可以使用以下命令
lms server start
如果您尚未操作,请按照此处的说明在您的机器上引导 lms
。
在LM Studio Discord 服务器上与其他 LM Studio 开发者聊天,讨论 LLM、硬件等。
请在 lmstudio-bug-tracker GitHub 仓库中报告错误和问题。
本页内容
将 LM Studio 作为服务运行
在机器登录时运行 LLM 服务
针对 OpenAI 端点的即时 (JIT) 模型加载
- 当 JIT 加载开启时
- 当 JIT 加载关闭时
自动服务器启动
社区