lms load | LM Studio 文档 - LM Studio 应用程序

lms load 命令将模型加载到内存中。您可以选择设置上下文长度、GPU 卸载和 TTL 等参数。

参数

[path] （可选） : 字符串

要加载的模型路径。如果未提供，将提示您选择一个

--ttl （可选） : 数字

如果提供，当模型在此秒数内未使用时，它将被卸载

--gpu （可选） : 字符串

卸载到 GPU 的量。值：0-1，off，max

--context-length （可选） : 数字

生成文本时作为上下文考虑的 token 数量

--identifier （可选） : 字符串

为已加载模型分配的标识符，用于 API 引用

加载模型

通过运行以下命令将模型加载到内存中

lms load <model_key>

您可以通过首先运行 lms ls 来列出本地下载的模型，从而找到 model_key。

设置自定义标识符

您可以选择为已加载模型分配自定义标识符，用于 API 引用

lms load <model_key> --identifier "my-custom-identifier"

然后，您将能够通过标识符 my_model 在后续命令和 API 调用中引用此模型（model 参数）。

设置上下文长度

您可以在加载模型时使用 --context-length 标志设置上下文长度

lms load <model_key> --context-length 4096

这决定了模型在生成文本时将考虑多少个 token 作为上下文。

设置 GPU 卸载

使用 --gpu 标志控制 GPU 内存使用

lms load <model_key> --gpu 0.5    # Offload 50% of layers to GPU
lms load <model_key> --gpu max    # Offload all layers to GPU
lms load <model_key> --gpu off    # Disable GPU offloading

如果未指定，LM Studio 将自动确定最佳 GPU 使用率。

设置 TTL

使用 --ttl 标志设置自动卸载计时器（以秒为单位）

lms load <model_key> --ttl 3600   # Unload after 1 hour of inactivity

在远程 LM Studio 实例上操作

lms load 支持 --host 标志以连接到远程 LM Studio 实例。

lms load <model_key> --host <host>

为此，远程 LM Studio 实例必须正在运行并可从本地机器访问，例如，在同一子网中可访问。