文档

lms load 参考

lms load 命令将模型加载到内存中。您可以选择设置参数，例如上下文长度、GPU 卸载和 TTL。

参数

[path] (可选) : 字符串

要加载模型的路径。如果未提供，系统将提示您选择一个

--ttl (可选) : 数字

如果提供，当模型在此秒数内未使用时，它将被卸载

--gpu (可选) : 字符串

卸载到 GPU 的程度。值：0-1, off, max

--context-length (可选) : 数字

生成文本时，作为上下文考虑的 token 数量

--identifier (可选) : 字符串

为加载的模型分配的用于 API 引用的标识符

加载模型

通过运行以下命令将模型加载到内存中

lms load <model_key>

您可以通过首先运行 lms ls 来查找 model_key，以列出本地下载的模型。

设置自定义标识符

您可以选择为加载的模型分配一个自定义标识符以供 API 引用

lms load <model_key> --identifier "my-custom-identifier"

然后，您就可以在后续命令和 API 调用（model 参数）中通过标识符 my_model 引用此模型。

设置上下文长度

您可以使用 --context-length 标志在加载模型时设置上下文长度

lms load <model_key> --context-length 4096

这决定了模型在生成文本时将多少 token 视为上下文。

设置 GPU 卸载

使用 --gpu 标志控制 GPU 内存使用

lms load <model_key> --gpu 0.5    # Offload 50% of layers to GPU
lms load <model_key> --gpu max    # Offload all layers to GPU
lms load <model_key> --gpu off    # Disable GPU offloading

如果未指定，LM Studio 将自动确定最佳 GPU 使用方式。

设置 TTL

使用 --ttl 标志设置自动卸载计时器（单位：秒）

lms load <model_key> --ttl 3600   # Unload after 1 hour of inactivity

在远程 LM Studio 实例上操作

lms load 支持 --host 标志以连接到远程 LM Studio 实例。

lms load <model_key> --host <host>

为了使其工作，远程 LM Studio 实例必须正在运行并可从您的本地机器访问，例如在同一子网上可访问。