文档

lms load 参考

lms load 命令将模型加载到内存中。您可以选择性地设置参数，例如上下文长度、GPU 卸载和 TTL。

参数

[path] (可选) : string

要加载的模型的路径。如果未提供，系统将提示您选择一个

--ttl (可选) : number

如果提供，当模型在此秒数内未使用时，它将被卸载

--gpu (可选) : string

要卸载到 GPU 的量。取值范围：0-1、off、max

--context-length (可选) : number

生成文本时要视为上下文的令牌数量

--identifier (可选) : string

要分配给加载模型的标识符，用于 API 引用

加载模型

通过运行以下命令将模型加载到内存中

lms load <model_key>

您可以通过首先运行 lms ls 列出本地下载的模型，从而找到 model_key。

设置自定义标识符

可选地，您可以为加载的模型分配自定义标识符，用于 API 引用

lms load <model_key> --identifier "my-custom-identifier"

然后，您将能够在后续命令和 API 调用（model 参数）中通过标识符 my_model 引用此模型。

设置上下文长度

您可以使用 --context-length 标志在加载模型时设置上下文长度

lms load <model_key> --context-length 4096

这决定了模型在生成文本时将考虑作为上下文的令牌数量。

设置 GPU 卸载

使用 --gpu 标志控制 GPU 内存使用量

lms load <model_key> --gpu 0.5    # Offload 50% of layers to GPU
lms load <model_key> --gpu max    # Offload all layers to GPU
lms load <model_key> --gpu off    # Disable GPU offloading

如果未指定，LM Studio 将自动确定最佳 GPU 使用量。

设置 TTL

使用 --ttl 标志（以秒为单位）设置自动卸载计时器

lms load <model_key> --ttl 3600   # Unload after 1 hour of inactivity

在远程 LM Studio 实例上操作

lms load 支持 --host 标志以连接到远程 LM Studio 实例。

lms load <model_key> --host <host>

为了使此功能正常工作，远程 LM Studio 实例必须正在运行，并且可以从您的本地计算机访问，例如，可以在同一子网上访问。