文档

开始使用

使用大型语言模型进行预测

代理流程

文本嵌入

分词

模型信息

列出已加载的模型

您可以使用下方所示的函数和方法,迭代遍历加载到内存中的模型。

结果是完整的 SDK 模型句柄,允许访问所有模型功能。

列出当前加载到内存中的模型

这会提供与在命令行接口中使用 lms ps 等效的结果。

import lmstudio as lms

all_loaded_models = lms.list_loaded_models()
llm_only = lms.list_loaded_models("llm")
embedding_only = lms.list_loaded_models("embedding")

print(all_loaded_models)