lmstudio-python 为您提供了一组 API，用于与 LLM、嵌入模型和 Agentic Flows 交互。

安装 SDK

lmstudio-python 可作为 PyPI 包使用。您可以使用 pip 安装它。

pip install lmstudio

有关源代码和开源贡献，请访问 GitHub 上的 lmstudio-python。

功能特性

• 使用 LLM 在聊天中回复或预测文本补全
• 将函数定义为工具，并将 LLM 转变为完全本地运行的自主代理
• 加载、配置和卸载内存中的模型
• 生成文本嵌入，以及更多功能！

快速示例：与 Llama 模型聊天

import lmstudio as lms

model = lms.llm("llama-3.2-1b-instruct")
result = model.respond("What is the meaning of life?")

print(result)

获取本地模型

以上代码需要 Llama 3.2 1B 模型。如果您没有该模型，请在终端中运行以下命令进行下载。

lms get llama-3.2-1b-instruct

阅读更多关于 LM Studio CLI 中 lms get 的信息，请点击这里。

交互式便捷还是确定性资源管理？

如上例所示，使用 LM Studio Python SDK 有两种不同的方法。

第一种是交互式便捷 API（在示例中列为“Python (便捷 API)”），它侧重于使用默认的 LM Studio 客户端实例，以便在 Python 提示符下或使用 Jupyter Notebook 时进行便捷交互。

第二种是作用域资源 API（在示例中列为“Python (作用域资源 API)”），它使用上下文管理器来确保确定性地释放已分配的资源（例如网络连接），而不是可能保持打开状态直到整个进程终止。