lmstudio-js (TypeScript SDK)

该 SDK 为您提供了一组编程工具，用于与 LLM、嵌入模型和 agentic flows 进行交互。

安装 SDK

lmstudio-js 可以作为 npm 包使用。您可以使用 npm、yarn 或 pnpm 安装它。

npm install @lmstudio/sdk --save

有关源代码和开源贡献，请访问 GitHub 上的 lmstudio.js。

功能

• 使用 LLM 在 聊天中回复 或预测 文本补全
• 将函数定义为工具，并将 LLM 变成完全本地运行的自主代理
• 加载、配置 和 卸载 内存中的模型
• 支持浏览器和任何 Node 兼容环境
• 生成文本嵌入等等！

快速示例：与 Llama 模型聊天

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

获取本地模型

上述代码需要 Llama 3.2 1B 模型。如果您没有该模型，请在终端中运行以下命令来下载它。

lms get llama-3.2-1b-instruct

在 LM Studio 的 CLI 中了解更多关于 lms get 的信息，请点击此处。