lmstudio-js (TypeScript SDK)

SDK 为您提供了一套编程工具，用于与 LLM、嵌入模型和代理流程进行交互。

安装 SDK

lmstudio-js 可作为 npm 包使用。您可以使用 npm、yarn 或 pnpm 安装它。

npm install @lmstudio/sdk --save

有关源代码和开源贡献，请访问 GitHub 上的 lmstudio.js。

功能

• 使用 LLM 在聊天中回复 或预测 文本补全
• 将函数定义为工具，并将 LLM 转化为完全本地运行的 自主代理
• 从内存中加载、配置 和 卸载 模型
• 支持浏览器和任何 Node 兼容环境
• 生成文本嵌入等！

快速示例：与 Llama 模型聊天

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

获取本地模型

上述代码需要 Llama 3.2 1B 模型。如果您没有该模型，请在终端中运行以下命令进行下载。

lms get llama-3.2-1b-instruct

阅读更多关于 LM Studio 的 CLI lms get 此处。