1. 实例化模型

首先，你需要加载一个模型来生成补全。这可以通过在 llm 句柄上使用 model 方法来完成。

index.ts

import { LMStudioClient } from "@lmstudio/sdk";

const client = new LMStudioClient();
const model = await client.llm.model("qwen2.5-7b-instruct");

2. 生成补全

一旦加载了模型，你可以通过将字符串传递给 llm 句柄上的 complete 方法来生成补全。

const completion = model.complete("My name is", {
  maxTokens: 100,
});

for await (const { content } of completion) {
  process.stdout.write(content);
}

console.info(); // Write a new line for cosmetic purposes

3. 打印预测统计信息

您还可以打印预测元数据，例如用于生成的模型、生成的标记数量、第一个标记的时间以及停止原因。

index.ts

console.info("Model used:", completion.modelInfo.displayName);
console.info("Predicted tokens:", completion.stats.predictedTokensCount);
console.info("Time to first token (seconds):", completion.stats.timeToFirstTokenSec);
console.info("Stop reason:", completion.stats.stopReason);

示例：让 LLM 模拟终端

以下是如何使用 complete 方法来模拟终端的示例。

terminal-sim.ts

import { LMStudioClient } from "@lmstudio/sdk";
import { createInterface } from "node:readline/promises";

const rl = createInterface({ input: process.stdin, output: process.stdout });
const client = new LMStudioClient();
const model = await client.llm.model();
let history = "";

while (true) {
  const command = await rl.question("$ ");
  history += "$ " + command + "\n";

  const prediction = model.complete(history, { stopStrings: ["$"] });
  for await (const { content } of prediction) {
    process.stdout.write(content);
  }
  process.stdout.write("\n");

  const { content } = await prediction.result();
  history += content;
}