推测性解码 | LM Studio 文档 - LM Studio 应用程序

推测性解码是一种可以显著提高大型语言模型 (LLMs) 生成速度的技术，且不降低响应质量。有关更多信息，请参阅推测性解码。

要在 lmstudio-js 中使用推测性解码，只需在执行预测时提供 draftModel 参数即可。您无需单独加载草稿模型。

import { LMStudioClient } from "@lmstudio/sdk";

const client = new LMStudioClient();

const mainModelKey = "qwen2.5-7b-instruct";
const draftModelKey = "qwen2.5-0.5b-instruct";

const model = await client.llm.model(mainModelKey);
const result = await model.respond("What are the prime numbers between 0 and 100?", {
  draftModel: draftModelKey,
});

const { content, stats } = result;
console.info(content);
console.info(`Accepted ${stats.acceptedDraftTokensCount}/${stats.predictedTokensCount} tokens`);