您可以自定义模型的推理时参数和加载时参数。推理参数可以基于每个请求进行设置，而加载参数在加载模型时设置。

推理参数

设置推理时参数，例如 temperature、maxTokens、topP 等。

const prediction = model.respond(chat, {
  temperature: 0.6,
  maxTokens: 50,
});

查看 LLMPredictionConfigInput 以了解所有可配置字段。

另一个有用的推理时配置参数是 structured，它允许您使用 JSON 或 zod schema 严格强制执行输出的结构。

加载参数

设置加载时参数，例如上下文长度、GPU 卸载比例等。

使用 .model() 设置加载参数

.model() 用于获取已加载模型的句柄，或根据需求加载新模型（即时加载 JIT）。

注意：如果模型已经加载，则配置将被忽略。

const model = await client.llm.model("qwen2.5-7b-instruct", {
  config: {
    contextLength: 8192,
    gpu: {
      ratio: 0.5,
    },
  },
});

查看 LLMLoadModelConfig 以了解所有可配置字段。

使用 .load() 设置加载参数

.load() 方法创建一个新的模型实例并使用指定的配置加载它。

const model = await client.llm.load("qwen2.5-7b-instruct", {
  config: {
    contextLength: 8192,
    gpu: {
      ratio: 0.5,
    },
  },
});

查看 LLMLoadModelConfig 以了解所有可配置字段。