文档

入门指南

使用 LLM 进行预测

Agentic 流程

文本嵌入

分词

管理模型

模型信息

工具定义

你可以将工具定义为常规的 Python 函数，并在 act() 调用中将其传递给模型。或者，可以使用 lmstudio.ToolFunctionDef 定义工具，以便控制传递给语言模型的名称和描述。

工具的剖析

按照以下示例之一将函数定义为工具（第一种方法通常是最方便的）

# Type hinted functions with clear names and docstrings
# may be used directly as tool definitions
def add(a: int, b: int) → int:
    """Given two numbers a and b, returns the sum of them."""
    # The SDK ensures arguments are coerced to their specified types
    return a + b

# Pass `add` directly to `act()` as a tool definition

重要提示：工具名称、描述和参数定义都将传递给模型！

这意味着你的措辞会影响生成的质量。请务必提供清晰的工具描述，以便模型知道如何使用它。

SDK 尚未自动将引发的异常转换为文本并报告给语言模型，但对于工具实现这样做可能是有益的。在许多情况下，当收到错误通知时，语言模型能够调整其请求以避免失败。

具有外部效果的工具（如计算机使用或 API 调用）

工具也可以具有外部效果，例如创建文件或调用程序甚至 API。通过实现具有外部效果的工具，你基本上可以将 LLM 变成可以在本地机器上执行任务的自主代理。

示例：create_file_tool

工具定义

from pathlib import Path

def create_file(name: str, content: str):
    """Create a file with the given name and content."""
    dest_path = Path(name)
    if dest_path.exists():
        return "Error: File already exists."
    try:
        dest_path.write_text(content, encoding="utf-8")
    except Exception as exc:
        return "Error: {exc!r}"
    return "File created."

使用 create_file 工具的示例代码：

import lmstudio as lms
from create_file_tool import create_file

model = lms.llm("qwen2.5-7b-instruct")
model.act(
  "Please create a file named output.txt with your understanding of the meaning of life.",
  [create_file],
)