.act() 调用 | LM Studio 文档 - LM Studio 应用程序

LLM“使用工具”意味着什么？

LLM 基本上是文本输入，文本输出的程序。因此，您可能会问“LLM 如何使用工具？”。答案是，一些 LLM 经过训练，会要求人类为它们调用工具，并期望工具输出以某种格式返回。

想象一下，您正在通过电话为某人提供计算机支持。您可能会说“为我运行这个命令... 好的，它输出了什么？... 好的，现在点击那里，告诉我它说了什么...”。在这种情况下，您就是 LLM！而且您正在通过电话另一端的人“间接地调用工具”。

以“轮次”运行工具调用

我们引入执行“轮次”的概念来描述运行工具、将其输出提供给 LLM，然后等待 LLM 决定下一步操作的组合过程。

执行轮次

 • run a tool →
 ↑   • provide the result to the LLM →
 │       • wait for the LLM to generate a response
 │
 └────────────────────────────────────────┘ └➔ (return)

模型可能会选择多次运行工具，然后才返回最终结果。例如，如果 LLM 正在编写代码，它可能会选择编译或运行程序，修复错误，然后再次运行，反复重复直到获得所需的结果。

考虑到这一点，我们说 .act() API 是一个自动“多轮”工具调用 API。

快速示例

import lmstudio as lms

def multiply(a: float, b: float) → float:
    """Given two numbers a and b. Returns the product of them."""
    return a * b

model = lms.llm("qwen2.5-7b-instruct")
model.act(
  "What is the result of 12345 multiplied by 54321?",
  [multiply],
  on_message=print,
)

重要提示：模型选择

为工具使用选择的模型将极大地影响性能。

选择模型时的一些通用指南

并非所有模型都能够进行智能工具使用
越大越好（即，7B 参数模型通常比 3B 参数模型表现更好）
我们观察到 Qwen2.5-7B-Instruct 在各种情况下表现良好
此指南可能会更改

示例：多个工具

以下代码演示了如何在单个 .act() 调用中提供多个工具。

import math
import lmstudio as lms

def add(a: int, b: int) → int:
    """Given two numbers a and b, returns the sum of them."""
    return a + b

def is_prime(n: int) → bool:
    """Given a number n, returns True if n is a prime number."""
    if n < 2:
        return False
    sqrt = int(math.sqrt(n))
    for i in range(2, sqrt):
        if n % i == 0:
            return False
    return True

model = lms.llm("qwen2.5-7b-instruct")
model.act(
  "Is the result of 12345 + 45668 a prime? Think step by step.",
  [add, is_prime],
  on_message=print,
)

示例：带有创建文件工具的聊天循环

以下代码创建了一个与可以创建文件的 LLM 代理的对话循环。

import readline # Enables input line editing
from pathlib import Path

import lmstudio as lms

def create_file(name: str, content: str):
    """Create a file with the given name and content."""
    dest_path = Path(name)
    if dest_path.exists():
        return "Error: File already exists."
    try:
        dest_path.write_text(content, encoding="utf-8")
    except Exception as exc:
        return "Error: {exc!r}"
    return "File created."

def print_fragment(fragment, round_index=0):
    # .act() supplies the round index as the second parameter
    # Setting a default value means the callback is also
    # compatible with .complete() and .respond().
    print(fragment.content, end="", flush=True)

model = lms.llm()
chat = lms.Chat("You are a task focused AI assistant")

while True:
    try:
        user_input = input("You (leave blank to exit): ")
    except EOFError:
        print()
        break
    if not user_input:
        break
    chat.add_user_message(user_input)
    print("Bot: ", end="", flush=True)
    model.act(
        chat,
        [create_file],
        on_message=chat.append,
        on_prediction_fragment=print_fragment,
    )
    print()