文档

核心

使用 LM Link

通过 LM Link 使用 REST API 访问远程设备的模型

概述

使用 LM Link,您可以像在本地加载模型一样,使用同一网络下远程设备上加载的模型。这可以扩展到 REST API 和 SDK:您的笔记本电脑可以向 localhost 发送请求,并由网络中强大的远程机器来处理。

localhost 的请求依然照常工作。LM Studio 会在内部调用远程设备上的模型,就像它是在本地加载的一样。对于出现在多台设备上的模型,REST API 将使用首选设备上的模型。

undefined

序列图:通过 LM Link 路由到远程设备的 REST API 请求

首选设备设置是针对单机的。链上的每台设备独立控制其首选的远程机器。有关详细信息,请参阅如何设置首选设备

像往常一样使用 REST API

像在本地一样直接使用 REST API。有关使用详情,请参阅 REST API 文档

如果您遇到问题,欢迎加入我们的 Discord

此页面的源代码可在 GitHub 上获取