文档

本地运行 LLM

预设

API

用户界面

高级

离线操作

通常情况下,LM Studio 的运行不需要互联网连接。这包括与模型聊天、与文档聊天或运行本地服务器等核心功能,所有这些都不需要互联网。

不需要连接的操作

使用已下载的 LLM

一旦您将 LLM 下载到您的机器上,模型将在本地运行,您可以完全离线使用。您在使用 LM Studio 与 LLM 聊天时输入的任何内容都不会离开您的设备。

与文档聊天(RAG)

当您将文档拖放到 LM Studio 中进行聊天或执行 RAG 时,该文档会保留在您的机器上。所有文档处理都在本地完成,您上传到 LM Studio 的任何内容都不会离开应用程序。

运行本地服务器

LM Studio 可用作服务器,在本地主机或本地网络上提供 LLM 推理。发送到 LM Studio 的请求使用 OpenAI 端点并返回类似 OpenAI 的响应对象,但它们都保留在本地。

需要连接的操作

下面描述的几项操作依赖于互联网连接。一旦您将 LLM 下载到您的机器上,您就可以完全离线使用。

搜索模型

当您在“发现”选项卡中搜索模型时,LM Studio 会发出网络请求(例如,向 huggingface.co)。如果没有互联网连接,搜索将无法进行。

下载新模型

为了下载模型,您需要稳定(且速度足够快)的互联网连接。您也可以“旁加载”模型(使用从应用程序外部获取的模型)。请参阅旁加载模型的说明。

“发现”选项卡中的模型目录

任何版本的 LM Studio 都内置了一个初始模型目录。目录中的条目通常是我们发布时在线目录的状态。然而,为了显示每个模型的统计数据和下载选项,我们需要发出网络请求(例如,向 huggingface.co)。

下载运行时

LM 运行时是独立打包的软件库或 LLM 引擎,允许运行特定格式的模型(例如 llama.cpp)。截至 LM Studio 0.3.0 版本(请阅读公告),无需完整的 LM Studio 更新即可轻松下载甚至热插拔运行时。要检查可用运行时并下载它们,我们需要发出网络请求。

检查应用更新

在 macOS 和 Windows 上,LM Studio 内置了一个功能强大的应用更新器。Linux 应用内更新器正在开发中。当您打开 LM Studio 时,应用更新器会发出网络请求,检查是否有新的更新可用。如果有新版本,应用程序会向您显示通知,提示您立即更新或稍后更新。如果没有互联网连接,您将无法通过应用内更新器更新应用程序。