← 返回博客

LM Studio 0.3.5

作者
LM Studio 团队

•

2024-10-22

LM Studio 0.3.5 引入了无头模式、按需模型加载，并更新了 mlx-engine 以支持 Pixtral (MistralAI 的视觉增强型 LLM)。


👾 我们正在纽约招聘一名 TypeScript SDK 工程师，以构建设备端 AI 应用程序和 SDK

获取最新版 LM Studio

  • macOS: 从 此处 下载 .dmg 文件。
  • Windows: 从 此处 下载 .exe 文件。
  • Linux: 从 此处 下载 .AppImage 文件。
将 LM Studio 用作您的本地 LLM 后台服务器

在此版本中，我们添加了一系列面向开发者的功能，旨在让您更轻松地将 LM Studio 用作后台 LLM 提供程序。我们实现了无头模式、按需模型加载、服务器自动启动以及一个用于从终端下载模型的新 CLI 命令。这些功能对于为本地 Web 应用程序、代码编辑器或 Web 浏览器扩展等提供支持非常有用。

无头模式

通常，要使用 LM Studio 的功能，您必须保持应用程序打开。考虑到 LM Studio 的图形用户界面，这听起来很明显。但对于某些开发者工作流程，主要是那些仅将 LM Studio 用作服务器的工作流程，保持应用程序运行会导致不必要的资源消耗，例如显存。此外，在重启后记住启动应用程序并手动启用服务器也很麻烦。现在不会了！欢迎使用：无头模式 👻。

无头模式，或“本地 LLM 服务”，使您能够利用 LM Studio 的技术（通过 llama.cpp 或 Apple MLX 进行的补全、聊天补全、嵌入、结构化输出）作为本地服务器为您的应用程序提供支持。

一旦您开启“启用本地 LLM 服务”，LM Studio 的进程将在机器启动时在没有 GUI 的情况下运行。

undefined

启用 LLM 服务器在机器登录时启动

最小化到托盘

要将 LM Studio 切换到后台运行，您可以将其最小化到系统托盘。这将隐藏 Dock 图标并释放图形用户界面占用的资源。

Windows 上最小化到托盘

undefined

在 Windows 上将 LM Studio 发送到后台运行

Mac 上最小化到托盘

undefined

在 macOS 上将 LM Studio 发送到后台运行

记住上次服务器状态

如果您开启服务器，它将在应用程序下次启动时自动启动——无论是您手动启动，还是在服务模式下随系统启动。关闭服务器也是如此。

要确保服务器开启，请运行以下命令

# Start the server
lms server start

相反，要确保服务器关闭，请运行

# Stop the server
lms server stop

按需模型加载

v0.3.5 之前: 如果您想通过 LM Studio 使用某个模型，您必须首先自行加载它：无论是通过 UI 还是通过 lms load (或通过 lmstudio-js)。

v0.3.5 之后: 要使用模型，只需向其发送推理请求即可。如果模型尚未加载，它将在您的请求返回之前加载。这意味着第一个请求可能需要几秒钟才能完成加载操作，但后续调用将像往常一样快速。

将按需加载与每个模型设置结合使用

使用按需模型加载时，您可能想知道如何配置加载设置，例如上下文长度、GPU 卸载百分比、Flash Attention 等。这可以通过 LM Studio 的每个模型默认设置功能来解决。

使用每个模型设置，您可以预先确定软件在加载给定模型时将默认使用的加载参数。

🛠️ API 变更：GET /v1/models 行为

不带 JIT 加载 (0.3.5 之前默认)：仅返回**已加载**到内存中的模型

带 JIT 加载：返回所有可加载的本地模型

如何开启 JIT 模型加载

如果您以前使用过 LM Studio，可以通过在“开发者”选项卡中切换此开关来开启即时模型加载。新安装默认启用此功能。

undefined

按需加载模型

lms get

LM Studio 的命令行工具 lms 获得了一个新命令，使您能够直接从终端下载模型。

当您安装新版 LM Studio 时，lms 会自动更新。

下载模型：lms get {author}/{repo}

要下载 Meta 的 Llama 3.2 1B，请运行

lms get bartowski/llama-3.2-1b-instruct-gguf

下载特定量化模型

我们引入以下符号来表示量化：@{quantization}

获取 q4_k_m 量化模型

lms get lmstudio-community/llama-3.2-1b-instruct-gguf@q4_k_m

获取 q8_0 量化模型

lms get lmstudio-community/llama-3.2-1b-instruct-gguf@q8_0

提供明确的 huggingface.co URL

您可以提供明确的 Hugging Face URL 来下载特定模型

lms get https://hugging-face.cn/lmstudio-community/granite-3.0-2b-instruct-GGUF

量化符号在此处也适用！

lms get https://hugging-face.cn/lmstudio-community/granite-3.0-2b-instruct-GGUF@q8_0

这将下载该模型的 q8_0 量化版本。

支持 Apple MLX 的 Pixtral

在 LM Studio 0.3.4 中，我们引入了对 Apple MLX 的支持。在此处阅读相关内容。在 0.3.5 中，我们更新了底层 MLX 引擎（它是开源的）并添加了对 MistralAI 的 Pixtral 的支持！

这得益于采用了 Blaizzy/mlx-vlm 的 0.0.15 版本。

您可以通过模型搜索（⌘ + ⇧ + M）或使用 lms get 来下载 Pixtral，如下所示

lms get mlx-community/pixtral-12b-4bit

如果您的 Mac 拥有 16GB+ 内存，最好是 32GB+，不妨一试。

Bug 修复

LM Studio 0.3.5 - 完整更新日志

  • 以服务形式运行 LM Studio（无头模式）
    • lms load、lms server start 不再需要启动 GUI
    • 能够在机器启动时运行
  • 服务器启动/停止按钮将记住上次设置
    • 这在 LM Studio 作为服务运行时非常有用
  • 模型搜索改进
    • Hugging Face 搜索现在无需 Cmd / Ctrl + Enter 即可自动进行
  • 适用于 OpenAI 端点的即时模型加载
  • 用于切换 Mission Control 全屏/模态模式的按钮
  • 更新了基于 llama.cpp 的 JSON 响应生成；现在支持更复杂的 JSON 模式
  • 托盘菜单选项，用于最小化应用程序到托盘、复制服务器基础 URL
  • Linux 入门过程中将 lms 添加到 PATH 的复选框
  • [Mac][MLX Vision] 将 mlx-vlm 版本提升至 0.0.15，支持 Qwen2VL
  • [Mac][MLX 引擎] Transformers 更新至 4.45.0
  • [UI] 将聊天外观控件移动到顶部栏
  • [UI] 调整了每条消息操作按钮的大小
  • 本地化

更多内容