← 返回博客

LM Studio 0.3.5

作者
LM Studio 团队

•

2024-10-22

LM Studio 0.3.5 引入了无头（headless）模式、按需模型加载，并更新了 mlx-engine 以支持 Pixtral（MistralAI 的视觉 LLM）。


👾 我们正在纽约招聘一名 TypeScript SDK 工程师，负责为端侧 AI 构建应用和 SDK。

获取最新版 LM Studio

  • macOS: 从这里下载 .dmg 文件。
  • Windows: 从这里下载 .exe 文件。
  • Linux: 从这里下载 .AppImage 文件。
将 LM Studio 作为您的本地 LLM 后台服务器

在此版本中，我们添加了一系列面向开发者的功能，旨在让您更轻松地将 LM Studio 作为后台 LLM 提供程序使用。我们实现了无头模式、按需模型加载、服务器自动启动，以及一个用于在终端下载模型的新 CLI 命令。这些功能对于驱动本地 Web 应用、代码编辑器或浏览器扩展等非常有用。

无头模式

通常，要使用 LM Studio 的功能，您必须保持应用程序打开。考虑到 LM Studio 的图形用户界面，这似乎理所当然。但对于某些开发者工作流（主要是那些将 LM Studio 仅用作服务器的工作流），保持应用程序运行会导致显存等资源的浪费。此外，每次重启后手动启动应用程序并开启服务器也很繁琐。现在不必了！隆重推出：无头模式 👻。

无头模式（或“本地 LLM 服务”）使您能够利用 LM Studio 的技术（补全、聊天补全、嵌入、通过 llama.cpp 或 Apple MLX 实现的结构化输出）作为驱动应用的本地服务器。

一旦开启“启用本地 LLM 服务”，LM Studio 的进程将在机器启动时在后台运行，而无需显示 GUI。

undefined

启用 LLM 服务器在机器登录时启动

最小化到托盘

要切换到在后台使用 LM Studio，您可以将其最小化到系统托盘。这会隐藏 Dock 图标并释放被图形用户界面占用的资源。

在 Windows 上最小化到托盘

undefined

设置 LM Studio 在 Windows 后台运行

在 Mac 上最小化到托盘

undefined

设置 LM Studio 在 macOS 后台运行

记住上次服务器状态

如果您开启服务器，下次启动应用程序时它会自动启动——无论是您手动启动还是以服务模式启动。关闭服务器时同样适用。

要确保服务器已开启，请运行以下命令

# Start the server
lms server start

相反，要确保服务器已关闭，请运行

# Stop the server
lms server stop

按需模型加载

v0.3.5 之前：如果您想通过 LM Studio 使用某个模型，必须先自己加载它：通过 UI 或 lms load（或通过 lmstudio-js）。

v0.3.5 之后：要使用模型，只需向其发送推理请求即可。如果模型尚未加载，它会在请求返回之前完成加载。这意味着第一次请求可能会花费几秒钟等待加载操作完成，但后续调用将一如既往地迅速。

结合按需加载与模型单独设置

在使用按需模型加载时，您可能想知道如何配置上下文长度、GPU 卸载比例、Flash Attention 等加载设置。这可以通过 LM Studio 的模型单独默认设置功能来解决。

使用模型单独设置，您可以预先确定软件在加载给定模型时默认使用的加载参数。

🛠️ API 变更：GET /v1/models 行为

不使用 JIT 加载（0.3.5 之前默认）：仅返回已加载至内存的模型

使用 JIT 加载：返回所有可以被加载的本地模型

如何开启 JIT 模型加载

如果您之前使用过 LM Studio，请在“开发者”选项卡中开启“即时（Just-In-Time）”模型加载开关。新安装的用户默认已开启此项。

undefined

按需加载模型

lms get

LM Studio 的 CLI lms 获得了一个新命令，允许您直接从终端下载模型。

当您安装新版本的 LM Studio 时，lms 会自动更新。

下载模型：lms get {author}/{repo}

要下载 Meta 的 Llama 3.2 1B，请运行

lms get bartowski/llama-3.2-1b-instruct-gguf

下载特定量化版本

我们引入了以下表示量化的符号：@{quantization}

获取 q4_k_m 量化版

lms get lmstudio-community/llama-3.2-1b-instruct-gguf@q4_k_m

获取 q8_0 量化版

lms get lmstudio-community/llama-3.2-1b-instruct-gguf@q8_0

提供显式的 huggingface.co URL

您可以提供显式的 Hugging Face URL 来下载特定模型

lms get https://hugging-face.cn/lmstudio-community/granite-3.0-2b-instruct-GGUF

量化符号在这里同样适用！

lms get https://hugging-face.cn/lmstudio-community/granite-3.0-2b-instruct-GGUF@q8_0

这将下载该模型的 q8_0 量化版。

Apple MLX 支持 Pixtral

在 LM Studio 0.3.4 中，我们引入了对 Apple MLX 的支持。点击这里阅读详情。在 0.3.5 中，我们更新了底层的 MLX 引擎（它是开源的）并增加了对 MistralAI 的 Pixtral 的支持！

这是通过采用 Blaizzy/mlx-vlm 版本 0.0.15 实现的。

您可以通过模型搜索（⌘ + ⇧ + M）下载 Pixtral，或使用 lms get 如下所示

lms get mlx-community/pixtral-12b-4bit

如果您的 Mac 拥有 16GB 以上内存（建议 32GB+），快来体验一下吧。

Bug 修复

LM Studio 0.3.5 - 完整更新日志

  • 以服务模式运行 LM Studio（无头模式）
    • lms load、lms server start 不再需要启动 GUI
    • 支持开机自启
  • 服务器启动/停止按钮将记住上次设置
    • 这在 LM Studio 作为服务运行时非常有用
  • 改进模型搜索
    • Hugging Face 搜索现在自动进行，无需 Cmd / Ctrl + Enter
  • 为 OpenAI 端点提供即时（JIT）模型加载
  • 切换“任务控制”全屏/模态模式的按钮
  • 更新基于 llama.cpp 的 JSON 响应生成；现在支持更复杂的 JSON 模式
  • 托盘菜单选项：最小化到托盘、复制服务器基础 URL
  • Linux 安装过程中添加了将 lms 加入 PATH 的复选框
  • [Mac][MLX 视觉] 将 mlx-vlm 版本升至 0.0.15，支持 Qwen2VL
  • [Mac][MLX 引擎] 将 Transformers 更新至 4.45.0
  • [UI] 将聊天外观控制移至顶部栏
  • [UI] 微调了每条消息操作按钮的大小
  • 本地化

更多内容