← 返回博客

LM Studio 0.3.0

作者
LM Studio 团队

•

2024-08-22

我们非常激动地终于发布了 LM Studio 0.3.0 🥳。

LM Studio 0.3.0 chat screen

LM Studio 0.3.0 中浅色模式的新聊天页面

LM Studio

自推出以来，LM Studio 将以下几个要素整合在一起，以便您在计算机上运行本地 LLM 时能充分利用它们：

  • 一个完全离线运行且不收集任何遥测数据的桌面应用程序
  • 熟悉的聊天界面
  • 搜索和下载功能（通过 Hugging Face 🤗）
  • 一个可以监听类似 OpenAI 端点的本地服务器
  • 用于管理本地模型和配置的系统

通过一年多运行本地 LLM 所学到的经验，本次更新我们改进、深化并简化了许多这些方面。

从 https://lm-studio.cn 下载适用于 Mac、Windows (x86 / ARM) 或 Linux (x86) 的 LM Studio。

LM Studio 0.3.0 中的新功能

与您的文档聊天

LM Studio 0.3.0 附带内置功能，可向 LLM 提供一组文档并提问。如果文档足够短（即适合模型的“上下文”），LM Studio 将把文件内容完整添加到对话中。这对于支持长上下文的模型（如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。

如果文档非常长，LM Studio 将选择使用“检索增强生成”，通常称为“RAG”。RAG 意味着尝试从非常长的文档（或多个文档）中找出相关部分，并将其提供给模型作为参考。这项技术有时效果很好，但有时也需要一些调整和实验。

RAG 成功秘诀：在您的查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、想法和词汇。这通常会增加系统向 LLM 提供有用上下文的机会。一如既往，实验是找到最佳方法的不二法门。

类似 OpenAI 的结构化输出 API

OpenAI 最近发布了一个基于 JSON Schema 的 API，可以产生可靠的 JSON 输出。LM Studio 0.3.0 支持在 LM Studio 中运行的任何本地模型使用此功能！我们已在应用程序内部包含了实现此功能的代码片段。请在“开发者”页面的右侧窗格中查找。

UI 主题

LM Studio 于 2024 年 5 月首次发布，采用深色复古主题，并适度加入了 Comic Sans 字体。最初的深色主题依然受欢迎，LM Studio 0.3.0 新增了 3 种主题：深色、浅色、棕褐色。选择“系统”将根据您系统的深色模式设置在深色和浅色之间自动切换。

自动加载参数，同时具备完全可定制性

我们中的一些人对 LLM 加载和推理参数的细节了如指掌。但我们中的许多人，情有可原地，并不想去费心。LM Studio 0.3.0 会根据您运行的硬件自动配置一切。如果您想打开引擎盖并自行配置，LM Studio 0.3.0 提供了更多可定制的选项。

专业提示：前往“我的模型”页面，查找每个模型旁边的齿轮图标。您可以设置每个模型的默认值，这些默认值将在应用程序的任何地方使用。

在网络上提供服务

如果您前往服务器页面，您会看到一个名为“在网络上提供服务”的新开关。启用此功能将使服务器接受来自“localhost”之外的请求。这意味着您可以从网络上的其他设备使用 LM Studio 服务器。结合同时加载和提供多个 LLM 的能力，这开辟了许多新的用例。

用于组织聊天的文件夹

如果您同时处理多个项目，这将非常有用。您甚至可以在文件夹内嵌套文件夹！

每次聊天的多重生成

LM Studio 之前就有一个“重新生成”功能。现在，点击“重新生成”会保留之前的消息生成结果，您可以使用熟悉的左右箭头界面轻松地在它们之间翻页。

如何将您的聊天记录从 LM Studio 0.2.31 迁移到 0.3.0

为了支持多版本重新生成等功能，我们在底层引入了新的数据结构。您可以通过前往“设置”并点击“迁移聊天记录”来迁移您在 0.3.0 之前的聊天记录。这将创建一个副本，并且不会删除任何旧文件。

完整的更新列表

全面刷新的 UI

  • 包括主题、拼写检查和更正。
  • 基于 lmstudio.js (TypeScript SDK) 构建。
  • 新的聊天设置侧边栏设计。

基本 RAG（检索与生成）

  • 将 PDF、.txt 文件或其他文件直接拖放到聊天窗口中。
  • RAG（PDF / .docx）的最大文件输入大小增加到 30MB。
  • RAG 接受任何文件类型，但非 .pdf/.docx 文件将作为纯文本读取。

自动 GPU 检测 + 卸载

  • 根据您机器的性能在 GPU 和 CPU 之间分配任务。
  • 仍可手动覆盖。

浏览和下载“LM 运行时”

  • 无需更新整个应用程序即可下载最新的 LLM 引擎（例如 llama.cpp）。
  • 可用选项：ROCm、仅限 AVX，未来将有更多。

自动提示模板

  • LM Studio 从模型文件中读取元数据并自动应用提示格式。

新的开发者模式

  • 查看模型加载日志，配置多个 LLM 以供服务，并通过网络共享 LLM（不仅仅是本地主机）。
  • 支持使用 json_schema 的类似 OpenAI 的结构化输出。

聊天文件夹组织

  • 创建文件夹以组织聊天。

提示处理进度指示器

  • 显示提示处理的进度百分比。

增强的模型加载器

  • 在模型加载前轻松配置加载参数（上下文、GPU 卸载）。
  • 能够为给定模型的每个可配置参数设置默认值。
  • 改进的模型加载器 UI，带有用于控制参数的复选框。

支持嵌入模型

  • 加载并提供嵌入模型。
  • 支持多个模型的并行化。

支持视觉的模型

  • 聊天和 API 中的图像附件

显示对话令牌计数

  • 显示当前令牌和总上下文。

提示模板自定义

  • 能够覆盖提示模板。
  • 编辑“Jinja”模板或手动提供前缀/后缀。
  • 预设聊天模板（ChatML、Alpaca、空白等）。

对话管理

  • 添加对话备注。
  • 在特定消息上克隆和分支聊天。

可定制的聊天设置

  • 选择聊天风格和字体大小。
  • 加载时记住每个模型的设置。

初步翻译

配置参数的副标题

  • 每个配置参数的描述性副标题。

更多