← 返回博客

LM Studio 0.3.0

•

2024-08-22

我们非常激动地终于分享 LM Studio 0.3.0 🥳。

LM Studio 0.3.0 chat screen

LM Studio 0.3.0 中浅色模式下的新聊天页面

LM Studio

自成立以来，LM Studio 将一些元素整合在一起，以便在您在电脑上运行本地大型语言模型 (LLM) 时充分利用它们。

  • 一个完全离线运行且没有遥测的桌面应用程序
  • 熟悉的聊天界面
  • 搜索和下载功能（通过 Hugging Face 🤗）
  • 可以监听类似 OpenAI 端点的本地服务器
  • 用于管理本地模型和配置的系统

通过一年多运行本地大型语言模型的经验，我们在这个更新中改进了、深化并简化了这些方面的许多内容。

从 https://lm-studio.cn 下载适用于 Mac、Windows（x86/ARM）或 Linux（x86）的 LM Studio。

LM Studio 0.3.0 的新增功能

与您的文档聊天

LM Studio 0.3.0 具有内置功能，可以向大型语言模型提供一组文档并提出相关问题。如果文档足够短（即适合模型的“上下文”），LM Studio 将完整地将文件内容添加到对话中。这对于支持长上下文的模型（例如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。

如果文档很长，LM Studio 将选择使用“检索增强生成”（通常称为“RAG”）。RAG 意味着尝试从很长的文档（或多个文档）中提取相关部分，并将其提供给模型作为参考。这项技术有时非常有效，但有时需要一些调整和实验。

**成功使用 RAG 的技巧：**在您的查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、想法和单词。这通常会增加系统向大型语言模型提供有用上下文的可能性。与以往一样，实验是找到最佳方法的最佳途径。

类似 OpenAI 的结构化输出 API

OpenAI 最近宣布了一个基于 JSON 架构的 API，可以生成可靠的 JSON 输出。LM Studio 0.3.0 支持在 LM Studio 中运行的任何本地模型！我们已在应用程序内包含了执行此操作的代码片段。在右侧面板的“开发者”页面中查找它。

UI 主题

LM Studio 于 2024 年 5 月首次发布，采用深色复古主题，并添加了 Comic Sans 字体。原始深色主题一直很受欢迎，LM Studio 0.3.0 引入了 3 个额外的主题：深色、浅色、棕褐色。选择“系统”将根据您系统的深色模式设置自动在深色和浅色之间切换。

自动加载参数，但也完全可自定义

我们中的一些人精通大型语言模型加载和推理参数的细节。但许多人，可以理解的是，不想费这个劲。**LM Studio 0.3.0 基于您运行它的硬件自动配置所有内容。**如果您想打开引擎盖并自行配置，LM Studio 0.3.0 提供了更多可自定义的选项。

专业提示：转到“我的模型”页面，查找每个模型旁边的齿轮图标。您可以设置将在应用程序中任何位置使用的每个模型的默认设置。

在网络上提供服务

如果您转到服务器页面，您将看到一个新的切换按钮，上面写着“在网络上提供服务”。启用此选项将使服务器对“localhost”之外的请求开放。这意味着您可以从网络上的其他设备使用 LM Studio 服务器。结合同时加载和提供多个大型语言模型的能力，这开辟了许多新的用例。

用于组织聊天的文件夹

如果您同时处理多个项目，此功能非常有用。您甚至可以将文件夹嵌套在文件夹中！

每次聊天的多次生成

LM Studio 一直都有“重新生成”功能。现在，点击“重新生成”会保留之前的消息生成，您可以使用熟悉的左右箭头界面轻松地在它们之间切换。

如何将您的聊天记录从 LM Studio 0.2.31 迁移到 0.3.0

为了支持多版本重新生成等功能，我们在后台引入了一种新的数据结构。您可以通过转到“设置”并点击“迁移聊天记录”来迁移您 0.3.0 之前的聊天记录。这将创建一个副本，不会删除任何旧文件。

完整更新列表

完全更新的UI

  • 包括主题、拼写检查和更正。
  • 基于lmstudio.js（TypeScript SDK）构建。
  • 新的聊天设置侧边栏设计。

基本RAG（检索与生成）

  • 直接将PDF、.txt文件或其他文件拖放到聊天窗口中。
  • RAG最大文件输入大小（PDF/.docx）增加到30MB。
  • RAG接受任何文件类型，但非.pdf/.docx文件将被读取为纯文本。

自动GPU检测和卸载

  • 根据您机器的功能在GPU和CPU之间分配任务。
  • 仍然可以手动覆盖。

浏览和下载“LM运行时”

  • 下载最新的LLM引擎（例如，llama.cpp），无需更新整个应用程序。
  • 可用选项：ROCm、仅AVX，更多选项即将推出。

自动提示模板

  • LM Studio读取模型文件中的元数据并自动应用提示格式。

新的开发者模式

  • 查看模型加载日志，配置多个LLM以进行服务，并通过网络共享LLM（不仅仅是localhost）。
  • 使用json_schema支持类似OpenAI的结构化输出。

聊天文件夹组织

  • 创建文件夹以组织聊天。

提示处理进度指示器

  • 显示提示处理的进度%。

增强的模型加载器

  • 在模型加载之前轻松配置加载参数（上下文、GPU卸载）。
  • 能够为给定模型文件的每个可配置参数设置默认值。
  • 改进的模型加载器UI，带有用于控制参数的复选框。

支持嵌入模型

  • 加载和服务嵌入模型。
  • 支持多个模型的并行化。

支持视觉模型

  • 聊天和API中的图像附件。

显示会话标记计数

  • 显示当前标记和总上下文。

提示模板自定义

  • 能够覆盖提示模板。
  • 编辑“Jinja”模板或手动提供前缀/后缀。
  • 预构建的聊天模板（ChatML、Alpaca、空白等）。

会话管理

  • 添加会话笔记。
  • 克隆并在特定消息上分支聊天。

可自定义的聊天设置

  • 选择聊天样式和字体大小。
  • 加载时记住每个模型的设置。

初始翻译

配置参数字幕

  • 每个配置参数的描述性字幕。

更多内容