LM Studio 0.3.0 | LM Studio 博客 - LM Studio 应用程序

我们非常激动地最终分享 LM Studio 0.3.0 🥳。

LM Studio 0.3.0 中浅色模式下的新聊天页面

LM Studio

自成立以来，LM Studio 将一些元素打包在一起，以便在您的计算机上运行时充分利用本地 LLM

一个完全离线运行且没有遥测功能的桌面应用程序
一个熟悉的聊天界面
搜索和下载功能 (通过 Hugging Face 🤗)
一个可以监听类似 OpenAI 端点的本地服务器
用于管理本地模型和配置的系统

通过一年多运行本地 LLM 的经验，在此次更新中，我们改进、深化和简化了许多这些方面。

从 https://lm-studio.cn 下载适用于 Mac、Windows (x86 / ARM) 或 Linux (x86) 的 LM Studio。

LM Studio 0.3.0 的新功能

与您的文档聊天

LM Studio 0.3.0 内置了向 LLM 提供一组文档并询问相关问题的内置功能。如果文档足够短（即，如果它适合模型的“上下文”），LM Studio 将完整地将文件内容添加到对话中。这对于支持长上下文的模型（如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。

如果文档非常长，LM Studio 将选择使用“检索增强生成”（Retrieval Augmented Generation），通常称为“RAG”。RAG 意味着尝试从非常长的文档（或多个文档）中找出相关的部分，并将它们提供给模型以供参考。这项技术有时效果非常好，但有时需要一些调整和实验。

成功 RAG 的提示：在您的查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、想法和词语。这通常会增加系统向 LLM 提供有用上下文的机会。与往常一样，实验是找到最佳方法的最佳途径。

类似 OpenAI 的结构化输出 API

OpenAI 最近宣布了一个基于 JSON 模式的 API，它可以产生可靠的 JSON 输出。LM Studio 0.3.0 支持这一点，任何可以在 LM Studio 中运行的本地模型都可以使用！我们在应用程序内部包含了一个代码片段，用于执行此操作。在“开发者”页面右侧窗格中查找它。

UI 主题

LM Studio 于 2024 年 5 月首次发布，采用深色复古主题，并 sprinkled 了 Comic Sans 以增加趣味性。OG 深色主题仍然很受欢迎，LM Studio 0.3.0 引入了 3 个附加主题：深色、浅色、棕褐色。选择“系统”可根据您系统的深色模式设置自动在深色和浅色之间切换。

自动加载参数，但也完全可自定义

我们中的一些人精通 LLM 加载和推理参数的细节。但我们中的许多人，可以理解，懒得去管。LM Studio 0.3.0 根据您运行它的硬件自动配置一切。如果您想打开引擎盖并自己配置，LM Studio 0.3.0 具有更多可自定义的选项。

专业提示：前往“我的模型”页面，查找每个模型旁边的齿轮图标。您可以设置每个模型的默认值，这些默认值将在应用程序中的任何位置使用。

在网络上服务

如果您前往服务器页面，您会看到一个新的切换开关，上面写着“在网络上服务”。打开此开关会将服务器开放给“localhost”以外的请求。这意味着您可以从网络上的其他设备使用 LM Studio 服务器。结合同时加载和服务多个 LLM 的能力，这开辟了许多新的用例。

文件夹用于组织聊天

如果您同时处理多个项目，这将非常有用。您甚至可以在文件夹内部嵌套文件夹！

每个聊天的多个生成结果

LM Studio 曾经有一段时间有一个“重新生成”功能。现在单击“重新生成”会保留以前的消息生成结果，您可以使用熟悉的向右/向左箭头界面轻松地在它们之间翻页。

如何将您的聊天从 LM Studio 0.2.31 迁移到 0.3.0

为了支持多版本重新生成等功能，我们在底层引入了一种新的数据结构。您可以通过转到“设置”并单击“迁移聊天”来迁移 0.3.0 之前的聊天。这将创建一个副本，并且不会删除任何旧文件。

完整更新列表

完全刷新的 UI

包括主题、拼写检查和更正。
构建于 lmstudio.js (TypeScript SDK) 之上。
新的聊天设置侧边栏设计。

基本 RAG（检索和生成）

将 PDF、.txt 文件或其他文件直接拖放到聊天窗口中。
RAG 的最大文件输入大小（PDF / .docx）增加到 30MB。
RAG 接受任何文件类型，但非 .pdf/.docx 文件将作为纯文本读取。

自动 GPU 检测 + 卸载

根据您机器的功能在 GPU 和 CPU 之间分配任务。
仍然可以手动覆盖。

浏览和下载“LM 运行时”

下载最新的 LLM 引擎（例如，llama.cpp），而无需更新整个应用程序。
可用选项：ROCm、仅 AVX，以及更多即将推出。

自动提示模板

LM Studio 从模型文件中读取元数据并自动应用提示格式。

新的开发者模式

查看模型加载日志，配置多个 LLM 以进行服务，并通过网络（而不仅仅是 localhost）共享 LLM。
支持类似 OpenAI 的结构化输出，使用 json_schema。

聊天文件夹组织

创建文件夹以组织聊天。

提示处理进度指示器

显示提示处理的进度百分比。

增强的模型加载器

在模型加载之前轻松配置加载参数（上下文、GPU 卸载）。
能够为给定模型文件的每个可配置参数设置默认值。
改进的模型加载器 UI，带有一个复选框来控制参数。

支持嵌入模型

加载和服务嵌入模型。
支持多个模型的并行化。

视觉模型

聊天和 API 中的图像附件

显示对话 Token 计数

显示当前 token 和总上下文。

提示模板自定义

能够覆盖提示模板。
编辑“Jinja”模板或手动提供前缀/后缀。
预构建的聊天模板（ChatML、Alpaca、空白等）。

对话管理

添加对话笔记。
在特定消息上克隆和分支聊天。

可自定义的聊天设置

选择聊天样式和字体大小。
记住每个模型加载时的设置。

初始翻译

支持西班牙语、德语、俄语、土耳其语、挪威语。
欢迎社区贡献缺失的字符串和新语言！
https://github.com/lmstudio-ai/localization

配置参数的字幕

每个配置参数的描述性字幕。