LM Studio 0.3.0
我们非常激动地宣布 LM Studio 0.3.0 终于发布了 🥳。
自诞生以来，LM Studio 将多种要素整合在一起，让您能在本地计算机上充分利用大语言模型（LLM）：
在本次更新中，我们基于过去一年运行本地大模型的经验，改进、深化并简化了上述多个方面。
您可以从 https://lm-studio.cn 下载适用于 Mac、Windows（x86 / ARM）或 Linux（x86）的 LM Studio。
LM Studio 0.3.0 内置了相关功能，允许您提供一组文档给大模型，并针对它们提问。如果文档足够短（即符合模型的“上下文”窗口大小），LM Studio 会将文件内容完整添加到对话中。这对于支持长上下文的模型（如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。
如果文档非常长，LM Studio 将选择使用“检索增强生成”（即 RAG）。RAG 意味着尝试从超长文档（或多个文档）中提取相关片段，并提供给模型作为参考。这种技术有时非常有效，但有时也需要进行一些调试和实验。
成功使用 RAG 的提示：在查询中尽可能提供详细的上下文。提及您希望在相关原始材料中出现的术语、观点和词汇。这通常会增加系统向大模型提供有用上下文的几率。一如既往，实验是找到最佳方案的最佳途径。
OpenAI 最近发布了一种基于 JSON-schema 的 API，可以实现可靠的 JSON 输出。LM Studio 0.3.0 支持在应用中运行的任何本地模型使用此功能！我们已经在应用内包含了相应的代码片段，请查看右侧面板上的开发者页面。
LM Studio 最初于 2024 年 5 月发布时采用了深色复古主题，甚至还加入了 Comic Sans 字体。标志性的深色主题广受欢迎，而 LM Studio 0.3.0 又引入了 3 个新主题：深色、浅色、棕褐色。选择“系统”即可根据您的系统深色模式设置自动切换。
有些人非常精通大模型加载和推理参数的细节。但我们中的许多人，理所当然地不想深究这些。 LM Studio 0.3.0 会根据您运行所用的硬件自动配置一切。如果您想亲自配置，LM Studio 0.3.0 也提供了更多自定义选项。
进阶提示：前往“我的模型”页面，点击每个模型旁边的齿轮图标。您可以设置每个模型的默认参数，这些参数将在应用内的任何地方生效。
如果您进入服务器页面，会看到一个新的开关，显示“在网络上提供服务”（Serve on Network）。打开此开关将允许服务器接收来自“localhost”之外的请求。这意味着您可以在网络上的其他设备中使用 LM Studio 服务器。结合同时加载和运行多个模型的能力，这开辟了许多新的应用场景。
如果您同时进行多个项目，这将非常有用。您甚至可以嵌套文件夹！
LM Studio 之前已有“重新生成”功能。现在点击“重新生成”将保留之前的消息生成结果，您可以使用熟悉的左右箭头界面轻松地在它们之间切换。
为了支持多版本生成等功能，我们在底层引入了新的数据结构。您可以通过进入“设置”并点击“迁移聊天记录”来迁移 0.3.0 之前的聊天。此操作将创建副本，不会删除任何旧文件。
json_schema 的类似 OpenAI 的结构化输出。