发行说明
0.3.2 新特性
- 新增：恢复了将模型固定到顶部的功能！
- 在“我的模型”中右键单击模型，然后选择“固定到顶部”即可将其固定到列表顶部。
- 聊天迁移对话框现在显示在聊天侧边栏中。
- 您可以从此处迁移 0.3.0 之前的版本的聊天记录。
- 从 v0.3.1 开始，系统提示也迁移了。
- 您的旧聊天记录不会被删除。
- 如果没有下载，则不要在下载按钮上显示带有数字的徽章。
- 添加了一个按钮，用于折叠“发现”选项卡中的常见问题解答侧边栏。
- 为了缓解内存不足的问题，将默认上下文大小从 8K 令牌减少到 4K 令牌。
- 您仍然可以在模型加载设置中配置任何想要使用的上下文大小。
- 在模型加载设置中，Flash Attention 旁边添加了警告。
- Flash Attention 处于实验阶段，可能不适用于所有模型。
- 将捆绑的
llama.cpp引擎更新到3246fe84d78c8ccccd4291132809236ef477e9ea (8月27日)
错误修复
- 错误修复：当您有多部分模型文件时，“我的模型”模型大小汇总不正确。
- 错误修复：（Linux）由于缺少捆绑的嵌入模型，RAG 会失败（已修复）。
- 错误修复：Flash Attention - KV 缓存量化默认恢复为 FP16。
- 在 0.3.0 中，K 和 V 均设置为 Q8，这在某些情况下会导致较大的延迟。
- 当 FA 启用时，您可能会注意到内存消耗增加，与 0.3.1 相比，但与 0.2.31 相当。
- 错误修复：在某些设置下，应用程序会在启动时挂起（修复 + 缓解）。
- 错误修复：修复了下载面板被拖到应用程序顶部栏上的问题。
- 错误修复：修复了内置代码片段（服务器选项卡）中的错别字。
更多内容