发布说明
0.3.2 版本的新功能
- 新增：模型置顶功能回归！
- 在“我的模型”中右键单击模型，然后选择“置顶”将其置于列表顶部。
- 聊天迁移对话框现在出现在聊天侧边栏中。
- 您可以从那里迁移 pre-0.3.0 版本之前的聊天记录。
- 从 v0.3.1 版本开始，系统提示也已迁移。
- 您的旧聊天记录不会被删除。
- 如果没有下载，则不在下载按钮上显示带数字的徽章
- 在“发现”选项卡中添加了一个按钮，用于折叠 FAQ 侧边栏
- 将默认上下文大小从 8K tokens 减少到 4K tokens，以缓解内存不足问题
- 您仍然可以在模型加载设置中配置任何您想要的上下文大小
- 在模型加载设置中的 Flash Attention 旁边添加了警告
- Flash Attention 是一项实验性功能，可能不适用于所有模型
- 将捆绑的
llama.cpp 引擎更新至 3246fe84d78c8ccccd4291132809236ef477e9ea (8 月 27 日)
错误修复
- 错误修复：当您拥有多部分模型文件时，“我的模型”的模型大小聚合不正确
- 错误修复：（Linux）RAG 会因缺少捆绑的嵌入模型而失败（已修复）
- 错误修复：Flash Attention - KV 缓存量化默认恢复为 FP16
- 在 0.3.0 版本中，K 和 V 都被设置为 Q8，这在某些情况下引入了较大的延迟
- 您可能会注意到，与 0.3.1 版本相比，当 FA 开启时内存消耗有所增加，但与 0.2.31 版本持平
- 错误修复：在某些设置下，应用程序会在启动时挂起（修复 + 缓解措施）
- 错误修复：修复了下载面板被拖到应用程序顶部栏之上的问题
- 错误修复：修复了内置代码片段中的拼写错误（服务器选项卡）
更多