发布说明
0.3.2 版本新功能
- 新功能：模型置顶功能回归！
- 在“我的模型”中右键点击一个模型并选择“置顶”以将其置顶。
- 聊天迁移对话框现在显示在聊天侧边栏中。
- 您可以从那里迁移 0.3.0 之前版本的聊天记录。
- 自 v0.3.1 起，系统提示也已迁移。
- 您的旧聊天记录不会被删除。
- 如果没有下载，下载按钮上不显示带数字的徽章
- 在“发现”选项卡中添加了一个按钮来折叠 FAQ 侧边栏
- 默认上下文大小从 8K 令牌减少到 4K 令牌，以缓解内存不足问题
- 您仍然可以在模型加载设置中配置所需的任何上下文大小
- 在模型加载设置中 Flash Attention 旁边添加了警告
- Flash Attention 处于实验阶段，可能不适用于所有模型
- 捆绑的
llama.cpp 引擎已更新到 3246fe84d78c8ccccd4291132809236ef477e9ea (8 月 27 日)
错误修复
- 错误修复：当您拥有多部分模型文件时，“我的模型”中的模型大小汇总不正确
- 错误修复：（Linux）由于缺少捆绑的嵌入模型，RAG 会失败（已修复）
- 错误修复：Flash Attention - KV 缓存量化默认恢复为 FP16
- 在 0.3.0 版本中，K 和 V 都设置为 Q8，这在某些情况下会导致大量延迟
- 与 0.3.1 相比，当 FA 开启时，您可能会注意到内存消耗增加，但与 0.2.31 持平
- 错误修复：在某些设置上，应用程序会在启动时挂起（修复 + 缓解）
- 错误修复：修复了下载面板被拖到应用程序顶部栏的问题
- 错误修复：修复了内置代码片段中的拼写错误（服务器选项卡）
更多