← 返回博客

LM Studio 0.3.2

作者
LM Studio 团队

•

2024-08-27

发布说明

0.3.2 版本新增功能

  • 新增：模型置顶功能回归！
    • 在“我的模型”中右键单击一个模型，然后选择“置顶”即可将其置于列表顶部。
  • 聊天迁移对话框现在显示在聊天侧边栏中。
    • 您可以从那里迁移 0.3.0 版本之前的聊天记录。
    • 自 v0.3.1 起，系统提示也已迁移。
    • 您的旧聊天记录不会被删除。
  • 如果没有下载任务，下载按钮上不显示带数字的徽章
  • 在“发现”选项卡中添加了一个按钮，用于折叠常见问题侧边栏
  • 默认上下文大小从 8K 令牌减少到 4K 令牌，以缓解内存不足问题
    • 您仍然可以在模型加载设置中配置所需的任何上下文大小
  • 在模型加载设置中的 Flash Attention 旁边添加了一个警告
    • Flash Attention 处于实验阶段，可能不适用于所有模型
  • 更新了捆绑的 llama.cpp 引擎到 3246fe84d78c8ccccd4291132809236ef477e9ea（8 月 27 日）

错误修复

  • 错误修复：当您拥有多部分模型文件时，“我的模型”模型大小聚合不正确
  • 错误修复：（Linux）RAG 因缺少捆绑的嵌入模型而失败（已修复）
  • 错误修复：Flash Attention - KV 缓存量化默认恢复为 FP16
    • 在 0.3.0 中，K 和 V 都设置为 Q8，这在某些情况下会导致大量延迟
      • 您可能会注意到，当 FA 开启时，与 0.3.1 相比内存消耗有所增加，但与 0.2.31 相当
  • 错误修复：在某些设置中，应用程序会在启动时挂起（修复 + 缓解）
  • 错误修复：修复了下载面板被拖到应用程序顶部栏上的问题
  • 错误修复：修复了内置代码片段（服务器选项卡）中的拼写错误

更多