入门

与文档聊天

您可以在 LM Studio 的聊天会话中附加文档文件（.docx、.pdf、.txt）。

这将为通过应用程序与您聊天的 LLM 提供额外上下文。

---

术语

• 检索：从长篇源文档中识别相关部分
• 查询：检索操作的输入
• RAG：检索增强生成*
• 上下文：LLM 的“工作记忆”。具有最大大小

* 在此上下文中，“生成”指 LLM 的输出。

上下文大小以“标记”（tokens）衡量。一个标记通常大约是 3/4 个单词。

RAG 与完整文档“在上下文中”

如果文档足够短（即，如果它适合模型的上下文），LM Studio 将会把文件内容完整地添加到对话中。这对于支持更长上下文大小的模型特别有用，例如 Meta 的 Llama 3.1 和 Mistral Nemo。

如果文档非常长，LM Studio 将选择使用“检索增强生成”，通常称为“RAG”。RAG 意味着尝试从非常长的文档（或几个文档）中找出相关部分，并将其提供给模型进行参考。这种技术有时效果非常好，但有时需要一些调整和实验。

RAG 成功秘诀

在查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、思想和词语。这通常会增加系统向 LLM 提供有用上下文的机会。一如既往，实验是找到最佳方法的最佳途径。