与文档对话

您可以在 LM Studio 的聊天会话中附加文档文件（.docx、.pdf、.txt）。

这将为通过该应用与您对话的 LLM 提供额外的上下文。

---

术语

• 检索：识别长源文档的相关部分
• 查询：检索操作的输入
• RAG：检索增强生成*
• 上下文：LLM 的“工作记忆”。通常限制在几千个单词**

* 在此上下文中，“生成”是指 LLM 的输出。

** 更新的 LLM 的最新趋势是支持更大的上下文大小。

上下文大小以“tokens”（令牌）衡量。一个令牌通常约为 3/4 个单词。

RAG 与完整文档“在上下文中”

如果文档足够短（即，如果它适合模型的上下文），LM Studio 将完整地将文件内容添加到对话中。这对于支持更长上下文大小的模型尤其有用，例如 Meta 的 Llama 3.1 和 Mistral Nemo。

如果文档非常长，LM Studio 将选择使用“检索增强生成”，通常称为“RAG”。RAG 意味着尝试从非常长的文档（或多个文档）中找出相关的部分，并将它们提供给模型以供参考。这种技术有时效果非常好，但有时需要一些调整和实验。

成功 RAG 的提示

在您的查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、想法和词语。这通常会增加系统为 LLM 提供有用上下文的机会。与往常一样，实验是找到最佳方法的最佳途径。