与文档聊天

你可以在 LM Studio 中将文档文件（.docx, .pdf, .txt）附加到聊天会话中。

这将为您通过应用程序聊天的大语言模型提供额外的上下文。

---

术语

• 检索 (Retrieval)：从长文档中识别相关部分
• 查询 (Query)：检索操作的输入内容
• RAG：检索增强生成 (Retrieval-Augmented Generation)*
• 上下文 (Context)：大语言模型的“工作记忆”。有最大长度限制

* 在此语境下，“生成”指的是大语言模型的输出。

上下文大小以“token”衡量。一个 token 通常约为 3/4 个单词。

RAG 与“完整文档置于上下文”的区别

如果文档足够短（即适合放入模型的上下文窗口中），LM Studio 会将完整的文件内容添加到对话中。这对于支持更长上下文的模型（如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。

如果文档非常长，LM Studio 将选择使用“检索增强生成”，通常简称为“RAG”。RAG 意味着尝试从极长的文档（或多个文档）中筛选出相关片段，并提供给模型作为参考。这种技术有时非常有效，但有时需要一些调整和实验。

RAG 成功的小贴士

请在查询中尽可能多地提供上下文信息。提及你认为出现在相关源材料中的术语、想法和词汇。这通常会增加系统向 LLM 提供有用上下文的机会。一如既往，实验是找到最有效方法的最佳途径。