文档

与文档聊天

您可以将文档文件（.docx、.pdf、.txt）附加到 LM Studio 中的聊天会话。

这将为您通过应用程序聊天的LLM提供额外的上下文。

术语

  • 检索：识别长源文档中的相关部分
  • 查询：检索操作的输入
  • RAG：检索增强生成*
  • 上下文：LLM的“工作记忆”。通常限制在几千字**
* 在此上下文中，“生成”指的是LLM的输出。
** 较新的LLM的一个最新趋势是支持更大的上下文大小。
上下文大小以“token”（标记）衡量。一个token通常约等于四分之三个单词。

RAG 与完整文档“上下文内”

如果文档足够短（即，如果它符合模型的上下文长度），LM Studio 将把文件内容完整地添加到对话中。这对于支持较长上下文大小的模型（例如 Meta 的 Llama 3.1 和 Mistral Nemo）特别有用。

如果文档非常长，LM Studio 将选择使用“检索增强生成”，通常称为“RAG”。RAG 意味着尝试从非常长的文档（或多个文档）中提取相关部分，并将其提供给模型以供参考。这种技术有时效果非常好，但有时需要一些调整和实验。

RAG 成功秘诀

在您的查询中提供尽可能多的上下文。提及您期望在相关源材料中出现的术语、思想和词语。这通常会增加系统为LLM提供有用上下文的机会。一如既往，实验是找到最佳方法的途径。