rag-engineer

RAG Engineer - 检索增强生成系统架构专家

技能概述

RAG Engineer 是专门负责构建检索增强生成（RAG）系统的 AI 技能，精通向量嵌入、向量数据库、文档分块策略和检索优化，帮助开发者打造高质量的 LLM 文档问答应用。

适用场景

企业知识库问答系统：当需要将公司文档、手册、知识库转化为可对话的智能问答系统时，RAG Engineer 可以设计完整的检索管道，确保用户问题能精准匹配到相关文档片段。

长文档智能检索：面对大量技术文档、研究报告、合同文件等长文本内容时，RAG Engineer 提供语义分块、分层检索等策略，突破上下文窗口限制，实现高效精准的文档检索。

LLM 应用知识增强：当需要为 AI 应用提供外部知识支撑，减少模型幻觉，提高回答准确性和可信度时，RAG Engineer 可以设计混合搜索方案，结合语义和关键词检索的最优实践。

核心功能

智能文档分块与预处理

- 基于语义边界而非固定 token 数量的分块策略
- 保留文档结构（标题、段落）和上下文重叠
- 自动检测主题切换，确保分块内容语义完整
- 添加元数据支持，实现精确过滤

多层级检索管道设计

- 分层索引策略（段落、章节、文档多粒度）
- 粗筛+精馏两阶段检索流程
- 父子文档关系维护，兼顾精度与上下文
- 相关性阈值过滤，避免噪声上下文

混合搜索与优化

- BM25/TF-IDF 关键词匹配 + 向量语义检索融合
- Reciprocal Rank Fusion 分数合并策略
- 针对不同查询类型动态调整权重
- 检索结果重排序优化
- 独立的检索质量评估指标

常见问题

RAG 系统是什么？适合什么场景？

RAG（检索增强生成）系统是一种将信息检索与大语言模型结合的技术架构。它先从知识库中检索相关文档片段，再将这些内容作为上下文提供给 LLM 生成答案。RAG 特别适合需要基于特定文档回答问题的场景，如企业知识库问答、技术文档助手、合同审查等，相比纯模型生成能显著减少幻觉，提高答案准确性。

文档分块为什么重要？有什么最佳实践？

文档分块直接影响检索质量。固定大小分块会切断句子和语义边界，导致检索结果不完整。最佳实践是采用语义分块：按句子和段落边界分割，利用嵌入相似度检测主题变化，保留适当的上下文重叠，并添加元数据（如章节标题、文档类型）用于后续过滤。

如何提高 RAG 系统的检索准确率？

提高检索准确率需要多方面优化：1）采用混合搜索，结合语义和关键词检索；2）添加元数据预过滤，缩小检索范围；3）针对不同内容类型评估并选择合适的嵌入模型；4）实现分层检索，先粗筛后精炼；5）对检索结果进行重排序；6）使用相关性阈值过滤低质量结果；7）建立独立的检索评估指标，持续优化。