⁣
📰 Meta如何给RAG做Context Engineering，让模型上下文增加16倍 - 53AI-AI知识库|大模型知识库|大模型训练|智能体开发

上下文工程近年来备受关注，Meta超级智能实验室发布的论文集中探讨了模型上下文智能压缩的核心问题。长上下文不仅导致内存成本增加，还使得模型生成时间显著延长。为了解决这些问题，Meta团队提出了REFRAG框架，通过智能压缩来保留核心内容，显著提高处理效率，在保持性能的同时实现了30.85倍的加速和16倍的上下文处理扩展。

REFRAG的核心流程包括上下文分块与压缩、选择性扩展与自回归保留，以及高效推理与上下文扩展。通过将长文档切分为固定大小的块，使用轻量级编码器进行嵌入，再通过RL策略动态决定哪些块需要保留原始token，实现了信息完整性与处理效率的平衡。该方法在多轮对话和Web级检索等场景中表现尤为出色。

该方案在多个主流数据集上进行了验证，证明了其在效率提升、上下文扩展和场景适配等方面的显著优势。应用场景包括增强版RAG、多轮对话和长文档摘要，特别在知识密集型任务中，REFRAG的表现优于传统模型，能够更好地处理复杂的信息检索和对话场景。未来，围绕上下文管理的研究将继续深入，期待更多创新成果。

🏷️ #上下文工程 #智能压缩 #REFRAG #多轮对话 #高效检索

🔗 原文链接