Mutable.ai通过生成每个代码库的"语言地图"维基超越向量RAG

Mutable.ai希望为开发者提供一个真正理解其代码的聊天。天真的方法——将仓库接入大型语言模型——在两个硬性限制上失败了：上下文窗口对大多数代码库来说太小，以及模型立即回答而不是逐步推理。他们的第一次尝试，一个基于关键词检索和向量嵌入的代码库聊天，以更具启发性的方式失败了：即使在团队训练了自己的嵌入模型后，像"如何量化llama.cpp"这样的问题会返回由错误上下文构建的答案，通常来自测试文件。

创造性的举动是停止检索，先写下代码库。自动维基为每个仓库生成维基百科风格的文章，并附有图表和指向底层代码的引用。然后聊天通过这些引用进行检索——读取相关的维基章节以及它们引用的实际代码——创始人称之为代码库的"语言地图"。答案从错误转变为准确、全面且引用充分，因为模型接收了语言和结构，而不是向量空间中恰好相邻的片段。

2024年7月18日的Show HN线程读起来像是这个想法时代到来的地图。评论者将其与Aider的AST驱动仓库地图进行比较，后者在不使用代码RAG的情况下取得了SWE-bench第二高分；一位咨询师描述了为客户进行的几乎相同的"知识地图"工作；其他人将其框架为图RAG。创始人在线程中回应，为评论中提到的开源仓库提供免费处理，并指向一个日益增长的生成维基列表——包括llama.cpp、Terraform、go-ethereum、NVIDIA TensorRT、langchain和VS Code。