Ollama与GraphRAG的本地部署实战指南

随着人工智能技术的不断发展，知识图谱作为一种有效的知识表示和组织方式，越来越受到广泛关注。而GraphRAG作为微软开源的一款强大的知识图谱构建工具，更是备受瞩目。然而，GraphRAG原生支持OpenAI的闭源大模型，使得其使用范围受到一定限制。为了打破这一束缚，本文将引导读者通过Ollama实现GraphRAG的本地部署，从而拓展其应用场景。

一、Ollama的安装与配置

首先，我们需要安装Ollama，这是一款强大的本地大模型管理工具。在Terminal中输入安装命令，并验证安装是否成功。详细教程可参考Ollama官方文档。

二、GraphRAG的本地部署准备

在Ollama安装完成后，我们需要进行一系列操作来准备GraphRAG的本地部署环境。包括创建conda环境、克隆仓库下载项目文件、安装graphrag包等。这些步骤都是为了确保GraphRAG能够在我们的本地环境中顺利运行。

三、选择并安装本地模型

为了让GraphRAG在本地发挥更大的作用，我们需要选择合适的LLM（Large Language Model）和Embedding模型进行部署。本文推荐的LLM模型为mistral，而Embedding模型则选用nomic-embed-text。这两个模型都可以通过Ollama进行安装和管理。

四、配置GraphRAG以支持本地模型

在模型和依赖安装完成后，我们需要对GraphRAG进行配置，使其能够支持我们刚刚安装的本地模型。具体做法包括修改settings.yaml文件，将其中的llm和embeddings部分配置为我们安装的本地模型。此外，还需要根据实际情况调整其他相关配置，如api_base、max_tokens等。

五、运行GraphRAG并构建知识图谱索引

配置完成后，我们就可以开始运行GraphRAG并构建知识图谱索引了。首先，需要准备一份数据放在指定的/ragtest/input目录下。然后，运行初始化命令来生成必要的文件和文件夹。最后，通过运行索引命令来构建知识图谱索引。这一过程可能需要一定的时间，具体取决于数据量和模型复杂度。

六、查询与验证

当知识图谱索引构建完成后，我们就可以通过查询命令来验证其效果了。GraphRAG支持全局和局部两种查询方式，可根据实际需求进行选择。查询结果将以文本形式返回，方便我们进行查看和分析。

七、总结与展望

通过本文的实战指南，读者已经成功实现了Ollama与GraphRAG的本地部署，并能够构建和查询自己的知识图谱了。未来，随着技术的不断进步和开源生态的日益丰富，我们相信这一领域将会有更多创新和应用的涌现。

附录：文中提到的代码和命令示例（供参考）

1. 安装Ollama的命令：curl -fsSL https://ollama.com/install.sh | sh
2. 创建和激活conda环境的命令：conda create -n graphrag-ollama-local python=3.10 && conda activate graphrag-ollama-local
3. 克隆仓库和安装graphrag包的命令：git clone https://github.com/TheAiSingularity/graphrag-local-ollama.git && cd graphrag-local-ollama/ && pip install -e .
4. 安装mistral和nomic-embed-text模型的命令：ollama pull mistral && ollama pull nomic-embed-text
5. 修改settings.yaml文件以支持本地模型的示例（部分）：llm: api_key: ${GRAPHRAG_API_KEY} type: openai_chat model: mistral ... embeddings: llm: api_key: ${GRAPHRAG_API_KEY} type: openai_embedding model: nomic-embed-text ...
6. 运行初始化、构建索引和查询的命令示例：python -m graphrag.index --init --root ./ragtest && python -m graphrag.index --root ./ragtest && python -m graphrag.query --root ./ragtest --method global "What is machine learning?"

注意：以上命令和代码示例仅供参考，具体使用时请根据实际情况进行调整。