通过 GraphRAG 构建索引数据后，把图数据存储在Parquet文件，在 GraphRAG 执行query时，是使用Python的Pandas库从Parquet文件中读取数据，并将结果存储在一个Pandas DataFrame对象中，然后进行一些数据处理查询。

疑问：GraphRAG构建的图谱是什么样子的？质量如何？检索效果不好时，该从哪个角度分析数据进而完善图数据？那么可视化是最直观、最简便的方案了，今天我们一起看一下GraphRAG可视化方案的最佳实践。

• 了解DataFrame数据结构
• 一、快速搭建一个Neo4j图数据库
• 二、文件格式转换：批量Parquet转CSV
• 三、Neo4j Cypher语句批量导入CSV
• 3.3.1 Node节点导入
• 3.3.2 Relationship关系导入
• 3.1 CSV文件准备
• 3.2 访问Neo4j可视化UI
• 3.3 使用Cypher命令行方式批量导入CSV

了解DataFrame数据结构

DataFrame是Pandas中最常用的数据结构之一，它可以存储不同类型的数据（整数、浮点数、字符串等），并且每列可以有不同的数据类型。DataFrame具有许多内置方法，使得数据处理和分析变得简单直观。

Pandas DataFrame 主要特点：

• 索引：DataFrame具有行索引和列索引，可以轻松地按标签进行选择和操作；
• 列名：每列都有一个名字，可以通过列名访问数据；
• 数据类型：每列可以有不同的数据类型；
• 灵活的数据操作：提供了丰富的数据操作方法，如选择、切片、过滤、聚合等。

一、快速搭建一个Neo4j图数据库

version: "3.0"
services:
  neo4j:
    image: "neo4j:4.4.4-community"
    restart: always
    ports:
      - "7474:7474"
      - "7687:7687"
    volumes:
      - ./data/neo4j:/data
      - ./logs:/var/lib/neo4j/logs
      - ./import:/var/lib/neo4j/import
    environment:
      - NEO4J_AUTH=neo4j/123456

二、文件格式转换：批量parquet转csv

# pip install pandas pyarrow
import os
import pandas as pd

def process_parquet_files(path):
    for root, dirs, files in os.walk(path):
        for file in files:
            if file.endswith('.parquet'):
                file_path = os.path.join(root, file)
                df = pd.read_parquet(file_path)
                print(f"Processing file: {file_path}")
                out_path = os.path.join(root, '../csv', str(file).replace('parquet', 'csv'))
                df.to_csv(out_path, index=False)

path = './graphrag/ragtest/output/20240910-120001/artifacts'
process_parquet_files(path)

三、Neo4j cypher语句批量导入csv

3.1 CSV文件准备

• 确保CSV文件的格式正确，每一列对应一个属性
• 准备节点关系的CSV文件
• CSV文件应该有一个头行，用来指定每个字段对应的属性名
• 将文件放到 Neo4j 子目录 import 下即可

3.2 访问 Neo4j 可视化UI

• http://localhost:7474/browser/
• 用户名/密码：neo4j/123456

3.3 使用Cypher命令行方式批量导入CSV

3.3.1 Node节点导入

LOAD CSV WITH HEADERS FROM 'file:///create_final_entities.csv' AS row
CREATE (n:PERSON)
SET 
    n.id = row.id,
    n.name = row.name,
    n.type = row.type,
    n.description = row.description,
    n.humanReadableId = row.human_readable_id;

3.3.2 Relationship关系导入

LOAD CSV WITH HEADERS FROM 'file:///create_final_relationships.csv' AS row
MATCH (s:PERSON { name: toString(row.source) })
MATCH (t:PERSON { name: toString(row.target) }) 
CREATE (t)-[r:REL]->(s)
SET 
    r.weight = row.weight, 
    r.description = row.description,
    r.textUnitIds = split(row.text_unit_ids, ','), 
    r.id = row.id,
    r.humanReadableId = row.human_readable_id,
    r.sourceDegree = toInteger(row.source_degree), 
    r.targetDegree = toInteger(row.target_degree), 
    r.rank = toInteger(row.rank);

注意事项：

如果使用Cypher导入，请确保Neo4j服务正在运行，并且你有足够的权限执行这些操作。

考虑到性能问题，对于非常大的数据集，推荐使用neo4j-admin import工具。

确保Neo4j服务未运行或者处于离线模式，因为neo4j-admin import会在执行过程中锁定数据库。

欢迎点赞关注我，获取更多关于 AI 的前沿资讯。别忘了将今天的内容分享给你的朋友们，让我们一起见证 AI 技术的飞跃！