GraphRAG 요약에서 소수 의견이 사라지는 이유: 커뮤니티와 근거 확인

[인덱싱 타임]
Source Docs
  → Text Chunks (600 token, 100 overlap)
  → Entities & Relationships (LLM 추출)
  → Knowledge Graph (노드=엔티티, 엣지=관계)
  → Graph Communities (Leiden 알고리즘)
  → Community Summaries (계층적 LLM 요약)

[쿼리 타임]
Query
  → Map: 각 Community Summary → 부분 답변 + 유용도 점수(0-100)
  → Filter: 점수 0 제거
  → Reduce: 점수 내림차순 정렬 → 8k 컨텍스트 윈도우 채우기 → 최종 답변

입력: 텍스트 청크
처리:
  1. LLM 프롬프트 → (엔티티명, 타입, 설명) 리스트 추출
  2. Self-reflection 루프:
     - "더 추출할 엔티티 있나?" → YES/NO (logit bias로 강제)
     - YES면 continuation 프롬프트로 추가 추출
     - max_gleaning 횟수 도달 시 종료
  3. (소스, 타겟, 관계설명, 강도) 리스트 추출
출력: 엔티티 목록, 관계 목록

주의사항:
  - 동일 엔티티 중복 처리: exact string matching (기본) 또는 임베딩 유사도
  - 엣지 중복 → 가중치로 집계 (출현 빈도는 반복 정도이지 사실의 신뢰도 보증이 아님)

입력: 전체 엔티티/관계 목록
처리:
  1. 엔티티 → 노드 (중복 통합, 설명 집계)
  2. 관계 → 엣지 (가중치 = 중복 수)
  3. Leiden 알고리즘 적용:
     - resolution parameter로 커뮤니티 크기 조정
     - 재귀적으로 각 커뮤니티 내부를 다시 Leiden 적용
     - leaf 조건: 더 이상 분할 불가 (노드 수 임계값)
출력: 계층 트리 구조의 커뮤니티 할당

입력: 커뮤니티별 노드/엣지/클레임 목록
처리 (Bottom-Up):
  리프 레벨:
    - 엣지 degree 내림차순 정렬
    - (소스노드, 타겟노드, 엣지, 클레임) 순으로 컨텍스트 채우기
    - 8k 토큰 한계까지 추가 후 LLM 요약
  
  상위 레벨:
    - 하위 요약 토큰 수 기준 내림차순 정렬
    - 컨텍스트 오버플로우 시 엘리먼트 → 서브커뮤니티 요약으로 대체
    - LLM 요약 (JSON 형식: title, summary, rating, findings)

출력: 각 커뮤니티별 구조화된 요약 JSON

입력: 사용자 질문, 선택된 커뮤니티 레벨 (C0~C3)
처리:
  MAP 단계 (병렬):
    - 커뮤니티 요약들을 셔플 후 8k 청크로 분할
    - 각 청크에 대해 LLM → (부분답변, helpfulness 점수 0-100)
    - 점수 0 필터링

  REDUCE 단계:
    - 부분답변을 helpfulness 점수 내림차순 정렬
    - 8k 컨텍스트에 순서대로 채우기
    - 최종 LLM 합성 → 글로벌 답변

출력: 최종 답변 (마크다운 형식)

저장소 선택:
  - 그래프 DB: Neo4j (프로덕션) / NetworkX (프로토타입)
  - 벡터 DB: 로컬 검색용 (하이브리드 방식 시)
  - 요약 캐시: Redis (쿼리 타임 커뮤니티 요약 재사용)

LLM 호출 최적화:
  - 엔티티 추출: 병렬 청크 처리 (rate limit 주의)
  - 커뮤니티 요약: 리프부터 bottom-up, 병렬 가능
  - MAP 단계: 완전 병렬 처리 가능 (핵심 성능 포인트)

비용 추정 (논문 기준):
  - Podcast 약 1M 토큰, GPT-4-turbo·600-token 창에서 인덱싱 281분
    (16GB RAM VM, Xeon Platinum 8171M, API 2M TPM·10k RPM 조건)
  - C0 쿼리: TS 대비 97% 이상 컨텍스트 토큰 절감 보고
    토큰 감소가 응답 지연이나 대화형 UX를 직접 보장하지는 않음

현재: Global(커뮤니티 요약) vs Local(Vector RAG) 이분법

개선안: 질문 유형 자동 분류 → 라우팅
  - 전역 질문 → GraphRAG (레벨은 코퍼스·평가 기준별로 선택)
  - 로컬 질문 → Vector RAG
  - 혼합 질문 → 커뮤니티 요약 + 관련 청크 동시 활용
    (논문의 "hybrid RAG schemes" 제안과 일치)

현재: 모든 커뮤니티 요약을 인덱싱 타임에 사전 생성 (고정 비용)

개선안: 
  - 쿼리와 관련 높은 커뮤니티만 실시간 요약 생성
  - "Roll-up" 방식: 하위 → 상위 방향으로 필요한 만큼만 집계
  - "Drill-down" 방식: 상위 요약의 정보 단서 따라 하위 탐색
  → 사전 생성 범위를 줄이고 쿼리에 맞춰 요약 범위를 조정

현재: exact string matching → "Apple Inc.", "Apple", "애플" 별도 노드

개선안:
  1. 임베딩 클러스터링으로 후보 동일 엔티티 그룹 생성
  2. LLM에게 "이 엔티티들이 동일한가?" 확인
  3. 확인된 것만 병합 → False Positive 방지
  → 그래프 품질 향상 → 커뮤니티 구조 개선

현재: 단일 커뮤니티 레벨 선택 (C0~C3 중 하나)

개선안: 여러 레벨 동시 활용
  - C0 (전역 맥락) + C2 (중간 상세도) 혼합
  - 각 레벨별 부분 답변 생성 후 메타-리듀서로 최종 합성
  → 커버리지와 상세도 동시 확보

논문에서 다룬 정적 인덱싱을 갱신하는 경우의 설계 과제
(현재 GraphRAG 구현 전체가 증분 갱신을 지원하지 않는다는 뜻은 아님)

개선안:
  - 새 청크 → 엔티티 추출 → 기존 그래프에 merge
  - 영향받은 커뮤니티만 재탐지 (delta 커뮤니티 업데이트)
  - 변경된 커뮤니티 요약만 재생성
  → 실시간/준실시간 코퍼스 업데이트 지원

현재 한계:
  - LLM-as-a-Judge의 stochasticity → 5회 반복 평균으로 완화했지만 근본 해결 아님
  - 두 LLM이 같은 편향을 공유할 경우 체계적 오류 가능

개선안:
  1. 인간 평가 서브셋으로 LLM 평가 보정 (calibration)
  2. 여러 LLM 패밀리로 교차 평가 (GPT-4 + Claude + Gemini)
  3. 도메인 전문가 평가 도입 (특히 의료/법률 등 고위험 도메인)
  4. RAGAs 스타일 자동 지표와 병행 측정

운영 비용 최적화 우선순위:
  1순위: C0 레벨 우선 검토 (논문 평가 조건에서 SS보다 높은 포괄성·다양성, 97% 토큰 절감)
         실제 운영 데이터에서는 품질과 비용을 다시 비교
  2순위: Self-reflection 횟수별 추출 품질과 비용을 비교해 선택
  3순위: MAP 단계 완전 비동기 병렬화 (latency 핵심)

한국어 도메인 적용 시 추가 고려사항:
  - 형태소 분석 기반 청킹과 토큰 기반 청킹의 추출 품질을 별도 비교
    (이 논문은 한국어 품질 향상을 검증하지 않음)
  - 한국 고유명사(조직/인물) few-shot 예시의 필요성과 효과를 평가
  - LLM 프롬프트 한국어 직접 작성 vs 영어 번역 후 처리 성능 비교 필요