Gemma 4 초안 토큰이 많이 거절될 때: 수락률과 실제 가속 조건

[타겟 모델 동의 시]
드래프트 시퀀스 전체 수락 + 타겟 모델이 추가 토큰 1개 생성
→ 1회 forward pass로 N+1개 토큰 출력

[타겟 모델 불일치 시]
불일치 직전까지의 토큰만 수락, 타겟 모델 토큰으로 대체 후 재드래프팅
→ 올바른 검증·샘플링 구현에서 타겟의 생성 분포 보존

┌──────────────────────────────────────────────────┐
│              Speculative Decoding System          │
│                                                  │
│  ┌────────────────┐      ┌───────────────────┐   │
│  │  MTP Drafter   │─────▶│  Target Model     │   │
│  │  (경량, 빠름)  │ 초안  │  (Gemma 4 Full)   │   │
│  │                │      │  (검증, 느림)      │   │
│  └────────────────┘      └───────────────────┘   │
│         │                        │               │
│    공유 KV Cache ◀──────────────────┘             │
│    공유 Activations                              │
└──────────────────────────────────────────────────┘

입력: 현재까지의 컨텍스트 (타겟 모델 KV 캐시 재활용)

1. MTP Drafter가 K개 토큰을 자동회귀적으로 예측 (K는 설정값)
   - 타겟 모델의 activations를 활용
   - KV 캐시 공유로 컨텍스트 중복 계산을 줄임
   - 경량 구조로 K개 토큰을 빠르게 초안 작성하는 것이 목표

2. 예측된 K개 토큰 후보 시퀀스 생성

입력: 현재 컨텍스트 + K개 드래프트 토큰

1. 타겟 모델이 K+1 위치 전체를 병렬 forward pass
   (K개 드래프트 토큰 + 다음 1개 위치 동시 처리)

2. 각 위치별 타겟 모델 확률 분포 vs 드래프터 예측 비교

3. 수락/거부 결정 (위치별 순서대로):
   - 수락: 타겟 모델 동의 → 다음 위치로
   - 거부: 해당 위치에서 타겟 모델 토큰으로 대체 → 루프 재시작

4. 드래프트 수락 수는 0~K개, 타겟 생성 1개를 포함한 출력은 1~K+1개

공식 소개에서 확인한 내용:
  - 드래프터가 타겟 모델의 activations와 KV 캐시를 활용
  - 타겟이 이미 처리한 컨텍스트의 중복 계산을 줄임
  - 여러 후보의 검증을 한 forward pass에서 수행

캐시의 소유권·거부 후 잘라내기·갱신 범위는 구현마다 확인해야 한다.
드래프터 캐시만 무효화하면 된다고 가정하거나 재계산 비용을 0으로 단정하지 않는다.

공식 소개는 E2B/E4B의 최종 logit 계산 병목을 줄이기 위해
embedder에 clustering을 적용했다고 설명한다.
이 글에서 확인한 자료만으로 군집의 의미적 기준이나 세부 연산 순서를 확정하지 않는다.

단일 요청 (Batch=1):
  - 메모리 대역폭 병목 상태
  - 26B MoE에서 라우팅 관련 어려움이 보고됨

다중 요청 (Batch=4~8):
  - 유휴 컴퓨팅 자원 활용 극대화
  - GPU 행렬 연산 효율 향상
  - 26B MoE·Apple Silicon에서 최대 약 2.2x 보고
  
실무 적용: 서버 환경은 배치 크기 최적화가 핵심 튜닝 포인트

현재:
  - 수락률이 높을수록 속도 향상 (당연)
  - 하지만 수락률은 입력 분포에 민감
  
문제:
  - 창의적 글쓰기, 코드 생성, 수학 추론마다 수락률 편차 큼
  - 드래프터가 특정 도메인에 편향 학습 시 타 도메인 성능 저하

개선 방향:
  - 도메인별 전문 드래프터 앙상블 (라우터 기반 선택)
  - 런타임 수락률 모니터링 → 동적 K값 조정
    (수락률 높으면 K 증가, 낮으면 K 감소)

공식 Transformers 문서는 K를 고정하는 constant와 동적 heuristic을 모두 지원함

문제:
  - 초반 컨텍스트 풍부 시 수락률 높음 → K 크게 잡아야 유리
  - 복잡한 추론 구간 → 수락률 낮음 → K 작아야 유리
  - 고정 K가 특정 입력에서 비효율적인지 실측해야 함

개선 방향:
  - 기본 heuristic: 전체 수락 시 K를 2 증가, 일부 거부 시 1 감소
  - 수락률 임계값 기반으로 K를 실시간 증감
  - 강화학습으로 K 정책 최적화

미확인 사항:
  - 이 글에서 검토한 소개·사용 문서만으로 학습 손실을 확정하지 않음
  - 타겟의 거부 패턴을 학습에 반영하지 않았다고 단정할 근거도 없음

개선 방향:
  - Co-training: 타겟 모델의 거부 신호를 드래프터 학습에 피드백
  - Rejection-aware Loss: 거부된 위치에 높은 패널티 부여
  - 타겟 모델 output distribution을 증류(distillation) 타겟으로 활용

검토 범위: 공식 사용 예제의 텍스트 토큰 생성

Gemma 4가 멀티모달 지원 모델이므로:
  - 이미지 패치 토큰 드래프팅 가능성
  - 오디오 프레임 예측에도 동일 원리 적용 가능
  - 단, 모달리티별 토큰 예측 난이도가 달라 별도 드래프터 필요

현재 과제:
  - 26B MoE의 Apple Silicon Batch=1 라우팅 비용을 별도 측정
  - 모바일 디바이스 메모리 제약으로 드래프터 + 타겟 동시 로드 부담

개선 방향:
  - 드래프터를 NPU 전용으로 경량화 (타겟은 GPU)
  - 이기종 연산 스케줄링 최적화
    (장치 간 상태 전달 비용과 의존성을 포함해 검증할 연구 아이디어)
  - 드래프터 양자화(4-bit/8-bit)로 메모리 공간 최소화