구글 TurboQuant vs 엔비디아 KVTC, 메모리 압축의 차이를 이해해야 하는 이유

시작하며

요즘 AI 인프라 얘기를 하다 보면 꼭 나오는 단어가 있다. 바로 KV 캐시다.

모델 크기보다 더 무섭게 불어나는 게 이 작업용 메모리다. 구글은 TurboQuant로 6배 압축을, 엔비디아는 KVTC로 다른 방향의 해법을 내놨다. 겉으로 보면 둘 다 “메모리 줄이기”지만, 속을 들여다보면 전혀 다른 전략이다.

나는 한동안 AI 인프라 흐름을 보면서 “이게 메모리 수요를 줄이는 기술일까, 아니면 더 키우는 기술일까”를 고민해왔다. 결론부터 말하면, 줄이는 기술 같지만 더 쓰게 만드는 기술에 가깝다.

이제 하나씩 풀어보겠다.

 

1. 내가 KV 캐시를 다시 보게 된 이유

모델 파라미터보다 더 빨리 늘어나는 게 있다. 바로 대화 중에 쌓이는 중간 기억이다.

(1) 대화를 오래 할수록 책상이 어질러지는 구조다

AI 모델은 트랜스포머 구조를 쓰고 있고, 토큰을 하나 생성할 때마다 과거 문맥을 참조한다. 이때 생기는 게 Key-Value 캐시다.

① 길게 대화하면 왜 메모리가 터질까

• 토큰을 생성할 때마다 이전 정보가 계속 저장된다
• 멀티턴 대화, 코드 파일 다중 입력, 에이전트 작업이 쌓인다
• 모델 크기보다 KV 캐시가 더 커지는 구간이 생긴다

내가 여러 문서를 한 번에 넣고 테스트했을 때도 느꼈다. 모델은 그대로인데, 작업 메모리가 급격히 늘어난다.

② 온디바이스 AI에서 더 체감된다

• 스마트폰·노트북은 메모리 여유가 크지 않다
• 컨텍스트가 꽉 차면 세션을 다시 시작해야 한다
• 멀티턴 작업이 길어질수록 부담이 커진다

이 구조를 이해하면, 왜 HBM·LPDDR·SSD 티어링 얘기가 나오는지 자연스럽게 연결된다.

 

2. 엔비디아 KVTC는 무엇을 줄이려는가

엔비디아의 접근은 명확하다. 지금 안 쓰는 KV를 잘 보관하자다.

(1) 냉장고에 넣는 개념에 가깝다

KVTC는 당장 계산에 쓰이지 않는 캐시를 압축해서 저장한다.

① 자주 안 꺼내 보는 데이터를 압축한다

• 재사용 가능성이 있지만 지금은 비활성 상태
• 콜드 스토리지 개념과 유사
• 필요할 때 복원해 사용

② 기술적 접근은 전통 압축에 가깝다

• 중복 정보 제거
• 중요도 기반 양자화
• 엔트로피 코딩 활용

핵심은 “안 쓰는 걸 작게 만든다”다.

즉, 콜드 KV 캐시 최적화 전략이다.

 

3. 구글 TurboQuant는 완전히 다른 지점을 건드린다

구글의 TurboQuant는 더 과감하다.

지금 계산에 쓰고 있는 핫 KV 자체를 줄인다.

(1) 프라이팬 위에 올라간 걸 가볍게 만든다

핫 데이터는 바로 성능과 직결된다. 잘못 줄이면 정확도가 무너진다.

① 그냥 비트 수만 줄이면 왜 안 될까

• 어텐션은 토큰 간 관계 점수를 계산한다
• 단순 반올림은 관계 왜곡을 만든다
• 이너 프로덕트 값이 흔들리면 답변 품질이 떨어진다

② TurboQuant가 노린 건 ‘관계 보존’이다

• 벡터를 극좌표 기반으로 변환 후 압축
• 큰 정보는 효율적으로 정리
• 남은 오차는 미세 보정

결과적으로 FP16 대비 메모리 사용량을 6배 줄이면서도, 어텐션 관계를 최대한 유지한다는 방향이다.

 

4. 그럼 메모리 수요는 진짜 줄어들까

여기서 많은 사람이 착각한다.

같은 모델, 같은 문맥, 같은 정확도라면 줄어든다.

그런데 현실은 그렇게 흘러가지 않는다.

 

📊 “절약되면 기업은 어떻게 움직일까?”

• 더 긴 컨텍스트를 허용한다
• 더 많은 동시 사용자 세션을 돌린다
• 더 큰 모델을 같은 하드웨어에 올린다
• 멀티모달 입력을 늘린다

나는 과거 공인중개사로 일할 때도 비슷한 걸 봤다. 규제가 완화되면 공급이 줄지 않았다. 오히려 더 적극적으로 활용됐다. 자원이 효율화되면, 수요는 늘어나는 쪽으로 반응한다.

AI도 마찬가지다.

 

5. Hot · Warm · Cold로 나뉘는 메모리 시대

(1) 내가 이해한 구조는 이렇다

① Hot KV

• 지금 토큰 생성에 바로 쓰인다
• TurboQuant가 다루는 영역

② Warm KV

• 곧 다시 쓸 가능성이 있다
• 부분 압축 또는 저비트 유지

③ Cold KV

• 재사용 가능하지만 당장 필요 없다
• KVTC 같은 방식으로 깊이 압축

결국 구글과 엔비디아는 서로 경쟁이라기보다, 서로 다른 층을 최적화하고 있다.

 

6. 온디바이스 AI가 더 빨라질까

(1) 스마트폰·노트북에서 기대할 수 있는 변화

① 더 긴 대화 유지

• 세션 리셋 빈도 감소
• 로컬 에이전트 활용성 증가

② 작은 모델로 더 큰 일 처리

• 메모리 한계가 완화
• 연산 효율 개선

특히 메모리 대역폭이 제한적인 환경에서는 핫 KV 압축이 체감 성능에 직접적인 영향을 줄 수 있다.

 

7. 메모리 슈퍼사이클은 끝나는가

나는 그렇게 보지 않는다.

2024~2025년 동안 HBM 수요 폭증을 봤다.

이 기술들이 나오면 일시적 효율 개선은 생긴다.

하지만 산업은 이렇게 움직인다.

• 효율 개선 → 더 큰 모델 시도
• 비용 절감 → 사용자 확대
• 처리량 증가 → 신규 서비스 등장

결국 메모리를 덜 쓰는 기술이 아니라, 더 잘 쓰는 기술이다.

 

마치며

구글 TurboQuant는 핫 KV를 줄이고,

엔비디아 KVTC는 콜드 KV를 줄인다.

둘을 함께 쓰면 메모리는 더 효율적으로 관리된다.

하지만 그 결과는 “메모리 수요 감소”가 아니라, AI 활용 범위 확장으로 이어질 가능성이 크다.

AI 인프라를 바라볼 때 “줄인다”라는 단어에만 집중하면 흐름을 놓치기 쉽다.

오히려 이렇게 생각해보는 게 낫다.

이 기술 덕분에 우리는 무엇을 더 할 수 있게 되는가?

그 질문을 붙들고 보면, 앞으로의 메모리 시장과 AI 확장 방향이 훨씬 또렷해진다.