스토리지 서비스

애플리케이션 데이터를 위한 파일·오브젝트 스토리지와 LLM 추론을 위한 공유 KV 캐시 스토어를 제공합니다.

🗃파일·오브젝트 스토리지

2 항목

📄️KV Cache Store

MASS KV 캐시 스토어는 LLM 추론에서 생성한 KV 캐시를 저장하고 여러 GPU 서버가 재사용할 수 있도록 하는 공유 스토리지입니다. 서버의 GPU·호스트 메모리 밖으로 캐시 저장 공간을 확장해, 이후 요청이 같은 프롬프트 앞부분을 포함할 때 반복 계산을 줄입니다.