시스템 아키텍처

MASS는 애플리케이션 데이터와 LLM 추론 캐시를 위한 MangoBoost의 스토리지 어플라이언스입니다. NVMe 스토리지 노드와 스토리지 네트워크로 구성되며, Dashboard와 CLI에서 스토리지와 접근 권한을 관리합니다.

두 가지 스토리지 서비스

서비스	용도	접근 방식
파일·오브젝트 스토리지	데이터셋, 체크포인트, 애플리케이션 실행 결과 저장	파일시스템 마운트 또는 객체 API
KV 캐시 스토어	LLM 추론에서 재사용할 KV 캐시 저장·공유	GPU 서버의 추론 엔진 연동

파일·오브젝트 스토리지는 선택한 보호 정책에 따라 애플리케이션 데이터를 보관합니다. KV 캐시 스토어는 추론 과정에서 계산한 데이터를 보관하며, 캐시를 사용할 수 없으면 추론 엔진이 다시 계산합니다. 각 서비스의 저장·조회 방식은 이러한 용도에 맞춰 설계되어 있습니다.

데이터 접근

클라이언트는 스토리지 네트워크를 통해 스토리지 노드와 통신합니다. 파일·오브젝트 클라이언트는 스토리지 클라이언트 소프트웨어로 분산된 데이터에 접근하고, GPU 서버는 NVMe-oF로 KV 캐시 페이지를 읽고 씁니다.

스토리지 관리와 데이터 읽기·쓰기는 별도의 경로로 처리됩니다. 애플리케이션 데이터는 Dashboard나 CLI를 거치지 않습니다.

관리

관리자는 Dashboard에서 스토리지를 구성하고 접근 권한을 설정하며, 용량·성능·상태를 확인합니다. 클라이언트에서는 mass-ctl CLI로 사용 권한이 있는 스토리지에 연결합니다.

스토리지 자원과 클라이언트 접근, 모니터링의 관계는 스토리지 관리에서 설명합니다.