gusah009

longhorn

etc / k8s / longhorn

2024.03.08.

서론

k8s를 쓰다보면 가끔 HDD나 SSD 같은 보조 저장소(볼륨)를 사용해야 할 일이 있습니다.

하지만 데이터 저장을 위해 노드의 볼륨을 직접 사용하는건 k8s의 “모든 인프라를 추상화하여 애플리케이션 개발자가 신경쓰지 않도록 한다” 는 철칙에 반하는 내용입니다. k8s는 “개발자에게 어떤 노드가 몇 대 떠 있는진 신경쓰지 않게 해줘야” 하기 때문입니다.

볼륨 추상화의 어려움

k8s에선 cpu와 memory는 아래와 같이 쉽게 추상화 할 수 있습니다.

resources:
  requests:
    memory: "64Mi"
    cpu: "250m"
  limits:
    memory: "128Mi"
    cpu: "500m"

하지만 볼륨은 쉽게 추상화 하기 어려운데요.

그 이유는 cpu와 memory는 상태가 없어서 파드가 어떤 노드에 뜨더라도 상관없지만, 볼륨은 데이터를 저장하고 유지해야 하기 때문에 파드가 뜨는 노드에 종속적이기 때문입니다. (이를 상태를 가진다고 표현합니다)

그래서 파드가 죽었다가 다른 노드에 다시 뜨면 기존의 볼륨은 사라진다고 볼 수 있습니다.

PV / PVC

그래서 k8s는 볼륨을 추상화 하기 위해 PV와 PVC라는 리소스를 제공하는데요.

PV(PersistentVolume)는 볼륨 그 자체를 의미하고 PVC(PersistentVolumeClaim)는 사용자가 PV에 하는 요청입니다.

아래 이미지처럼 실제 외부 Storage가 있고, Storage에서 추상화 된 볼륨인 PV를 만들어 주면 PVC가 PV와 pod를 연결해주는 방식입니다

간단하게 PV는 관리자가 생성하는 리소스이고, PVC는 사용자(개발자) 가 생성하는 리소스입니다.

출처: https://kimjingo.tistory.com/153

외부 Storage가 없다면?

위에서 봤듯 볼륨을 추상화하려면 외부 Storage가 있어야 합니다.

만약 외부 Storage가 없거나, 너무 느리다면 다음 대안으로 생각해 볼 수 있는 볼륨은 노드의 볼륨입니다.

흔히들 hostPath로 연결해 사용하는 그 방식입니다.

노드의 볼륨을 사용할 수만 있다면 노드의 놀고 있는 디스크 자원을 최대한 뽑아 쓸 수 있습니다.

다시 원점

하지만 처음에 언급했듯이 볼륨은 파드가 뜨는 노드에 종속적이라는 문제가 있습니다. 위 방식을 사용하려면 노드와 파드를 항상 1:1로 매핑시켜야 하는 문제가 있습니다.

이는 노드의 존재를 개발자가 알아야 하기 때문에 좋지 않은 설계라고 볼 수 있습니다.

이를 해결하기 위해 나온 오픈 소스 중 하나인 Longhorn이 이번에 제가 소개할 오픈소스입니다.

Longhorn

Longhorn은 CNCF에서 지원을 받고 있는 오픈소스 중 하나로 아래와 같이 Cloud Native Storage 분야에서 단단한 입지를 지니고 있습니다.

출처: https://landscape.cncf.io

2014년에 오픈소스 프로젝트로 시작했고, 많은 개선을 거쳐 지금까지 발전한 longhorn은 아직 INCUBATING 단계이지만 사용성이나 원리만으로 설명할 가치가 충분하다 생각해 포스팅 하기로 했습니다.

CNCF 프로젝트 성숙도 래벨

출처: https://www.cncf.io/project-metrics/

Longhorn 원리

롱혼은 그럼 어떤 원리로 위의 문제들을 해결하는지 살펴보겠습니다.

롱혼은 아래와 같이 저장할 데이터를 동기식으로 복제해 여러 물리 디스크에 저장하는 방식을 사용합니다.

이 원리로 외부 스토리지 없이 노드의 유휴 디스크를 사용할 수 있어서 “노드의 놀고 있는 디스크 자원을 최대한 뽑아 쓸 수” 있습니다.

그리고 Longhorn은 대표적인 Block Storage 입니다.

Block Storage란 데이터를 가져와 동일한 크기의 블록으로 나누고 블록 스토리지 시스템이 빠르고 검색에 최적화 된 방식으로 물리 스토리지에 데이터 블록을 저장하는 기법을 말합니다.

다른 개념으론 File Storage가 있는데, NFS, SMB가 그 예시입니다.

참고: https://aws.amazon.com/ko/what-is/block-storage/

Getting Started

설치

longhorn은 kubectl, helm, argoCD 등 다양한 방법의 설치를 지원하는데 여기선 helm으로 설치하는 방법을 알아보겠습니다.

helm repo add longhorn https://charts.longhorn.io
helm repo update

helm install longhorn longhorn/longhorn --namespace longhorn-system --create-namespace --version 1.6.0

위와 같이 helm을 설치만 하면 간단하게 사용할 수 있습니다.