Mnkai Mnkai

들어가며

여러 분야에 걸쳐 취미를 가지게 된다면, 그게 아니더라도 평소에 컴퓨터를 활발하게 사용하는 사람이라면 종종 컴퓨터에 내장된 저장장치의 용량이 부족해 고민해 보신 경험이 있으실 것입니다.

이 블로그를 보면 아실 수 있듯이, 저는 아무래도 양쪽 다에 해당되는 편이므로 컴퓨터 안에 있는 자료들을 집 안에 약 9테라바이트 정도 크기의 NAS, 그리고 그 NAS를 백업하는 용도로 사용하는 해외 먼 곳에 존재하는 서버들을 사용해 중요한 자료의 경우 이중으로, 자주 쓰지도 않고 덜 중요한 자료의 경우 단일 백업본을 유지하고 있습니다.

이런 백업 시스템을 사용하면서 개인적으로 느낀 점이 두가지 있습니다.

  1. 제가 가지고 있는 데이터는 생각 이상으로 자주 엑세스 하지 않는 데이터가 많습니다. 3-5년간 그냥 보관만 해 둔 상태로 방치하다가 나중에 필요한 일이 생기면 그때 딱 한번 반출한 뒤, 그 볼일이 끝나면 다시 몇년간 보관하게 됩니다. 이런 데이터가 70-80% 이상이더라고요.
  2. 하드디스크는 스케일이 커질수록 생각 이상으로 고장이 잘 나는 장치입니다. 약 10년간 이런 체계를 사용하여 데이터를 보관하면서 하드디스크 고장을 여러번 겪었습니다. 대용량 하드디스크 가격이 저렴하지도 않지만, 이걸 소모품으로 취급해야 하는 것이죠.

이를 종합해 보면, 어차피 대부분의 경우 잘 사용하지도 않는 데이터를 로컬에 굳이 유지하려고 비싼돈을 들여서 일반인 기준으로는 꽤 큰 데이터 저장소를 유지한다는 결론이 됩니다. 이 점이 안타까워서 좀 보완하고 싶은 생각이 들었습니다.

싼 데이터 저장수단엔 뭐가 있을까

적당히 신뢰성이 있으면서 저렴한 데이터 저장수단은... 생각보다 별로 없더라고요. 대충 생각해 본다면 크게 세가지 루트로 갈 수 있을 것 같았습니다.

약 5테라바이트의 데이터를 보관한다는 전제를 가지고 가격을 계산해 보았습니다. 밥하면서 대충 두드린거라 계산이 살짝 안 맞을 수 있는데, 쫌 봐주세요.

클라우드의 길

가장 '스케일 가능한' 방법은 역시 클라우드의 길이겠죠. 오랜 기간동안 데이터를 보관한 뒤 다시 반출하는 일이 매우 적기 때문에 콜드 스토리지도 마찬가지로 검토해 보았습니다.

3년동안 보관하다가 한번 전체를 내려받는다고 쳤습니다.
부가가치세는... 제가 델라웨어에 거주하고 있다고 칩시다.

수단 가격 (3년)
AWS S3 4,239.36 USD + 460.8 USD (egress)
Backblaze B2 921.6 USD + 51.2 USD (egress)
Wasabi 1,078.2 USD
AWS S3 Glacier 182.16 USD + 12.8 USD (반출 요청) + 460.8 USD (egress)
Heztner Storage Box BX21 414 USD

대충 1년에 천불이 깨지게 됩니다. Heztner가 저렴하긴 하지만 여전히 414불입니다. 그리고 솔직히 느려요.

물리매체의 길 - 광학 매체

광학매체는 감성도 있고, 가격도 그럭저럭 나쁘지 않은 저장 매체입니다. 내구성도 나쁘지 않죠. 90년대에 굽고 서랍속에 대충 방치해둔 싸구려 중국제 CD-R이 아직도 읽힐 정도입니다.

이제 와서는 CD나 DVD를 사용해 백업하기에는 상당히 무리가 있을 것이라, 선택지는 사실상 BD밖에 없을 것 같습니다.

도매가는 아니고 평범하게 그냥 아마존에서 구매한 가격입니다.

...네, 사실 감성이 있다는 쪽이 제일 중요합니다.

수단 가격 (3년)
Verbatim BD-R (25GB) * 200 61.55 USD
Verbatim BD-R (50GB) * 100 121.40 USD
Verbatim BD-R (100GB) * 50 181.81 USD

싸긴 합니다. 그런데 25기가바이트를 200장 구우려면... 아마도 1-2개월 이상 취미시간을 투자해서 계속 굽기만 해야겠죠. 이게 정말로 '돈으로 시간을 산다' 의 표본이 아닐까 싶습니다. 200장 정도 구우면 레코더가 고장나는 게 더 빠를지 내가 지치는게 더 빠를지 승부존이 될 것 같습니다.

굽는것도 굽는거지만, 3년 후 그 데이터를 반출하는 것도 일이고, 디스크가 한두장 고장나는 것을 대비한 복구용 볼륨을 생성하는 오버헤드라거나 디스크에 애매하게 데이터가 못 담겨서 공간이 조금 낭비되는 것도 감안하면 그냥 저걸 굽고 반출하는 시간에 차라리 더 비싼 수단을 쓰고 내가 야근을 하는게 더 재미있을지도 모릅니다.

물리매체의 길 - 자기 매체

하드디스크가 여기에서도 또 등장합니다.
사실 3년 이후에 높은 확률로 고용량 하드디스크는 1-2년 안에 슬슬 고장날 준비를 하고 있을 것이므로 조금 더 붙여야 하겠지만, 일단은 3년만 본다고 칩시다.

테이프의 경우, 대부분의 사람은 이미 테이프 드라이브를 가지고 있지 않을 것입니다. 그래서 적당한 중고 테이프 드라이브를 이베이에서 하나 구매한다는 가정으로 가격을 썼습니다. SAS 인터페이스는 싼거 많으니 굳이 포함하지 않았습니다.

수단 가격 (3년)
WD80EAZZ (8TB) CMR 119.72 USD
HDWR460 (6TB) CMR 146.83 USD
LTO5 (1.5TB) * 6 130.86 USD + 50 USD(드라이브)
LTO6 (2.5TB) * 2 82.16 USD + 200 USD(드라이브)

생각보다 테이프가 꽤 저렴합니다. 무엇보다도 좋은 점은 테이프의 경우 어지간히 관리가 되는 실내에서 보관할 경우 (습도가 너무 높거나 낮지 않고, 온도도 적당한 온도로 관리한다면) 수명이 정말로 (30년 이상1) 길다는 점입니다.

환경 변수 운영중 운영 가능한 보관2 아카이브 보관3 운송
온도 10 ~ 45°C 16 ~ 32°C 16 ~ 25°C -23 ~ 49°C
상대 습도 10 ~ 80% 20 ~ 80% 20 ~ 50% 5 ~ 80%
최대 습구 온도 26°C 26°C 26°C 26°C

1 LTO 테이프 제조사 (후지 필름) 자료 기준
2 6개월 내 기간 보관시
3 6개월 초과 기간 보관시
표 자료 출처 IBM Tape library 솔루션의 기술 문서

당연히 집은 항온항습실이 아니긴 하지만, 전 여름철에 집에서 에어컨을 끄지 않고 사용하는 사람이기에, 그리고 어차피 30년까지 보존할 것을 감안하고 있지 않기 때문에 이정도면 충분하다고 생각합니다. 정 불안하면 한두개 정도 복사본을 더 만들어두면 되니까요.

그래서 구매

LTO 백업을 집에 들이기 위해서는 꽤 많은 준비물이 필요합니다. 여유를 가지고 구한다면 컴퓨터를 제외하곤 10만원 정도로 대략 모두 준비 가능합니다.

  1. SAS 인터페이스가 장착된 컴퓨터 (혹은 PCIe 슬롯이 남아있는 컴퓨터)
    1. 그와 동시에 5.25 인치 슬롯이 아직도 전면에 남아있는 컴퓨터 케이스
    2. SAS 인터페이스가 없다면... 적당히 IT 모드가 되는 PCI-e - SAS 인터페이스를 하나 구입합시다.
  2. SAS 인터페이스를 사용하는 LTO 드라이브
    1. 개인적으로는 테이프 하나에 1.5테라바이트면 우선은 충분하다고 생각되어, LTO5 드라이브를 옥션에서 경매로 3000엔에 구입했습니다. 네, 3000엔 맞습니다. 간혹 더 싼 물건도 기다리다보면 나옵니다.
  3. SAS 케이블
    1. 제 경우엔 구체적으로 SFF-8087 to SFF-8482 케이블을 구입했습니다. 국내보다 해외 (알리) 가 훨씬 더 싸고, 어차피 똑같은 물건이므로 여유를 가지고 해외에서 구매합시다.

그리고 중요한 테이프를 구매해야 합니다. LTO 테이프는 LTO 종류가 맞는다면 어느 회사의 테이프를 써도 호환이 됩니다. 예를 들어서 전 HP 드라이브에서 후지필름 테이프를 사용합니다.
구버전 LTO 테이프는 해외에서 재고처리 하는 경우도 있으므로 드라이브를 들여오면서 같이 들여올 수 있는 기회가 있다면 조금은 더 저렴합니다만... 국내도 충분히 저렴합니다. (LTO5 기준 1.5테라바이트에 약 4만원)

환경 설정

LTO 테이프는 일반적인 매체와는 다르게 기본적으로는 탐색기에서 드라이브가 표시되고 파일이 보이는 구조가 아닙니다. 테이프 백업 전용 프로그램을 가지고 인덱스를 만들고 데이터베이스를 만들고 라이브러리를 만들고.... 하는 구조입니다만, 개인용으로 이건 너무 비효율적입니다.

이런 사용 용도에 유용한 LTFS 라는 물건이 존재하므로, 개인용으로는 이쪽을 사용하도록 합시다.

테이프엔 압축 기능이 있지만, 일반적으로 테이프에 보관하게 될 대용량의 데이터는 대부분 이미 압축이 되어 있는 데이터일 것입니다. 그래서 켜지 않았습니다.

당연하게도 윈도우, 맥, 리눅스 모두에서 테이프 드라이브를 사용할 수 있긴 하지만, 아래와 같은 이유로 어지간하면 리눅스를 권장합니다.

  1. SAS 인터페이스가 기본적으로 달린 / 추가로 장착할 수 있는 맥이면... 애초부터 '저렴한 개인용 백업수단' 을 찾고 있지 않을 것입니다. 그냥 돈을 더 쓰고 Glacier로 올리세요.
  2. 윈도우에서도 테이프 드라이브 제조사가 제공하는 상용 프로그램으로 테이프를 LTFS로 포맷하고, 탐색기에 드라이브로 마운트 할 수 있긴 합니다. 그런데 '엔터프라이즈' 답게 사용자가 사용하는 일반적인 클라이언트 OS 를 타겟으로 만들어진 프로그램이 아니기도 하고, 윈도우 11에서는 (HP 기준) 최신 프로그램이 제대로 돌아가지도 않습니다. 이유를 보니 오래전 개발 종료된 오픈소스 소프트웨어를 사용해서 망가진 것 같더라고요. 어휴... HPE...

리눅스에서는 LTFS로 테이프를 포맷하고 특정 디렉토리에 마운트 해서 일반적인 드라이브처럼 사용할 수 있는 오픈소스 프로젝트가 존재합니다. 이쪽을 사용하세요.

전 리눅스를 일반 데스크탑 용도론 사용하지 않으므로 USB 디스크에 데비안 라이브 환경을 하나 만들어서 그 안에서 저 프로젝트를 빌드해서 테이프 백업용으로 USB만 연결하고 부팅하면 되도록 설정해 두었습니다.

복사!

NAS에 있는 데이터, 그리고 컴퓨터의 로컬 디스크에 존재하는 데이터를 테이프로 복사해 보았습니다.

로컬 디스크에 있는 데이터를 복사하는 데에는 약 120MB/s 이상의 속도가 나오다가, 슬슬 속도가 떨어지는게 보였습니다. 테이프 드라이브를 살짝 만져보니 꽤나 뜨겁더라고요. 아마도 열로 인해서 속도를 줄이는 것으로 보였습니다. NAS에 있는 데이터의 경우 컴퓨터와 기가비트 연결로 연결되어 있기 때문에 기가비트 보다 조금 부족한 속도로 잘 복사되었습니다. 두 경우 모두 테이프 드라이브가 지원하는 최소 복사 속도 이상의 속도로 복사되었기 때문에 Shoe-shining 은 발생하지 않았습니다.

꽤 속도가 시끄럽긴 했지만 체감상 수십분 정도 뒤 복사가 끝났습니다. 테이프를 이젝트 했다가 혹시나 싶어 다시 테이프에서 파일 하나를 무작위로 골라서 읽어보니 체크섬이 잘 맞더라고요.

1.5테라바이트짜리 유튜브 영상등 영상을 잔뜩 담은 테이프가 한장 완성되었습니다.

그래서 추천하나요?

사실 개인용으로 '합리적이다' 라고 하기엔 좀 애매합니다. 1.5테라바이트 단위로 데이터를 잘 나눠서 복사해야 하고, 어떤 테이프에 어떤 내용이 있는지에 대한 정보도 결국 어딘가에 적어서 관리해야 합니다. 하지만 재미있잖아요. 테이프가 씨이잉 위이이이잉 하면서 데이터를 초당 100메가바이트 넘어가는 속도로 쓰고 있는 것을 보면 테이프 드라이브와 함께 제 마음도 같이 뜨거워집니다. 그런 재미가 있는데 또 광학 미디어 백업보다 실용성이 있긴 하잖아요.

5년 쯤 뒤 LTO6 드라이브나 LTO7 드라이브가 저렴해진다면 드라이브를 교체한 후 기존 테이프 내용을 옮겨서 다시 새로운 테이프에 쓸 예정입니다. 자연스럽게 매체가 교체되니 수명이 또 리필되게 되겠죠.

저라면 다시 고민한다고 해도 구매할 것 같습니다.

그걸 아시나요?

.tar 파일 형식을 혹시 아시나요? 흔히 유닉스 기반 시스템에서 압축한다거나 하면 .tar.gz 같은 형식으로 압축 파일이 튀어나오곤 하죠.
tar 가 사실은 Tape Archive 의 약자라는 것을 알고 계셨나요? 그렇습니다! tar 파일은 테이프 데이터 보관을 위해 만들어진 포맷입니다!

인생이 무료할 때엔 LTFS 를 쓰지 말고, 클래식하게 tar 파일을 사용해서 여러 테이프에 걸쳐 데이터 뭉치를 저장해보시는 건 어떨까요?

아 하나 더

사실 전 테이프 드라이브를 구매하면서 부품용으로 쓸까 싶어서 상태가 조금 더 안좋은 LTO5 드라이브를 하나 더 구매했습니다. 이 드라이브는 아직 동작하는지 테스트 해 보지 않았어요.
나중에 심심하면 이 드라이브도 동작하는지 테스트 해 봐야겠습니다. 주변사람에게 분양하는것도 고려해 봐야겠네요.

Tags: