ACROFAN

컬럼 - 데이터 폭발의 시대에 생각하는 데이터 다이어트

기사입력 : 2019년 09월 20일 17시 56분
ACROFAN=권용만 | yongman.kwon@acrofan.com | SNS
바야흐로 ‘데이터 폭발’의 시대에 접어들고, 데이터는 4차 산업혁명의 동력원이라는 이야기를 들은 것도 이제 몇 년은 된 것 같다. 특히 최근 2년간 만들어진 데이터는 그 이전에 만들어진 데이터의 총량보다 크다는 말 또한 섣불리 흘려들을 수 없는 이야기다. 전통적인 정보의 저장 방법에 비교할 수 없을 정도로 고밀도의 정보 저장이 가능해, ‘공간을 차지하지 않는다’고까지 말할 정도였던 디지털 정보 저장은, 예상을 훨씬 뛰어넘는 데이터 양의 증가 추세와 함께 다시금 그 저장 공간의 물리적 부피와 현실에서의 대가를 계산해야 하는 상황을 만들고 있다.

물론 저장하고 있는 데이터 총량의 지속적인 증가는 비단 기업만의 과제도 아닐 것이다. 우리의 삶이 디지털화되면서, 개인이 가지고 있던 기록도 모두 디지털 형태로 저장되고 있는 것이 일반적인 모습이다. 이제 대부분의 사람들이 디지털 카메라로 사진을 찍어 하드 디스크에 저장하고, 좋아하는 음악을 듣는 방법도 테이프나 CD가 아닌 디지털 파일 형태로 저장해, 스마트폰으로 듣는 것이 일상화되어 있다. 그리고 이러한 ‘없어지면 가슴아플’ 데이터들은 집에 있는 PC의 하드 디스크 한 구석에 차곡차곡 쌓여 가면서, 논리적인 공간 뿐 아니라 물리적인 공간까지 집안 한 구석을 차지하고 있다.

개인적으로는 몇 년 전만 해도, 이렇게 꾸준히 쌓여 가는 데이터가 계속 늘어날 것이라고 믿어 의심치 않았었고, 한술 더 떠 더욱 오랫동안 데이터를 효율적으로 남겨놓기 위해 최선을 다했었다. 하지만 이제 와서는, 오히려 이 데이터를 원형 그대로 보전하면서 비용을 지불해야 할 가치가 있는지 등을 먼저 생각하게 된다. 이렇게 몇 가지 미련과 고집을 버리고 나니, 데이터가 쌓이는 양도 줄고 집 안에 남아있는 데이터의 크기는 더욱 줄었다. 사실 예전만큼 저장 미디어의 용량이 폭발적으로 늘어나지 않는 상황에서, 이제는 데이터 저장에도 그 ‘가치’를 생각해야 할 시기가 아닌가 싶다.

▲ 데이터 폭발 시대에 다이어트를 고민하는 이유는 사실 저장 공간의 부족이 첫번째다

디지털 데이터의 저장이 전통적인 정보 저장 방식에 비해 물리적 측면에서 압도적으로 유리한 것은 확실하지만, 이런 장점도 이제 어느 정도 물리적인 한계를 만나는 시기가 되고 있지 않나 싶다. 당장 하드 디스크의 용량 증가 추이는 예전에 비해 꽤 크게 둔해진 모습이고, 데이터센터 수준에서는 점점 늘어나는 데이터 양에 대응하기 위해 스토리지 어레이들의 디스크 수납 밀도가 높아지고, 이것만으로는 해결책이 되지 못해 결국 전체 인프라가 늘어나고, 결국은 물리적인 공간을 더 요구하게 되는 과정이 반복되고 있다. 결국은 디지털 데이터 저장의 효율 일부분은 ‘부동산’이라는 우스갯소리를 그냥 웃어 넘길 수 없게 된 셈이다.

물론 개인 수준에서의 데이터 저장은 이 정도까지 심각하게 다가오지는 않을 것이다. 하드 디스크 몇 개를 쓰다가 적당한 시기에 고용량의 디스크에 데이터를 옮겨 가면서 유지하면 되니 말이다. 하지만 최근 몇 년간 하드 디스크들의 가격 추이를 보면, 더 이상 용량이 늘어난 디스크를 마음 편히 쓸 수 있을 것이라는 기대가 꽤 사그라드는 것도 사실이다. 또한 개인용 데이터 중 사진 같이 절대 잃어버릴 수 없는 데이터라면, 손실에 대한 백업 대책도 세워야 하고, 이 또한 모두 비용으로 이어진다. 이에 개인의 데이터 저장 전략은, 손실 가능성을 최대한 줄이면서도 비용을 줄이는 데에 집중하게 된다.

그리고 ‘손실 없는 데이터 저장’은 생각보다 꽤 큰 비용 지출이 필요하다. 당장 손실 가능성을 대폭 줄일 수 있는 RAID 1 ‘미러링’의 사용에는 같은 드라이브 두 개가 필요하고, 사용할 수 있는 용량은 구입한 용량의 절반이다. 투입되는 드라이브 대비 용량 효율이 높은 RAID 5는 일단 최소한 3개 이상의 드라이브가 필요하고, 초기 비용이 높다. 사실 이런 고신뢰성의 스토리지를 구축한다고 해서 계속 쓸 수 있는 것도 아니고, 몇 년에 한번씩은 전면적인 개보수를 해 주어야 안정적으로 쓸 수 있다. 다시 말하면, 데이터가 사는 공간에는 비용이 지속적으로 들어갈 수밖에 없다는 것이다.

▲ 인생을 기록하는 사진 데이터의 저장은 생각보다 그 대가가 크게 다가온다

개인적으로 ‘데이터 폭증’의 시대를 느끼는 때는 최근 화소들이 높아진 DSLR들로 RAW 촬영한 사진들을 정리할 때다. 셔터를 누를 때는 아무 생각이 없이 보험의 성격으로 한 장면에 여러 장을 연사하지만, 저장해놓고 보면 그 용량에 약간은 부담이 느껴지고는 한다. 100장 정도 찍으면 10장도 채 쓰지 않는 경우도 많은데, 나머지 90장의 사진들을 과연 남겨둘 필요가 있을까 생각하다가도 귀찮음과 혹시 하는 마음에 그냥 놓아 두는 경우도 흔하다. 물론 이런 잉여 데이터들이 데이터 용량과 저장, 비용에 대한 고민을 더 크게 만들고 있음은 부인할 수 없다.

이러한 당면 문제를 해결하기 위해, 개인적으로는 두 가지 ‘발상의 전환’을 시도했다. 먼저, RAW로 촬영하는 사진을 줄여보고자 했던 시도는 매 분기별 쌓여 가는 사진 용량을 절반 정도로 줄일 수 있었다. 여기에 연사로 찍은 사진들까지 정리하면 꽤 큰 효과를 얻을 수 있었다. 두 번째 시도는 ‘원본 저장’을 어느 정도 타협하는 것이었는데, 현재 구글 포토 서비스는 일정 수준의 리사이징과 고압축률 적용 조건으로 무제한 사진 저장을 제공한다. 처음에는 이 리사이징과 고압축률이 다소 못미더워서 사진 색인록 정도로 쓰려 했던 이 구글 포토는, 생각보다 괜찮은 결과물과 편의성에 이제는 메인 라이브러리의 위치를 넘볼 상황에 왔다.

개인적인 편의를 위해 다목적으로 사용하는 파일 서버 용도의 PC에서도 백업이란 꽤 중요한 과제다. 사실 RAID 구성 등을 하지 않은 이 시스템에서 하드 디스크의 이상으로 데이터 손실이 없었던 것은 아니다. 하지만 RAID 구성에서 들어가는 하드 드라이브 비용과 운영에서의 전기 요금, 소음 문제, 그리고 몇 년에 한 번 교체를 고려할 것을 생각하니, 총소유비용 차원에서 클라우드 스토리지를 사용한 백업도 꽤 매력적으로 보이기 시작했다. 마침 괜찮은 조건으로 눈에 들어오던 서비스는 마이크로소프트 오피스365 플랜에 포함된 원드라이브였는데, 오피스 365 홈 구독에 제공되는 총 6TB 용량은 말 그대로 ‘원드라이브를 구독했더니 오피스가 덤’인 상황처럼 보일 정도다.

▲ 데이터 폭발의 시대에, 이 데이터의 무게감에 대해서도 생각해 볼 필요가 있을 것이다

데이터의 ‘위치’도 저장 효율에서 간과할 수 없는 부분이다. 데이터의 위치가 적합치 못하면 활용을 위해 데이터가 중복 저장되어 효율을 떨어뜨릴 수밖에 없는 것이다. 물론 기업 환경의 스토리지에서 ‘중복 제거’ 기술은 이러한 부분까지 극한의 효율을 추구한 것인데, 개인 환경에서는 오히려 데이터의 적당한 중복이 데이터의 생존 측면에서 더 유리할 때도 있다. 그리고, 지금까지 대부분의 개인 데이터는 PC를 중심으로 저장되고, 일부 데이터만 노트북 등에서도 쓰기 위해 파일 서버 쪽으로 옮기는 식으로 배치했는데, 최근에는 점점 파일 서버 쪽이 메인 스토리지로의 역할이 커지는 모습이다.

사실, PC 클라이언트의 스토리지가 SSD 쪽으로 옮겨가면서 일시적으로 용량이 줄어드는 환경에, 파일 서버 쪽에 가용 용량을 최대한 몰아주고, 필요한 경우 파일 서버를 고속 네트워크 상에서 네트워크 드라이브로 쓰면서 작업하는 환경은 유연성이나 편의성 등 모든 면에서 참 매력적이다. 무엇보다 데이터의 중복 저장 문제나 접근성, 스토리지 용량 활용도 배치를 극적으로 개선할 수 있는 것이다. 문제가 있다면 ‘네트워크 속도’인데, 역시 기가비트 이상의 유선이 뒷받침되지 않으면 그리 만족스럽지 않다. 그리고, 애초에 점점 쌓이는 데이터가 줄어드는 상황이면 네트워크 성능에 대한 아쉬움도 조금은 줄어든다.

한편, 개인적으로 저장하는 데이터 공간을 줄인 일등 공신은 ‘스트리밍’이었다. 이제 음악도, 동영상도 굳이 저장하지 않고 필요에 따라 가입된 서비스에서 네트워크로 바로 보고 듣는다. 덕분에 IT 생태계 전반적으로도 중복 저장되는 데이터를 획기적으로 줄이고, 폭발적으로 늘어나는 데이터 트래픽 대비 저장 용량의 증가를 억제하는 효과도 거두지 않나 생각한다. 10여년 전에야 이 스트리밍 서비스에 들어가는 비용이 크게 보였지만, 이제는 서비스 비용보다 그 편의성과 데이터 저장에 대한 비용이 더 크게 보일 정도다.

결국 마지막에 도달한 결론은, 모든 데이터를 다 저장할 필요는 없다는 것이었다. 버릴 데이터는 과감히 버리고, 필요한 데이터는 보존할 가치가 있을 때까지만 보존하지만, 오래 보존해야 될 데이터에는 보존을 위한 비용과 노력을 아끼지 않아야 한다는 것이 결론이었다. 그리고, 이런 경우에 ODD 등을 사용한 콜드 백업은 미디어를 읽을 드라이브가 무효화되면 정말 난감해질 수 있다는 것도 최근 다시금 확인할 기회가 있었다. 여러 모로, 디지털 데이터라 할 지라도 무한정 저장할 수는 없고, 인생을 가뿐하게 살기 위해서는 집안에 묵은 물건 뿐 아니라, 가치 없는 디지털 데이터도 종종 정리해야 할 필요가 있다.

Copyright ⓒ Acrofan All Right Reserved



[명칭] 아크로팬   [제호] 아크로팬(ACROFAN)    [발행인] 유재용    [편집인] 유재용    [청소년보호책임자] 권용만
Copyright © ACROFAN All Right Reserved