[4차산업 빅데이터㉟] “데이터 폭증”… 시대가 눈앞으로 다가왔다

[디지털비즈온 김맹근 기자] 전세계는 디지털 전환을 준비하고 있다. 모든 비즈니스에 디지털 기술이 접목되고 새로운 생태계가 만들어지고 기존의 산업체계와 질서가 재편되고 있다는 것을 말한다. 이에 따라 매년 데이터 생산량이 폭증하고 있다. 인공지능의 도입, 전세계 인구의 휴대폰 소지, 자동차 수요 급증 등에 따라 하드웨어, 즉 메모리, CPU, GPU, MPU 등의 반도체 수요가 크게 증가하고 있다.

2018년 발행한 IDC의 전세계의 데이터 생산량 전망을 보면 지수함수적으로 급증하고 있으며 데이터 생산량은 2018년도에만 33ZB(1TB 하드디스크(HDD)에 저장한다면 330억 개 분량)라고 한다. 참고로 1ZB(제타 바이트, Zetta Byte)는 10의 21승 바이트, 즉 1TB HDD 10억 개로, 7mm 두께의 2.5인치 HDD로 쌓으면 지구 둘레를 175바퀴 돌 수 있을 정도에 해당한다.

2025년이 되면 175ZB(HDD 1,750억 개)에 이를 것으로 내다봤다. 이렇게 폭증하고 있는 데이터들은 저장장치에서 장기간 저장되는 경우도 있겠지만 잠시 저장되는 경우도 많아서 저장장치가 그 정도로 많이 필요하지는 않지만, CPU는 이 모든 데이터를 처리해야 한다.

2022년에는 약 80ZB 정도이지만, 3년 후에는 2배가 넘는 175ZB가 되면서 컴퓨팅 처리용량에도 많은 부담이 올 것이다. 또 3년 후에는 3~4배 정도로 증가하게 될 것인데 이렇게 되면 데이터 처리를 위한 많은 비용 증가도 무시하지 못하겠지만, 기술적으로도 CPU의 처리능력에 엄청나게 큰 부담을 주게 될 것이다.

CPU 구조에서도 코어, 쓰레드 수를 늘리는 등 개선을 하고 있으나 CPU의 성능을 결정짓는 반도체 기술의 발전은 한계에 직면한 상황이다. 폭발적 데이터 증가를 수용할 수 있는 초고성능 CPU 개발을 위해서는 더 많은 노력이 필요할 것으로 보인다.

현재의 디지털컴퓨팅을 더 발전시키기 위한 노력뿐만 아니라 전혀 새로운 컴퓨팅 방법을 찾아내는 연구도 진행되고 있는데 뉴로모픽컴퓨팅, DNA컴퓨팅, 멤브레인컴퓨팅, 오토마타, 확률컴퓨팅 등이 있다. 그 중에서도 가장 오랫동안 연구가 진행되었고, 전세계 모든 국가에서 동시에 연구개발 경쟁을 벌이고 있어서 디지털 컴퓨팅을 보완하고 대체할 수도 있는 가능성을 가지고 있다고 생각되는 것이 바로 양자컴퓨팅이다.

결론적으로 빅데이터에 관해 한가지 분명한 사실은 앞으로 그 크기가 더 늘어날 것이라는 것이다. 데이터의 미래 전망은 여러 영역에서 성과를 개선할 수 있는 기회로 가득 찰 것이다. 그러나 증가하는 데이터 양, 복잡성, 다양성 및 처리 속도로 야기되는 함정을 해쳐 나가야 한다.

빅데이터는 현실이며, 조직이 이 메가트렌드의 정면 대결에 맞서는 데 사용할 수 있는 데이터 통합 기술 역시 여기에 있다. 대규모 트랜잭션 데이터를 새로운 상호 작용 데이터와 결합하고 데이터 집중적 프레임워크의 이점을 활용할 때, 조직은 빅데이터가 창출하는 큰 기회를 현실화할 수 있고 데이터 중심 기업으로 거듭날 수 있을 것이다.