하동칼럼

빅 데이터 흔적이 미래를 밝히다

하동신문 0 192

빅 데이터 흔적이 미래를 밝히다

 

자동차가 실용화되기 직전 미국 해군에 근무하던 모리 소령이 휴가를 마치고 마차로 부대로 복귀한다. 마차기 굴렸다. 모리는 마차에 깔려 다리를 심하게 다쳤다. 군대를 예편할 정도는 아니었다. 모리는 육상근무에 배치되었다. 모리는 해군을 위해 일할 아이디가 생각났다. 해류를 알아내 해군에게 제공하고 싶었다. 모리는 많은 병속에 편지를 넣어 바다에 던졌다. 이편지를 보는 사람은 언제 발견했는지를 해군본부 모리 앞으로 보내 달라고 했다. 병을 발견한 곳의 위치와 일시를 적어 다시 병에 넣어 바다에 띄어달라고 했다. 이렇게 1년간 대서양에서 병 편지를 운영했다. 결과는 만족 할만 했다. 대서양에서 계절별 해류의 상태를 파악한 것이다. 이 사건이 빅데이터의 효시라 할 수 있다. 데이터를 가지고 유의미한 가치를 추출했다. 

많은 데이터들의 모임을 빅 데이터라 한다. 데이터 하나의 길이가 1센티미터라면 데이터들이 늘어선 길이가 지구 25바뀌(1 테라) 돌 정도의 량이면 빅 데이터에 끼여 준다. 한 데이터는 간단한 정보를 가지고 있다. 어떤 가치를 지니고 있지 않다. 데이터의 예를 들어 본다. 어떤 사람이 언제 어디에서 어떤 버스를 탔고, 얼마를 지불하고 언제 어디에서 내렸다는 내용이다. 많은 데이터 만을 빅 데이터라 말하지 않는다. 데이터 량은 많지않더라도 데이터 속에서 가치를 채굴한다면 바로 빅 데이터라 할 수 있다. 

빅 데이터를 처리하는 정보처리 기기는 속도가 생명이다. 데이터를 전송하는 속도도 빨라야 한다. 모바일이나

인터넷 기반의 앱들이 빠른 반응을 제공하듯이 빅 데이터도 이에 맞춰 결과를 내 보내야 한다. 수많은 데이터를 빠른 시간 내에 결과를 내야 한다는 것이 보통 문제가 아니다. 이러한

문제를 해결하기 위해 반도체의 용량과 처리속도가 계속 커지고 높아져 가는 것이다. 빅 데이터는 다양한 형태의 데이터들을 수용해야 한다. 데이터의 종류로는 문자, 사진, 그래픽, 동영상 등 종류가 다양하다. 유의미한 가치를 채굴하기 위해서 다양한 데이터의 환경을 포괄할 수 있어야 한다. 유튜브 건수(크립)가 수 억 개가 넘는다. 

빅 데이터 서비스를 할 때 관심 분야를 선정하고 분야에 속한 것들에 대해사전에 개요 정보(메타 데이터)를 추출한다. 빅 데이터 작업 시간을 단축하기 위해서이다. 

빅 데이터는 모순을 극복해야 가치라는 꿀을 만날 수 있다. 빅 데이터 시대는 20-30 젊은 세대들에게 창의적인 도전을 요구하고 있다. 빅 데이터를 다룰 때에는 먼저 창의적이어야 한다. 데이터가 만들어 질 때는 빅 데이터를 염두에 두고 축적되지 않는다. 

익히 알려진 방법으로는 빛나는 가치를 채굴할 수 없다. 익히 알려진 방법으로는 좌절 밖엔 기다리고 있는 것이 없다. 고가의 처리 장비 구입비 등 예산이 많이 든다, 개인정보 보호법에 막혔다, 데이터에 접근하기가 어렵다,처리 방법이 고도의 기술을 요한다 등

안 된다는 것 박엔 없다. 이것을 극복해야 한다. 

한국통신(KT)의 통화량과 서울시의 교통 데이터를 융합시켜 봤다. 그리고 이를 분석했다. 결과는 심야 택시를 잡기 힘든 곳에 심야 버스를 배치했다, 매우 성공적인 빅 데이터 사례로 남았다. 서울시는 버스 준공영제에 의해 버스 업계에 많은 교부금을 지급하고 있다. 버스는 노선을 재배치해야 할 상황이다. 빅 데이터에 의해 버스 노선 재배치로 교부금 투자 효율을 높여 나가야 할 것이다. 빅 데이터가 원활히 유통될 수 있도록 법 제도적인 환경이 조성되어야 한다. 4.15총선 사전투표에 사용한 QR코드의 정보가 빅 데이터 산업계에 활용이 안 되는 이유가 무엇인지. 개인정보보호법이 특정집단에게 배타적으로 데이터를 이용하는 악법이 되어서는 안될 것이다.


  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기
  • 카카오스토리로 보내기
  • 네이버밴드로 보내기