[4차산업 빅데이터⑯] 빅데이터와 인공지능의 관계

빅데이터는 인공지능과 결합하여 교통과 업무, 가사의 자동화 등 일상생활의 변화를 주도함은 물론 공공안전과 국방, 교육, 의료, 법률자문 등 전문분야에 이르기까지 그 활용의 범위가 매우 넓어졌으며, 모든 산업에서 빅데이터와 인공지능을 이용한 기술력이 경쟁력 강화를 위한 원천으로서 활용되고 있다.

빅데이터에 있어, 인공지능(Artificial Intelligence, AI)은 건초 더미에서 작은 바늘을 찾는 자석이나 다름없다. 기업들은 가치 있는 인사이트를 발굴할 수 있는 정보를 보유하고 있다. 그러나 그 양이 사람이 처리할 수 없을 정도로 많다. 데이터 더미가 기하급수적으로 증가하고 있는 추세에서 AI는 이를 따라갈 수 있는 최고의 수단이다. 따라서 IDG Tech Focus(IT world)에 따르면 다음과 같다.

빅데이터(Big Data)란 아이러니하게도, 구글에서 'What is big data(빅데이터란 무엇일까)?'라고 검색하면 2억 7,000만이 넘는 검색 결과가 나온다. IDC는 빅데이터 기술을 아주 빠른 속도의 포착, 발견, 분석을 통해 다양한 수많은 데이터에서 경제적으로 가 치를 추출할 수 있는 새로운 세대의 기술과 아키텍처로 정의한다. IDC는 빅데이터의 데이터에 4가지 속성이 있다고 정의한다. 가치(값진 이익을 제공하는 데이터), 속도(통상 60GBps 이상), 볼륨(100TB 이상), 다양성(여러 소스의 데이터)이 여기에 해당된다.

빅데이터는 어디에서 올까 빅데이터는 웹 내부와 외부 등 모든 장소에 존재한다. 예를 들어, 소셜 미디 어는 지속적인 업데이트, 좋아요, 코멘트로부터 빅데이터를 생성한다. 비즈니스 시스템도 빅데이터를 생성한다. 구매, 의료 기록 업데이트 등 각종 트랜젝션에서 빅데이터가 만들어진다.

사물인터넷(IoT)은 센서나 머신이 생성한 데이터로 3번째 범주를 구성한다. 이는 깔끔한 열과 행이 배열된 데이터베이스와 표와 같은 구조화 데이터로 쉽게 처리할 수 있는 형식으로 저장될 수 있다. 고객 판매 기록, 마케팅 조사 결과를 예로 들 수 있다. 반면 쉽게 액세스할 수 있는 형식이 아닌 수많은 IoT 데이터, 비디오, 음성 녹음, 문서, 이메일 등 비구조화 데이터도 존재한다.

빅데이터 분석 입문 빅데이터 분석의 목적은 입증된 분석 도구로 정보에 근거를 둔 의사 결정을 내리는 것이다. 관계형 데이터베이스나 웨어하우스에 보관된 구조화된 빅데이터는 부분적인 솔루션을 제공할 수 있다. 그러나 웨어하우스 데이터에는 한계가 있다.

아파치 하둡(Apache Hadoop)과 관련 데이터마이닝 도구와 같은 빅데이터 분석 기술들은 비구조화 데이터 처리에 도움을 준다. 이를 통해 발굴한 결과물이 훨씬 더 유용하다. 그러나 이런 모델의 경우, 계획한 처리 작업을 수행하기 전에 데이터를 분석하기 위한 연산을 프로그래밍해야 한다.

조직은 필요한 애플리케이션을 개발, 기존 비즈니스 시스템과 통합할 수 있는 전문성을 갖춘 인재를 채용하거나, 이를 훈련시켜야 한다. 프로그램에는 시스템 변경 사항에 대응해, 스스로를 조정하는 지능이 없다.

데이터 분석의 한계 볼륨과 다양성, 지속적인 증가라는 빅데이터의 특징 때문에 효과적인 분석, 빠른 분석이 어렵다. 데이터의 다양성과 증가 속도가 데이터마이닝 소프트웨어를 전문화된 틈새 시장으로 유도할 수 있다. 컴퓨터월드(Computerworld)의 추정에 따르면, 2020년 한 사람이 생성하는 디지털 데이터가 5,200GB를 넘어설 전망이다.

그러나 아직은 값진 정보를 제공하는 많은 데이터 가운데 극히 일부만 분석되고 있다. 엄청난 양에 더해, 일관 성과 데이터 품질 문제도 골칫거리다. 그렇다면 많은 슈퍼컴퓨터에 투자하고, 숙련된 데이터 과학자를 채용하는 방법을 제외하고, 기업들이 이 기술에 보조를 맞추는 방법은 무엇일까

정보 처리 장애물을 무너뜨리는 AI는 AI의 출발점은 슈퍼컴퓨터와 인간의 지능 모방이다. AI 컴퓨터 프로그램은 바뀌는 정보에 대응해 결과물을 조정한다. 간단히 말해, AI 프로그램은 단순히 연산만 하지 않는다. 프로그래머가 더 많은 데이터를 공급하면, 이를 학습해 적용해야 할 규칙을 파악한다.

이런 규칙을 만드는 프로세스를 머신러닝(Machine Learning)이라고 한다. AI 프로그램은 계속 바뀌고, 지속적으로 증가하는 빅데이터에 대응하기 위해 스스로 학습을 하는 방식으로 사람의 지능을 모방한다. 에드워드 모나한은 가까운 장래에 컴퓨터를 프로그래밍할 필요가 없어질 것이다. 개처럼 훈련을 시키기 때문이다고 말했다.

AI가 비즈니스에 가져오는 영향은 세계적인 미래학자인 제임스 칸톤은 사고하는 기계(Thinking Machine)가 의사 결정에 큰 변화를 가져올 모든 산업의 기업에 AI가 보급됐다고 말했다. 칸톤은 과거 별개의 개념이었던 AI와 빅데이터가 융합하는 추세라고 설명한다.

AI는 중요한 트렌드와 패턴을 찾고, 새로운 비즈니스 모델을 만들고, 더 나아가 기아와 질병을 종식시킬 잠재력을 갖고 있다. 칸톤은 AI가 도처에 편재한 세상에서, AI는 목적을 위해 데이터를 수익화하고, 의미를 추출할 동인 역할을 할 것이라고 전망했다.

IDC의 예측에 따르면, 인지(또는 AI 구현) 애플리케이션은 2020년에 미국 기업들에 연간 600억 달러가 넘는 생산성 향상 효과를 가져올 것이다. 인지 (cognitive) 기능이 구현된 애플리케이션, 제품, 서비스가 여러 산업에서 시장 화되고 있다.

예를 들면, 노스페이스(North Face)의 쇼핑 추천 앱, 구글 네스트(Google Nest)와 아마존 에코(Amazon Echo) 같은 스마트 홈 시스템, 지능형 공급 및 물류 시스템, 애플 시리(Apple Siri)와 마이크로소프트 코타나 (Microsoft Cortana) 같은 자동화된 가상 비서 기술 등이 있다.