신문사에서 제공된 기사를 토대로 구축된 빅카인즈에 대해 소개를 드리고 앞으로의 활용과 전망에 대해서 설명하고자 한다. 빅데이터(Big Data)란 디지털 환경에서 생성되는 방대한 데이터로, 텍스트 뿐만 아니라 영상데이터도 포함하는 대규모 데이터를 말한다. 하지만 넓은 의미에서의 빅데이터는 방대한 데이터를 분석해서 의미있는 정보를 찾아내는 것을 포함하는 개념이다. 빅데이터는 미래의 쌀, 원유로 불릴 만큼 여러 분야에서 갈수록 중요성이 더해지고 있다.

빅데이터 활용사례를 보면 대표적으로 2015년 파리연쇄테러사건 때 범인 검거작전에 빅데이터가 활용돼 범인을 신속하게 검거하는데 기여를 했다. 무려 10TB(테라바이트)에 달하는 방대한 데이터가 활용된 것으로 알려지고 있다. 2012년 미국 대통령선거에서도 오바마 대통령이 유권자들의 성향 등을 빅데이터로 잘 활용해 재집권에 성공한 것으로 보도되었다. 이외에도 빅데이터는 여러 분야별로 널리 활용되고 있으며 특히 스포츠산업에서도 각광받고 있다.

일례로 2014년 브라질 월드컵은 빅데이터 월드컵으로 불릴 만큼 빅데이터가 독일 대표팀 우승에 크게 기여한 것으로 유명하다. 독일은 국제적인 빅데이터 분석회사인 ‘SAP’와 협력하여 선수들의 어깨와 무릎, 축구공에 센서를 부착해 1분당 1만5000건의 데이터를 실시간으로 제공 받아 감독과 코치가 이를 분석함으로써 선수들 움직임 하나하나, 장단점을 분석하여 실전에 활용했다고 한다. 이후 한국 축구에서도 빅데이터를 활용키로 했다는 보도가 나오고 있기도 하다.

최근 인공지능(AI) 알파고와 이세돌의 세기의 대국에서 보았듯이 알파고는 인류에게 큰 충격을 주었다. 수많은 데이터를 토대로 스스로 학습하는 ‘자가학습’을 통해 진화하는 것이 알파고의 특징이다. 최근 열린 다보스포럼에서 인공지능(AI)이 빠른 속도로 진화해 2020년까지 인간의 일자리 700만개 가 없어질 것이란 전망도 있었다. 이대로 가면 미래 인류의 모습은 주객이 전도되어, 사람은 아무 일도 하지 않고 컴퓨터가 하라는 대로 사는 삶이 될지도 모른다는 우려 섞인 전망이 제기되고 있는 실정이다. 이처럼 인공지능은 지금도 빠른 속도로 발전하고 있다.

빅카인즈를 설명하기에 앞서 인공지능과 알파고를 소개한 이유는 한국언론진흥재단이 지난 4월 19일 출범시킨 ‘빅카인즈’를 개발한 솔트룩스가 바로 토종 인공지능(AI) ‘아담’을 개발한 회사이며 향후 빅카인즈에 인공지능이 탑재될 가능성이 매우 높기 때문이다. 솔트룩스가 개발한 인공지능 ‘아담’도 끊임없이 자가학습을 거듭하고 있다. 아담은 오는 10월 장학퀴즈에 출연키로 해 알파고 못지않은 관심을 모으고 있다.

빅카인즈는 뉴스기사 데이터를 쌓아놓은 거대한 뉴스 빅데이터라 할 수 있다. 빅카인즈의 전신인 카인즈(KINDS)는 1990년에 처음으로 국내 종합일간지 신문사의 기사 콘텐츠를 수집해 데이터베이스화하여 서비스를 하기 시작했다. 카인즈는 조사기자와 밀접한 관계가 있다. 당시 카인즈에 탑재된 주제별 기사분류체계를 구축한 것이 바로 한국조사기자협회이고, 이같은 공로로 협회는 1989년 한국기자협회가 주는 한국기자상(공로부문) 특별상을 수상하였다.

그 당시 조사기자는 언론사내 검색전문가로서 카인즈를 통해 기사를 검색해 취재기자들에게 관련 기사를 제공하였다. 당시 이 카인즈를 검색하는 방법이 지금과 비교해 매우 복잡했었다. 이 때문에 취재기자는 조사부에 카인즈 자료검색을 의뢰하거나 협업으로 조사기자와 같이 일을 하기도 했었다. 당시 조사기자는 카인즈를 검색할 수 있는 정보 전문가로서 전성기를 누렸다고 볼 수 있다.

그러나 1990년대 중반부터 인터넷이 생겨나기 시작했고, 2000년 이후 모든 것이 인터넷 포털에서 찾으면 된다는 인식의 확산에 카인즈도 유명무실해지기 시작했다. 게다가 이무렵 조선일보와 중앙일보, 동아일보가 카인즈 기사 제공을 중단함으로써 당시 한국언론재단은 카인즈 존립 자체를 심각하게 고민하기도 했었다.
이 과정에서 2000년대 중반 이후 카인즈를 비롯한 뉴스콘텐츠 유통 효율화를 위해 한국언론재단이 News ML 표준화 작업을 적극 추진했다. 이때 기사 콘텐츠의 메타데이터인 News Code 표준화 작업에 조사기자들이 활발하게 참여하기도 했다.
그러던 중 2015년 하반기부터 한국언론진흥재단이 문화체육관광부로부터 60억 원이라는 막대한 규모의 예산을 지원받아 카인즈 기사를 빅데이터로 분석해 서비스하는 빅카인즈 서비스를 올해 4월 19일 출범하게 되었다. 이것은 세계 최초의 시도라고 할 수 있다.

빅카인즈의 개념은 텍스트로 이뤄진 뉴스콘텐츠를 분석이 가능한 정제된 데이터로 바꾸어, 사회현상을 분석할 수 있는 기초자료로 제공하는 시스템이다. 분석대상은 신문기사 데이터베이스인 카인즈(KINDS)에 수록된 데이터로서 1990년부터 현재까지 26년간 60여 개 매체의 3000만 건에 달하는 기사이다.

이 분석시스템의 목적은 첫 번째, 단순 뉴스검색이 아니라, 사회현상을 분석하는 기초자료로서 뉴스콘텐츠를 활용해 의미있는 정보 가치를 발굴하는 것이다. 두 번째 가치있는 뉴스 정보를 국민에게 전달함으로써 정보복지 향상에 기여하는 것이다. 세 번째로는 뉴스콘텐츠가 국민, 정부기관, 스타트업 등으로 이어지는 새로운 뉴스활용 생태계 조성을 목표로 하고 있다. 빅카인즈는 일반인을 위한 빅카인즈와, 기자는 물론 교수, 공공기관 등 전문가를 위한 분석시스템 빅카인즈-Pro 등 2개로 나눠 서비스하고 있다.

일반용은 그날그날 수집되는 뉴스를 분석해 이슈키워드, 관계도, 뉴스히스토리 등의 서비스를 제공한다. 우리 조사기자들이 관심을 가지는 부분은 단연 전문가용이다. 직접 분석하고자 하는 주제의 관련 기사를 찾아서 정제된 뉴스분석 데이터를 추출해서 다양하게 분석결과를 활용하는 과정인 것이다.

정보검색도 텍사노미를 기반으로한 검색이라 복잡하게 되어있어서 별도로 이용법을 공부하지 않으면 활용하는데 어려움이 있다. 또한 분석결과를 활용하기 위해 통계프로그램인 R과 SPSS로 분석하기도 한다. 또한 분석된 데이터를 시각화할 수는 기능도 제공되고 있다. 예를 들어 워드 크라우드를 만들어 보다 알기 쉽게 시각화 해 분석할 수도 있다. 유승민의 경우 정치인과 스포츠인을 구분해서 검색을 할 수 있으며, 정보원이 많이 발생하는 순으로 여기에 따라서 인용문을 검색할 수 있는 기능도 서비스된다. 수십만 건의 기사에서 꼭 필요한 데이터를 추출하기 위해서 구문패턴이라는 기능도 조사기자들이 적극 활용해야 할 것이다.
빅카인즈 활용 사례중에 동아일보가 지난 2월 ‘기부’라는 키워드로 추출된 19만건의 기사 분석을 통해서 훌륭한 기획기사를 작성한 사례도 있었을 뿐만아니라 최근 들어 빅카인즈를 활용한 보도사례가 부쩍 증가하고 있는 추세이다.

빅카인즈 발전 위한 향후 과제는 무엇일까. 우선 더욱 정확한 기사 검색을 위해 한국언론진흥재단이 보유하고 있는 시소러스를 올해 안에 업그레이드 해야 한다. 둘째 빅카인즈와 정부의 공공DB를 연계를 확대해서 서비스 할 필요가 있다. 셋째 조중동을 비롯, 방송사 등도 빅카인즈 참여를 이끌어 내야 한다. 마지막으로 유료화 정책수립 및 보다 편리하고 다양한 서비스 개발이 필요하다.

마지막으로 주제발표의 결론을 말씀 드린다. "구슬이 서말이라도 꿰어야 보배"라는 속담이 있다. "아무리 좋은 시스템이라도 활용하지 않으면 무용지물이 되고 경쟁에서 도태“되는 것이다. 조사기자는 빅데이터 시대 뉴스 빅데이터 큐레이터로서, 빅카인즈를 자유자재로 분석하고, 필요한 데이터를 정확하게 추출하는 정보 전문가로서 활약해야 한다고 생각한다.

빅카인즈 또한 뉴스 빅데이터 융합분석과 인공지능화로 뉴스콘텐츠 가치 극대화를 할 수 있어야 이 사업이 성공될 수 있을 것이다. 이와 함께 빅카인즈의 수익모델 창출 가능성도 매우 높다고 할 수 있다.
빅카인즈의 구체적인 유료화 문제는 현재 한국언론진흥재단과 각 신문사별로 심도 있게 논의 중이다. 각 신문사에서는 새로운 비즈니스 모델로서 빅카인즈에 많은 관심을 가지고 있다. 비즈니스 모델은 언론진흥재단과 신문사 실무 부서장으로 구성된 TF에서 검토중인데, 연말까지는 서비스를 하면서 홍보도 하고 새로운 비즈니스모델 개발을 할 것으로 보인다. <끝>
(정리/편집=한국조사기자협회 취재팀 press@josa.or.kr)