실업자 늘었다고? SNS가 먼저 안다

http://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=105&oid=008&aid=0003094644

실업자 늘었다고? SNS가 먼저 안다

5면| 기사입력 2013-08-06 05:30 | 최종수정 2013-08-06 08:50 

[머니투데이 배소진 기자][편집자주] 빅데이터 분석이 세상을 바꾸고 있다. 과거에는 불가능했던, 마치 영화속 한 장면같은 일들이 이제 빅데이터 분석기술의 진화로 현실화되는 것이다. 빅데이터는 과거에는 수집하거나 관리, 분석하기 어려웠던 대용량 비정형 데이터 뭉치다. 각종 IT, 모바일기기와 소셜미디어의 이용증가로 글로벌 데이터가 폭증하면서, 이를 분석해 새로운 부가가치를 창출하는 게 빅데이터 분석 기술이다. 특히 공공분야 접목시 기대효과가 크다. 정책입안자나 집행자들이 그간 경험이나 감에 의존하던 의사결정을 데이터기반으로 단행함으로서 행정력의 분산과 예산낭비를 막는 등 그 편익이 국민에게 돌아가기 때문이다. 미국정부는 빅데이터 이니셔티브를 통해 공공정책 각분야에 빅데이터 분석을 전방위적으로 확산해 국가적 난제해결에 나서고 있다. 우리 정부도 최근 정부3.0 비전을 발표하면서 데이터기반의 과학적 정책수립에 나서고 6대분야에 걸쳐 21개의 시범사업을 추진할 예정이다. 하지만 국내 공공분야 빅데이터는 여전히 초기단계에 머물러있다. 또 수십년간 지속되어온 정책 의사결정 구조를 뒤바꾸는 만큼, 적잖은 시행착오가 예상된다. 체계화된 빅데이터 도입 방법론이나 평가체계가 마련되어야한다는 지적도 나온다. 머니투데이는 한국언론진흥재단의 후원으로 '정부3.0 키워드-빅데이터 혁명 현장을 가다'라는 제목의 기획시리즈를 마련했다. 이를 통해 전세계 공공분야 빅데이터 도입의 대표적인 사례를 살펴보고, 우리 정부 공공분야의 빅데이터 도입노력과 과제를 진단한다.

[[정부3.0-빅데이터혁명 현장을가다]<5>UN 빅데이터 프로젝트 '글로벌 펄스']

UN의 빅데이터 프로젝트 단체 '글로벌 펄스'의 연구결과에 따르면 트위터나 뉴스 댓글 등 온라인 대화에서 '대중교통을 이용하겠다' '식료품 구매를 줄이겠다' 등의 내용이 급증한 뒤 실업률이 실제로 높아지는 유의미한 상관관계가 발견됐다./사진=UN 글로벌 펄스

2009년 금융위기 당시 미국과 아일랜드는 각각 9%, 15%라는 높은 실업률로 고통받았다. 이 시기 블로그 게시글이나 뉴스, 포럼 등의 댓글 등 온라인에서 사람들이 나눈 대화에서는 어떤 분위기가 감지될까. 또 사람들의 삶은 경제위기와 실업에 어떤 영향을 받았을까.

글로벌 펄스는 2009년 반기문 UN(국제연합) 사무총장이 시작한 첫 UN차원의 '빅데이터 프로젝트'단체다. 민간 기업이 사업역량을 키우기 위해 빅데이터를 폭넓게 활용하는 것처럼 정부도 위기를 미리 예측하고 대응하기 위해 빅데이터를 활용하겠다는 것. 특히 UN의 설립이념인 '세계발전과 인류애 전파'를 위해 빅데이터나 그밖의 새로운 분석기술을 활용할 수 있는 역량을 키우겠다는 취지로 시작됐다.

글로벌 펄스에 따르면 미국과 아일랜드에서 수집한 각각의 트위터나 블로그 등에서 대중교통에 대한 언급이 급증한 지 한 달이 지나자 실업률이 뛰어올랐다. 경제위기와 실업 등에 대한 위기감이 자가 운전 대신 대중교통 이용으로 이어지는 것. 대중교통 수요 증가는 곧 실업률이 상승할 것을 알려주는 하나의 지표가 될 수도 있는 셈이다.

비슷한 사례는 또 있다. 미국의 경우 실업 증가 4개월 전 사람들의 온라인 대화에서 우울함과 적대감 표현이 늘기 시작했다. 사람들이 미래에 대해 확신하기 꺼려하자 실업률이 크게 올랐다. 실업률이 높아진 지 2~3개월 뒤에는 '집을 잃었다' '자동차가 압류됐다'와 같은 대화가 증가했다.

아일랜드 역시 실업이 늘어난 5개월 전부터 사람들은 "불안하다", "혼란스럽다"는 내용을 담은 대화를 하기 시작했다. 자신감을 상실했고, 평소 타고 다니던 자동차를 팔거나 대중교통을 이용하는 사람들이 늘었다. 살고있는 집을 줄여야겠다거나 휴가를 취소하고 담보물을 처분하겠다는 대화도 줄을 이었다.

이런 '소셜미디어와 실업률간의 상관관계'를 분석하기 위해 글로벌 펄스는 온라인에 공개된 데이터 가운데 일자리 관련, 특히 '실업'과 관련된 대화를 선별했다. 수십만건의 자료 가운데 '실직한' '해고된' '실업수당' 등의 용어나 구절을 포함한 문서를 자동 수집하는 것. 여기에 대화 내용에 포함된 행복감이나 우울함, 불안 등 어조나 분위기를 분석한 점수를 부여하면 사람들의 실제 삶에 실업이 어떤 영향을 미치는지 파악할 수 있는 지표가 된다.

글로벌 펄스에 따르면 이를 통해 나타난 지표는 90% 이상 신뢰수준의 의미있는 상관관계를 보였다.

로버트 커크패트릭 UN 글로벌 펄스 이니셔티브 의장은 "종종 공식 통계의 집계가 너무 늦어 정부 시스템이 효과적으로 작동하기 어려운 경우가 있다"며 "글로벌 펄스는 위기가 발생했을 때 실제 활용 가능한 정보를 가능한 빨리 찾아내 대응하기 위한 21세기의 접근방식"이라고 말했다. 사회적 분위기를 미리 파악할 수 있다면 각 정부는 실업에 따른 사회적 혼란을 줄일 수 있다는 게 그의 생각이다.

인도네시아어·자바어로 작성된 트위터 메시지 중 쌀값에 관한 월별 트위터 수와 같은 기간 인도네시아 월별 식품 물가상승률 비교한 그래프.(2010년 10월~2011년 10월) 식품물가상승 시기와 같이 하고 있으며 가격 상승시 사람들이 이를 감지하고 우려를 표하는 것으로 볼 수 있다./사진=UN 글로벌 펄스

한편 글로벌펄스는 빅데이터 분석기법을 기반으로 전세계의 국제 식량가격 변동추이도 조사한다.

2009∼2011년 제빵류 가격 조사 당시, 아르헨티나 베네수엘라 등은 제빵류 물가상승률이 실제 국제 밀 가격 상승률보다 더 높았다. 반면 브라질, 칠레, 콜롬비아, 우루과이 등은 제빵류 가격이 밀 시세에 따라 유동적으로 변했다는 점을 알아냈다. 각 국가가 제빵류 가격을 효과적으로 관리하는지, 국제 밀가격에 가장 크게 영향을 받는 국가가 어디인지 등을 빅데이터를 통해 파악한 것이다.

인도네시아의 트위터 메시지 분석에서는 트위터에서 쌀 가격에 대한 언급이 늘수록 국제 식량 가격도 함께 올라간다는 결과를 얻었다. 공식 통계보다 먼저 사람들이 실생활에서 이를 감지하고 온라인 상으로 우려를 표시하는 것이다.

이런 정보는 기존의 공식적 실업 통계에서는 얻기 어렵다. 즉 소셜분석을 활용하면 실업률 상승 증가나 국제 식량가격의 변동이 어느 정도의 시차를 두고 실물 경제에 영향을 미치는 지 알아낼 수 있다.

글로벌 펄스는 앞으로 전세계 석유, 주택 가격 분석 등으로 이 같은 빅데이터 활용을 늘려나갈 계획이다. 이를 통해 대중교통을 좀 더 확보하거나 주택을 잃는 사람들을 위한 사회적 보호프로그램을 마련하고, 물가변동에 앞서 미리 식량을 비축하는 등 구체적인 세계 정책을 펼칠 수 있을 것으로 기대하고 있다.

로버트 커크패트릭 의장은 "빅데이터를 이용하면 좀 더 일찍 문제를 발견해 최신의 기술로 가장 효과적 대응을 내놓을 수 있고, 그렇게 내놓은 대책이나 정책들이 얼마나 효과적으로 반영되는지 실시간으로 피드백을 받을 수도 있다"고 말했다.

이어 "소셜미디어 트렌드를 공식 통계자료와 연계해 사회보장 계획수립 등에 유용하게 활용할 수 있을 것" 이라며 "앞으로도 UN강령에 따라 실업문제 해법, 질병창궐, 기본 생필품 가격 실시간 모니터링 등에 빅데이터 분석기법을 활용하게 될 것"이라고 덧붙였다.