빅데이터의 시대, 누구나 쉽게 빅데이터를 분석할 수 있다면?
우리는 알게 모르게 수많은 빅데이터 분석을 일상에서 마주합니다. 하지만 빅데이터의 시대의 대중들은 빅데이터와 분석에 관해서 깊게 생각하지 않는 것 같습니다. 단지 누군가가 아주 큰 데이터를 분석했다는 말에 고개를 끄덕이는 그런 수동적인 태도를 보이는 수준이지요.
청년취업아카데미에서 빅데이터 교육을 수강하기 전 친구들과 ‘롯데월드타워 공모전’에 참여한 적이 있었습니다. 그때 우리는 텍스트마이닝이라는 빅데이터 분석방법을 활용하여 SNS에서 발생하는 글을 수집하고 중복되는 단어를 살펴 대중들이 롯데월드타워에 대해 어떤 인식을 가지고 있는지 알아보았습니다. 약 3천 개의 블로그와 언론자료를 수집한 후 R이라는 분석도구를 활용하여 유의미한 단어들을 뽑았는데 롯데월드타워와 관련된 사람들의 관심은 온통 안전과 사고에 관한 이야기였습니다. 대략 80%가 넘는 블로그와 인터넷 기사에서 안전·화재·사고 등과 같이 부정적인 단어들이 등장했습니다.
우리는 “롯데는 안전에 힘써야 한다. 또 다시 사고가 발생하면 더 이상 롯데월드타워에 관한 소비자들의 인식을 긍정적으로 돌리기 힘들다.” 등과 같은 이야기로 공모전 PPT를 제작했습니다. 하지만 우리의 제안은 공모전에서 인정을 받지 못했습니다. 이틀 후 탈락의 쓴 맛이 채 가시기도 전 롯데월드타워의 공사현장에서 사고가 발생해 두 명의 인부가 아까운 목숨을 잃었습니다. 우리 팀은 책임감에 패배감이 더해져 몇날며칠 밤을 설쳤습니다. 잠 못 드는 밤, 제 마음에 반복되던 의문은 “혹시 빅데이터 분석을 일반 사람들도 쉽게 사용할 수 있다면 두 명의 인부가 살 수 있었을까?”였는데요, 이러한 의문을 가슴에 담고 시작한 빅데이터 교육을 받으면서 깨달은 것은 ‘일반 대중을 위한 빅데이터 분석은 어렵다’ 혹은 빅데이터를 배우는 데 일반인의 진입장벽이 너무 높다는 것이었습니다. 그나마 일반인들이 비교적 쉽게 할 수 있는 소셜 빅데이터 분석 이용 tool은 서비스 비용만 한 달에 수백만 원이 넘었습니다. 또한 빅데이터 회사에 들어가 분석을 배우고 싶어도 대부분의 회사가 분석 분야는 신입을 받지 않고 경력직만 받았습니다.
한 달 여의 빅데이터 교육이 끝나고 든 생각은 언어를 전공한 문과생이 더구나 경력도 없는 제가 빅데이터 분야에서 회사에 취업하기 어렵다는 현실에 눈앞이 캄캄했지만 좌절하지만은 않았어요. 오히려 저는 ‘일반인을 위한 빅데이터 분석 프로그램을 하나 만들어서 사람들에게 쉽게 빅데이터 분석을 하게 하자’는 생각을 하게 되었지요. 교육과정이 끝나기도 전에 컴퓨터 소프트웨어학과 친구들을 3명을 모아 빅데이터 분석 프로그램을 만들기 시작했습니다. 근 8개월 동안 밤낮 가리지 않고 공부하고 회의하고 개발하며 보냈습니다.
마침 이 시기에 ‘창업 맞춤형 사업’이라는 중소기업청이 주관하는 창업 지원사업에 뽑히게 되어 약 5천만 원의 지원금을 받을 수 있었어요. 이것으로 컴퓨터도 사고 사무실을 얻어 지금의 회사를 세우게 되었습니다. 현재 우리 회사는 Social Insighter라는 자체 소셜 빅데이터 분석 프로그램을 개발하여 대중들에게 제공하고 있습니다.

다양한 기업을 대상으로 빅데이터 분석을 기반으로 한 컨설팅 제공
SNS분석가로서 다양한 기업에 컨설팅을 제공하고 있습니다. 기업은 자사나 자사의 서비스에 대해서 소비자들이 어떻게 생각하는지 알고 싶어 하고 만약에 자사의 이미지를 좋게 하거나 고객의 만족도를 높일 수 있는 방안이 있다면 이를 적용하고 싶어 합니다. 우리는 수많은 카페·커뮤니티·블로그·트위터 등의 내용을 분석하여 특정 회사나 서비스에 대해서 대중들은 어떻게 평가하고 있으며 어떠한 점을 개선하기를 희망하는지와 기업이 나아가야 할 방향에 대해 조언합니다. 예를 들어 구인자와 구직자를 연결해주는 취업사이트 3사를 비교하여 어떤 시점부터 특정 사이트가 SNS에 많이 거론되었고 자주 회자되는 이용자의 평가는 어떠한지를 분석하는 것입니다. 분석 결과, 자기소개서와 관련된 특정 사이트 서비스와 차별되는 장점에 대해 이용자들이 좋은 평가를 하였다면 이러한 점을 경쟁 취업사이트는 주목하고 대응책을 마련해야 한다고 조언하는 식입니다.

평범한 사람의 특별한 분석이 세상을 바꾼다!
또한, Social Insighter라는 소셜 빅데이터 분석 프로그램을 개발하여 대중에게 빅데이터 분석을 제공하기 위해 노력하고 있습니다. 작은 스타트업 기업으로서는 서버 비용 등 현실적인 문제를 극복하기가 쉽지가 않았습니다. 그래서 우리가 가지고 있는 빅데이터와 언어 분석 기술을 활용해 실생활에 도움을 줄 수 있는 작지만 꼭 필요한 서비스에 대해서 고민하였고 ‘시험에 뭐 나오니?’라는 수능,공무원 영어 단어장 어플을 개발했습니다. 15년 1월초 서비스를 시작해서 오픈한 지 보름만에 약 1,200명의 사용자가 가입하고 매일 800명 이상의 사용자들이 어플을 사용하고 있어요. 이 어플은 기존의 영어단어장 ‘단어를 외우는 방법’에 대해 주목할 때 우리는 빅데이터를 통한 기출문제 분석으로 ‘어떤 단어’를 외우는 것이 시험에 가장 유리한지를 알려주는 영어 단어장 서비스로 최고 적중률은 91%이며 평균 85% 이상의 적중률을 보이고 있습니다. 이처럼 빅데이터와 언어 기출문제 분석으로 정확한 평가 없는 교육 콘텐츠 산업에 공정한 기준을 활용해 평가받는 서비스를 만들고 싶었고 현재는 이 서비스를 통해서 시장에서 좋은 반응을 얻고 있습니다. 이는 ‘평범한 사람의 특별한 분석이 세상을 바꾼다’는 우리의 모토와 맞아떨어지는 부분입니다.
대학생 대상 청년취업아카데미의 교육과정에서 강사로도 활동하고 있습니다. 빅데이터에 대한 일반인들의 관심은 높아도 아직 강의 내용이나 교육과정이 체계화되지는 않았습니다. 저도 부족하고 배우는 입장이지만 먼저 이 분야를 경험한 선배로서 후배들에게 빅데이터 분석과 관련한 노하우를 전수하기 위해 노력하고 있습니다.
또한, 일반인들도 쉽게 빅데이터 분석을 할 수 있도록 프로그램을 개발하는 일을 친구들과 함께하고 있습니다. 지금은 아주 초보단계의 빅데이터 분석 tool을 제공하고 있지만 우리 회사가 성장해가면서 많은 사람이 우리의 프로그램을 사용하여 세상을 읽는 눈을 얻기를 희망하고 있습니다.

수많은 데이터에서 의미를 찾아내는 통찰력이 필요해
빅데이터 분석을 하려면 빅데이터를 분석하는 R이라는 프로그램을 다룰 줄 아는 구체적 스킬이 필요합니다. 이 R이라는 프로그램은 컴퓨터 비전공자도 비교적 쉽게 배울 수 있습니다. 그러나 빅데이터 분석가에게 가장 중요한 자질은 수많은 데이터에서 의미를 찾는 통찰력이며 이렇게 하기 위해서 끈기와 인내를 가지고 데이터를 검토할 수 있어야 합니다.
지금까지 빅데이터 분석 분야가 대량의 데이터를 빠른 시간 안에 처리하는 데 초점이 맞추어져 있었다면 이제는 분석하고 그 속에서 가치를 찾아내는 쪽으로 빅데이터 분석의 중요성이 변하고 있습니다. 이는 몇 년 전까지만 해도 3V(Velocity, Volume, Variety)로 대표되던 빅데이터의 특징이 최근 5V(Velocity, Volume, Variety, Veracity, Value)로 언급되는 것만 봐도 알 수 있습니다. 예전에는 다양한 형태의 빅데이터를 얼마나 더 빠르게 분석하느냐가 관건이었다면 이제는 이에 더하여 정확한 데이터와 가치 있는 분석 결과를 더 중시하고 있다는 뜻입니다.
빅데이터 분석의 목적은 새로운 시각 또는 통찰을 제시하는 데 있습니다. ‘쿠쿠’의 경쟁상대가 어디냐고 묻는다면 ‘쿠첸’이라고 대답하기보다는 1인가구가 증가하면서 혼자 밥을 먹는 사람들이 많아지고 있기 때문에 ‘햇반’과 경쟁해야 한다고 대답하는 것이 새로운 시각이며 새로운 통찰력 있는 답변일 수 있습니다. 이러한 시각과 통찰이 틀에 박힌 대답보다 훨씬 가치 있기 때문입니다.
거대 데이터로부터 의미를 부여하고 통찰을 제공하기 위해서는 끈기와 사람을 향한 관심 그리고 통계적인 지식이 필요합니다. 사람들이 생각하는 것처럼 소셜 빅데이터 분석이 스마트하고 창의력만 필요한 것은 아닙니다. 그보다 수많은 단어들과 긴 시간 사투를 벌여야 하는 경우가 많다는 말씀을 드리고 싶습니다. 수많은 단어 속에서 규칙을 찾아야하고 단어들의 관계를 수도 없이 살펴야 하며 단어의 상관관계나 어떤 규칙들을 찾았을 때는 다시 글의 내용으로 돌아가 수많은 글들을 다시 읽어 내야 합니다. 이때 필요한 것이 바로 끈기입니다. 이러한 분석을 Text Mining이라 하는데 텍스트 마이닝은 언어의 광산에서 끈기를 가지고 가치를 캐내는 작업입니다.
마지막으로 빅데이터 분석가에게 요구되는 자질 중 통계적인 지식을 빼놓을 수 없습니다. 통계는 본인이 상상하지 못하는 그 이상의 이야기를 들려줍니다.
또한, 자신이 하고 싶은 이야기와 분석에 대한 객관성을 담보해주는 정말 좋은 도구라 생각합니다. 저는 고등학교 때 수학을 그리 잘하지 못한 사람이었으나 빅데이터 분석을 위해서 수학을 다시 공부하고 통계도 다시 공부하였습니다.

데이터 속에서 가치를 찾아내는 힘, 인문학적 소양에서 출발해
데이터에서 가치를 찾아내는 것은 인문학적인 소양을 갖춘 인문계열 학생들에게 적합한 영역입니다. 요즘 인문계열 학생들 중에 자신의 전공을 등한시하면서 경영학과와 같은 상경계열에서 주로 공부하는 학생들이 있는데 이는 좋지 않다고 생각합니다. 이런 학생들은 기본적으로 인문계적 소양이 부족하기 때문입니다. 저는 빅데이터 분석을 하려면 인문계열에 다니는 학생들이 자신들의 전공을 잘하는 것이 첫 번째 준비라고 생각합니다. 그리고 자신의 전공에 어느 정도 자신이 있을 때 그때 비로소 다른 학문으로 눈을 돌려보는 것이 옳다고 생각합니다.
저 또한 컴퓨터로 프로그래밍을 할 수 있는 역량은 없습니다. 하지만 영어 논문을 빠르게 해석해 컴퓨터 프로그래밍을 하는 함께 일하는 친구들에게 알려 줄 수 있고 언어 분석에 필요한 다양한 언어 규칙들을 찾아낼 수 있으며 트렌드를 읽어 낼 수 있는 인문학적 지식과 대량의 소셜데이터 속에서 사람들이 하는 이야기를 흥미 있게 볼 수 있습니다. 제가 대학생 시절에 열심히 공부하고 준비했던 것을 현재의 업무에서 적절히 사용하고 있는 것입니다.
또한, 빅데이터 분석을 위해 사람을 향한 관심이 필요합니다. 세상의 모든 데이터는 사람에 대한 이야기를 한다고 생각합니다. 그 이유는 모든 데이터는 사람 없이는 생산되거나 수집되지 않기 때문입니다. 그렇기 때문에 사람과 그들의 이야기를 좋아해야 한다고 생각합니다. 먼저 내 생각과 사고의 틀을 단단하게 다지고 끊임없이 사회에 대한 관심을 가지며 다양한 사람들의 생각들을 내 생각과 사고의 틀과 비교하는 것이 필요합니다. 사람에게 관심을 가지지 않는다면 이러한 과정을 계속적으로 해나가기가 어렵습니다. 그렇기 때문에 ‘왜?’라는 질문을 습관화하고 항상 사람들의 이야기에 관심을 가지고 귀를 기울이는 것이 중요합니다.