직업 생성배경>
빅데이터, 디지털 시대의 금광
빅데이터(Big Data)란 디지털 환경에서 생성된 데이터로 기존 데이터보다 방대한 규모이다. 따라서 기존의 방법이나 도구로는 수집·저장·분석이 어려운 정형·비정형·반정형의 데이터를 의미한다. 1분 동안 구글에서는 200만 건의 검색, 유튜브에서는 72시간의 비디오, 트위터(현X)에서는 27만 건의 트윗 데이터가 생성된다. 누가 얼마만큼 효율적으로 새롭게 생성되는 데이터를 저장하고 처리·분석해 유효한 자원으로 활용하는가는 디지털 시대의 광산에서 금맥을 찾는 것만큼이나 가치있는 일이 되었다.
특히 빅데이터에 기반한 분석방법론은 과거에 불가능했던 일을 가능하게 만들고 있다. 구글은 독감과 관련된 검색어 빈도를 분석해 독감 환자 수와 유행 지역을 예측하는 독감 동향 서비스를 개발했다. 이는 미국질병통제본부보다 뛰어난 예측력을 보인다. 공공기관의 빅데이터 활용은 시민이 요구하는 서비스를 제공할 수 있는 기회로도 작용한다. 싱가포르는 차량의 기하급수적인 증가로 인한 교통체증을 줄이기 위해 빅데이터를 활용한 교통량 예측 시스템을 도입해 85% 이상의 정확성으로 교통량을 측정하고 있다.

수행업무>
방대한 데이터로 새로운 가치 창출
빅데이터전문가는 데이터의 수집 및 확보, 처리, 분석, 활용 등 데이터로 가치를 만드는 일련의 과정을 담당한다. 활용성을 높이기 위한 데이터 수집 단계에서 기획을 세우고, 수집된 데이터를 토대로 통계·분석 작업을 거쳐 원하는 결과물을 만들어내기도 한다. 분석목표에 따라필요한 데이터 자원을 수집하고, 빅데이터 플랫폼을 활용해 데이터를 마이닝하는 일, 분석해 시각화하는 일 등을 수행한다.
빅데이터전문가는 최신 유행이나 트렌드에 민감하게 대응해 분야별 시장동향을 수시로 파악할수 있어야 한다. 인터넷과 소셜미디어에 떠도는 자사 관련 검색어와 댓글을 분석하거나, 제품과 서비스에 대한 고객 반응을 실시간 파악해 즉각 대처한다. 쇼핑업계와 카드사들은 구매이력 정보와 위치기반 서비스(GPS) 등을 결합해 근거리 맛집과 쇼핑 이벤트 등 소비자에게 필요한 정보를 안내한다.
정부와 공공기관에서는 빅데이터를 활용해 시민이 요구하는 서비스를 제공한다. 서울시는 자정 이후 가장 붐비는 택시노선 데이터를 분석하고, 버스 애플리케이션 등에 기반하여 심야버스 노선을 배치함으로써 시민들로부터 큰 호응을 얻었다. 경찰청은 범죄유형에 따른 지역, 시간대별 범죄다발지역과 위험도를 통합 분석한 결과, 범죄율을 줄이는 효과를 거뒀다. 관세청과 국세청은 역외탈세 정보를 공유하는 것만으로 연간 1,000억 원에 가까운 세수 증대 효과를 냈고, 기상청은 호우, 풍랑, 강풍, 한파 등 기상 예측 프로그램을 무료로 제공해 국내 항공업체가 항공기 이륙과 운항, 착륙 등에 활용하도록 도왔다.

해외현황>
연평균 10% 이상 성장하는 빅마켓
2008년 버락 오바마 미국 대통령 후보의 캠프는 다양한 유권자의 데이터베이스를 확보하고 분석해 유권자 맞춤형 선거 전략을 진행했다. 수집한 데이터는 후보자의 캠프로 전송돼 유권자 데이터베이스를 온라인으로 통합관리하는 ‘보트빌더’ 시스템의 도움으로 유권자 지도를 만들 수 있게 했다. 빅데이터의 활용은 오바마를 최초의 미국 흑인 대통령에 당선시키는데 결정적 역할을 했고, 이후 전 세계가 빅데이터에 주목했다.
마켓앤마켓(Markets and Markets)의 조사에 따르면, 글로벌 빅데이터 시장은 2020년 1,389억 달러(약 153조 원)에서 2025년 2,294억 달러(약 253조 원)로 연평균 10.6%의 성장률을 기록할 것으로 예측된다. 그중 가장 높은 점유율을 보이는 시장은 북미지역이다. IBM, 오라클, MS 등의 핵심기업이 빅데이터 시장을 견인하고 있기 때문이다. 아시아·태평양 시장 역시 급성장할 것으로 전망된다. 하둡(Hadoop), 아파치(Apache) 같은 빅데이터 기술이 다양한 기업에 채택되고 있기 때문이다.

국내현황>
전문성 갖춘 인력 부족 상황
국내 빅데이터전문가들은 대기업 또는 검색 플랫폼 IT 업체, 전문 데이터 분석 업체 등에서 활동하고 있다. 또한 대기업 계열사를 비롯한 금융업계가 빅데이터 전담부서를 설치하고 빅데이터 전문인력을 채용하고 있다. 최근 수요가 늘면서 기업은 생산성 향상과 매출 확대를, 정부는 공공기관 서비스 효율을 높이기 위해 빅데이터전문가를 찾고 있지만 전문성을 갖춘 인력은 아직 부족한 상황이다.
한국데이터산업진흥원 ‘2022 데이터산업 현황조사’에 의하면, 데이터 직무인력은 총 197,802명(데이터산업 134,310명, 일반산업 63,492명)으로 파악된다. 빅데이터 관련 세부 직무별 구성을 살펴보면 데이터베이스 관리자, 데이터 개발자, 데이터 분석가, 데이터 기획자, 데이터 아키텍트, 데이터 엔지니어, 데이터 컨설턴트 등이 있다. 향후 5년 내 필요한 빅데이터 관련 데이터 직무인력은 25,298명으로, 직무별로는 데이터 과학자의 부족률이 31.5%로 가장 높았다. 그 다음으로는 데이터 개발자, 데이터 분석가 등의 부족률이 높게 나타났다.
빅데이터전문가는 인공지능기술과 접목된 다양한 분야에서 일자리 증가가 예상된다. 정부는 빅데이터산업 육성을 위해 2019년 ‘빅데이터분석기사’ 국가기술자격을 신설해 2021년 첫 시행했다.

준비방법>
산업 수요에 대응하기 위한 인력양성 추진
각 대학의 빅데이터 관련 학사와 석박사 과정을 통해 준비할 수 있다. 2021년 고려대(데이터과학과), 상명대(지능데이터융합학부), 서울여대(데이터사이언스학과), 성신여대(빅데이터사이언스전공), 인하대(데이터사이언스학과), 한양대(데이터사이언스학과) 등에 빅데이터 관련 학과가 신설되었고, 2022년 경희대(빅데이터응용학과), 국민대(AI빅데이터융합경영학과)에 빅데이터 전공이 신설되었다. 이외 영산대, 대구가톨릭대, 대구대, 서울시립대, 순천향대 등에도 관련 학과가 있다. 빅데이터 전문인력에 대한 수요가 증가하면서 대학 내 관련 학과가 늘어나는 추세다.
한국데이터산업진흥원, 한국소프트웨어산업협회, 서울산업진흥원과 경기도, 대구시, 대전시 등의 자자체에서도 빅데이터 전문인력 양성교육을 진행하고 있다. 한국데이터산업진흥원은 과학기술정통부, K-DATA와 함께 데이터 융합인력 양성산업으로 데이터 관련 학부 전공생 등을 대상으로 프로젝트 기반 데이터 전문교육과 일자리 연계를 지원한 ‘데이터 청년 캠퍼스’를 실시하고 있다. 그간 데이터 분야 우수 인재를 배출하고 있으며, 2023년에는 강남대, 경기대, 고려대, 상명대, 서울과기대, 수원대, 순천대, 을지대, 한국외대, 한남대, 호서대, 홍익대(세종) 등 12개 대학과 함께 데이터 분야 실무형 고급인재를 양성하고 있다.
2019년 신설된 국가기술자격 ‘빅데이터분석기사’는 대학 졸업 이상의 학력과 직장 경력자, 기사 등급 이상의 자격취득자 등을 대상으로 빅데이터 분석에 관한 실무 자격을 시험해 자격증을 발급한다. 빅데이터분석기사 외에도 관련한 국가공인 자격으로는 ‘데이터아키텍처’, ‘SQL’, ‘데이터분석’ 등의 전문가가 있다.