[기고] 빅데이터 세상을 여는 KEY, 융복합 분석

[기고] 빅데이터 세상을 여는 KEY, 융복합 분석

 

서동재 비투엔 AI연구사업팀 이사

 

융복합 분석 개념

데이터 분석의 트렌드가 개별 업무 영역 단위의 문제 해결로 제한되기보다는 다양하고 복잡한 세상의 관점에서 문제를 해석하는 융복합 분석 방식으로 변화하고 있다. 특히 도시는 급격한 발전으로 인해 각종 범죄, 교통혼잡 등 그동안 경험하지 못했던 문제들에 직면하고 있다. 필자가 이번에 다루고자 하는 융복합 분석의 개념은 복합적인 도시 문제 해결을 위해 설계된 새로운 분석 개념으로써, 이종(異種) 데이터의 융복합을 통해 처리한 통계정보 및 학습된 머신러닝 알고리즘을 말한다.

융복합 분석은 스마트시티 사업의 핵심 기술로서, 융합된 데이터를 분석에 활용해 도시에서 발생하는 문제를 해결할 수 있는 서비스를 도출하는 것이 목적이다. 이런 융복합 분석을 하기 위해서는 데이터를 어떤 방법으로 매시업(Mashup)할 것인지가 핵심 쟁점이라 할 수 있다.

개별 서비스(Use Case)는 단일 주제(Subject)에 대해 데이터를 쌓아 분석하는 그 자체로서 완전한 형태를 갖춘 시스템으로 존재한다. 여기서 데이터 허브(Data Hub)의 역할은 개별 시스템에서 사일로(Silo)로 관리하고 있는 데이터를 융복합 분석을 위해 통합 관리하는 것이다. 이렇게 개별 영역에서 수집된 다양한 유형의 데이터를 이용해 여러 관점에서 상관도(Correlation), 유사도(Vector Similarity) 분석을 통해 새로운 인사이트(Insight)를 발굴하는 것이 바로 융복합 분석(Cross-domain Analysis)의 과정이다.

 

그림1. 융복합 분석 개념도

 

융복합 분석 현황 - 비투엔의 역할

데이터 분석 시장은 기본적으로 제공하는 단순한 통계정보로는 더 이상 고객들에게 만족을 주기 어렵고, 빅데이터 분석과 같은 차별화된 서비스를 요구하는 시대로 변화했다. 결국 고객의 요구(Needs)를 반영하기 위해 획득 가능한 모든 데이터의 융복합 분석을 통해 새로운 인사이트를 도출하는 방식이 대세가 되었다.

국내외 플랫폼 기업들도 이런 트렌드에 맞추어 자체적으로 융복합 분석에 필요한 체계와 인프라를 마련하고 있다. 예를 들어 최근 네이버 제페토와 카드사(하나카드, 신한카드 등), 패션업계(구찌 등)가 제휴‧협업 등을 추진하고 있으며, 오프라인 업무적인 협업 뿐만 아니라 온라인의 데이터가 연결-결합하여 새로운 기업의 가치를 창출하려는 노력을 하고 있다.

스마트시티 혁신성장동력 프로젝트에서 융복합 분석(Cross-domain Analysis)은 도시의 각 개별서비스의 결합에 용이하고 더 나아가 도시와 도시간의 결합이 가능한 구조로 설계하는 것에 주안점을 두었다. 총 3단계 구조인 시나리오(Scenario), 기능(Function), 알고리즘(Algorithm)의 계층구조 형태를 가지고 있다. 하나의 시나리오에는 여러 개의 기능이 존재하고 이 기능들의 리스트는 독립적으로 관리되어 다른 시나리오에 활용이 가능한 체계이다. 더 세부적으로 들어가 알고리즘은 기능의 최소 단위 프로그램이며 다른 기능에도 언제든지 가져다 사용할 수 있다는 점에서 재활용성을 높이는 모듈화된 컨셉으로 설계되었다.

필자가 소속된 비투엔은 스마트시티 사업에서 도시 레거시(City Legacy) 데이터 수집, 데이터허브 구축, 융복합 분석 영역을 담당한다. 그 중에서도 안전 2.0 데이터 분석, 버스노선 최적화 등 융복합 분석 과제를 통해 대구시 도시문제 해결을 위한 다양한 알고리즘을 기획하고 분석하는 업무를 수행하고 있다. 또한 대구시 융복합 분석 사례를 표준 모델로 설계하여 다른 스마트 도시에 레퍼런스 할 수 있도록 고도화함으로써 융복합 분석 기법의 확산을 목표로 한다.

 

 

그림 2. 스마트시티에서 융복합 분석의 구조

 

 

융복합 분석 사례 분석 - 버스노선 최적화

융복합 분석을 성공적으로 수행하기 위해 두 가지 요소가 충족되어야 한다. 첫째는 융복합 분석을 수행하기에 적합한 플랫폼을 마련하는 것이다. 각종 도시 데이터를 수집하고 저장된 데이터에 대해 데이터 분석가, 지자체 담당 공무원 그리고 시민, 학생까지 분석 플랫폼(Sandbox)을 활용하여 자신만의 분석을 진행할 수 있어야 한다. 이러한 아키텍처로 설계한 이유는 도시 문제 해결을 위해서는 각계각층이 참여하여 좋은 아이디어를 낼 수 있는 시민 참여형 플랫폼이 필요하기 때문이다.

두 번째는 각 분야에서 발생한 산재된 도시문제 해결을 위한 최적의 시나리오를 정의하는 것이다. 대구시에서는 대중교통 최적화를 융복합 분석의 핵심과제로 선정하였다. 대중교통 이용이 활성화 되면 승용차 이용이 감소하고 교통이 원활해지면서 에너지와 탄소 배출을 줄일 수 있으므로, 버스노선 최적화는 복잡한 대중교통망을 가지고 있는 현대의 도시에서 필수 과제이다.

도시의 주변 환경은 시시각각 변화한다. 예를 들어 대규모 아파트 단지 개발로 인구가 증가하게 되면 다른 지역으로 출근하는 인구가 많아지고 기존 대중교통 노선은 불편하게 된다. 버스노선 최적화 분석은 도시가 운영하는 기존 노선을 기준으로 유동인구, 상주인구 변화, 버스/지하철 승하차 정보, 노선과 정류장 정보 등 다양한 데이터를 분석하여 노선을 최적화하는 방안을 도출한다. 시민들이 각 지역별로 이동한 인구수 대비 대중교통(지하철, 버스)을 타고 이동한 인구의 비율을 이용하여 대중교통 이용률을 산출하고, 교통인프라(버스, 지하철, 주차장 등), 건축(세대수, 가구수) 정보, 토지(사업/거주) 정보, 환경(기온/습도/강수량) 정보 등을 입력 데이터로 활용하여 해당 지역에 얼마나 많은 대중교통 수요가 있는지에 대한 ‘대기수요지수’를 예측한다.

이렇게 분석된 결과는 정확한 의사결정을 위해 특정 지역에서 출발하는 모든 버스노선 기준으로 개선 방향을 수립할 수 있도록 지도(map) 형태로 시각화 할 수 있다. 현재 버스노선 단위로 효율성을 평가하는 방식으로 도시의 대중교통의 문제점을 더 정확하게 인지할 수 있는 고도화 작업을 계획하고 있다. 예를 들어 효율성이 떨어지거나 중복된 노선에 대해서는 통/폐합 및 배차 간격 조정 등의 방법으로 도시의 대중교통 환경을 개선하는 효과를 볼 수 있다.

지금 이순간도 스마트시티, 즉 우리가 살고 있는 도시는 진화하고 있다. 도시의 수많은 데이터 중에서 필요한 정보를 골라내고 정보를 새롭게 조합해 문제를 해결하는 융복합 분석의 역할이 중요한 이유이다. 버스노선 최적화 분석은 교통 분야와 다른 분야 데이터와 연결고리를 찾아 도시문제를 해결하고자 했던 융복합 분석의 대표 사례이다.

그림 3. 융복합 분석 아키텍처(왼쪽), 우-버스노선최적화 분석 결과(오른쪽)

 

 

융복합 분석의 현실과 미래

4차 산업혁명 시대에 들어서면서 인공지능(AI)은 역사상 가장 큰 변화의 원동력이 될 것이라 대부분 평가한다. 자동차, 가전제품 등 주변의 모든 기기들에 적용되어 미래에 우리의 삶의 변화를 가져다 줄 것은 자명하다. 일부 글로벌 빅테크 기업은 이 분야에 괄목할만한 성과도 이미 보여주었다. 이러한 과정을 지켜본 대중들의 인식에는 데이터 분석 기술(Machine Learning, Deep Learning, AI 등)은 어떠한 문제도 해결할 수 있을 것이라는 기대가 형성되었다. 필자는 현장에서 고객의 이런 기대와 실제 프로젝트 현실과의 괴리를 자주 마주하며, 우리는 현실을 직면할 필요가 있다고 생각했다.

현실에서는 분석을 수행하기 위해 필요한 데이터가 데이터화 되어 있지 않거나, 일부 시범 지역에 한정되어 수집되어 데이터 활용이 극히 제한적인 경우가 많다. 이미 수집이 완료된 데이터의 품질도 신뢰할 수 없을 정도로 정보가 부족하기도 한다. 스마트시티 사업에서는 데이터허브라는 솔루션을 통해 도시의 더 다양하고 많은 데이터를 안정적으로 수집, 관리할 수 있는 기반을 마련해 놓았다. 하지만 데이터허브 시작 단계에서는 개별 사례(Use Case) 및 도시의 레거시 시스템 데이터가 다양하게 제공되지 않았기 때문에 유사한 종류의 데이터 결합 및 분석을 통해 새로운 기회를 발굴해내는 데 초점을 두었다.

향후 데이터허브는 지속적인 데이터셋 추가를 통해 풍부한 데이터를 확보하고, 엄격한 데이터 품질 관리를 통해 데이터 질의 향상이 이루어질 것이다. 그리고 다양한 특성을 가진 데이터를 상호 결합하여 데이터 활용 범위를 넓히는 방식으로 이종 간의 심도 깊은 데이터 분석을 수행하게 된다. 이렇게 융복합 분석은 데이터를 기반으로 성장해 나갈 것이며 이 과정에서 얻게 되는 고도의 융복합 분석 경험을 활용해 성공적인 미래사업모델을 구축할 수 있을 것이다.

마치면서

우리가 빅데이터 시대, 즉 데이터 중심 세계를 살아가는 동안 융복합 분석은 앞으로 함께 동행해야 할 흐름이다. 데이터의 중요성이 높아지면서 데이터 분석 영역 또한 다변화되고 고도화되어 단순한 현상 분석이 목적이 아닌 복잡한 문제 해결을 위한 필수 도구로 발전해 왔기 때문이다. 스마트시티에서 융복합 분석은 도시문제 해결을 위해 지속적으로 시나리오(Scenario), 기능(Function), 알고리즘(Algorithm)을 발굴해 나갈 것이다. 더 나아가 도시와 도시간의 연결을 통해 융복합 시나리오는 더 넓은 범위에 적용 가능한 대안으로 발전할 것이다.

결론적으로 각 도시들은 당면한 문제 해결을 위한 시나리오로 꾸준히 발전시킬 것이고 도시와 도시는 거미줄처럼 연결되어 데이터를 서로 융합할 것이다. 궁극적으로 여러 도시에서 쏟아져 나오는 수많은 융합된 데이터를 분석을 통해 시민들에게 가치 있는 혜택을 선사하는 것, 이것이 바로 진정한 의미의 ‘스마트시티 융복합 분석’이다.