[방송기술저널=박재현 SBS 미디어기술연구소] 지난 11월 스페인 마드리드에서 개최된 Big Data Spain에 다녀왔다. 연초부터 정부 지원으로 수행 중인 국책과제와 관련된 학회 참석차 다녀온 것이다. 연구를 업으로 하는 조직에서 국책과제는 회사에 부담을 주지 않으면서 새로운 기술을 확보할 아주 좋은 기회다. 동시에 국민의 세금으로 하는 일인 만큼 책임감과 부담감도 그 못지않게 크다. 그리고 그 새로운 기술에 대한 영감을 얻을 수 있는 가장 좋은 방법은 관련 학회에 참가해 그동안 지치고 매너리즘에 빠진 뇌를 ‘새로움’으로 자극하는 것이다. 게다가 그 장소가 해외라면? 일상의 업무에서 시공간적으로 완전히 탈출해 온전히 새로움의 바다에서 마음껏 헤엄치다 올 좋은 기회 아닌가?
운 좋게도 필자는 이 좋은 기회를 얻었고, 선거방송이 끝난 직후부터 ‘좋은’ 곳에서 열리는 ‘좋은’ 컨퍼런스를 열심히 찾았다. 사실 필자가 속한 연구소는 몇 년 전부터 Big Data, Computer Vision 같은 인공지능(AI) 기술을 연구해오고 있었기에 좋은 행사를 찾는 데에도 신중에 신중을 기했다. 우선, ‘Big Data’, ‘Computer Vision’, ‘AI’, ‘Machine Learning’, ‘Deep Learning’ 등 가능한 많은 검색어를 동원해 9월부터 11월 사이에 열리는 모든 학회를 찾고 일일이 그 사이트에 들어가서 커리큘럼을 확인했다.
이미 관련 기술을 연구해오고 있었기에 완전히 새로운 영감을 얻고자 기존에 경험해보지 않았던 내용과 상상하지 못했던 장소를 찾았다. 일단 미국은 뺐다. 새로운 느낌이 덜했다. 그렇게 한두 달을 고민하다가 선택했다. 새로운 경험을 안겨줄 학회와 그 학회가 개최될 새로운 장소 Big Data Spain in Madrid!! 기술과는 무관할 것 같은 편견을 안겨주는 스페인에서 열리는 최첨단 기술인 AI 학회. 어땠냐구? 뜨거웠다!! 태양도, 컨퍼런스도…
학회 이름은 Big Data Spain이지만 대부분의 강의가 AI와 관련된 강의였다. 어쩌면 당연한 일인지도 모른다. 데이터와 AI는 실과 바늘의 관계보다 더 밀접하지 않은가? 신생아 AI 엔진을 완전한 성인 AI로 만들어주는 것도 데이터이지만, 그 AI 또한 만물에 존재하는 ‘恒河沙(항하사)’의 데이터를 위해 존재하는 것이니 말이다.
본 학회도 마찬가지다. AI를 얘기하지만, 그 끝에는 항상 데이터, 특히 데이터 사이언스가 있었다. 필자와 후배 연구원은 각각 Business와 Technology로 역할을 나눠 여러 강연을 들었고, 여기서는 그 중 Business에 대해서 설명하고자 한다.
우선 Business가 AI를 바라보는 시선에서 출발한다. 말 그대로 AI가 만들어가는 세상에서의 변화의 흐름은 ‘난기류’가 아닌가? 속도도 방향도 그 양태도 도무지 알 수가 없다. 그리고 현재의 조직이 과연 그 변화에 적응할 수 있는 조직인가? 아니, ‘조직’이라는 개념 자체가 도전받고 있지는 않은가? 본 컨퍼런스의 목적은 분명했다. ‘AI와 빅데이터가 만들어갈 미래의 세상을 예측하고 대비하는 것’. 이를 위해 아주 고전적이고 인간적인 방법을 선택했고, 이에 대한 고찰이 아래와 같이 이뤄졌다.
– AI와 빅데이터가 현재 어떻게 돈을 벌고 있는가?
– AI로 돈을 벌기 위해 조직은 어떻게 변해야 하는가?
– 조직 차원에서 데이터를 어떻게 다룰 것인가?
◊ Global 업체들의 AI 활용 사례
1) Personalized Recommendations : ‘A lot of times, people don’t know what they want until you show it to them.’(by Steve Jobs)
개인화된 추천 서비스는 AI와 빅데이터를 활용한 가장 큰 성공 모델이라 할 수 있다. 특히, 영상 콘텐츠와 관련해서 AI가 가져온 가장 큰 변화라고 할 수 있다. Youtube가 Godtube가 된 것은 필요한 모든 영상을 찾을 수 있어서가 아니라 검색 없이도 몇 시간, 며칠이고 내게 필요한 콘텐츠를 자동으로 제공해주기 때문일 것이다.
① Netflix : 빅데이터 분석을 통한 추천 알고리즘이 $1 billion의 추가 수익을 안겨주고 있으며, 7,500만 명의 사용자가 로그인할 때마다 각각 다른 경험을 하고 있다. 그들이 보는 80% 이상의 TV Shows가 그들의 선택이 아닌 추천 시스템에 의해 제공된 것이다.
② 맥도날드 : 역시 빅데이터 분석에 의해 개별 사용자의 구매 패턴뿐만 아니라 날씨, 위치, 오전·오후 등 시간에 따라 다른 콘텐츠를 제공하고 있다.
③ 월마트 : 개별 추천 서비스를 위해 페타바이트 단위의 엄청난 데이터를 수집해 분석하고 있다.
2) 아마존
① Amazon Go : 계산원도 계산대도 없는 오프라인 매장으로서 지난 1월 처음으로 일반에게 공개했다. 머신러닝, 컴퓨터비전, AI, 센서 기술이 융합된 결과로서, 고객은 아마존고 애플리케이션을 실행시키고, 입구 센서에 인식 후 매장에 들어가 물건을 들고나오면 끝이다. 고객이 선반에서 제품을 꺼내는 순간 제품은 앱 속의 가상 장바구니 내에 표시되고, 다시 제자리에 놓으면 사라진다. 모든 제품과 수량은 자동으로 인식된다. 결제 또한 매장을 떠나면 자동으로 이뤄진다.
② 재고 여부, 거리 등에 따른 창고 자동 선택, 불량품 자동 인식 및 포장 박스의 크기와 접착테이프의 길이까지 자동으로 계산해서 알려주고 있다.
3) Paypal
금융 사기 방지를 위해서 해당 기술(Fraud Detection)을 보유한 Startup인 Simility를 1억2천만 불에 인수했다.
4) Deepmind
구글에 5000억 원이 넘는 거액에 인수된 후 AI를 연마해 그동안 난공불락으로 여겨졌던 바둑 세계 챔피언을 깬 AlphaGo를 개발해 전 세계를 충격에 빠뜨린 Deepmind는 Intelligent Energy 분야에서도 또 한 번 세계를 놀라게 하고 있다. 기존 전력 인프라를 변경하지 않고 순수 AI 기술에 의한 최적화만으로 전력 생산 비용 인하에 앞장서고 있으며 이미 Google 데이터센터의 전력을 15% 이상 절감하는 데 성공했다.
5) Siemens
독일의 제조업체 Siemens는 빅데이터, AI, IoT 등의 기술을 하나로 묶어 물품 주문, 생산 발주, 생산 계획의 통합 관리뿐 아니라, 공정 최적화부터 이상 징후 감지까지 AI 솔루션에 의해 통제하고 운영하는 스마트 팩토리를 구현했다. 이 회사가 내놓은 스마트 공장 솔루션인 MindSphere는 업종이나 규모와 관계없이 디지털 혁신을 돕고 있다.
◊ Machine Learning Adoption in the Enterprise
1) 기업에서의 AI와 빅데이터 분석 기술 채택 현황
① AI 기술 채택 정도에 따른 상태 구분(3단계) : O’Reilly 보고서의 구분에 따르면 아래와 같이 3단계로 구분된다.
√ Exploring : 머신러닝 기술을 막 사용하기 시작
√ Early Adopter : 2년 이상
√ Sophisticated : 5년 이상
② 지역별 ML 채택 현황 : 주로 북미와 서유럽에서 위 3단계 중 Sophisticated로 분류되는 기업이 많았으며 지역별 분포는 아래와 같다.
③ 새로운 직업군의 탄생 : AI와 빅데이터 기술이 기업에서 정착함에 따라 데이터 사이언티스트라는 새로운 직군이 탄생했다. 데이터 사이언티스트는 AI와 통계학에 대한 전문적 식견을 바탕으로 빅데이터를 분석하고 분석 결과를 새로운 데이터 형태로 만들어내는 전문가 직군을 말한다. 이 직군은 현재 미국에서는 가장 핫한 직업군의 하나로서, 하버드 비즈니스 리뷰는 이미 2012년에 ‘21세기 가장 Sexy한 직업’이라고 표현한 바 있으며, 최근 3년간 미국에서 가장 평균 연봉이 높은 직업으로 각광받고 있다.
2) AI와 빅데이터 분석 기술의 안정적 채택을 위해 바람직한 조직의 모습
① 새로운 서비스 및 제품 구현을 위한 의사 결정 권한 : 기존에 Product Manager가 담당하는 이 업무는 향후 데이터 사이언스 조직으로 넘어갈 것이다.
② 프로젝트 성공 여부에 대한 평가 기준 : 이 또한 고전적 사업의 평가 지표에서 ML과 통계 지표로 넘어갈 것이다.
③ 데이터 사이언스 조직의 역할 : 새롭게 탄생한 데이터 사이언스 조직은 모든 사업에 있어서 키 역할을 담당해 사업성 검토 단계에서는 사업 조직과 예산 조직을, 실제 구현 단계에서는 사업 조직과 개발 조직을 리드해가는 역할을 해나갈 것이다.
◊ 데이터 사이언스 조직의 구성 사례
결국 기업이 이 데이터 사이언스 조직을 어떻게 구성해서 어떻게 활용하느냐가 향후 사업에서의 성패를 결정하는 가장 큰 요인 중 하나가 될 것이다. 이를 위해 해외 사례를 살펴봄으로써 실제로 어떻게 구성할 것인가에 대한 영감을 얻고자 한다.
1) Job Title에 대한 환상을 버리자
국내에서도 데이터 사이언스는 생소한 분야지만, 아직 전 세계적으로도 이 개념에 대한 명확한 정의를 내리지 못하고 있다. 그래서 Job Title보다는 Job Description에 더 중요하다. 특히, 구인·구직 시 이 부문에 특히 유념해야 한다.
2) 효과적 데이터 사이언티스트 확보를 위한 단계별 Job Interview
서류 심사 이후 전화 면접, Take-Home Project, 현장 실무 면접 등의 단계별로 검증할 수 있도록 한다. 예를 들면 아래와 같다.
① 전화 면접 : ‘R’이나 ‘Python’ 패키지 중에서 선호하는 패키지와 그 이유는? 최근 참여한 분석 프로젝트에 대해서 설명하라.
② Pair Programming : 실제 SQL 문을 쓸 수 있는지 검증
③ Take-Home Project : 주어진 예제 데이터를 활용해서 비즈니스적 결론을 도출해내는가? 이를 Visualize 할 능력이 있는가?
④ 현장 실무 면접 : 데이터베이스 스키마 설계 등 실무 능력 검증
3) 무엇보다도 구인자와 구직자 서로에게 가장 적합한 Mutual Fit을 찾는 것이 중요하다
◊ 소감
데이터는 AI가 존재하도록 한 원동력이며, 동시에 AI의 존재 이유이기도 하다. 따라서 향후 비즈니스 성공을 위해서는 데이터 사이언스 팀의 존재와 그 역할이 필수다. 하지만 데이터 사이언스 분야에 대해서는 현재 어느 누구도 명확한 정의를 내리지 못하고 있다. 이는 최근 고전적 의미의 영역 간 경계가 모호해지고 낮아지는 현상과 맞물려서 일종의 ‘무주공산’의 새로운 영역이 발생함을 의미한다고 불 수 있다. 그 영역은 ‘文(문)을 겸비한 理(이)’나 ‘理를 겸비한 文’ 모두에게 열려 있다.
