Share on facebook
Share on linkedin
Share on twitter
Share on facebook
Share on linkedin
Share on twitter

심층강화학습(Deep Reinforcement Learning)에 대한 기초 안내서

바둑의 규칙은 단순한 편이지만 실제 플레이는 복잡하다. 각 플레이어가 바둑판에 한 수를 둘 때마다 대략 2 x 10170 가지의 위치를 고려할 수 있다. 경험이 많은 선수는 수년간의 게임을 통해 시행착오를 거쳐 어떤 수가 더 상대방을 제압할 가능성이 높은지를 학습하며, 이와 같은 학습 과정을 강화학습이라고 부른다.

그러면 전문 바둑 선수들 간에 있었던 수천 번에 달하는 게임 데이터를 인공지능(AI)에 입력하면 어떤 일이 생길까? 최고 수준의 바둑 선수들을 능가하는 AI, 즉 알파고(AlphaGo)가 나온다. 이것이 바로 딥러닝 작동의 결과이다.

그러나 만약 프로 선수들 간의 게임 결과 데이터를 입력하는 대신 AI에게 바둑의 규칙을 가르치고 AI 사이에서 수백 만 번의 게임을 플레이하게 한다면 어떻게 될까? AI는 심층 강화학습을 통해 수백 만 게임에 대한 자체 데이터를 생성하고 최상의 결과에 도달하도록 만든 주요 움직임을 분석함으로써 스스로 학습한다. 인간이 학습을 하는 과정과 마찬가지로 AI 또한 실패나 성공에 따라 대응 방식을 조정함으로써 결과치를 향상시킨다. 차이가 있다면 AI가 처리할 수 있는 학습의 규모와 속도가 우리 사람의 능력을 훨씬 초월한 수준이라는 점이다.

심층 강화학습은 하나의 구조 내부에서 작동할 수 있다. 이것은 목표를 설정하기 전에 바둑이라면 게임의 규칙, 그리고 만약 마케팅 캠페인이라면 시장 상황과 같은 해당 환경의 컨텍스트, 즉 맥락을 고려해야 한다는 뜻이다. 그러면 심층 강화학습 기능을 수행하는 AI는 이전 캠페인으로부터 얻은 지식 뿐만 아니라 자체 반복 학습 과정에서 수없이 시도해 본 시나리오에서 얻은 교훈까지 포함한 전체 정보를 토대로 승리 전략이나 묘수에 대한 인사이트를 도출하여 게임이나 마케팅 캠페인이 어떻게 전개될지 보다 정확하게 예측할 수 있도록 한다.

또한, 캠페인을 실제로 운영하면서 효과가 있는 것과 없는 것을 판단하는 것 뿐 아니라 수익성과 같은 중요한 요소들을 분석하는 등, 스스로 학습을 지속한다. 따라서, 리드(lead)당 비용을 낮추거나 더 많은 구매를 할 것으로 예상되는 사용자를 타겟팅함으로써 향후 캠페인을 최적화할 수 있다.

앱 설치 수를 극대화하는 캠페인을 진행해야 하는 상황을 가정해보자. 캠페인 목표는 한정된 예산으로 확보할 수 있는 최대치의 설치 수를 얻는 것이다. 예산을 어디에 할당할지, 입찰 가격을 얼마로 할지 결정해야 한다. 이 경우 AI는 심층 강화학습을 사용하여 주어진 예산 및 가격에 대한 이해를 기반으로 최상의 플랫폼과 타이밍을 찾을 수 있는 전략을 제안하고, 마케터에게 가장 유리한 기회를 찾는 데 도움되는 액션이 무엇인지 제시한다. 그리고 환경이 바뀌어도, 무엇이 효과가 있는지 또는 없는지를 사람보다 훨씬 빨리 배우고 판단할 수 있다.

심층 강화학습은 인간 행동을 다루는 마케팅처럼 여러 다양한 대체 경로가 있을 수 있는 복잡한 환경에서 가장 큰 효과를 발휘한다. 또 하나의 큰 장점은 실수를 통해 학습하고 빠른 속도로 다시 최적화한다는 점이다.

애피어에 문의하세요!

문의를 남겨주시면 마케팅 전략을 개선할 수 있는 방법을 찾을 수 있도록 안내해드리겠습니다.

다른 최신 포스트도 둘러보세요!

위험과 보상: 신용카드 고객 유치 활동에서 인공지능(AI)의 역할

아태지역 금융 서비스 업계 전반에 인공지능(AI)의 도입이 확산되면서 고객 유치 및 참여 유도 전략을 비롯하여 위험을 줄이기 위한 기업의 전략이 모두 바뀌고 있다. 딥러닝 기술의 비약적인 발전에 따라 기업들은 잠재고객에 대해 좀 더 전체적인 관점을 확보할 수 있게 됐고, 따라서 신용카드, 대출 등의 재정 상품을 신청하는 고객들에 대해 더 나은 판단을 내릴 수 있게 됐다. 아태지역 은행 업계의 매출은 2018년 기준 미화 1.6조 달러, 이익은 미화 7천억 달러를 기록하고 있다. 이는 전 세계 은행 업계 세전 이익의 37%에 해당하는 수치이다. 그러나 추세를 보면 성장 속도의 둔화 조짐과 수익성의 감소가 나타나고 있어 실적 향상 및 경쟁력 제고를 위한 사업 규모 확대의 필요성이 대두되고 있다. 한 가지 긍정적인 소식은 아태지역의 신용카드 및 대출 시장은 커다란 성장 잠재력을 지니고 있다는 점이다. 아태지역 내에서 보급률이 낮은 국가도 다수 존재하지만, 아태지역 신용카드 지출액은 전 세계 지출액의 약 절반을 차지하고 있다. 따라서 신용카드 신규 고객 유치야 말로 업계의 미래 수익 창출로 이어질 수 있는 확실한 방법이다. 한편, 금융 분야에서 인공지능(AI) 툴의 도입이 증가하면서 인공지능이 향후 고객 유치에 있어 중요한 역할을 담당하게 될 것으로 보인다. 은행은 물론 P2P 대부 업체 등 각종 금융기관들이 앞다투어 신용카드 및 대출 상품의 포트폴리오를 확대하려는 움직임을 보이고 있는 가운데, 딥러닝 기반 인공지능 도구들의 도움으로 풍부한 마케팅 노하우와 냉철한 리스크 평가를 구현해 나가고

소셜 광고의 타겟팅 정밀도를 높이는 방법

타겟 고객 세분화 작업은 사용자가 과거에 보인 행태 데이터 분석에 의존해왔다. 이제는 인공지능(AI)을 통해 예측적 분석을 실행함으로써 페이스북 사용자를 더 낮은 CPA(액션당 비용)에 더 효과적으로 세분화할 수 있다. 소셜 미디어 플랫폼은 소비자들의 세부 특성을 파악하려는 마케터들에게는 꿈의 공간이다. 타겟 고객 세분화는 기존에도 이루어졌지만, 방대한 양의 소비자 행태 관련 데이터를 쉽게 얻을 수 있는 시대가 되면서, 세분화 방식도 점점 더 정교하고 복잡해지고 있다. 즉, 주어진 데이터를 어떻게 잘 활용할 것인가 하는 것이 더 중요해졌다. 현재 마케터들이 타겟 고객 세분화를 수행하는 방식은 데이터를 분석하여 해당 소비자가 브랜드에서 원하는 특정 액션을 취할 가능성이 있는지를 알려주는 특성을 판별해내는 식이다. 그 특성을 토대로 광고를 집행할 타겟 고객 페르소나를 구축한다. 이런 방식은 일정 정도 효과가 있다. 하지만 2018년 1분기 페이스북 클릭당 비용이 전년 동기 대비 92% 증가한 반면 클릭률(click through rate)은 제자리 걸음을 보이는 등, 소셜 미디어 마케팅 비용이 늘어나고 있는 상황을 고려하면 투자 대비 최대 수익을 달성하기 위해서는 타겟 고객 세분화 작업을 최적화할 방법을 모색해야 한다. 기존 타겟 고객 세그먼테이션 방식의 문제점 현재의 타겟 고객 세분화 방식에는 두 가지 중대한 약점이 있다. 먼저, 사용자 행태 기반 세분화 작업은 해당 사용자의 과거 행태를 근간으로 식별하기 때문에, 그 사용자의 미래 행태는 반영하지 못한다. 과거의 행동이 미래의 행동과 반드시 일치하는 것은 아니기 때문이다. 미래의 행태를 미리 파악할 수

서비스형 머신러닝(MLaaS) 시대의 기회와 도전과제

오늘날의 기업들은 막대한 양의 데이터를 다루며 그 규모 또한 그 어느 때보다 빠르게 성장하고 있다. 그와 동시에 시장경쟁 지형이 급격히 바뀜에 따라 신속하게 의사결정을 내리는 것이 이윤 추구를 목적으로 하는 조직들에게는 더욱 중요해졌다. 사업의 성공 여부가 활용 가능한 정보를 바탕으로 얼마나 신속하고 정확하게 의사결정을 내리느냐에 좌우된다. 머신러닝(ML)은 경쟁우위를 확보하려는 기업들에게는 반드시 필요한 기술이다. 막대한 양의 데이터를 빠른 속도로 처리할 수 있기 때문에, 브랜드가 소비자들에게 더 적합한 상품을 추천하거나, 제조 기업이 공정 과정을 개선하거나 혹은 시장 변화를 미리 예측하여 선제적으로 대응할 수 있도록 지원한다. 서비스형 머신러닝(Machine Learning as a Service, MLaaS)은 사업적인 맥락에서 고객에게 일관된 서비스를 지속적으로 제공할 ML 모델을 설계하고 구현하는 기업들로 정의될 수 있다. 특히, 고객의 수요와 행동이 빠르게 변하는 영역에서 큰 역할을 수행할 수 있는데, 2020년부터 이어지고 있는 코로나19 상황이 대표적인 예가 될 수 있다. 팬데믹의 영향으로 사람들이 쇼핑, 업무, 사회 활동을 하는 방식이 크게 바뀌었으며, 그 변화된 소비자들의 수요에 부응하기 위해 기업들은 빠르게 서비스 방식을 바꿔야 했다. 이는 기업들이 데이터를 수집하고 처리하는 데 사용하는 기술 또한 새로운 데이터 입력에 맞춰 유연하게 조정할 수 있어야 한다는 의미이다. 그래야만 기업이 최선의 의사결정을 민첩하게 내릴 수 있다. ML 모델을 MLaaS로 전환하는 데는 해결해야 할 어려움이 하나 있다. 우리가 현재 ML 모델을 구축하고, 미래의 ML 인재들에게 이를 가르치는 방식과 관련된 문제이다.

    저희가 도와드리겠습니다

    문의를 남겨주시면 마케팅 전략을 개선하는 데 도움될 AI 솔루션을 자세히 안내드리겠습니다