[📘PO세션] 토스 리더가 말하는 유저를 끌어당기는 서비스 개선 필사
* 아하 모멘트를 통계적으로 구하는 방법
→ XX, YY, ZZ에 해당하는 숫자 혹은 행동을 정의해야 함
* SHAP Value란?
→ 특정 액션을 한 유저와 하지 않은 유저들이 Feature Value에 있어서 상승하거나 하락할 때 그 경향성이 일치하는지를 보는 것. 위 그래프에서는 위에 3가지를 의미 있는 액션의 후보군으로 뽑아볼 수 있음
→ XX의 경우 SHAP Value 같은 도구 말고도 직관이나 노가다로 Rule을 셋업해서 찾아볼 수도 있음
* XX를 찾은 이후에는 무엇을 해야할까?
→ 안 좋은 상황들을 룰 아웃하는 데 집중해야 함!
예를 들어, 메신저 앱을 만들고 있다고 가정해보자. 현재 Aha Moment를 찾고 있는데 한 번 메시지를 보낸 사람 중 retain된 사람과 겹치는 부분이 70%라고 할 경우, 좋기는 하지만 문제가 되는 부분이 메시지를 한 번 보냈다고 해서 retain되는 게 아니라 대부분의 유저가 retain이 안 될 수도 있는 상황. 결국 파란색 영역을 최대한 줄이는 데 집중해야 함. 그래야 메시지를 한 번 보냈을 때 거의 다 retain된다고 말할 수 있음
→ 반대로, 메시지를 8번 보낸 유저의 80%는 거의 retain된다고 하면 이는 좋은 상황. 그러나 메시지를 8번 보낸 것과 상관없이 굉장히 많은 유저는 여전히 retain이 되고 있는데 원인은 메시지를 보내는 것이 아님. 그러면 과연 메시지를 8번 보내는 것이 이 전체의 Retention을 만들어내는 액션 XX인지에 대한 의문이 생김
→ 결국, 우리가 해야 하는 상황은 겹치는 공간의 크기를 최대한 키움과 동시에 녹색이거나 파란색이기만 한 즉, 액션을 했는데 retain이 안 되거나 혹은 retain은 되었는데 그 액션이 아닌 구간을 최대한 줄이는 것이 중요
* 양쪽을 줄이고 가운데 겹치는 영역이 큰 것을 어떻게 찾아야 할까?
→ A) 액션을 한 사람 대다수가 retain되어야 함
→ B) 이 부분의 크기가 최대한 작아야 함
→ A와 B를 최대한 끌어올리면 Aha Moment에 가까운 액션이 나올 수 있음
* RPV(Retained Probability Value, 공식 용어는 아니고 토스 자체적으로 쓰는 용어)
→ retain된 유저가 이 액션을 할 확률을 뜻하며, 95% 이상이어야 함
→ 교차가 높으면 양쪽이 작은 것이고 RPV가 95% 이상이면, 이 액션을 했을 때 거의 retain이 된다고 볼 수 있음
→ 만족스러운 것을 찾을 때까지 XX를 계속 교체해나가고, 액션 XX가 ZZ번 될 때마다 어떻게 되는지를 계속 보면 됨
* RPV = A(A+B)
→ retain된 유저 중 이 액션을 한 유저의 비율
→RPV 값의 목표는 95% 이상이 되어야 함
* 교차 = A(A+B+C)
→ A의 비율이 B와 C를 합친 것보다 커야 함
* 이러한 엄격한 과정을 통해 결국 우리가 하려는 것은 액션을 한 사람과 retain된 것이 인과관계에 있어야 한다는 것을 의미. 액션을 하면 retain이 되고 retain된 유저는 액션한 것 때문에 남는 것처럼 연관관계가 아닌 인간관계를 찾는 수학적인 과정으로 보면 좋겠음
* 양쪽 반달 모양의 지점이 가장 적어지는 ZZ값이 4, 5, 6번이라는 것이고 retain된 유저가 이 액션을 할 확률이 95%인 것은 3번으로 나타남
→ 즉, 이 지표를 3번 혹은 4번 할 때쯤 Aha Moment가 된다는 분석을 할 수 있음
* 교차 영역이 최대가 되는 ZZ값의 RPV가 95% 이상이 아니라면, 그리고 이 조건을 만족하더라도 샘플 사이즈가 충분히 크지 않다면 다시 1번부터 반복해서 찾아야 함. 이렇게 지난하게 찾는 과정을 통해서 회사가 하나에 집중할 수 있는 어떤 숫자를 찾을 수 있고, 이 정도로 correlation(연관관계)이 있으면 사실 casualty(인과관계)라고 간주할 수 있음
→ 어느 정도 이 행동을 강요하면 유저들이 파워유저가 된다!
Activation
* Retention이 많이 개선되었다면 그다음으로는 Activation을 봐야 함. Activation은 보통 고객이 가입하는 회원가입의 과정이라고 많이 이해하고 있음. 하지만, 이것이 진짜 Activation의 정의일까? 🙄
→ Activation의 진짜 정의는 회원가입 과정이나 퍼널이 아님. Activation의 진짜 정의는 고객이 겪는 첫 번째 행복한 경험(The First Happy Experience). 이 서비스가 제공하는 핵심가치(액션 XX)를 첫 번째로 하는 경험까지의 과정을 Activation이라고 함. 그래서 이것은 퍼널이 아님. 회원가입 과정이 아님! 첫번째 행복한 경험을 하기까지의 과정임
* The First Happy Experience라고 하는 것과 Aha Moment의 차이는 무엇일까?
→ 차이 없음. 같은 것임. 고객이 겪는 첫번째 행복한 경험이 바로 그 Aha Moment의 액션 XX
→ 반대로, 무슨 말이냐면 Activation을 개선한다고 하면 많은 경우 클릭률을 높이고 전환율을 높여서 퍼널을 개선하는 과정으로 이해하는 경우가 많은데 우리가 좀 더 추상적인 레벨에서 이해를 해본다고 하면은 Activation을 개선한다는 것은 더 많은 유저가 더 빨리, 더 손쉽게 액션 XX를 하게끔 만드는 것을 의미
* Activation의 개선 과정
→ Activation의 개선 과정은 퍼널의 개선 과정이 아니다! Activation을 개선하려면 The First Happy Experience가 정의가 되어 있어야 함. 우리 서비스의 핵심 가치를 경험하게 만드는 액션 XX는 무엇인지 정의가 되어 있어야 하고, 이게 정의가 된 다음에 최대한 많은 유저가 액션 XX를 하게끔 만드는 과정이 Activation의 개선 과정임
→ Retention에서 해야 할 숙제를 하지 않으면 Activation에서 무엇을 목표로 해야 하는지 알 수 없음. 그래서 꼭 액션 XX를 정의하고 Activation을 개선하는 작업에 돌입해야 함
* Activation의 핵심 내용
📘 1) 컨버전이 아닌 기간이 중요합니다
→ Activation을 개선할 때 퍼널을 개선하는 과정이라면, 퍼널 개선에 있어 중요한 점은 컨버전이 아닌 기간. 많은 경우 퍼널을 개선할 때 전환율을 높이는 과정에 집중함. 하지만, 사실 이는 중요하지 않음. 오히려 얼마 만에 다음 퍼널로 넘어가는지 그 기간이 중요함
ex. 토스 앱에 계좌 등록하는 과정이 있는데 이때 계좌를 등록하는 전환율이 35%라면 이 자체가 중요한 게 아니라 "얼마나 걸렸는지"를 모르는 것이 문제. 35%는 사실 하나의 세션에서의 기록이었음. 그래서 사실 한 달 정도를 기다렸더니 전환율이 65%더라. 35%라는 수치를 볼 때 계좌등록하는 과정을 개선해야겠다고 생각했으나, 65%라는 수치를 보고 나서는 더 이상 해당 과정을 개선하지 않고 다른 우선순위로 넘어갈 수 있었음
→ Conversion은 어느 기간 동안 그 일이 일어났느냐를 반드시 같이 봐야 함. 그래서 퍼널 개선은 어떻게 보면 전환율에 대한 이야기가 아니라 Dimension이 여러 개. 시간의 Dimension을 같이 봐야만 핵심적인 것을 할 수 있음. 따라서, 단기간 안에 더 많은 Conversion을 일으키는 게 중요
📘 2) 목표는 퍼널이 아닌, Aha Moment를 경험하도록 하는 것입니다
→ 결국 목표는 퍼널을 개선하는 것이 아닌 더 많은 유저가 더 빨리 Aha Moment를 경험하도록 만드는 것이 핵심. Activation의 개선에서 화면의 UX/UI를 개선하는 것은 기본이고, PO라면 전략적으로 Aha Moment를 더 빨리, 더 많이 경험하도록 만드는 것이 퍼널 개선의 핵심
📘 3) Activation 퍼널은 모든 Growth Dynamics에 영향을 준다
→ CC의 개념을 다시 한번 짚고 넘어가자면, 저수지에 찬 물은 Inflow와 Churn의 균형점까지만 차오를 수 있다는 것. 여기서 Churn이 된 유저는 영원히 Churn이 될까? No, 다시 부활(Resurrection)할 수 있음
→ 이 부활하는 유저 수가 매우 중요한데, CC에 도달하게 되면 신규 유저는 거의 없고 대부분이 부활 유저. 근데 이 부활 유저는 앱을 삭제했을 수도 있고, 탈퇴를 했을 수도 있고 결국 가입 과정을 다시 겪게 될 것임. 그래서 만약에 Activation의 통과율이 30%라고 하면 Inflow 역시 30% 밖에 못하는 셈. 만약에 Activation 퍼널의 전환율이 60%였다면 30%에서 60%가 되자마자 Inflow의 양이 2배가 되는 것. 따라서, Activation 전환율이 2배가 되면 Inflow 역시 2배가 되고, CC가 2배로 늘어날 수 있음
→ 심지어 이 Activation 퍼널은 Viral Growth를 설계할 때 더 중요함. Viral Growth는 한 명의 유저가 가입해서 서비스를 사용하고 그 서비스를 사용하는 과정에서 친구를 초대하고, 초대를 받은 친구가 또 다른 친구를 초대하고, ... 이런 식으로 유저가 다른 유저를 데리고 오는 구조. Viral 구조에서 다 지나야 하는 것이 Activation 과정. 그래서 Viral K를 1 이상으로 만들기 위해선 이 Activation의 전환율이 매우 중요함. Activation 전환율이 10%밖에 안 된다면 Viral K를 만들기란 거의 불가능할 것임. 근데 Activation 전환율이 50%가 되면 바이럴 계수는 5배 증가할 수 있게 된 상황
→ 결국, Viral Growth도 그렇고 Resurrection도 그렇고 Inflow도 그렇고 Activation은 Growth Dynamics에서 모든 지표에 영향을 주기 때문에 Activation 퍼널을 잘 만드는 것이 굉장히 중요함 💎
→ 사실 Activation 퍼널의 통과율이 그 서비스가 도달할 수 있는 MAU를 결정하기도 함. 우리나라에서 3천만 명 이상의 MAU를 가진 서비스를 살펴보면 유튜브, 네이버, 카카오톡 등의 서비스가 있을 것 같은데. 이 서비스들의 가입 과정이 기억이 나는지? 가입과정이 거의 기억나지 않을 것이다. 왜냐하면, 가입과정이 없기 때문. 유튜브는 들어가자마자 바로 볼 수 있는 영상이 나오고, 네이버는 들어가자마자 바로 검색하거나 뉴스를 볼 수 있고, 카카오톡은 가입과정이 있기는 한데 전화번호를 통한 SMS 인증절차로 매우 라이트한 편. 이런 정도로 Activation 퍼널의 통과율이 90% 이상 나와줘야 사실상 Inflow와 CC가 몇 천만 이상으로 커질 수 있음
📘 4) 차이가 크면 안 됩니다
→ 많은 경우 Activation의 퍼널을 화면 단위로 잘라서 보는 경우가 많은데 이러면 안 됨. Activation은 그래프 기준으로 봐야지 개선할 수 있음. 위 그래프와 같이 각 화면마다 차이가 크면 이 유저들이 왜 전환이 안되는지 제대로 알기 어려움. 그래서 만약에 화면 단위로 그래프를 그렸더니 화면별로 퍼널 전환율 격차가 너무 크게 그려진다면 그때부터는 버튼 단위로 나눠야 함. 버튼 단위로 나눠서라도 이 차이를 줄일 수 있어야 함. 위 그래프에서 왼쪽에서 오른쪽은 버튼 단위로 퍼널 하나를 추가함으로써 차이를 줄인 케이스. 이렇게 해야지 대체 어디서 떨어져 나가는지를 정확히 알 수 있음
→ 그래프를 그렸을 때 너무 큰 격차가 있지 않은 계단식으로 배열되도록 그래프를 이쁘게 만들고 나서 퍼널 개선에 집중을 하는 것이 굉장히 큰 차이를 불러올 수 있음. 왜냐하면 어디서 전환이 떨어지는지 알 수 있으니까!
📘 5) 연관분석(Whom/Why they are Converting vs. Not Converting)
→ 연관분석이란 대체 누가 전환이 되고, 누가 전환이 되지 않고 그 전 단계에 남아있는지 분석을 하는 것. Aha Moment를 찾는 것과 비슷하다고 보면 됨. 혹은 Retention의 데이터 분석을 하는 것과도 비슷함. 왜 누구는 전환이 되고, 누구는 전환이 되지 않았는지 이를 결정적으로 가르는 Aha Moment스러운 트리거 포인트를 찾아내야 함. 이를 통해 이런 액션을 취하면 전환이 늘어날 수 있겠구나 하는 추측도 해 볼 수 있고, 전환을 늘릴 수 있는 액션에 대한 힌트를 얻을 수도 있음
