[📘PO세션] 토스 리더가 말하는 PO가 꼭 알아야할 개념 필사
Growth Dynamics
Carrying Capacity를 아시나요?
❏ 데이터 그로쓰 모델링 질문
Q1. You notice that your power users all have taken some action(e.g. filled out their profile) so you try to encourage all users to fill out their profile to get them more hooked on your product. Does this actually help?
Q2. You have 24 hours of downtime, the next day you come back up your traffic is down. Will this have a long-term effect you need to worry about?
Q3. You have 100K uniques per day and so does your competitor, but are these 100K people who come back every day or 700K people who each come once per week? Does it matter?
Q4. You turn on a new advertising campaign and see your # of unique visitors per day start to increase, you assume that this will continue increasing so long as you keep the ads running, right?
Q5. You start having email deliverability problems (or Facebook turns off notifications) so you can’t notify users of new activity on the site. The # of unique visitors decreases slightly but you’re not too worried, should you be?
* 위 5가지 질문에 대한 답변을 줄 수 있는 개념이 바로 'Carrying Capacity'
"호숫가의 물의 높이가 어디까지 올라올까?"
* 호숫가의 물의 높이는 호숫가의 지형과 상관없이
1) 호숫가 위로 내리는 비의 양
2) 꽉 차 있는 호수에서 나가는 물의 양
위 2가지의 비율에 따라서 호숫가의 물이 얼마나 차오르는지가 결정됨(= 생태이론에서 이야기하는 '한계수용능력')
* 호숫가의 물이 우리의 월 활성 유저 수(MAU)이며,
매달 들어오는 유저 수와 매달 일정하게 나가는 유저 수의 비율에 따라 MAU의 크기가 결정됨
→ Carrying Capacity가 물의 양을 결정하며 물의 양을 결정짓는 요소는 오로지 2가지 - 들어오는 것과 나가는 것
* Carrying Capacity는 제품이 가진 본질적인 체력
→ 광고나 마케팅 푸시 같은 걸 다 걷어내고 이 제품의 순수한 유저를 모으는 힘의 능력
→ 이 본질적인 체력이 튼튼해야 MAU 역시 더 많이 증가할 수 있음
* 유입되는 유저 수는 얼마만에 알 수 있는가?
→ 제품을 런칭한지 1주일 안에 알 수 있음
→ 광고는 비용이 들기 때문에 언젠가는 중단하게 되어있고 유저가 유입되는 양은 원래대로 회복됨
ㄴ 원래 평형점으로 돌아와 광고를 하는 의미가 없어짐
* 이탈되는 유저 수는 얼마만에 알 수 있는가?
→ 보통 길어야 두 달, 짧게는 한 달 안에 정확하게 예측을 할 수 있음
→ 어떤 서비스를 런칭하면 그 서비스가 리텐션이 있다고 가정할 경우 Carrying Capacity는 보통 한 달 혹은 두 달 만에 계산할 수 있음
→ 이 Carrying Capacity의 값이 결국 그 서비스 MAU의 최종 종착지가 되며, 이 두 개의 값(유입되는 유저 수와 이탈되는 유저 수)을 본질적으로 바꾸지 않으면 MAU는 늘어나거나 줄어들 수 없음
* ex) 현재 MAU 70만, Carrying Capacity는 75만, 광고를 해야할까?
→ 안하는 게 나음. Carrying Capacity에 도달할 때까지 5만 명의 유저가 남은 상황. 1%의 유실과 매달 7,500명이 들어오는 상황이라면 결국 Carrying Capacity가 75만 명이니까 광고를 하지 않아도 MAU는 75만 명이 될 때까지 늘어날 수 있음. 아무런 돈을 쓰지 않아도 결국은 늘어날 것
→ 만약 우리 Carrying Capacity가 75만 명인 줄 모르고, 70만 명일 때 광고를 집행해서 MAU가 100만이 된다면? Carrying Capacity가 여전히 75만이라면 결국 100만의 MAU는 75만으로 돌아올 것임
* Carrying capacity는 우리가 어디에 집중해야하는지 알려주는 개념
→ 광고나 마케팅을 아무것도 집행하지 않을 때, 매일 유입되는 유저 수가 얼마인지, 그리고 전체 MAU 중에서 몇 %를 잃고 있는지 이 두 요소를 변화시키는 제품 개선 활동 외에는 MAU에 일절 영향을 주지 못함
→ 따라서, 1) 광고/마케팅 없이도 들어오는 유저 수를 늘리거나 2) 나가는 유저의 비율을 줄이도록 해야 함
* ex) 현재 MAU 10만, Carrying Capacity는 75만, 광고를 해야할까?
→ 해도 되고 안 해도 됨. 왜냐하면 광고를 하지 않아도 (결국 기다리면) Carrying Capacity인 75만의 MAU에 도달하게 되기 때문
→ 하지만, 보통 빠른 성장을 위해(J-curve 성장) 광고를 집행함
→ 이 경우, 만약 이승건 대표였다면?
ㄴ 지금 MAU가 10만이면 대략 50만에서 60만이 될 때까지 광고 집행으로 수치를 키우고,
ㄴ 60만에서 75만에 도달하기 전에 이 Carrying Capacity의 질을 높이기 위해서 2가지 요소를 움직이는 제품 개선에 집중
→ 보통은 광고/미케팅을 다 하고 있기 때문에 매일 들어오는 '본질적 유저 수'를 계산 할 수 없음. 이 경우 계산하는 방법?
ㄴ 광고/마케팅으로 유입되는 유저 수를 모두 제외한 나머지 유저 수를 사용
(But, 광고 부스터 효과로 인해 오가닉 유저/신규 유저가 그냥 느는 경우가 있기 때문에 정확하지는 않음)
ㄴ 정확한 계산을 위해 2달 간 광고/마케팅 미집행
* 토스는 간편송금 서비스의 Carrying Capacity 한계에 도달했다고 생각했을 때 무엇을 했을까?
→ 그 위에 아예 entirely 새로운 CC를 얹어버림(a.k.a 신용조회 서비스)
→ 완전히 새로운 서비스를 런칭하면 새로운 서비스의 가치를 중심으로 새로운 inflow와 churn이 형성됨
→ 간편송금 서비스의 Carrying Capacity에 도달하기까지 얼마 남지 않았다는 것을 알았을 때 전략적으로 빠르게 신규 서비스를 런칭하고 새로운 가치를 제공함으로써 토스 앱 전체의 Carrying Capacity를 늘리는 플랫폼화 작업을 추진하였음
→ 서비스 성장의 한계는 Churn Rate이 결정한다는 것 명심
❏ 데이터 그로쓰 모델링 질문과 답
Q1. You notice that your power users all have taken some action(e.g. filled out their profile) so you try to encourage all users to fill out their profile to get them more hooked on your product. Does this actually help?
→ Without this model its easy to mislead yourself into thinking it helps. You will probably be able to increase the metric but it may just weaken the correlation with power users. However, with this model you just watch your loss % each day and if it doesn’t change then you haven’t had any net impact on retention.
→ 맞을 수도 있고 아닐 수도 있음. 특정 메트릭(ex. 프로필을 채우는 유저 수를 높이는 것)을 높이는 데에는 도움이 될 수 있지만 파워 유저가 된다는 것과 프로필을 채운다는 것 사이의 연간관계를 약화시킬 수 있음. 즉, 실제 인과관계가 아니였다면 그 관계는 무너질 것임. 인과관계였다면 강화될 수 있겠지만, 연관관계에 불과했다면 그 연결고리는 끊어지면서 관계가 없는 것처럼 보일 것임
→ 여기서 더 중요한 것은 특정 액션을 통해 Churn Rate이 올라가는지를 봐야한다는 것임. 만약에 프로필을 채우는 액션을 강요했는데 1) Churn Rate이 올라간다면 결국 아무런 변화가 없는 것이고, 2) Churn Rate이 올라가지 않았다면 파워 유저로 전환되었다고 볼 수 있음. 결국 실제로 파워 유저를 늘린다고 했을 때 전체 Retention과 Churn에 영향을 주는지를 살펴봐야 함
Q2. You have 24 hours of downtime, the next day you come back up your traffic is down. Will this have a long-term effect you need to worry about?
→ Even if your traffic is lowered for a few days, all you have to do is measure your new visitors per day & lost customers per day and you’ll see if your carrying capacity has changed. If it has not changed then you don’t have to worry, you know your traffic will rise back up to your carrying capacity.
→ 아님. 이 경우 Inflow와 Churn만 보면 됨. Inflow와 Churn을 계산했을 때 변동이 없다면 Carrying Capacity가 변한 것이 아니므로 지금 MAU가 좀 내려갔다고 하더라도 다시 회복할 것임. 만약에 24시간의 다운타임으로 인해 유저들이 서비스에 대한 신뢰를 완전히 상실했거나 다른 서비스로 떠나버려서 Churn과 New Visitor의 비율이 바뀌었다면, 이로 인해 Carrying Capacity가 변했을 수 있고 이 경우 문제가 될 수 있음. 하지만 대부분 이러한 다운타임이 전체 Carrying Capacity에 영향을 주는 일은 드물기 때문에 실제로는 MAU가 내려갔다고 하더라도 MAU가 다시 차오르는 경우가 대부분이라 너무 걱정할 필요는 없음
Q3. You have 100K uniques per day and so does your competitor, but are these 100K people who come back every day or 700K people who each come once per week? Does it matter?
→ If you’re incorrectly caught up in # of unique visitors per day then this does seem like an important thing. And in fact, if you realize your visitors are not returning as often as your competitors you may even be tempted to spam them regularly because this will increase # of unique visitors each day and can give you the illusion of improving things. In reality a move like this would probably increase your % lost each day and hurt your carrying capacity but you wouldn’t notice this for awhile because the increased # of uniques each day would mask the harm. However, with the model your emphasis is on # of customers not # of visitors. You’ll quickly realize that you don’t care how frequently people visit as a primary factor; if it doesn’t impact # of new customers per day or % of lost per day then you haven’t actually helped your product.
→ Carrying Capacity 개념이 없으면 매일 들어오는 유저 수를 굉장히 중요하게 여길 수 있는데, 이때 우리가 취하는 액션들이 Churn 유저 수를 늘리지는지 같이 살펴봐야 함. 느낌상 매주 70만 명이 오는 것보다는 매일 10만 명이 오는 것이 더 좋아보이기 때문에 유저를 자주 방문하게 하려고 여러 액션을 취하는데 여기서 중요한 것은 이 경우 MAU가 느는 것처럼 보일 수 있지만 동시에 Churn Rate가 함께 늘어나면서 들어온 유저들이 썰물처럼 빠져나갈 수 있다는 것. 이렇게 되면 결국 Carrying Capacity에는 아무런 변화가 없는 것임. 즉, MAU를 증가시키기 위해서 취했던 모든 액션들이 장기적으로는 아무것도 유의미하지 않게 되는 상황. "Carrying Capacity를 늘리는 활동"만이 오직 성장에 도움되는 활동이며, MAU를 높이는 것보다 Carrying Capacity를 높이는 것이 성장을 위한 길임을 명심할 것. 유저들이 자주 방문하도록 액션을 취했을 때 MAU가 늘어난다고 좋아할 게 아니라 이게 Churn Rate에 악영향을 끼치고 있는 것은 아닌지 항상 주의할 것
Q4. You turn on a new advertising campaign and see your # of unique visitors per day start to increase, you assume that this will continue increasing so long as you keep the ads running, right?
→ Nope, you’ll level off once you’ve reached your new carrying capacity.
→ 정확히 Carrying Capacity에 도달할 때까지만 늘어남. 그 이상은 늘릴 수도 없고 줄일 수도 없음. Carrying Capacity 이상으로 늘었다면 광고 끄는 순간 다 빠져버림. Carrying Capacity에 도달할 때까지만 광고 집행해야한다는 것 잊지 말자!
Q5. You start having email deliverability problems (or Facebook turns off notifications)
so you can’t notify users of new activity on the site. The # of unique visitors decreases slightly but you’re not too worried, should you be?
→ This is similar to question 3, it may or may not be important but you’ll quickly be able to tell by focusing on the core numbers. Increasing # of unique visitors per day does not necessarily lead to more total customers.
→ 들어오는 유저만 보는 게 아니라 나가는 유저도 함께 봐야 함. 푸시 알림을 껐기 때문에 들어오는 유저 수는 줄 수 있음. 그리고 쓸 데 없는 푸시로 인해 들어오던 유저들이 더 이상 나가지 않게 됨. 이 경우 들어오는 유저 수가 줄었지만, 반대로 나가는 유저 수도 줄게 되므로 결국 Carrying Capacity에는 아무런 차이가 없게 됨. 따라서 푸시 알림이 망가져서 더 이상 유저에게 알리지 못한다고 하더라도 놀랍게도 MAU는 줄지 않을 수 있음. 푸시마다 트래킹 해서 이 푸시를 통해 들어온 유저들이 30일 뒤에 나가는지 여부를 알면 그 푸시를 꺼도 되는지까지도 알 수 있음. 이렇게 되면 유저를 덜 괴롭히면서도 MAU는 그대로 유지하는 놀라운 효과를 만들 수 있게 됨
* 정정하자면, 유저에게 파워유저들이 하는 특정 행위를 강요했을 때 Churn Rate이 개선되어야만 Carrying Capacity가 증가할 수 있음. Churn Rate이 안 올라간다고 해서 파워유저로 전환되고 있다는 것은 틀린 말은 아니지만 어폐가 있음.
→ 다시 정확히 얘기하자면, Churn Rate이 내려갈 때 모든 유저가 파워유저로 전환되고 Carrying Capacity도 증가하는 것이 맞음
* 토스 초기에 장애가 많이 발생했었던 적이 있음. 하지만 실제로 토스 같은 경우는 MAU가 거의 다 회복이 되었고, Carrying Capacity에도 큰 변동이 없었음. 토스 초기에 간편송금 서비스를 할 때에도 유사한 서비스를 하는 많은 곳들이 있었지만 그럼에도 불구하고 아무런 문제없이 회복이 되더라. 토스에서도 이미 검증된 부분이고 아마 대부분의 경우에도 적용이 되지 않을까 생각함
* Churn은 물이 담겨있는 양에 비례하기 때문에 Churn Rate은 유저 수에 비례하고, 신규 유저 수 즉 Inflow 값은 유저 수에 비례하지 않는 정수 값임
* 현재 MAU와 Carrying Capacity의 차이가 굉장히 클 경우, MAU가 Carrying Capacity에 굉장히 빠르게 따라 붙고, 빠르게 따라붙는 것에 따라 MAU의 증가속도는 한계 체감을 보이며 느려지는 것이 사실. 그런데 대부분의 경우 여기서 MAU와 Carrying Capacity 사이의 갭을 만드는 것이 중요하고 얼마나 빨리 올라가느냐 하는 것은 그렇게까지 중요한 요소는 아니어서 시간의 개념을 도입한다고 해서 실질적으로 적용할 수 있는 게 많지 않을 것 같다고 생각함
