본 문서는 믹스패널 데이터, 백엔드 쿼리 데이터를 분석하며 발견한 괴리들의 원인과 해결책을 파악하여 서술합니다.

질문 성공한 사용자를 백엔드 데이터에서 못 찾겠어요.

🤔 믹스패널에서 사용자 프로필과 ask_question_success 이벤트 모두 조회 가능한 상태. 하지만 백엔드 데이터에는 도무지 이 사람의 계정(이메일, 닉네임)이 보이지 않는 상태.

💡 사용자가 탈퇴한 경우였던 것. 탈퇴 시 사용자 정보가 백엔드에 남지 않고 즉각 삭제되기 때문에 쿼리를 돌려봤을 때 계속 null 로 표기되었던 것.

💡 믹스패널은 사용자가 탈퇴하더라도 탈퇴 이벤트(delete_account)가 남고, 프로필 자체도 보존됨.

실제 결제 성공한 질문자 수가 매번 다르게 나와요.

🤔 쿼리로 돌려보든, 믹스패널 이벤트 조건문으로 돌려보든, 실제 질문자 수가 매번 다르게 조회됨.

💡 도넛레터 관계자의 개인 계정들을 매번 균일하게 필터링해내지 못해서 생긴 경우

<aside> 💁 ask_question : 질문 시도 이벤트 ask_question_success : 질문/결제 성공 이벤트

ask_question_success 이벤트 도입은 Dec 2, 2021부터이다. 따라서 12월 2일 이전 믹스패널 질문 이벤트 데이터는 질문 시도 수 밖에 갖고 있지 않다고 가정하고 분석하는 것이 맞다.

</aside>

💡 ”도넛레터 관계자” Cohort를 만들어서 모든 관계자 관련 계정을 이 코호트에 추가 & 모든 인사이트 분석에 필터를 걸어야함.

실제 사용자 결제 성공수와 백엔드 데이터 질문 개수가 왜 다를까?

🤔 12월 2일 이후 실제 사용자 결제 성공수와 백엔드 질문 개수를 일일이 비교해봤지만 모든 달(month), 숫자가 매칭이 전부 안 됨. 특히나 1월 숫자가 드라마틱하게 안 맞는 현상을 발견.

🤔 혹시 몰라 도넛레터 관계자 코호트도 트리플 체크. 관계자 코호트로 걸러낸 “실제 사용자” 결제 성공수가 백엔드 데이터와 안 맞다면 믹스패널 데이터를 과연 신뢰할 수 있는 걸까? 멘탈 쿠크다스