23명한테 물어보고 틀렸다 — 내가 수집한 건 검증이 아니라 동의였다

지인 23명한테 직접 물어봤고, 구글폼 설문은 41건을 받았어요. 근데 출시하고 나서 실제 전환율은 0.8%였어요. 뭔가 계산이 안 맞죠.

다들 “필요할 것 같아”라고 했거든요

편의점 1+1 행사 앱 아이디어를 구체화할 때였어요. 18편에서 MVP 범위를 좁혔다고 했는데, 그 전에 사실 저는 ‘검증’을 꽤 열심히 했다고 생각했거든요.

카카오톡 오픈채팅, 커뮤니티 디엠, 지인 메신저. 총 23명한테 “이런 거 쓸 것 같아요?”라고 물어봤어요. 돌아온 대답 중 18명이 긍정적이었어요. 78%. 저는 이걸 보고 ‘검증됐다’고 적었어요. 노션 페이지에 굵게.

근데 지금 돌아보면 그 78%가 얼마나 기울어진 표본이었는지.

저는 ‘틀릴 것 같은 사람’한테는 안 물어봤더라고요

23명을 한 명씩 떠올려봤어요.

평소 저한테 솔직하게 피드백을 주는 사람은 두세 명밖에 없었어요. 나머지는 제 말에 대체로 공감해주는 사람들이었거든요. 그리고 저는 무의식적으로, “이 사람은 관심 없을 것 같아서”라는 이유로 몇몇은 아예 연락을 안 했어요.

설문도 마찬가지였어요. 41건이 모인 경로를 추적해보니까 제가 직접 링크를 뿌린 커뮤니티 두 곳에서 거의 다 왔어요. 그 커뮤니티는 저랑 관심사가 비슷한 사람들이 모인 곳이었고요.

나한테 좋은 소리 해줄 사람한테만 물어보면서, 그걸 '데이터'라고 불렀던 거예요.

”필요할 것 같아”와 “쓸 것 같아”는 다른 말이에요

인터뷰 응답을 다시 읽어봤어요. 18명의 긍정 응답 중에서 “실제로 쓸 것 같다”는 말은 몇 개였냐고요.

세어봤더니 4건이었어요. 나머지는 전부 “유용할 것 같다”, “필요한 사람 많을 것 같다”, “아이디어 좋은데요” 같은 말이었어요. 저는 이걸 전부 긍정 응답으로 묶었거든요. 응원과 수요를 같은 칸에 넣었던 거죠.

출시 직후 첫 2주, 방문자 380명 중 실제 회원가입까지 간 건 3명이었어요. 전환율 0.8%. 인터뷰 때 “쓸 것 같다”고 했던 지인들도 포함해서, 링크를 보낸 사람 중에 가입한 사람은 한 명이었어요.

사람들은 아이디어에 응원을 보내요. 그게 수요는 아니에요.

그럼 진짜 검증은 뭐였을까

지금 생각하면 제가 할 수 있었던 방법이 있긴 해요. 인터뷰 말미에 “그럼 지금 당장 ₩2,900 내고 쓸 수 있으면 쓰시겠어요?”라고 물어보는 거요. 실제로 돈을 받지 않더라도, 그 질문 하나에서 표정이 달라지거든요.

저는 그 질문을 한 번도 안 했어요. 불편할 것 같아서요. 그리고 그 불편함을 피한 게 결국 4개월의 빌딩 시간이랑 Claude API 비용 합산 약 $180을 허공에 날린 이유 중 하나가 됐어요.

뾰족한 대안보다 솔직한 실패 고백을 먼저 하고 싶었던 건, 저도 ‘Mom Test 읽었어’라고 노션에 적어둔 사람이었거든요. 근데 적어두는 것 따로, 인터뷰 때 쓰는 것 따로더라고요.

알고 있다는 것과, 불편함을 감수하고 실행한다는 건 다른 일이에요.

숫자가 있어도 틀릴 수 있어요

23명, 41건, 78% 긍정. 숫자가 있으면 검증된 것처럼 느껴지거든요. 저도 그랬어요. 근데 그 숫자들이 모두 같은 방향을 가리키고 있으면, 오히려 의심해야 하는 신호일 수 있어요.

제가 제대로 된 검증을 했다면 중간에 한 명쯤은 “솔직히 저는 안 쓸 것 같아요”라고 해줬을 거예요. 근데 그런 사람이 한 명도 없었다는 건, 그런 사람한테는 처음부터 안 물어봤다는 얘기고요.

78%의 동의를 수집하면서 저는 그걸 ‘검증’이라고 불렀는데, 지금 다시 보면 그냥 자기 확신 캡처 작업이었어요.