a/b 테스트 어디까지 활용하시나요?

A/B테스트를 위한 테스트가 되지 않게끔 주의하시면 될 것 같습니다. 여러가지 기획적 논의나 선택지가 있을 때, 실제로 A/B테스트 까지 해서 결과를 얻어야 하는 경우는 생각보다 많지 않습니다. 그렇게 한다고 해도 A/B가 드라마틱하게 차이나는 경우도 별로 없고요. 즉 정말 필요성을 느낄 때만 하시면 된다고 봅니다. 대부분의 경우 로그만 잘 수집해도 필요한 개선점을 찾는게 크게 어렵지가 않았습니다. 논의 때 ‘그냥 A/B 테스트 돌려보지 뭐!’ 식으로 개발자에게 to-do를 넘기고 리소스 더 쓰는 것보다, 좀 더 머리 맞대고 고민하면 그냥 더 좋은 선택이 무엇인지 나오는 경우가 많았습니다. 만약 A/B가 극단적으로 차이가 난다면, 그건 둘 중 하나가 누가 봐도 훨씬 좋지 않은 선택이었거나(테스트 할 필요도 없었던), 가끔 정말 놀랍게 통찰력을 얻을 수 있는 케이스지요(이게 이렇다고!?). 그러나 어떤 경우에도 그게 해당 서비스의 Unique한 제공점을 겨냥하는 부분이 아닌 이상은 글쎄요, 굳이, 라고 생각합니다. 즉 서비스의 성패와 관련이 없다는거죠. 그리고 저는 좋은 선택이 무엇인지 고민해서 결과를 내놓은 회사들의 서비스을 참고하는게 더 좋은 방향이라 생각합니다. 실리콘밸리나 국내의 큰 기업들의 좋은 서비스들 말입니다.