User Research is a Waste of Time / 사용자 리서치는 시간 낭비다.

https://medium.com/design-bootcamp/user-research-is-a-waste-of-time-50a8f2648b90

User Research is a Waste of Time

2007년에 개봉했던 윌 스미스 주연의 세계종말 호러 장르의 영화, '나는 전설이다'는 기이한 엔딩으로 끝난다. 한 번 감염되면, 햇빛을 두려워하는 뱀파이어 같은 생명체로 인간을 바꾸는 바이러스에 의해, 인류는 돌이킬 수 없을 만큼 파괴된다. '로버트'는 이 생명체를 연구하고 다시 인간으로 돌이키는 방법을 홀로 연구하는 연구원이다. 그러나 거듭한 실험에도 그의 연구물은 테이블 위에서 죽어버린 채 결국 실패로 끝난다.

인류를 구하기 위한 시도가 한참 전개되고 난 뒤, 그의 집은 지하 실험실을 발견한 Darkseekers(뱀파이어 생명체) 로 들끓게 된다. 이 때 로버트가 구출했던 한 젊은 여성과 소녀가 그의 집에 있었고 윌 스미스는 수류탄을 터트려 자신과 뱀파이어 생명체들을 산산조각 내고, 남은 두 명의 인간을 살린다.

그러나, 책을 읽은 사람들에겐 이 결말이 기이하고 의미없을 것이다. 사실 실제 책에선 반전이 있기 때문이다. 그 반전은 뱀파이어가 아닌 로버트가 몬스터라는 것이다. 그는 뱀파이어들이 잠들어있을 때 유괴해, 지하실로 데려와 그들을 죽인다. 물론 로버트 입장에선 그들을 다시 인간으로 돌려내기 위한 실험이었겠지만, 사실상 인류가 거의 남지 않은 상황에 그들 입장에선 로버트가 몬스터인 것이다. 뱀파이어들을 족족 데려와 죽이는. 영화와 뉘앙스가 다르다. 책의 결말에선 뱀파이어들이 로버트의 마지막 실험체를 가져오는데, 이 때 그는 그의 방 한쪽 벽이 죽었던 수 백 실험체들의 사진으로 가득찼다는걸 깨닫는다.

 

무엇이 원작의 결말을 바꿨을까?

포커스 그룹이다. 영화를 만드는 포커스 그룹이 결말을 별로 마음에 들어하지 않아 훨씬 덜 강렬하고 획기적이지 않은 결말로 바꿔버렸다. 그래서 결과는? 그냥 다른 영화와 다를 것 없는 지루한 액션 영화가 됐고, 개봉한 지 몇 달 되지 않아 잊혀졌다.

 

UX의 사용자 리서치에서도 마차가지다. 나는 사용자 리서치를 수행할 아이디어에 잔뜩 부풀어있는 젊은 디자이너들을 많이 만난다. 일반적인 인구학적 리서치가 아닌, A/B 테스트와 포커스 그룹 같은 사용자 조사 방법론 말이다. 내가 의심하는 건, 이런 젊은 디자이너들에게 사용자 조사가 그들의 디자인이 구리다는 지적으로부터 숨기 위한 도구, 즉 목발로서 기능하는게 아니냐는 것이다. "저 아직 사용자 조사를 못했어요.", "저는 사용자 조사에만 중점을 뒀어요." 하는건 흔한 말이거든.

당신은 R이나 파이썬으로 프로그래을 짤 수 있는가? 데이터 사이언스 학위를 가지고 있는가? 당신의 리서치를 맹검연구로 진행하면서 Tableau나 PyViz로 데이터 시각화 자료를 출력해내는가? 인구통계와 맥락을 위한 통제 하에 깨끗하고 청렴결백한 연구를 하는가? 데이터는 실증적이고 경험에 의거한 것인가? 동일한 테스트를 반복하며 결과가 일관되는지 확실하게 하는가?

우리는 답을 안다. 진정한 사용자 조사는 데이터 사이언스를 통해 진행되고, 데이터 사이언스는 데이터 사이언티스트들에 의해 진행된다는 것이다. 피그마 불안증에 부트캠프를 사용하는 사람이 아니라.(직접 디자인하는게 불안해서 이미 검증된 디자인 컴포넌트를 모아 작업하는 사람) 너무 많은 젊은 디자이너들이 이 하나의 이유 때문에 리서치 강박 뒤로 숨는다 : '디자인' 하는 것에 겁이 난거다.

 

UX는 많은 사람들에게 억대연봉을 받을 수 있는 "기술"이 직접적으로 필요하지 않은 테크 직종으로 기회의 땅이기도 하다. "UX 직무, 시작해도 될까요?"를 유튜브에 쳐보라. 직업을 얻기 위한 네트워킹, 디자인을 어떻게 하는지 몰라도 되는지, 그들의 포트폴리오가 어떻게 진행과정(process)에 포커스를 맞춰야 하는지 말하는 비디오들이 쏟아질 것이다.

최근 어떤 앱을 신규 출시하기 위해 UX디자이너를 구해야 했었고, 주니어 디자이너까지 포함시켜 공고를 올렸다. 내가 받아본 모든 포트폴리오엔 죄 의미없는 포스트잇, 유저 플로우, 지어낸 페르소나, 그저 관계없는 허섭스레기들로 가득한 페이지들 뿐이었다. 그것들은 그저 또다른 SAAS(서비스형 소프트웨어) 랜딩페이지나 모바일 화면에 도달하기 위한 수단일 뿐이었다. 많은 페이지들이 완벽히 "지어낸" 리서치, 너무 작은 모수 (4명..?), 심각하게 왜곡된 질문들, 아마추어같고 정말 못난 최종 결과물들로만 가득했다.

 

당신이 만들고 있는 서비스가 혁신적인 서비스가 아니라면, 리서치가 아무리 빼어난들 리서치로 혁신을 이룰 수 없을 것이다. 새 소셜 미디어 플랫폼을 만들거나 레딧의 Audit를 디자인하는 것은 유저 리서치를 그리 요구하지 않을 것이다.

가혹한 현실은, 당신이 교육을 받지 않았고, 준비되지 않았으며, 진짜 유저 리서치를 할만큼 갖춰지지도 않았단 것이다. 타입폼 서베이(구글 폼 같은 유명 설문 서비스)나 몇 A/B 스크린샷은 그저 비효율적인게 아니라, 절망적인 시간 낭비다. 좋은 디자인이 좋은 UX를 만든다. 배경 색상, 서체 색상, 서체가 조화를 이룰 때, 시력이 손상된 사람들이 사용할 때 문제가 없다. 적절한 여백이 주어질 때 사용자들은 그들이 눌러야 하는 버튼을 잘 찾을 수 있다. 뺴어난 정보위계가 갖춰져있을 때, 당신은 당신의 연봉을 정당화시키기 위해 구글 시트를 이리저리 돌아다니며 시간을 쏟을 필요 없으며, 무언가를 생산해내는 데 집중할 수 있다.

 

유저 리서치는 때때로 꼭 필요하다. 지극히 그렇다. 달을 향해 쏘아올려질 아르테미스 로켓을 위해, 에어락 버튼이 그들의 목적에 매우 부합하다는 사실을 확신하기 위해 폭넓은 유저 리서치를 하길 바란다. 5-6년 이후 등장할 Riot사의 MMO 게임을 위해, 나는 그들이 고강도의 유저 리서치를 진행해 플레이어들이 그들의 인벤토리, mounts(게임 용어인듯) 25-30개의 스킬을 관리하는지 이해하기를 바란다. SpaceX 화성 식민지를 위해, 나는 제발 그들이 산소탱크 컨트롤을 인터컴 근처에 두지 않길 바란다. (인터컴 이슈 밈인듯)

 

그러나 당신의 넷플릭스와 똑같이 생긴 서비스나, 게이머들을 위한 틴더같은 서비스나, 약사들을 위한 레딧을 위해서라면? 그냥 기본에 집중하자. 기폭제가 되어라. 일단 완료하고, 피드백을 반복해 들어라. 간단한 유저 휴리스틱이면 해결될 문제에 초기 리서치로 시간을 낭비하지 말라.

 

---

포트폴리오를 준비하다보면 정말 짜맞추기식 페르소나와 다이어그램이 무의미하다 느껴질 때가 많았는데 그런걸 캐치한듯. 사실상 거창한 서비스 단위가 아니라 문제를 해결하는 능력만 보여줄 수 있으면 된다고 생각. 

---

The 2007 post-apocalyptic horror movie I Am Legend, starring Will Smith, had a bizarre ending. Humanity has been destroyed irreparably by a virus that turns humans into strange vampire creatures that fear sunlight. Robert Neville is a researcher who spends his days alone, attempting to study these creatures and find a way to turn them back into humans through diseases. However, experiment after experiment ends in failure, with the subjects he captured dead on his table.

After spending the entire movie attempting to save humanity, his home is overrun by these Darkseekers, who find his basement laboratory. A young woman and girl he rescued previous are in the house, and Will Smith uses a grenade to blow himself and the Darkseekers to smithereens, saving two of the last humans.

However, for those that read the book, this ending was bizarre and meaningless. The reversal is that the Darkseekers aren’t the monsters, Neville is. He abducts them while they sleep, takes them to his basement, and kills them. To them, he’s the monster. This ending is far more nuanced, and in the book the Darkseekers take his final subject from him while he realizes that his walls are covered in the photos of the hundreds of subjects who died at his hands.

Why was this changed?

Focus groups. The focus groups that they ran the movie through didn’t like the ending, so they changed it to something far less impactful, less groundbreaking. The end result? Another standard, boring action movie that was forgotten a few months after release.

When it comes to user research in UX, I see many young designers obsessed with the idea of performing user research. Not just demographic research, but actual design A/B testing and focus groups.

What I suspect is that for most of these young designers, research is a crutch that they use to hide from allegations that their designs suck. “I haven’t done the research,” is a common phrase, or “I mostly focus on research.”

Can you program in R or Python? Do you have a data science degree? Are you running your research in blind studies and outputting the data visualization in Tableau or PyViz? Are you maintaining a clean, uncorrupted study throughout with controls for demographics and context? Is the data empirical? Are you running the same tests multiple times to ensure the results are consistent?

We all know the answer. True user research is done through data science, and data science is done by data scientists, not a bootcamper with Figma anxiety. Too many young designers are hiding behind this obsession with research for a single reason: they are terrified of designing.

UX is the promised land of non-technical six figure tech jobs for many people. Just search “Break into UX” on YouTube to drown in videos telling people how to network to find their job, how they don’t need to know how to design, how their portfolio should mainly focus on their process.

I recently had to contract a UX designer for an app I was about to release. I decided to open the requirements to include juniors.

Every portfolio I got was page after page of meaningless sticky notes, user flows, invented personas, and other extraneous bullshit just to reach the end and realize it was another SAAS landing page or mobile checkout. So many of them did pages of pages of completely invented research, tiny N values (4 people?) incredibly colored or leading form questions, all for an amateurish and straight up ugly final product.

You’re not going to break new ground with your research if the thing you’re working on isn’t groundbreaking. Creating a new social media platform or doing a design audit of Reddit isn’t going to require extensive user research.

The harsh truth is you’re not educated, prepared, or equipped to do real user research. A typeform survey and some A/B screenshots isn’t just ineffective, it’s an abject waste of time. Good design creates good UX. When your background color, font color and typeface are working in harmony, suddenly vision impaired people have no trouble using it. When you have adequate white space, suddenly the users are able to find the buttons they need to click. When you have great information hierarchy, suddenly you don’t need to spend hours screwing around with Google sheets to justify your salary and instead can focus on creating.

User research is sometimes necessary. Vitally so. For the Artemis rockets that are about to take off for the moon, I hope they’re doing extensive user research to ensure the airlock buttons are very clear about their purpose. For the new Riot MMO that’s coming out in 5–6 years, I hope they’re doing heavy user research to understand how players are going to manage their inventory, mounts, and 25–30 abilities. For the SpaceX mars colonies, I hope to god they’re keeping the oxygen tank controls far away from the intercoms.

But for your Netflix clone, your Tinder for gamers, your Reddit for Pharmacists, just stick with the basics. Be the catalyst. Get it done, iterate on feedback. Stop wasting time frontloading research on things that simple user heuristics cover.