나이키: Data-driven의 한계
데이터가 “객관적”이라는 착각은 전체 그림을 거의 보여주지 않는다는 사실을 감춘다. 가장 수집하기 쉬운 데이터에 의존하여 결정을 내리는 것은 재앙을 초래할 수 있다.
지난주, 나이키의 전 수석 브랜드 디렉터가 4년 동안 지속된 마케팅 실수를 심도 있게 분석한 드문 글을 발표했습니다. 유사한 분야에서 영감을 얻는 것을 신봉하는 사람으로서, 이 사례는 제품 및 UX 부문에서도 큰 교훈을 제공할 수 있다고 생각합니다.
왜 이 이야기가 중요하다고 생각하냐고요? 다음 문장이 낯익지 않게 들린다면 말해보세요:
“나이키는 더 효과적이지만 측정하기 어려운 것보다 덜 효과적이지만 측정하기 쉬운 것에 수십억 달러를 투자했습니다.”
맥킨지의 조언에 따라 나이키의 새로운 CEO인 존 도나호는 "데이터 기반" 접근 방식을 택하고, 회사를 디지털 직판 중심으로 재편하며, 기존의 개별 카테고리 중심 모델을 없애기로 결정했습니다. 그 매력은 쉽게 이해할 수 있으며, 이는 보잉 등 여러 기업들이 지난 몇 년간 빠졌던 함정과 동일합니다.
새로운 아이디어를 창출하는 것은 어렵고, 전문 지식이 필요합니다. 또한 그 전문가들이 무엇을 하는지 이해하고 이를 관리하려면 역시 전문 지식이 필요합니다.
반면, 비용 절감은 모든 산업에서 동일한 방식으로 작동합니다. 그래서 나이키는 중복 프로세스를 제거하고, 운영을 간소화하며, 효율성을 개선하고 생산성을 높이려 했습니다. 즉, "당신이 하는 일을 더 열심히 하라"는 의미의 문구들이 난무했습니다.
toggle
The illusion of data as “objective” conceals that it rarely shows you the whole picture. Making decisions based on the easiest data to gather is a recipe for disaster.
Last week, the former Sr. Brand Director of Nike published a rare deep dive into a marketing blunder four years in the making. As a firm believer in taking inspiration from analogous domains, I think there is a great lesson here for Product and UX to take away.
Why do I think it’s relevant? Just tell me this doesn’t sound familiar:
“Nike invested billions into something that was less effective but easier to be measured vs something that was more effective but less easy to be measured.”
On the advice of McKinsey, Nike’s new CEO John Donahoe decided to pivot to a “data-driven” approach, reorganizing the company towards digital direct-to-consumer sales and eliminating the former model centered on distinct categories. The allure is easy to recognize, and it’s the same trap that Boeing and other companies fell into over the preceding years.
Coming up with new ideas is difficult and requires specialist knowledge. Moreover, it requires specialist knowledge to understand what those specialists are doing and therefore manage them.
Meanwhile, slashing costs works the same way across every industry. And so Nike squared up to eliminate duplicate processes, streamline operations, improve efficiency, and increase productivity — all those phrases that are meant to say “whatever it is you do — do it harder.”
엘레인은 충격을 받은 표정을 지었습니다. 지나가 그녀의 리스트를 빼앗아 적었습니다: 1. 잠재력 최적화. 2. 권한 부여 촉진. 3. 비전 구현. 4. 우선순위 전략 수립. 5. 핵심 구조 강화. 이런 전략은 1997년에도 이미 농담거리였습니다. (벨웨더, 코니 윌리스) 결과는 어땠을까요? 그 전략의 의도가 무엇이었느냐에 따라 다릅니다. 도나호가 시가총액 250억 달러를 잃고 주가를 32% 하락시키는 것이 목표였다면, 대성공이었습니다. 하지만 그렇지 않다고 생각하는 우리에게는 그가 어디서 잘못되었는지 되짚어볼 필요가 있습니다.
“측정할 수 없다면 관리할 수 없다”는 생각은 잘못된 것입니다. 이는 비용이 많이 드는 신화입니다. — W. 에드워즈 데밍
데이터는 무가치하지 않습니다. 데이터는 과거에 무슨 일이 있었는지를 알려주는 데 매우 가치가 있습니다. 현재 무슨 일이 일어나고 있는지를 알려주는 데이터에도 큰 비용이 소요됩니다. 하지만 헤지펀드의 퀀트 애널리스트들의 7~8자리 연봉이 보여주듯, 데이터를 이용해 미래에 무슨 일이 일어날지를 추론하는 것은 가장 어려운 일 중 하나입니다.
보통은 '따뜻한 데이터'라고 불리는 질적 데이터를 수집하여, 숫자에 의미를 부여하고 이를 통해 숫자가 어디로 향하는지를 예측하는 이야기를 만듭니다.
하지만 온라인 광고가 하는 일은 그렇지 않습니다. 필 바스티엔이 지적한 것처럼, 광고 데이터의 가장 흔한 결과는 당신이 소파를 샀다면 더 많은 소파가 필요하다는 것일 수 있습니다.
toggle
How well did it work? Well, that depends on what the intent behind the strategy was. If Donahoe intended to lose $25B in market cap and tank the stock price 32%, it was a smashing success. For those of us who don’t think that’s what he meant to do, it bears reflecting on where he went wrong.
It is wrong to suppose that if you can’t measure it, you can’t manage it — a costly myth. — W. Edwards Deming
Data isn’t worthless. Data is really, really valuable for telling you what has happened in the past. Great expense has gone into producing data that can tell you what’s going on in the present. But as the 7- and 8-figure salaries of quantitative analysts at hedge funds show us, using data to extrapolate what will happen in the future is one of the most challenging things you can try to do with it.
Typically, the way one would do that is by harvesting what’s called warm data — the qualitative data that gives the numbers their meaning — and then using that to tell a story about where the numbers are going.
Unfortunately, that’s not what online advertising does. As Phil Bastien calls out here the most common outcome of advertising data is that if you buy a couch, it must mean that you need more couches.
인간 마케터와 상품 기획자들은 이를 알고 있습니다. 그래서 매장에서 BBQ 소스 옆에 종이 타월을 두거나 핫도그와 번을 함께 배치하는 것입니다. 인간은 “빵을 사는 것”이라는 데이터에 “빵에 토핑이 올라간다”라는 질적 데이터를 더해 즐거운 쇼핑 경험을 만들 수 있습니다. 하지만 데이터를, 심지어 AI에 공급되는 데이터조차도 이런 식으로 작동하게 만드는 것은 생각보다 훨씬 어렵습니다.
나이키가 개별 제품 카테고리를 없애고 이러한 전문성을 활용할 수 있는 기회를 포기한 채, 범용적인 일괄 데이터 모델을 택한 결과는 쉽게 예측할 수 있습니다. 이 모델은 피자 가게의 로비에서 피자 가게 전단지를 나눠주는 것과 같으며, 새로운 고객을 유치하기보다 기존 고객에게서 더 많은 돈을 끌어내는 방식으로 사업을 재편하게 했습니다.
잘못된 것을 측정하는 것은 재앙으로 가는 지름길입니다. — 재러드 스풀
브랜드, 마케팅, 디자인으로 구성된 창의적 작업의 이익 동기는 행동 변화를 유도하는 것이라고 제안할 수 있습니다. 우리는 고객이 새로운 무언가를 할 수 있도록 돕습니다. 이를테면 선택할 수 있는 옵션이 있다는 것을 알리거나, 그 옵션을 다른 것들보다 더 매력적이고 효과적으로 만드는 방식으로 말입니다.
그리고 여기서 문제가 시작됩니다. 나이키의 자기 중심적인 전략은 행동 변화를 필요로 하지 않는 기존 고객들에 대한 데이터만 수집하게 되었습니다.
이것은 모든 종류의 산업에서 매우 흔한 실수입니다. 연구에서 가장 목소리가 크고, 가장 빈번하게, 가장 시끄럽게 참여하는 사람들은 전체 시장을 대표하지 못하는 경우가 많습니다. 당신의 제품을 사용하지 않거나, 사용할 수 없는 사람들은 거의 레이더에 잡히지 않습니다.
수집하기 쉬운 데이터만을 사용하고 멈추는 것은 유혹적입니다. 나이키가 온라인 쇼핑 데이터로 딱 그렇게 했습니다. 그 결과, 그들의 제품 우선순위는 일반 고객들이 구매하는 것과 급격히 달라졌고, 대중적인 제품들은 판매할 장소가 없어 창고에서 썩어갔습니다. 그리고 나이키가 이런 소수 고객들을 쫓을수록, 더 많은 일반 쇼핑객들이 경쟁사의 제품으로 옮겨갔습니다.
“양적 방법에 대한 집착이 생겨났고, 중요도가 매우 낮은 문제를 해결하기 위해 복잡한 통계적 장치를 사용하는 실험실이 만들어졌습니다.” — 그레고리 베이트슨, 1944년
시간이 지나고 나면 나이키가 이런 실수를 저지른 것을 쉽게 비판할 수 있습니다. 더 나아가 우리는 이 실수를 피할 수 있다고 믿기 쉽습니다. 왜냐하면 우리는 단순히 잘못된 데이터 대신 올바른 데이터를 선택할 것이기 때문이죠.
toggle
Human marketers and merchandisers know this — it’s why you might see paper towels next to the BBQ sauce or buns and hotdogs together at the store. Humans could enrich “you are buying bread” with the qualitative data point “toppings go on bread” to create a delightful shopping experience. But getting data — even data fed to an AI — to do this is much harder than you’d think.
Nike’s decision to eliminate individual product categories — who could marshal exactly this kind of expertise — in favor of a generic one-size-fits-all data model created a problem that you can probably predict. This model performed the equivalent of handing out flyers for your pizza shop in the pizza shop’s lobby and signaled the business to reorganize from attracting new customers to pumping more money out of the customers they already had.
Measuring the wrong things is a fast path to disaster. — Jared Spool
One might propose that the entire profit motive behind the genre of creative work made up by brand, marketing, and design is to drive behavior change. We enable customers to do something new — whether by informing them that an option exists, or making it more attractive and effective to choose that option over others.
And this is where the trouble starts. Nike’s incestuous strategy was bringing in data on existing customers — those whose behavior didn’t need changing.
This is an extremely common mistake in all kinds of industries — the most vocal, most frequent, loudest participants in your research are the least representative of the total addressable market. The people who don’t — or can’t — use your product barely show up on the radar.
It’s tempting to reach only for the data that’s easiest to harvest, and stop there. That’s exactly what Nike did with their online shopping data. As a result, their product priorities rapidly diverged from the kind of things ordinary customers buy, while product with mass appeal rotted in warehouses for lack of places to sell it. And the longer Nike chased these fringe customers, the more ordinary shoppers moved on to a competitor’s product.
“A fetish has been made of quantitative methods and whole laboratories have been devoted to solving, with elaborate statistical machinery, problems which had very slight importance.” — Gregory Bateson, 1944
With the benefit of time and distance, it’s easy to condemn Nike for making this mistake. It’s even easier to believe that we can avoid it — because we would simply pick the right data to follow, instead of the wrong data.
그런데 그 사람들에게는 효과가 있었을까요? 아니요, 절대 그렇지 않습니다. 이 사람들은 이것이 효과가 있을지도 모른다고 착각하지만, 우리에게는 효과가 있을지도 모른다고 스스로를 속이곤 합니다.
- Arrested Development: The One Where Michael Leaves 사실 이 실수는 자신들이 올바른 일을 하고 있다고 생각한 경험 많고 지적인 전문가들에 의해 저질러졌습니다. 단순히 그들이 틀렸다는 것을 식별하는 것만으로는 충분하지 않습니다. 그 순간 왜 잘못된 것이 최선의 방법처럼 보였는지를 이해해야 합니다.
그리고 왜 그랬는지 쉽게 알 수 있습니다. 나이키는 여전히 세계에서 가장 가치 있는 브랜드 중 하나이며, 소수 고객을 집중 공략하는 전략은 많은 작은 기업들에게 효과가 있었습니다. 2020년처럼 리스크가 큰 환경에서는 자신의 강점을 활용하여 실질적으로 보장된 10% 상승(또는 그와 유사한)을 기대하는 것이 좋은 느낌일 것입니다.
더 큰 손실을 감수하는 대가로 10%를 얻는다는 사실을 외면하고 싶은 유혹도 강하게 느껴집니다. 왜냐하면 그렇게 말하면 다음 해고 대상이 될 수도 있기 때문입니다. 지배적인 서사에 맞서기 위해서는 많은 용기와 신념이 필요합니다. 연구 기술을 통해 정보에 입각한 가설을 세우고, 이를 예산을 가진 사람들에게 설득하려면 비즈니스 감각도 필요합니다.
이미 모두가 믿고 있는 것을 "검증"하는 것은 훨씬 더 쉬운 일입니다. 하지만 그건 아무런 가치를 창출하지 않습니다. 연구의 가치는 이미 소리치고 있는 사람들을 높이는 데서 나오는 것이 아닙니다. 들리지 않는 사람들을 찾아 그들의 목소리를 대화에 추가하는 데서 나옵니다.
그제야 모든 데이터를 기반으로 진정한 데이터 기반 결정을 내릴 수 있습니다.
그렇지 않다면, 당신이 할 수 있는 최고의 결정은 평범한 수준의 의사 결정에 불과할 것입니다.
toggle
The fact of the matter is that this mistake was made by experienced, intelligent professionals who also thought that they were doing the right thing. It’s not enough to identify that they were wrong; we need to understand why in that moment, the wrong thing seemed like the best way forward.
And it’s easy to see how it would be. Nike is still one of the world’s most valuable brands, and chasing whales has worked well for many lesser firms. In an environment as risk-laden as 2020 was, it feels good to lean into your strengths and get a practically-guaranteed 10% (or whatever) bump in your metrics.
It’s also very tempting to close your eyes and pretend that the 10% isn’t coming at the cost of larger losses elsewhere, because if you speak up it might be your job that’s on the line in the next round of layoffs. It takes a lot of courage and conviction to push back against the dominant narrative. It takes research skills to form an informed hypothesis and business sense to convince people with budgets that it ought to be tried.
“Validating” what everyone already believes is far easier — but it adds no value. The value of research doesn’t come from elevating people who are already shouting. It comes from finding the people who are not being heard, and adding their voices to the conversation.
Then you can make a real data-driven decision: a decision driven by all the data.
Otherwise, the best you can do is commodity-grade decision-making.
