데이터 기반 사고 방식

안녕하세요.

오늘은 PM이 데이터를 보는 관점에 대해 스터디한 내용을 쓰려고 합니다.

데이터 보는 관점 깨뜨리기, 추천 알고리즘의 종류, 대표적인 추천 알고리즘 원리, 데이터 통계 & 가설 검정, 통계의 함정과 대처에 대해 알아보도록 하겠습니다. 

데이터 기반 사고

 

데이터 보는 관점 깨뜨리기

넷플릭스의 추천 알고리즘은 중립적이지 않다

Yes와 No는 대부분 동시에 존재한다. ‘성공 기준을 무엇으로 정의하느냐’에 따라 Yes와 No의 다이아몬드 구조 설계

 

추천 알고리즘의 종류

추천 알고리즘에 사용되는 데이터 특성

데이터를 읽고 판단할 줄 알아야 적합한 추천 알고리즘과 콘텐츠 제공이 가능

 

콘텐츠 기반

콘텐츠 기반 유저의 과거 기록을 바탕으로 다음 행동 패턴을 예측하여 추천 마켓 이용기록

예시) 한 유저의 마늘 – 고추 – 채소 – 버섯 구매기록과 유사한 특성의 제품 유기농 채소, 건강식품 등을 추천 내가 지금까지 소비한 것과 가장 유사한 제품을 추천

 

협업 필터링

유저의 행동 패턴과 유사한 유저들의 선택을 기반으로 추천 마켓 이용기록

예시) 마늘 – 고추 – 채소 – 버섯 구매기록과 유사한 유저가 주로 구매한 물품 고기, 일회용 식기, 음료 등을 추천 나와 비슷한 사람들이 함께 선택한 제품을 추천

 

데이터 통계 & 가설 검정

데이터기반 사고 – 가설 수립 – 가설 검정 – 추후 제언

과학자들은 자신이 틀렸기를 바란다.

설득에서 검정까지, 사고의 전환 | 관련 영상 – Part1. 페르미 역설 – 과학자들은 자신들이 틀렸기를 바랍니다.

 

귀무가설과 대립가설의 정의

귀무가설과 대립가설은 통계학적 가설 검정을 시도할 때 주로 쓰입니다.

 

대립가설(대안가설):

새로운 주장 근거 데이터가 기존의 사실과 유의미한 차이나 극명한 효과, 관계가 존재 할 것이라는 가설

 

귀무가설(영가설):

기존의 사실과 큰 차이가 없거나 효과가 무의미, 혹은 우연에 의해 발생 되었다는 귀(歸)돌려보내다 무(無)없던 것으로 라는 뜻의 가설

 

통계분석의 관계성 판단

유의미하다는 기준은 어떤 방식으로 정해야 될까?

각 계산 방법을 공부하는 것이 아니라, 어떤 근거로 산출 되는지 파악할 수 있는 것이 중요

 

통계의 함정과 대처

유저의 거짓말, 생존자 편향, 100%의 신호, 이상치

문제는 데이터를 보이는 그대로 믿어버릴 때 주로 발생 수집한 데이터는 많은 것을 내포 하고 있지만, 표면적인 것과 다른 맥락을 숨기고 있는 경우도 많다

 

유저는 거짓말을 의도한 걸까?

• ‘와, 이거 정말 좋네요. 꼭 쓸게요’ 그들은 나타나지 않았다. – 토스 피드: 우리는 사용자를 믿지 않는다

• 인터뷰 진행자의 열정, 표정 및 몸짓과 같은 비언어적 신호를 통한 요구적 응답 – 인터뷰 진행자 편향

• 나쁜 습관은 과소응답, 좋은 습관은 과대응답하는 현상 – 사회적 바람직성 편향

 

생존자 편향

‘남아 있는 사람들’의 데이터

질문을 던지는 습관 데이터에 등장하지 않는 사람은 누구일까?

• 불편해서 시도조차 하지 않는 유저

• 가입만 해보고 사용을 하지 않는 유저

• 바라는 점이나 기대감보다 실망감을 크게 느낀 유저

• 설문이나 응답을 어디에 남기는지 인지하지 못한 유저 이런 유형의 유저가 빠져 있는 데이터는 낙관적인 착각을 불러오기 쉽다.

 

신뢰도 100%의 결과는 좋은 신호가 아니라 경고일 수 있다.

서비스에서 ‘완벽한 결과’는 축하보다 질문이 먼저 나온다.

• 모든 응답에 반대 의견이 없다

• 모든 유저가 만족하고 있다

• 0.01%의 오류 데이터도 없다

 

데이터 기반사고의 중요성 

일상 속에서도 몇가지의 사실 데이터를 기반으로 다양한 사고를 떠올려보고,

- 데이터 기반 사고 다양한 시도와 가능성에 대해서 끊임 없이 상상해 보신다면,

- 가설 수립 지금의 귀무가설을 기각 할 수 있을만한 모든 의심을 품어보고 해결하는 연습이 될 거예요!

- 가설 검정 기회가 된다면, 실제로 행동에 옮겨보고, 현실적 한계점을 개선하며 좋은 성장 커브를 가지게 되길 바라겠습니다!

- 추후 제언

 

나의 주장이 틀렸다는 것을 증명하는 것에 실패 해보자

주제: 강의 완주까지 적극적인 참여를 한 수료생은

대립 가설: AI PM으로서의 역량 상승이 유의미하게 것이다.

귀무 가설: 완주 여부와 관계 없이 AI PM 역량에는 차이가 없을 것이다.

 

• 귀무가설이 정말 기각되었나?

• 결과는 시간이 지나도 유지 될 수 있는가?

• 모든 사람에게 동일하게 적용 가능한가?

 

마치며 

나의 주장이 틀렸다는 것을 증명하는 것에 실패해보는 것을 생각해보는 시간이었습니다.