[제로베이스 pm스쿨] 매일학습일지 Week 3-3

✍🏻 오늘의 할 일

- 북스터디 1개

- 아티클 스터디 1개

- 챕터 8. 서비스 기획 업무 A to Z 알아보기 강의 완료

- 매일학습일지

---

와이어프레임

간단한 선과 면 정도를 이용해서 세부 묘사는 제외하고, 레이아웃 정도만 잡은 형태

이 와이어프레임을 사용해서 PO는 디자이너에게 좀 더 기획 방향성을 명확하게 전달할 수 있고, 이를 통해서 시간 낭비나 인력 낭비 그리고 정확도 같은 것들이 많이 올라갈 수 있다.

 

프로토타입

와이어프레임과 다르게 실제와 비슷하게 구현된 상태로 간단한 인터렉션을 포함한다. 

피델리티 레벨에 따라서 로우 피델리티 프로토타입 / 하이 피델리티 프로토 타입으로 나뉜다.

(좌) 하이 피델리티 프로토타입 (우) 로우 피델리티 프로토타입

 

와이어프레임과 프로토타입의 의의

모두 결국에는 의사소통 도구이다.

동일한 것이라도 모든 이해관계자가 이해하는 바는 아무리 동일한 내용을 들어도 천차만별일 수 밖에 없다.

 

AB Test란?

IT 기업의 프로덕트는 배포 주기가 짧고, AB 테스트를 실행하는 데 있어서 정말 용이하므로 IT 기업에서 특히 더 활발하게 사용하고 있다.

임의로 나눠진 두 집단(A/B)에게 서로 다른 UI/UX 등을 제시하고, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 정량적으로 평가하는 방식

 

AB Test 하는 이유

데이터를 직접 보고 결정하는 것이 정말 쉬워졌다.

쉽고 빠르게 테스트할 수 있는 환경에서 경험있는 개인에게 의지하는 것은 너무 위험하거나, 너무 비효율적이다.

 

AB Test 진행 Process

1. 목표 설정

2. 가설 수립

3. 실험 설계

4. 실험 진행

5. 결과 검증

 

목표 설정

목표를 명확히! 목표 설정에 좀 더 많은 시간을 할애하라.

 

가설 수립

목표와 지표를 설정하였다면, 어떤 일을 해야 해당 지표가 개선될 수 있을지에 대한 가설을 수립해야 한다. 

 

실험 설계_ 지표 설정

합계 지표(sum) - 간단히 전체 값을 더한 지표

평균, 중앙값 - 평균이 기본적으로 가장 많이 쓰이는 지표

median - 중간값

mode - 최빈값, 가장 빈도가 높은 값

비율 지표 - 0과 1 사이의 값, conversion rate 즉 전환율을 비율 지표로 나타내며 AB테스트 시에 가장 많이 사용되는 지표의 종류

민감도와 강건성 - 아무 변화도 가하지 않았는데 들쑥날쑥하는 지표는 강건성이 낮아 실험에 적절한 지표라고 볼 수 없다.

 

실험 설계_target_user

대조군 - 보통 신규 기능을 추가하거나 기존 기능을 개선할 때 AB 테스트를 진행하므로 기존 상태 그대로인 것

실험군 - 새로운 기능을 넣거나, 개선이 이루어진 상태를 실험군으로 두고, 각각을 A와 B로 정한다.

샘플 사이즈 - 샘플 수가 많을수록 결과의 신뢰도가 올라간다.

Unit of Diversion (분기 단위) - 어떻게 유저를 나눠서 실험군/대조군으로 설정해야 할 것인가

Unit of Analysis - A/B테스트를 통해 영향을 주고자 하는 최소 단위

Duration - 보통 기간이 길수록 정확성은 높아진다.

Variation - 최대한 실험 단위를 쪼개서, 영향력을 확인하고 싶은 부분을 제외하고는 통제하는 것이 좋다.

 

실험 진행

AB테스트의 분기가 제대로 이뤄지고 있는지 파악해야 한다. 실험 기간이 너무 짧을 경우, 유의미한 결과값을 얻을 수 없을 가능성이 높다.

 

결과 분석

통계적 유의성 확인 - 실험군, 대조군의 각각의 모수와, 전환 유저 값을 통해서 통계적 유의미도를 계산한다.

불변 지표 확인 - 실험 과정이 문제없었는지 점검, 불변지표란 실험 과정에서 변하면 안 되는 변수