Breaking Down Every KPI
איך למדתי בדרך הקשה שפירוק מטריקה ראשית למטריקות משנה חשוב לא פחות מסגמנטציה? ולמה שיטת עץ מטריקות מבוססת סכום אינה שיטה מומלצת?
נתחיל מסיפור קצר - לאחר שנתיים מאז הקמתו, המוצר שלנו נהיה די עמוס: בפיצ'רים, בתוכן, במשימות ומטרות שונות. לא אחת זה יצר בלבול ותסכול בקרב משתמשים קיימים וחדשים. שמעתי את הטענה הזו חוזרת בשיחות דיסקאברי אבל לא הייתה לי הוכחה ״כמותית״ לטענה. בייחוד שכבר בחודשים הראשונים לקיום המוצר, הצוות יצר Support Page די מקיף, אז למה שניגע בבעיה הזו שוב?
אז הלכתי למחלקת Customer Support שגם בה הרגישו את התופעה וסיפקו לי נתונים די מעניינים:
לאחר בדיקה של האנליסט שלנו, גילינו ש95% מהמשתמשים שהגישו פנייה שנחשבת 'General Question' ביקרו בSupport Page, כלומר לא מדובר בבעיית Awareness. אז ראיינתי יוזרים שהגישו פניות, והבנתי שאצל רובם הבעיה העיקרית היא שהSearch Bar פשוט לא מוצא את המאמר הרלוונטי, ועבור המשתמשים פשוט יותר לבקש עזרה מנציג אנושי שישלוף את המידע. הטענה הזו נתמכה בנתונים כמותיים על מספר די גדול של שאילתות לביקור בעמוד. אז עבדנו על פיצ'ר חדש Support Page V2: שיפצנו את מנוע החיפוש, עדכנו את התוכן, הוספנו Screenshots וכו'. המטריקה שנבחרה כLeading Metric הייתה השימושיות שנמדדה ע״י Monthly Total Queries (הניחו שהDAU היה די יציב בתקופה זו) כשLagging Metric היה מספר הפניות 'הכלליות' לCustomer Support. לאחר חודש של AB Testing המטריקה כמעט ולא זזה. לא ברור.
בסוף החודש קיבלתי מCustomer Support עדכון - הייתה ירידה דרמטית בפניות שתויגו כGeneral. ותהיתי לעצמי - מה בעצם קרה פה?
נחזור לזה בהמשך.
סדר פעולות חשבון - כפל קודם לחיבור, פירוק מטריקה קודם לסגמנטציה
השלבים המתמטיים הבאים בעצם מפרקים כל מטריקה, לחלקיה, בנסיון לערב את כל המטריקות האחרות שעלולות להסביר את המטריקה הראשית.
בכל שלב הוספתי מטריקה חדשה (Y, Z,W) שיכולה להסביר שינויים במטריקה הראשית X. זה בעצם ״עץ מטריקות״. אם ניקח זאת לשבירה של Daily Revenue, נוכל בעצם להסביר למה העולם מתחלק לMonetization, Growth and Engagement.
צורה נוספת לפירוק Daily Revenue, מפורסמת גם כן, בייחוד במוצרי B2C שמבוססים על רכישות יומיות היא:
כלומר, ממש לפי השלבים המתמטיים, הצלחתי ״לערב״ מטריקות שונות שיכולות להסביר שינויים במטריקה הראשית. במוצר עליו עבדתי, כמעט כל שעה ויום בדקנו את מצב הDaily Revenue שלנו - אבל לא רק אותו, אלא את כל המטריקות מעלה, שמרכיבות ומסבירות שינויים בו.
למשל במקרה הזה, לאורך חודש מסויים הRevenue שלנו ירד. ללא שינויים בGrowth או בEngagement. שבירת המטריקה לעץ מעלה איפשרה לנו באופן די מהיר להבין את שורש הבעיה, לעלות היפותזות ולבחון אותם. למשל פה יתכנו סיבות שונות:
שינוי מט״ח במדינות מסוימות שהובילו לירידה בUSD Revenue.
מבצע Special Offer שנקבע ליום אחד עבור סגמנט מסוים, נמשך לאורך כל החודש.
יתכן שמדובר בBug בPurchase Flow של IAP (In App Purchases) יקרים יותר.
יתכן שמצב הכלכלה השפיע על גמישות המחיר של המשתמשים.
באמצעות סגמנטציה של המטריקה שחוותה שינוי, אם לפי פלטפורמה, מדינה, רמת שימושיות וכו' - אני יכול לאתר היכן הבעיה ולעלות היפתזות מדויקות אף יותר.
אנליזת Funnel היא בעצם תת-קבוצה של 'עץ מטריקות'
כולנו משתמשים בFunnels, ממש כל היום, אבל זה בעצם שבירה שמבוססת על השלבים ליצירת 'עץ מטריקות': חלוקת הבעיה לאזורים שונים שמאפשרת לנו להסביר שינויים במטריקה הראשית.
בחזרה לסיפור ה-Support Page
להזכירכם, השימושיות בקרב קבוצת הניסוי לא עלתה (שנמדדה ע״י Monthly Total Queries) ולמרות זאת מספר הפניות לCustomer Support ירד משמעותית, מה קרה פה?
אז בוא נשבור את המטריקה הזו:
היינו רוצים שמספר השאילתות בכל ביקור בSupport Page ירד, שכן החיפוש הפך לאפקטיבי יותר ומציאת התוכן קלה יותר. אין צורך להריץ מספר רב של שאילתות עד למציאת התוכן הרצוי.
היינו רוצים שמספר הביקורים בSupport Page יגדל, שכן כעת הוא אפקטיבי יותר.
כלומר, בגלל שלא פירקנו את המטריקה הראשית למטריקות שמרכיבות אותה, כמעט והגענו למסקנה שגויה שהייתה יכולה לגרום לנו לקבל החלטה מוצרית גרועה. הפיצ'ר הצליח לעלות יחס אחד ולהוריד את האחר כך שבסה״כ נדמה היה שאין שינוי. מסקנה: פרקו את מטריקת ההצלחה של הפיצ'ר שלכם עוד בתחילת התהליך ושתפו את הצוות כולו בעץ הסופי, מעבר לExplainability יש לו ערך בAlignment.
המימד הרביעי - משחקים בזמני מדידה
כמעט תמיד אנחנו נוטים לשכוח את מימד הזמן, למרות שהוא כנראה המרכזי ביותר בחיינו. מדידת מטריקה בחלונות זמנים שונות, ופירוקה, יכולה ללמד אותנו הרבה על ההתנהגות שלה. הדוגמא המפורסמת ביותר היא כמובן:
בכך, ניתן להסביר DAU ע״י יחסי זמנים, שבמקרה זה מייצגים את מידת Stickiness של המוצר, כלומר תדירות השימוש.
עקרון הMECE וסגמנטציה
חשוב לזכור שלא כל היחסים הם כפליים ובמקרה של DAU ניתן גם להציג את המטריקה כסכום:
כמעט ולא התעסקתי כאן בפעולת החיבור שכן לרוב ניתן, יותר נוח ויותר נכון להסתכל על כל אחת מהקבוצות במשוואה מעלה כסגמנט, ולנתח את המטריקות השונות בהתאם לסגמנט. בנוסף, כאשר מתארים מטריקה באמצעות פעולות חיבור מאוד קל לטעות ולא לקיים את עקרון הMECE (Mutually Exclusive, Collectively Exhaustive). אז אם בניתם עץ מטריקות באמצעות חיבור - מומלץ לוודא שאין Overlap ביניהן (גם אם מדובר רק בEdge Case) ושאין שאריות.
פירוק מטריקה ראשית למטריקות שמרכיבות אותה לא פחות חשוב משבירת מטריקה לסגמנטים. יחד הם יכולים לחשוף את הIceberg כולו.