מה ההבדל בין רעיון להיפותזה?
"בואו נשנה את הכותרת" הוא רעיון. אין בו בעיה, אין בו מדד ואין דרך לדעת אם הוא נכשל. היפותזה מוסיפה שלושה דברים: מה ראינו שגרם לנו לחשוב על השינוי, איזה מדד אמור להשתנות ולמה אנחנו מצפים שזה יקרה.
התיעוד של Optimizely מגדיר היפותזה כתחזית שכותבים לפני שמריצים ניסוי. המילה החשובה היא "לפני". היפותזה שנכתבת אחרי שהתוצאות הגיעו היא הסבר בדיעבד שאפשר להתאים לכל תוצאה.
ההבדל המעשי מתגלה כשהניסוי מפסיד. רעיון שהפסיד לא מלמד כלום, בעוד שהיפותזה שהפסידה מפריכה הנחה מסוימת על המשתמשים שלכם. זה ידע שנשאר גם אחרי שהניסוי נסגר.
| רעיון | אותו רעיון כהיפותזה (דוגמה להמחשה) |
|---|---|
| לקצר את טופס הלידים | במשפך רואים שרוב הנטישה בנייד קורית אחרי שדה שם החברה. אם נסיר את השדה, שיעור השלמת הטופס בנייד יעלה, כי המשתמשים לא יצטרכו להקליד מידע שאינו נחוץ לשיחה הראשונה |
| להוסיף המלצות לעמוד המוצר | בהקלטות רואים שגולשים גוללים עד הביקורות וחוזרים למעלה לפני שהם עוזבים. אם נציג את דירוג הביקורות ליד המחיר, שיעור ההוספה לעגלה יעלה, כי ההוכחה תופיע בנקודת ההחלטה |
| לשנות את צבע הכפתור | אין נתון שמצביע על בעיה. זה לא מוכן לניסוי |
מה חייב להיות בהיפותזה?
התבנית המוכרת, כפי שהיא מופיעה בתיעוד של Optimizely, היא: אם [סיבה], אז [תוצאה], כי [היגיון]. לפי אותו תיעוד היפותזה חזקה בנויה משלושה חלקים: הגדרת הבעיה, פתרון מוצע ותוצאה.
צוות פלטפורמת הניסויים של Microsoft מוסיף שלוש דרישות: ההיפותזה צריכה לתפוס את ההשפעה הצפויה של השינוי, להיות פשוטה (שינוי מורכב מפרקים לסדרה של שינויים פשוטים, כל אחד עם היפותזה משלו) ולהיות ניתנת להפרכה או להוכחה בעזרת המדדים שנבחרו.
התבנית שאני עובד איתה מחברת את שני המקורות לחמישה שדות:
ראינו ש: [נתון כמותי או איכותני]
אנחנו מניחים שהסיבה היא: [הבעיה של המשתמש]
אם נשנה: [שינוי אחד] עבור [קהל או מכשיר]
אז: [מדד ראשי] ישתנה ב[כיוון]
כי: [ההיגיון שמחבר בין השינוי למדד]| רכיב | השאלה שהוא עונה עליה | סימן שהוא חסר |
|---|---|---|
| נתון | מה ראינו שהוביל לרעיון? | ההיפותזה מתחילה ב"לדעתי" או ב"ראיתי אצל מתחרה" |
| בעיה | מה מפריע למשתמש? | יש פתרון, אבל לא ברור לאיזו בעיה |
| שינוי | מה בדיוק שונה בגרסה B? | כמה שינויים יחד, אי אפשר לדעת מה עבד |
| מדד | איזה מספר אמור לזוז ולאיזה כיוון? | "נראה מה יקרה" או רשימה של עשרה מדדים |
| היגיון | למה השינוי אמור להזיז את המדד? | אין מה ללמוד כשהניסוי מפסיד |
מנתון להיפותזה
מה צריך להיות ביד לפני שרעיון עולה לניסוי
מאיפה מגיעות היפותזות טובות?
מבעיה שנצפתה, לא מרשימת טיפים. התיעוד של Optimizely ממליץ לאמת את הבעיה גם כמותית וגם איכותנית ולהשתמש בנתונים במקום בהנחה. בפועל זה מתחלק לשני סוגי מקורות.
מקורות שאומרים איפה. משפך ב-GA4 שמראה באיזה שלב נוטשים, פילוח לפי מכשיר ומקור תנועה, מדידת טפסים. את בניית המשפך פירטנו במדריך למשפך ב-GA4 לאיתור נטישה. את מדידת הטפסים פירטנו במדריך לנטישת טפסים.
מקורות שאומרים למה. הקלטות סשנים, מפות חום, סקרים באתר, שיחות של מוקד המכירות והשירות. את השיטה הסברנו במדריך למפות חום ואבחון משפך.
היפותזה טובה צריכה אחד מכל סוג, כי נתון כמותי בלי הסבר מוביל לניחוש של פתרון ותצפית איכותנית בלי מספר עלולה להיות שלושה משתמשים חריגים.
איזה מדד קובעים לפני שהניסוי מתחיל?
מדד ראשי אחד. בוחרים את המדד הקרוב ביותר לשינוי: לשינוי בטופס זה שיעור השלמת הטופס, לא ההכנסה החודשית. הסיבה היא רגישות. לפי Microsoft, מדד רגיש הוא מדד שיש לו סיכוי גבוה לזהות השפעה כשהיא קיימת, בעוד שמדד רחוק מהשינוי מושפע מיותר מדי גורמים אחרים.
מדדי שמירה. Microsoft מגדירה guardrail metrics כמדדים של היבטים במוצר שלא רוצים לפגוע בהם, גם אם לא מצפים לשפר אותם. בניסוי על טופס לידים, לדוגמה, מדד שמירה סביר הוא איכות הלידים ובניסוי על מבצע בעגלה זה ערך ההזמנה הממוצע.
משך וכלל החלטה. כותבים מראש כמה זמן הניסוי ירוץ ומה עושים בכל תוצאה: עלייה, ירידה או אין הבדל. ההמלצה של Microsoft היא להריץ את הניסוי עד סוף המשך שנקבע מראש, כל עוד אין תזוזה ודאית מאוד במדדים. את חישוב גודל המדגם לא נחזור עליו כאן, הוא נמצא במחשבון גודל מדגם לניסוי A/B.
איך מתעדפים בין רעיונות?
שיטת הדירוג הנפוצה היא RICE, שפורסמה בבלוג של Intercom על ידי Sean McBride. היא מדרגת כל רעיון לפי ארבעה גורמים. Reach הוא מספר האנשים שהשינוי ישפיע עליהם בפרק זמן מוגדר. Impact הוא עוצמת ההשפעה על כל אחד מהם, בסולם של 3 להשפעה עצומה, 2 לגבוהה, 1 לבינונית, 0.5 לנמוכה ו-0.25 למינימלית. Confidence הוא רמת הביטחון בהערכות: 100% לגבוהה, 80% לבינונית ו-50% לנמוכה. Effort הוא העבודה הנדרשת בחודשי עבודה של אדם אחד. הציון הוא מכפלת שלושת הראשונים חלקי המאמץ.
RICE נכתבה לניהול מוצר. כדי שתעבוד לניסויי המרה אני ממלא אותה כך:
| גורם | איך ממלאים אותו בניסוי המרה |
|---|---|
| Reach | מספר המשתמשים בחודש שמגיעים לאלמנט שמשתנה, מתוך GA4. לא התנועה של כל האתר |
| Impact | גבוה לשינוי בשלב שקרוב לכסף או לשינוי נועז, נמוך לשינוי קוסמטי |
| Confidence | 100% כשיש ראיה כמותית ואיכותנית, 80% כשיש אחת מהן, 50% כשיש רק דעה |
| Effort | עיצוב, פיתוח, בדיקות וניתוח יחד, באותה יחידת זמן לכל הרעיונות |
דוגמה בנתוני דמו. רעיון א': 8,000 משתמשים, השפעה 1, ביטחון 80%, מאמץ של חצי חודש. הציון הוא 12,800. רעיון ב': 2,000 משתמשים, השפעה 2, ביטחון 100%, מאמץ של חודש. הציון הוא 4,000. רעיון ב' נשמע מרגש יותר, אבל רעיון א' פוגש פי ארבעה משתמשים בחצי מהעבודה.
סייג אחד מהמקור עצמו: לפי Intercom הציונים אינם כלל נוקשה. תלות בין פרויקטים או דרישה שחייבים לעמוד בה יכולות להצדיק עבודה על רעיון עם ציון נמוך יותר.
באיזה סדר עובדים מרעיון ועד ניסוי?
- אוספים הכול לרשימה אחת. רעיונות מהנהלה, מהסוכנות, מהנתונים ומהשירות נכנסים לאותו גיליון, באותו פורמט.
- מוציאים את מה שלא צריך ניסוי. באגים ודרישות חוק מתקנים, לא בודקים בניסוי.
- כותבים כל רעיון בתבנית. רעיון שאי אפשר למלא לו נתון ובעיה חוזר לשלב המחקר.
- בודקים היתכנות. האם מספיק משתמשים מגיעים לאלמנט כדי שהניסוי יסתיים בזמן סביר. מה עושים כשהתשובה שלילית הסברנו במדריך על ניסוי A/B בלי מספיק נתונים.
- מדרגים. ארבעת הגורמים, אותו אדם או אותו צוות לכל הרשימה, כדי שהסולם יהיה עקבי.
- סוגרים מדד, מדדי שמירה, משך וכלל החלטה. הכול בכתב לפני ההשקה.
- מתעדים את התוצאה. גם כשהניסוי הפסיד וגם כשלא נמצא הבדל.
איך מתעדים היפותזה ותוצאה?
ביומן ניסויים אחד שכל הצוות רואה. בכל שורה: תאריך, ההיפותזה בתבנית המלאה, המדד הראשי, מדדי השמירה, הקהל, המשך המתוכנן, התוצאה, ההחלטה ומה למדנו על המשתמשים.
שני כללים שומרים על היומן אמין. הראשון: ההיפותזה והמדד הראשי לא משתנים אחרי שהניסוי התחיל. השני: ניסוי שהפסיד מתועד באותה רמת פירוט כמו ניסוי שניצח. בלי הכלל השני הארגון זוכר רק הצלחות ושנה אחר כך בודק שוב את אותם רעיונות שכבר נכשלו.
שאלות נפוצות
מה זה היפותזה בניסוי A/B?
היפותזה היא תחזית שכותבים לפני שמריצים ניסוי ושאפשר להפריך אותה. היא כוללת את הנתון שהוביל לרעיון, הבעיה של המשתמש, שינוי אחד, המדד שאמור לזוז וההיגיון שמחבר ביניהם. התבנית המקובלת, כפי שהיא מופיעה בתיעוד של Optimizely, היא: אם סיבה, אז תוצאה, כי היגיון.
מה ההבדל בין רעיון לניסוי לבין היפותזה?
רעיון הוא הצעה לשינוי בלי בעיה מוגדרת ובלי מדד, למשל לשנות את הכותרת. היפותזה מוסיפה מה ראינו בנתונים, איזה מדד אמור להשתנות ולמה. ההבדל מתגלה כשהניסוי מפסיד: רעיון שהפסיד לא מלמד כלום, היפותזה שהפסידה מפריכה הנחה מסוימת על המשתמשים.
איך כותבים היפותזה טובה לניסוי A/B?
ממלאים חמישה שדות: ראינו ש, אנחנו מניחים שהסיבה היא, אם נשנה, אז המדד ישתנה, כי. לפי צוות הניסויים של Microsoft היפותזה צריכה לתפוס את ההשפעה הצפויה של השינוי, להיות פשוטה ולהיות ניתנת להפרכה בעזרת המדדים שנבחרו. שינוי מורכב מפרקים לסדרה של שינויים פשוטים.
מה זה RICE ואיך משתמשים בו לתעדוף ניסויים?
RICE היא שיטת דירוג שפורסמה בבלוג של Intercom. היא מדרגת כל רעיון לפי Reach, מספר האנשים שיושפעו בפרק זמן מוגדר, Impact בסולם מ-0.25 עד 3, Confidence של 50%, 80% או 100% ו-Effort בחודשי עבודה. הציון הוא מכפלת שלושת הראשונים חלקי המאמץ. בניסויי המרה ממלאים את Reach במספר המשתמשים שמגיעים לאלמנט שמשתנה.
איזה מדד בוחרים כמדד ראשי בניסוי A/B?
בוחרים מדד אחד, הקרוב ביותר לשינוי. לשינוי בטופס זה שיעור השלמת הטופס ולא ההכנסה החודשית. הסיבה היא רגישות: לפי Microsoft מדד רגיש הוא מדד שיש לו סיכוי גבוה לזהות השפעה כשהיא קיימת. לצידו קובעים מדדי שמירה, שמוודאים שהשינוי לא פגע בהיבטים אחרים כמו איכות הלידים.
אילו רעיונות לא שווה לבדוק בניסוי A/B?
שלושה סוגים. באגים ודרישות חוק מתקנים בלי ניסוי, כי אין תוצאה שתגרום לכם להשאיר אותם. רעיון שאין מאחוריו נתון או בעיה חוזר לשלב המחקר. שינוי באלמנט שמעט מדי משתמשים מגיעים אליו לא יסתיים בזמן סביר, לכן מחפשים לו שינוי נועז יותר או שיטת בדיקה אחרת.
מה השורה התחתונה?
היפותזה טובה נכתבת לפני הניסוי ויש בה חמישה חלקים: נתון, בעיה, שינוי אחד, מדד ראשי והיגיון. תעדוף טוב שואל ארבע שאלות על כל רעיון: כמה משתמשים יפגשו את השינוי, כמה הוא ישפיע, כמה חזקה הראיה וכמה עבודה הוא דורש. שני הדברים יחד הופכים רשימת רעיונות לתוכנית ניסויים שאפשר ללמוד ממנה גם כשהתוצאה שלילית. החלק שהכי קשה לעשות לבד הוא הראשון, כלומר למצוא את הנתון ואת הבעיה שמאחוריו. זה מה שאנחנו עושים בשירות שיפור המרות וניתוח התנהגות גולשים: משפך, הקלטות ורשימת היפותזות מדורגת. אם יש לכם רשימת רעיונות ואין לכם דרך להחליט במה להתחיל, כתבו לנו.
מקורות
Optimizely Experimentation Strategy docs: Design an effective hypothesis, Microsoft Research: Patterns of Trustworthy Experimentation: Pre-Experiment Stage, Microsoft Research: Patterns of Trustworthy Experimentation: During-Experiment Stage, Microsoft Research: STEDII Properties of a Good Metric, Intercom: RICE: Simple prioritization for product managers
יועץ אנליטיקה דיגיטלית ומייסד DigiKnowledge. מרצה לאנליטיקה דיגיטלית באוניברסיטת תל אביב, באוניברסיטה הפתוחה ובאוניברסיטת אריאל. לעמוד האישי