איך קוראים את התוצאה
המספר הראשון הוא כמות המבקרים שכל וריאציה צריכה לראות לפני שבודקים את התוצאה והוא נקבע מראש. ניסוי שנעצר כשהמובהקות "מגיעה ל-95%" לפני שהמדגם הושלם מייצר תוצאות שגויות בשיעור גבוה בהרבה מ-5%, כי המובהקות מתנדנדת לאורך הניסוי. המשך הוא חלוקה של המדגם הכולל בתנועה החודשית, מעוגל כלפי מעלה לשבועות שלמים ולא פחות משבועיים כדי לכסות את מחזור ימי החול וסוף השבוע. אם העמוד הנבדק הוא לא העמוד שבו קורה ההמרה (למשל עמוד מוצר כשההמרה היא רכישה), התנועה הרלוונטית היא רק המבקרים שמגיעים לעמוד הנבדק ושיעור ההמרה הוא מתוכם.
הנוסחה שמאחורי המחשבון
לכל וריאציה: n = (zα/2·√(2p̄(1-p̄)) + zβ·√(p₁(1-p₁)+p₂(1-p₂)))² / (p₂-p₁)², כאשר p₁ הוא שיעור ההמרה הנוכחי, p₂ הוא השיעור אחרי השיפור המבוקש ו-p̄ הממוצע שלהם. זו הנוסחה הסטנדרטית להשוואת שתי פרופורציות, אותה נוסחה שמריץ המחשבון של Evan Miller. קירוב מהיר לראש הוא n ≈ 16·p(1-p)/δ² במובהקות 95% ועוצמה 80%. כשיש יותר משתי וריאציות, המחשבון מתקן את רמת המובהקות לפי מספר ההשוואות מול המקור (תיקון בונפרוני). לכן המדגם גדל. מחשבונים שונים משתמשים בגרסאות מעט שונות של נוסחת השונות. לכן הבדל של כמה אחוזים בין כלים הוא צפוי ולא משנה את ההחלטה.
מה עושים כשאין מספיק תנועה
ארבע חלופות, לפי סדר העדיפות שאנחנו ממליצים עליו: למדוד מדד קרוב יותר לשינוי (לחיצה על "הוסף לסל" במקום רכישה), לבדוק שינוי גדול ובולט במקום התאמה קטנה, להריץ "לפני ואחרי" עם קבוצת בקרה כמו עמוד דומה שלא השתנה, או לוותר על הניסוי ולהשקיע במחקר איכותני: הקלטות, מפות חום וסקרים. ההסבר המלא עם הדוגמאות המספריות נמצא במדריך מתי אין מספיק נתונים לניסוי A/B ומה עושים במקום.
מדריכים קשורים
| היפותזה לניסוי A/B: איך כותבים אותה ואיך מתעדפים בין רעיונות |
| Firebase Remote Config ו-A/B Testing: ניסויים באפליקציה בלי גרסה חדשה |
| צ'קליסט המרה לעמוד נחיתה: מה בודקים לפני שמעלים קמפיין |
מקורות
Evan Miller, Sample Size Calculator, Evan Miller, How Not To Run an A/B Test.
לשירות שיפור יחס ההמרה
יועץ אנליטיקה דיגיטלית ומייסד DigiKnowledge. מרצה לאנליטיקה דיגיטלית באוניברסיטת תל אביב, באוניברסיטה הפתוחה ובאוניברסיטת אריאל. לעמוד האישי