איך אנחנו מודדים נראות AI

העיקרון: שיעור, לא צילום מסך

תשובות של מנועי AI הן הסתברותיות. אותה שאלה בדיוק מחזירה רשימות שונות בריצות שונות, ושינוי ניסוח קטן משנה את התשובה עוד יותר. במחקרי חזרתיות, החפיפה בין שתי ריצות של אותה שאלה היא בסביבות 50-60 אחוז בלבד, ותחת שינוי ניסוח קל היא יורדת לכשליש. לכן צילום מסך של הופעה אחת אינו ראיה. הוא ריצה אחת, שנבחרה כי הצליחה.

המדד הנכון הוא שיעור הופעה: בכמה מתוך עשרות ריצות וניסוחים שונים העסק שלך מופיע בתשובה. את המספר הזה אפשר למדוד לפני, למדוד אחרי, ולהשוות. זו כל השיטה.

איך נראית מדידה אחת

• סט שאלות אמיתי: 20-24 שאלות בעברית, שנבנות לפי הנישה המדויקת של העסק. לא רק "תמליץ לי על X", אלא גם שאלות סיפור שמדמות איך לקוחות באמת מתייעצים עם AI (מספרים לו סיטואציה ומבקשים עצה), שאלות השוואה ושאלות כוונה. בבדיקות שלנו, רוב ההופעות האמיתיות של עסקים הגיעו דווקא משאלות הסיפור.
• ריצות חוזרות: כל שאלה נשאלת שלוש פעמים בכל מנוע. סך הכל 120-144 בדיקות למדידה.
• שלושה מנועים בנפרד: ChatGPT, Gemini ותקצירי ה-AI של גוגל (AI Overviews). לכל מנוע התנהגות ומקורות שונים, ולכן גם תוצאה ותוכנית שונות.
• נתונים גולמיים שקופים: אנחנו שומרים את התשובות המלאות, את המקורות שכל מנוע ציטט, ואת שאילתות החיפוש שהוא הריץ ברקע. הלקוח יכול לראות הכל.

מה אנחנו מדווחים

• שיעור המלצה מול שיעור ציטוט, בנפרד: להיות מקור לתשובה ולהיות מומלץ בשם הם שני דברים שונים, עם מנופי טיפול שונים.
• מי כן מומלץ במקומך: מפת המתחרים שה-AI נוקב בשמם, ומאילו מקורות הוא לוקח אותם.
• מגמה, עם סף רעש: שינוי נחשב אמיתי רק אם החזיק שתי תקופות מדידה רצופות. קפיצה חד פעמית היא רעש, ואנחנו אומרים את זה ללקוח גם כשהקפיצה לטובתנו.
• לפני ואחרי לכל התערבות: כשמשנים משהו (תוכן, סכמה, פרופיל במאגר, הסרת חסימה), מודדים את אותו סט שאלות לפני ואחרי. כך יודעים מה עבד, ולא רק מאמינים.

מה לא נמצא אצלנו

• אין צילומי מסך בודדים כהוכחת הצלחה. רק שיעורים מדודים.
• אין הבטחות להופעה. מי שמבטיח תוצאה במערכת הסתברותית, לא מודד אותה.
• אין מעקב על ניסוח יחיד קבוע. מדידה על ניסוח אחד מתעלמת מהאופן שבו אנשים באמת שואלים.

שאלות נפוצות

למה צילום מסך של תשובת AI הוא לא הוכחה?

כי תשובות AI הן הסתברותיות: אותה שאלה בדיוק מחזירה תשובות שונות בריצות שונות, ושינוי ניסוח קטן משנה את התשובה עוד יותר. צילום מסך מתעד ריצה אחת שהצליחה. מדידה אמיתית סופרת בכמה מתוך עשרות ריצות וניסוחים העסק מופיע, ומדווחת שיעור.

איך Amud1 מודדת נראות ב-AI בפועל?

בונים לכל לקוח סט של 20-24 שאלות אמיתיות בעברית: שאלות ישירות, שאלות סיפור שמדמות איך אנשים באמת מתייעצים עם AI, שאלות השוואה ושאלות כוונה. כל שאלה נשאלת שלוש פעמים בכל מנוע (ChatGPT, Gemini, ותקצירי ה-AI של גוגל), והתוצאה היא שיעור הופעה מדוד, לא אנקדוטה.

מה ההבדל בין ציטוט להמלצה?

ציטוט הוא כשהאתר שלך משמש מקור לתשובה. המלצה היא כשה-AI נוקב בשם העסק שלך כפתרון. אלה שני שערים נפרדים עם מנופים שונים: ציטוט מגיע מתוכן קריא ונגיש, והמלצה מגיעה בעיקר מקונצנזוס של מקורות צד שלישי. אנחנו מודדים ומדווחים את שניהם בנפרד.

מתי רואים שינוי, ואיך יודעים שהוא אמיתי?

תזוזה ראשונה נמדדת בדרך כלל תוך 4 עד 12 שבועות. בגלל שתשובות AI תנודתיות, אנחנו מסמנים שינוי כאמיתי רק כשהוא מחזיק שתי תקופות מדידה רצופות, ולא על סמך קפיצה חד פעמית.

האם אתם מבטיחים הופעה בתשובות ה-AI?

לא, ומי שמבטיח כנראה לא מודד. פלט של מנועי AI אינו דטרמיניסטי. מה שאנחנו כן מתחייבים אליו: מדידת בסיס לפני, עבודה על המנופים שהנתונים מצביעים עליהם, ומדידה חוזרת אחרי, עם אותה מתודולוגיה בדיוק. ההצלחה נמדדת במספרים, לא בסיפורים.