רצה הגורל ונתקעתי עם עותק של המגזין של מעריב, מתוכו נפל גיליון אפריל של "המבחן של המדינה". בדרך כלל אני לא קורא כאלה דברים, אבל רצה הגורל והפעם נחה עליי המוזה ומשום מה החלה פעולת קריאה נמרצת. אבוי. נגלה לעיני מוסף שלם הרווי במניפולציות ומשחקי מספרים. נראה שהשימוש היחיד שאפשר לעשות במוסף "המבחן של המדינה" הוא ללמוד כיצד לקרוא בביקורתיות סקרים (ולהבין האם הם שווים את הדיו איתו הודפסו).

הטור הראשון הוא טור המזגנים. השאלה הראשונה לאוכלוסיה הכללית היא: "מבין המזגנים הבאים, מהו המזגן הטוב והמתקדם ביותר?" והזוכה הגדולה היא אלקטרה עם 33.5%. מעולה. כל הכבוד לאלקטרה, רק על סמך מה כל אותם 33% אומרים זאת? כמה מזגנים יוצא לאדם ממוצע לנסות במהלך שנה? יש לו מזגן אחד בבית, ואולי מזגן אחד במשרד (למרות שבד"כ מדובר על מיזוג מרכזי). האם הוא באמת יכול להשוות בין השניים? האם באמת הוא יודע שמזגן אלקטרה טוב יותר מתדיראן? אולי. נמשיך הלאה. השאלה הבאה היא "אילו היית צריך לקנות היום מזגן חדש, איזה מזגן הייתה קונה?" גם כאן, אלקטרה זוכה ב35% ומנצח את כולם. ראשית כל, אני תמהה על אותם 2 אחוזים שנוספו פתאום. מי באמת ציין בשאלה הראשונה מזגן אחר בתור המזגן הטוב ביותר והמתקדם ביותר, אבל בחר לקנות אלקטרה? אבל זו לא הנקודה העיקרית, הנקודה העיקרית היא שרובנו לא צריכים לקנות היום מזגן, אנחנו לא עושים סקר שוק, אין לנו באמת מושג מה הולך בשוק ועל כן – על מה מתבססת התשובה?
ועכשיו מגיעה הפנינה האמיתית, השאלה השלישית: "מבין המזגנים הבאים, מהו המזגן הנמכר ביותר?" ובכן, ניחשתם נכון, אלקטרה זוכה עם כמעט 30%. תודו שגם לכם הייתה תחושת בטן שאלקטרה תזכה, גם בלי לקרוא את הפסקה הקודמת. אולי הסיבה תמונה בכך שבטלוויזיה רצות בלי סוף פרסומות המציינות שאלקטרה הוא המזגן הנמכר ביותר, על פי סקר של המבחן של המדינה. מה נותר לקורא התמים אלא לצטט את הפרסומת המעגלית? נציין רק כי הקורא הממוצע לא באמת יודע כלום על נתוני מכירות של מזגנים, ואכן, 20% טענו שהם לא יודעים. אבל זה רק כאין וכאפס לעומת השאלה החמישית (הרביעית פחות מטרידה כרגע) "מי מבין חברות המזגנים הבאות נותנת את השירות הטוב ביותר ללקוחותיה?"

הפסקת פרסומות קטנה בטרם נגלה את התשובה:

איך, מבין כל המזגנים שיש, אמור הקורא הממוצע והמעל הממוצע לדעת לאיזה שירות הכי טוב? משמועות? מניחושים? אכן, שליש מהקוראים לא יודעים ועוד 30% (פחות!) מציינים את אלקטרה!

אבל מה המשמעות של כל הסקרים שנסקרו (משחק מילים משעשע) עד כה? למעשה, שאלו את הציבור הרחב 4 שאלות שהתשובה להן לא ידועה פרט לבודדים. חלקם הגדול אכן לא ידע. חלקם אפילו הודה בכך. השאר, ניחשו תשובות על סמך פרסומות וסקרים קודמים. אחרי הכל, למה צריך לעשות סקר, "מהו המזגן הנמכר ביותר" כשזה נתון אובייקטיבי שקל מאוד לבדוק. האם הציבור יודע יותר טוב מאשר החברות עצמן והדוחות הכספיים שלהן?

עוד כמה פנינים מתוך הסקר:

"בבחינה של עלות מול תועלת באמצעות איזו חברה לפרסום חוצות, הפרסום הוא האפקטיבי ביותר?" . באמת. פלא שרק 64% מהנשאלים לא ידעו לענות….
"מבין החנויות והרשתות הבאות המתמחות במערכות קולנע ביתי, מהו לדעתך המקום הטוב ביותר והמקצועי ביותר לרכישת מערכת קולנוע ביתית?" מתוך העובדה ש73% לא ידעו לענות על זה, יש לי תחושה שרק לכרבע מהאוכלוסיה יש מערכת קולנוע ביתית, וזו המסקנה הכי חזקה שאפשר לגזור מהסקר.
אחוז לא יודעים דומה נרשם כשהציבור נדרש להשוות בין רשתות ארציות לתיווך נדל"ן. ברור.

אבל לא רק בסקרים עסקינן. כך למשל, התחקירנים החרוצים עשו בדיקה וחיפשו מהי הרשת הכדאית ביותר לטיפול להסרת שיער בלייזר לנשים (רגליים, מפשעות ובית שחי). הזוכה היא פרופורציה (4800 ש"ח), אחריה 3 חברות שמבקשות כ-5500 ש"ח ולבסוף רונית רפאל עם 18,600 ש"ח! לא הצלחתי למצוא הסברים באתר של הרשת, אבל מאוד מאוד חשוד ש-4 רשתות מבקשות רק שליש ממה שרונית רפאל מבקשת. מאוד חשוד.
שלא לדבר על השוואות שנעשות בין ספקיות אינטרנט, כשבאותיות קטנות מצויין שבאחדות מהחברות יש צורך בהתחייבות לשנה לפחות. אם כך הדבר, מה הבסיס להשוואה? איך המחיר שנלקח כמייצג אכן מייצג את המחיר של הרשת, אם התנאים הם לא אותם תנאים? אני בטוח שאם מתחייבים ל100 שנים, אפשר לקבל אינטרנט במחיר הרבה יותר נמוך…

השעה כבר מאוחרת וקצרה היריעה מלהכיל, ועל כן נסיים בתהייה. האם זה הגון, תמים ונקי כפיים לפרסם בתוך הגיליון המתיימר להיות אובייקטיבי את כל אותן חברות שזכו בו, תוך שהן מתהדרות בעובדה שהן זכו בו? מה היה קורה לו החברות הללו לא היו מוציאות כספים על פרסום במבחן של המדינה, האם גם אז התוצאות היו דומות?

ונשמרתם לנפשותיכם.

[רלוונטי מתמיד לקראת תקופת הבחירות והצפת הנתונים והסקרים שצפויה להגיע איתה]

"סקר TGI: עלייה בקריאת העיתונים – מעריב זינק ב7.2%" זעקה אליי הכותרת בעמוד השמיני של "עסקים" היום. בכותרת המשנה מצוטט איתן כסיף, מנכ"ל החברה שערכה את הסקר, כמי שאומר שהגידול בקריאת העיתונים חריג ביחס לעולם. מתחת לכותרת המשנה מפרטת חני יודל (גירסא מקוונת לא נאמנה למקור ניתן למצוא כאן) את תוצאות הסקר ובסופו שני גרפים מעניינים- האחד שיעור ההאזנה לרדיו בשנה החולפת, והשני לפניכם:

כותרת הגרף (צולם באיכות רעה ללא סורק…): "שיעור הגידול בחשיפה לעיתונים היומיים במחצית השנייה של 2010"

על פניו, המצב נראה מצויין עבור מעריב. הם עלו ב7.2%, ואילו ידיעות אחרות עומד על 0%, כל כך קטן שאפילו אין מקום למילה אחרונות בתרשים. נפלא! רפרוף מהיר במאמר הצית אצלי נורה אדומה. אני לא נוהג לשים לב לדברים כאלו יותר מדי, מאחר ובסופו של דבר המאמר מאוד ארוך וטרחני ומצטט הרבה מאוד אחוזים ומעט מאוד תובנות, אבל קריאה מדוקדקת בעיון מראה עד כמה הנתון שמוצג לפניכם מעוות. צאו איתי חברים, למסע קסום בממלכת המספרים!

שיטוט מהיר בפסקאות הפתיחה של המאמר מגלות את הנתונים אודות אחוזי החשיפה בשתי מחציות השנה 2010 (החציון הראשון בסוגריים):

ישראל היום 37.4% (35.2%)
ידיעות אחרונות 34.9% (34.9%)
מעריב 13.4% (12.5%)
ישראל פוסט 9.4% (7.9%)
הארץ 6.8% (6.4%)

גם אני כמוכם לא ממש בטוח מה אומרים האחוזים הללו, והאם הם מתוך האוכלוסיה כולה, האוכלוסיה היהודית, אוכלוסיית קוראי העיתונים או איזה מדגם אחר, אבל ניחא. אני סומך על TGI שעשו סקר כהלכתו. מהתוצאות רואים שהעיתון המוביל הוא ישראל היום, אחריו ידיעות אחרונות ומעריב רק סוגר את השלישיה הראשונה עם שליש מכמות הקוראים של שני העיתונים האחרים. לא תוצאה מעודדת במיוחד עבור חני יודל, הלא כן? אז בואו נראה אם אפשר לשפר אותה…

במקום להביט באחוזים עצמם, נבדוק מה השינוי בהם על ידי כך שנפחית פשוט את שיעור החשיפה בתחילת השנה משיעור החשיפה בסופה:
ישראל היום +2.2%
ישראל פוסט +1.5%
מעריב +0.9%
הארץ +0.4%
ידיעות אחרונות 0%

טוב, לא שיפרנו הרבה. אמנם הצלחנו להעיף את ידיעות אחרונות, היריב הנצחי, מהצמרת, אבל לשם השתחל ישראל פוסט… לא, אסור שמעריב יוותר שלישי, ועל כן במקום לבדוק את הנגזרת, נבדוק את הנגזרת היחסית! הא! נבדוק מה השינוי ביחס למצב ההתחלתי (כלומר את הגידול באחוזים ביחס לאחוז הקוראים בחציון הראשון). הרי התוצאות (האחוז הכפול הוא בכוונה, להדגיש שמדובר על אחוזים מתוך אחוזים):
ישראל פוסט 18.99%%
מעריב 7.2%%
ישראל היום 6.25%%
הארץ 6.25%%
ידיעות אחרונות 0%%

שיפור שוב! מעריב עקפה גם את ישראל היום (הגידול בתפוצת מעריב קטן יותר מהגידול של ישראל היום, אבל באופן יחסי למצב הנתון הגידול של ישראל היום קטן יותר. למה הדבר דומה? לכך שאדם שדולר מצוי בידיו התעשר ב-100% אם הרוויח דולר ואילו מיליונר שקיבל דולר נוסף התעשר רק ב-0.0001%… רחמיי), אבל ישראל פוסט צץ לפתע פתאום ועקף את כולם. פה אני התעייפתי וכנראה שגם חני יודל, ופשוט החליטה להשמיט אותו מהגרף אותו היא פירסמה. למי אכפת מהמקום הראשון, אם אפשר להשמיט אותו ולהפוך את השני לראשון?

נסכם. היה לפנינו מקרה עצוב של דמגוגיה מספרית. חני יודל לוקחת נתונים שלא ממש מחמיאים למעריב, ואחרי קצת שיפוצים וקצת קיצוצים מציגה אותם לראווה. בנתונים המקוריים מעריב הוא העיתון השלישי במדינה במרחק ניכר מצמד המובילים. הוא הרבה יותר קרוב להארץ ולפוסט מאשר לישראל היום ולידיעות. גם השינוי השנתי שעבר עליו לא מרשים במיוחד. בין המחצית הראשונה לשניה של 2010, נוספו פי 2 קוראים לישראל פוסט מאשר למעריב ופי 3 לישראל היום מאשר למעריב. הפער בינו לבין ישראל היום רק גדל, ובינו לבין ישראל פוסט הצטמצם (מהכיוון הלא מחמיא עבור מעריב). הרבה תעוזה וחוצפה בשילוב עם התעמלות מספרית מרהיבה הופכת את הנתונים על פיהם ומציגה את מעריב כראשונה, כוכב עולה בתחום העיתונאות.

[פורסם לראשונה בבלוג הישן ב-19.01.2011, וזכה לתפוצה רחבה בזכות "לאטמה" ואתר האיגוד הישראלי לסטטיסטיקה]