מחקר: ה-AI מעוות סיקורי חדשות, ממציא ומצטט מקורות באופן שגוי
מאת: רויטל סלומון
נכתב ב-23 באוקטובר 2025
עד כמה אפשר לסמוך על מנועי בינה מלאכותית בכל הקשור לאקטואליה וחדשות? האם המקורות שהם מציגים למשתמש אמינים או בכלל רלוונטיים לשאלה? האם היוזרים מקבלים תמונה אובייקטיבית או מעוותת? מחקר חדש בדק את הנושא, והתוצאות לא מרהיבות.
המחקר נערך בשיתוף פעולה בין ה-BBC לאיגוד השידור האירופי (EBU), והשתתפו בו 22 גופי שידור ציבוריים מ-18 מדינות וב-14 שפות. כל גוף תקשורת פנה ל-4 עוזרי בינה מלאכותית (ChatGPT, קופיילוט, ג'מיני ופרפלקסיטי) עם 30 שאלות חדשותיות זהות, שנבחרו על בסיס שאלות אמיתיות של יוזרים.
הם השתמשו בגרסאות החינמיות של ה-LLM. לכל משתתף ניתנה גם האפשרות להוסיף שאלות מותאמות מקומית. התשובות נאספו במהלך מאי ויוני 2025, וה-AI הונחו גם להשתמש במקורות של הגוף המשתתף ככל האפשר.
עיתונאים מקצועיים מכלי התקשורת המשתתפים בחנו 2,709 תשובות על פי חמישה קריטריונים: דיוק, מקורות מידע, אבחנה בין עובדה לדעה, הטיה עריכתית והקשר. עבור כל תשובה, נתנו העיתונאים דירוג: ללא בעיות, בעיות קלות או בעיות מהותיות. בנוסף נבדקה אמינותם של ציטוטים ישירים.
כלומר, העיתונאים עשו עבודה של בודקי עובדות ועורכים – כשיש חשיבות לא רק לדיוק התשובה, אלא האם המקורות תומכים בתשובה, והאם ה-AI בכלל יודע להבדיל בין דיעה ובין עובדה.
המחקר הוא בן 70 עמודים, אז לא אתייחס לכל נקודה שהוצגה בו. בעיניי, החלק הכי חשוב הוא נושא השימוש במקורות. אבל קודם, הנה הממצאים המרכזיים:
- ב-45% מהתגובות נמצאו בעיות מהותיות, כאשר ב-81% מהתגובות היתה בעיה כלשהי.
- השגיאות בתשובות נצפו בכל ה-LLM שנבדקו, ובכל השפות.
- רוב הבעיות (31%) נבעו מציטוט מקורות (המצאת מקורות שלא קיימים, ציטוט שגוי מתוך המקור עצמו, בחירה לא טובה של מקורות)
- ב-20% מהתגובות היו שגיאות עובדתיות וב-14% מהמקרים לא סופק הקשר מתאים
- ב-6% מהמקרים ה-AI טישטש את הגבול שבין עובדה ודיעה
- ב-5% מהמקרים ה-AI הוסיף מסגור שגוי והטיות
ה-LLM עם הכי הרבה בעיות בהקשר הזה הוא ג'מיני של גוגל. ב-76% מהתגובות שלו היו בעיות מהותיות. ב-ChatGPT מדובר ב-36% ובפרפלקסיטי – 30%.
מעניין לראות שה-AI טועה גם בדברים בסיסיים – הוא לא ידע שהאפיפיור מת, נתן שמות לא נכונים לנבחרי ציבור והטעה גם לגבי תוצאות בחירות – אלה עובדות של שחור-לבן שיש לגביהן מידע רב ברשת, ולא כל מיני דקויות שאפשר להתווכח עליהן.
שימוש שגוי במקורות, הזיות והמצאות
לדעתי, השימוש השגוי במקורות הוא הבעיה הגדולה מכולן. לפי המחקר, ה-LLM בחרו במקרים רבים מקורות לא רלוונטיים, ישנים או לא מתאימים. ה-AI גם נוטה לייחס לכל המקורות משקל שווה כשהוא מציג תשובה, וזו בעיה רצינית, שכן פוסט באיזה בלוג של משפיען לא יכול להיות באותה שורה כמו ידיעה ברויטרס. ג'מיני סיפק לינק למכירת מוצר באיביי כשנשאל על סחר עם סין, למשל. פרפלקסיטי הפנה למקורות סאטיריים במקום למקורות עיתונאים.
לא פחות גרוע הוא הקטע שבו סייעני ה-AI נותנים כביכול מידע או ציטוט ממקור, נותנים גם את הלינק, ואז מתברר שהמידע לא קיים בכלל בלינק. בחלק מהמקרים הם המציאו מקורות וסיפקו לינקים שנראו לגיטימיים אבל לא הובילו לשום מקום. זה יכול להיות חלק מההזיות הרגילות, או עמודים שנמחקו או הוזזו באתר עצמו (לדעתי לא בדקו את זה במחקר, כי המיקוד שלהם היה בתוכן ולא בעניינים טכניים). לפעמים, אגב, המקורות היו מאחורי חומת תשלום – כך שלמשתמש הממוצע, שבוודאי לא מנוי על כל שירותי התוכן ביקום, אין אפשרות לוודא את אמינות המקור והמידע.
יתרה מכך, בכמה מקרים ה-AI ציטט מ"מקורות מידע" שהם אתרי תעמולה שמפיצים פייק ניוז – אפילו כאלה שנחסמו על ידי כמה ספקי אינטרנט לאחר שזוהו כאתרי תעמולה רוסים.
סתם דוגמא משעשעת: כאשר פרפלקסיטי נשאל למה זלנסקי לא לובש חליפות, הוא נתן קישור למאמר על להקת Kalush שהופיעה באירוויזיון, ובכלל לא ציטט כלום מהקישור הזה בתשובה שלו.
בחלק מהמקרים, ה-AI ציטטו אתרים מסחריים. עקרונית זה לא מאוד נורא, אבל לעתים זה משווה לתשובות טון שיווקי שמטה אותן. למשל, בתשובה לשאלה איפה יתקיים ה-World Cup ב-2026, קופיילוט השתמש רק במקורות של FIFA ותיאר את האירוע הצפוי כ"אירוע היסטורי בכדורגל העולמי". קצת כמו עיתונאי שמצטט קומוניקט בקופי פייסט. כששאלו את ג'מיני "במה ידועה Nvidia?", כמחצית מהמקורות שהוא הציג היו של אנבידיה בעצמה, ולכן הוא תיאר אותה באופן שיווקי מאוד כ"הבחירה המובילה לגיימרים" וכו'.
העיתונאים שבדקו את התוצאות שסיפקו המנועים השונים, ציינו שבמקרים רבים רדיט מצוטט כמקור מידע, והביעו דאגה בעניין. רדיט הוא אתר קהילתי, שבו אין סינון ממשי או בדיקת עובדות, ובגדול כל אחד יכול לכתוב מה שהוא רוצה. כששאלו את ChatGPT "למה הצביעו עבור AfD במזרח גרמניה?", הוא ציטט פוסט של יוזר רנדומלי בסאברדיט r/AskAGerman. עוד התנהגות בעייתית של המודלים: הסתמכות באחוזים גבוהים על ויקיפדיה (במיוחד ChatGPT).
עוד נקודה מעניינת בהקשר של שימוש במקורות, היא שנראה שכל הסייענים חולים במחלה של Ceremonial Citations – כלומר, ציטוט יתר של מקורות בשביל הדאווין. זה די מצחיק, אם חושבים על זה. ממש כמו סטודנט צעיר שרוצה לעשות רושם, ה-AI זורקים על המשתמש המון לינקים כשהוא שואל שאלה, כאילו כדי להראות שהם עשו ניתוח מעמיק. אבל בפועל, הרבה מהלינקים לא רלוונטיים או שה-LLM מצטט מהם מידע שגוי.
בעיית ה"חרטט בביטחון"
החוקרים מסבירים שחלק ניכר מהבעיות שנמצאו בתשובות של ה-LLM הוחמרו בשל הביטחון שבו הם עונים לשאלות. ה-AI עונה בצורה קולחת ומציג רשימת מקורות, ואם לא בודקים אותו, אפשר בקלות לטעות ולחשוב ש"הוא יודע על מה הוא מדבר" – טקטיקה ידועה של אנשי שיווק ונוכלים למיניהם. אין כמעט מצב שבו ה-AI אומר "אני לא יודע" או "אני לא מוצא מידע בנושא", וכך, גם אם הוא לא מוצא מידע מדויק, הוא מביא כל מיני שטויות מסביב, וכמובן ממציא חרטוטים שלא קיימים במציאות.
במחקר של OpenAI, נטען שסייעני ה-AI לא מראים היסוס, משום שהאימון שלהם מתגמל ניחושים על פני הצבעה על אי ודאות. מודלי השפה מאומנים להיות נבחנים טובים, וכאשר מנחשים תשובה, גם אם לא יודעים אותה, זה נותן סיכוי לציון טוב יותר מאשר אם לא עונים בכלל.
אנחנו כבר מזמן נמצאים בנקודה שבה הציבור לא יודע להבחין בין מקור מידע אמין ובין בולשיט, בין כתבה עיתונאית ומאמר דיעה, בין אייטם מגובה בעובדות ובין סתם פוסט בבלוג של מישהו רנדומלי. השכבה הנוספת של ה-AI, שמחרטט בביטחון וגורם לאנשים לבדוק עוד פחות את המידע שהם מקבלים, רק מחמירה את המצב. ה-LLM מפגינים בקיאות מדומה, והמשתמש המצוי לא יפעיל ספקנות, ולא ישאל "האמנם?".
כולם דוחפים לשימוש בבינה מלאכותית (וגם אני נעזרתי בבינה מלאכותית לקריאה ולניתוח של המחקר), אבל החוכמה האמיתית לא טמונה בהטמעת AI בכל חור, אלא בחינוך האוכלוסייה להשתמש ב-AI בצורה מושכלת וספקנית. אוריינות דיגיטלית על סטרואידים, שתאפשר לכל אחד לבדוק בעצמו אם התשובות שהוא קיבל מ-ChatGPT הן נכונות, ולמה באמת זלנסקי לא לובש חליפה.
