גוגל נלחמת בסקרייפרים: כלי SEO כמו SEMRush לא מציגים נתונים
מאת: רויטל סלומון
נכתב ב-18 בינואר 2025
גוגל החמירה את המאבק נגד סקרייפרים (web scrapers) שאוספים נתונים מתוצאות החיפוש, מה שגרם לתקלות והפסקת פעילות בכלי קידום אתרים, כמו SEMRush, שמסתמכים על נתונים עדכניים מדפי תוצאות החיפוש.
זה לא מאוד מפתיע. הנתונים האלה הם מכרה זהב של גוגל, והחברה לא ששה לחלוק אותם, במיוחד עם כלים מסחריים שעושים מזה כסף. ייתכן שאחת הדרכים לעקוף את החסימה הנוכחית היא לשחזר את הנתונים ממקורות אחרים – בעצם, סביר שנראה פה את תחילתו של מירוץ חימוש בתחום.
החסימה של גוגל משפיעה באופן משמעותי על רעננות הנתונים שכלי SEO מסוגלים לספק. מנהלי אתרים ומקדמי אתרים לא מעטים מסתמכים על הכלים האלה (לדעתי שלא לצורך בחלק גדול מהמקרים), וכמובן שהרשתות החברתיות תוססות בעקבות התקלה.
SEMRush הוא כנראה הכלי הנפוץ ביותר שמשתמשיו סובלים בגלל השינוי הזה. כלי SEO פופולרי נוסף, SE Ranking, גם לא מצליח להציג נתונים עדכניים.
גוגל שמה סוף ל-SERP Scraping?
ההנחיות של גוגל אוסרות כבר זמן רב על בדיקת דירוג אוטומטית בתוצאות החיפוש, אבל היא כנראה לא הקפידה במיוחד עם האכיפה. חברות רבות עושות סקרייפינג לתוצאות החיפוש שלהן וגובות תשלום עבור גישה לנתוני דירוג, לצורך מעקב אחר מילות מפתח ודירוגים.
חסימת סקרייפרים היא לא פשוטה, ודורשת לא מעט משאבים. ייתכן שאפשר לעקוף את החסימות על ידי ביצוע פעולות כמו שינוי כתובת ה-IP ו-User Agent כדי לעקוף את החסימה. גוגל יכולה גם להפעיל הגבלות לפי כמות המידע שהסקרייפר דורש.
פוסט בקבוצת הפייסבוק הפרטית SEO Signals Lab הודיע שגוגל פועלת בחומרה נגד מגרדי רשת, כאשר אחד החברים הגיב שכלי Scrape Owl לא עובד עבורו, בעוד שאחרים ציינו שהנתונים של SEMRush לא עודכנו.
נראה שהחסימה שגוגל עושה כרגע לא משפיע על כל הכלים והסקרייפרים, אבל יכול להיות שבתקופה הקרובה נראה חסימות נוספות – והשאלה היא איך יתמודדו עם זה הכלים המסחריים השונים. בסופו של דבר, גוגל לא חייבת לאפשר גישה לנתונים שלה, כך שייתכן מצב שהדרך היחידה לגשת לדאטה היא דרך הכלים של גוגל – אנליטיקס ו-Search Console. ייתכן שגוגל פשוט תעלה את המחיר של סקרייפינג, ומשתמשים יצטרכו להתמודד עם דמי מנוי גבוהים יותר.
מהם סקרייפרים?
"סקרייפרים" (Scrapers) הם תוכנות אוטומטיות שנועדו לחלץ נתונים מאתרי אינטרנט. בהקשר של גוגל, הסקרייפרים שהיא חוסמת הם בעיקר כלים שמנסים לאסוף מידע מדפי תוצאות החיפוש (SERPs) שלה באופן אוטומטי, למשל כדי לעקוב אחר דירוגים של אתרים, למצוא מילות מפתח פופולריות או לאסוף נתונים אחרים שקשורים לחיפוש. כלים אלו מפרים את תנאי השימוש של גוגל, מכיוון שהם צורכים משאבי שרת משמעותיים, ויכולים גם להפריע לחוויית המשתמש.
גוגל דורשת להפעיל JavaScript כדי לראות תוצאות חיפוש
במקביל, וכנראה שיש קשר בין הדברים, גוגל גם החלה לדרוש הפעלת JS כדי לראות את תוצאות החיפוש. ג'אווהסקריפט מופעל באופן אוטומטי וללא מגבלות אצל רובם המוחלט של הגולשים, אבל זה עדיין צעד בעל חשיבות.
גוגל טוענת שהמטרה שלה היא להגן על החיפוש מפני פעילות זדונית כמו בוטים וספאם, ולשפר את חווית החיפוש עבור המשתמשים. בלי JS, הרבה פיצ'רים של החיפוש בגוגל פשוט לא יעבדו.
אולי זה צירוף מקרים, אבל הבעיות בכלי ה-SEO התחילו פחות או יותר כשגוגל התחילה עם הדרישה להפעלת JS, אז כנראה שהנושאים קשורים אחד בשני. נראה שגוגל פשוט רוצה להחזיק את נתוני החיפוש (היקרים מפז) קרוב לחזה, ולא תשחרר אותם כל כך בקלות ו/או בחינם.
