מאמר · סורקים
סורקי AI: מי סורק אתכם ומתי כדאי לחסום
חסימה היא בחירה לגיטימית. הבעיה היא שברוב האתרים היא נעשתה בטעות, ואף אחד לא בדק.
התשובה הקצרה
סורקי AI מתחלקים לשני סוגים שחשוב לא לבלבל ביניהם: סורקי אימון, שאוספים תוכן לאימון מודלים, וסורקי שליפה, שנכנסים לאתר בזמן שמשתמש שואל שאלה כדי להביא ממנו תשובה. חסימת סורק אימון מונעת שימוש בתוכן שלכם לאימון. חסימת סורק שליפה מוציאה אתכם מהתשובות עצמן — וזו בדרך כלל לא הכוונה.
מה לבדוק ומה להחליט
- 01
בדקו מה חסום אצלכם עכשיו
רוב בעלי האתרים לא יודעים. הרבה תבניות ותוספי SEO מוסיפים חסימות כברירת מחדל, ואף אחד לא חוזר לבדוק.
בדיקת ה-robots.txt החינמית מראה מי מורשה ומי חסום בכל דומיין, כולל הסורקים של מנועי ה-AI.
- 02
הפרידו בין אימון לשליפה
זו ההחלטה האמיתית. אפשר לחסום אימון ולאפשר שליפה, וזה מה שרוב העסקים מתכוונים אליו כשהם אומרים ״לא רוצה שישתמשו לי בתוכן״.
- 03
החליטו לפי איך אתם מרוויחים
אם ההכנסה מגיעה מקליקים לעמוד — פרסום, מנויים — לחסימה יש היגיון. אם ההכנסה מגיעה מכך שיודעים שאתם קיימים — שירותים, B2B, מותג — חסימה עולה לכם יותר ממה שהיא חוסכת.
- 04
אל תחסמו בטעות את גוגל
Google-Extended שולט בשימוש ב-Gemini, ולא בסריקה לחיפוש. חסימה שלו לא מוציאה אתכם מגוגל — אבל חסימה של Googlebot כן, וזה קורה.
- 05
בדקו ביומני השרת מי באמת מגיע
robots.txt הוא בקשה, לא מנעול. מי שמכבד אותו יכובד; מי שלא, לא. היומנים מראים מי באמת נכנס.
- 06
בדקו שוב אחרי כל שינוי באתר
מעבר פלטפורמה, תוסף חדש, או שינוי תבנית — כל אחד מהם יכול לכתוב מחדש את robots.txt בלי שתשימו לב.
מה המחקר באמת מצא
ההבחנה שהכי חשוב לא לפספס. חסימה של השורה השנייה היא זו שמוציאה אתכם מהתשובות.
| סוג | מה הוא עושה | מה קורה אם חוסמים |
|---|---|---|
| סורק אימון | אוסף תוכן לאימון מודלים עתידיים | התוכן שלכם לא נכנס לאימון. הנראות בתשובות של היום כמעט לא מושפעת. |
| סורק שליפה | נכנס לאתר בזמן שאלה כדי להביא ממנו תשובה | אתם יוצאים מהתשובות. זו החסימה שעולה בנראות. |
| סורק חיפוש רגיל | אינדוקס לחיפוש הקלאסי | אתם יוצאים מגוגל. כמעט תמיד טעות. |
למה זה מגיע כל כך הרבה פעמים כתקלה
החסימות האלה נכתבות פעם אחת, בדרך כלל על ידי מי שהקים את האתר, ואז נשארות. הן לא מייצרות שגיאה, הן לא מופיעות בשום דוח, והדבר היחיד שקורה הוא שאתם פשוט לא מופיעים במקומות שבהם אתם אמורים להופיע. זה כשל שקט, וכשל שקט אף אחד לא מתקן.
זו הסיבה שזו הבדיקה הראשונה שאני עושה כשמישהו שואל למה הוא לא מוזכר בתשובות AI. בחלק מהמקרים זה כל הסיפור.
ואם החלטתם שכן לחסום
זו החלטה סבירה לחלק מהאתרים — אתרי תוכן שחיים מפרסום, למשל, נותנים תוכן ולא מקבלים קליק בתמורה. אם זה המצב, כדאי לפחות שזו תהיה החלטה מודעת שנרשמה במקום כלשהו, ולא שורה שאף אחד לא זוכר מי כתב. ולוודא שהיא חוסמת את מה שהתכוונתם ולא את גוגל.
מה שעושים אחרי שהסורקים מורשים — בעמוד ה-GEO.
שאלות שנשאלות על זה
חסימה ב-robots.txt באמת עוצרת אותם?
את מי שמכבד את הקובץ, כן. זו מוסכמה ולא אכיפה טכנית. חסימה אמיתית דורשת חסימה ברמת השרת או ה-CDN לפי User-Agent או כתובת IP.
אם אני חוסם, אני נעלם מ-ChatGPT מיד?
לא מיד, ולא בהכרח לגמרי. תוכן שכבר נאסף בעבר לא נמחק, ומודל עדיין יכול להזכיר אתכם על סמך מה שאחרים כתבו עליכם. מה שנעצר הוא שליפה חדשה מהאתר שלכם.
יש דרך לאפשר שליפה ולחסום אימון?
כן, כי לרוב מדובר בסורקים נפרדים עם שמות נפרדים. צריך לדעת מי מהם מה — וזה משתנה, כי החברות מוסיפות ומשנות סורקים. שווה לבדוק מחדש כל כמה חודשים.
llms.txt מחליף את robots.txt?
לא. robots.txt אומר מי רשאי להיכנס; llms.txt הוא מוסכמה מתפתחת שמציעה לכלי AI מפה מסודרת של התוכן. הם עונים על שאלות שונות, ו-llms.txt לא חוסם דבר.
רוצים שאריץ את זה על האתר שלכם?
שלחו את הכתובת ואחזור אליכם עם אילו מהבדיקות האלה האתר עובר היום, ואיזו מהן עולה לכם הכי הרבה.