להבין את גוגלבוט באמת: מבוא לניתוח קבצי לוג (Log File Analysis)

seo טכני | מספר שיעור: 3.6

במהלך המודול הטכני הזה, למדנו על המון דרכים לוודא שהאתר שלנו בנוי נכון ומותאם למנועי חיפוש – מארכיטקטורה וקישורים פנימיים, דרך שליטה בסריקה ובאינדוקס, ועד לאופטימיזציית מהירות ואבטחה. השתמשנו בכלים כמו Google Search Console, PageSpeed Insights, וסורקים כמו Screaming Frog כדי לקבל תובנות על איך גוגל אמור לראות את האתר שלנו.

אבל מה אם היינו יכולים לקבל הצצה ישירה, לא מסוננת, ליומן הפעילות של גוגלבוט עצמו כשהוא מבקר באתר שלנו? לדעת בדיוק אילו דפים הוא סורק, באיזו תדירות, באילו שגיאות הוא נתקל, ואיפה הוא אולי מבזבז את זמנו? זה בדיוק מה שניתוח קבצי לוג (Log File Analysis) מאפשר לנו לעשות.

זהו כלי מתקדם יותר בארסנל ה-SEO הטכני, שלעיתים דורש קצת יותר מאמץ כדי לגשת לנתונים ולנתח אותם, אבל התובנות שאפשר להפיק ממנו הן יקרות מפז ויכולות לחשוף בעיות והזדמנויות שאף כלי אחר לא יראה.

קורס seo קידום אתרים

מהם קבצי לוג של שרת? (היומן הסודי של השרת)

כל שרת אינטרנט שמארח את האתר שלכם מנהל באופן אוטומטי יומן פעילות (Log File). קובץ הלוג הזה מתעד כל בקשה ובקשה שמגיעה לשרת – בין אם זו בקשה מדפדפן של משתמש אנושי, בקשה מגוגלבוט, מבינגבוט, או מכל רובוט אחר.

כל שורה בקובץ הלוג מכילה בדרך כלל מידע כמו:

  • כתובת ה-IP של המבקש (הגולש או הבוט).
  • חותמת זמן (Timestamp): מתי בדיוק הוגשה הבקשה.
  • ה-URL המבוקש: איזה דף או קובץ התבקש מהשרת.
  • קוד סטטוס (Status Code): מה הייתה תוצאת הבקשה? (למשל, 200 OK – הבקשה הצליחה, 404 Not Found – הדף לא נמצא, 301 Moved Permanently – הפניה קבועה, 500 Internal Server Error – שגיאת שרת).
  • User-Agent: מחרוזת טקסט שמזהה את התוכנה שביצעה את הבקשה (למשל, דפדפן כרום, Googlebot, Bingbot). זה מאפשר לנו לסנן ולראות רק את הבקשות ממנועי חיפוש.

Referrer: מהיכן הגיעה הבקשה (למשל, מאיזה דף הקליקו על הקישור).

למה ניתוח קבצי לוג חשוב ל-SEO? (מה אפשר לגלות?)

ניתוח הלוגים מאפשר לנו לענות על שאלות קריטיות:

  1. איך גוגל באמת סורק את האתר? אילו דפים הוא מבקר הכי הרבה? אילו דפים הוא מזניח? האם הוא מגיע לדפים החשובים לנו?
  2. האם יש בעיות בתקציב הזחילה (Crawl Budget)? האם גוגלבוט מבזבז זמן יקר על סריקת דפים לא חשובים (כמו URL עם פרמטרים, דפי חיפוש פנימי, אזורים שחסמנו ב-Robots.txt אבל הוא עדיין מנסה לגשת)? האם הוא מצליח לסרוק את כל התוכן החדש או המעודכן שלנו בזמן סביר?
  3. איתור שגיאות סריקה נסתרות: האם גוגלבוט נתקל בהרבה שגיאות 404 או 5xx שאולי לא מופיעות בדוחות הרגילים של Search Console? שגיאות אלו מבזבזות תקציב זחילה ויכולות לאותת על בעיות טכניות באתר.
  4. מעקב אחר תדירות סריקה: באיזו תדירות גוגל חוזר לסרוק דפים חשובים? האם הוא מזהה עדכונים במהירות?
  5. זיהוי דפים "יתומים" (Orphan Pages): האם גוגל סורק דפים שאין אליהם קישורים פנימיים מספיקים באתר?
  6. הבנת ההשפעה של שינויים באתר: איך מיגרציה, שינוי מבנה, או השקה של אזור חדש השפיעו על דפוסי הסריקה של גוגלבוט?

זיהוי בוטים מזויפים: האם יש כתובות IP שמנסות להתחזות לגוגלבוט ולסרוק את האתר?

רוצים להיות מעודכנים בכל פעם שעולה כתבה מועילה? 

הרשמו עכשיו לניוזלטר! 

האתגר: גישה ועיבוד של קבצי הלוג

הקושי העיקרי בניתוח לוגים הוא קודם כל לקבל גישה לקבצים האלה. זה דורש שיתוף פעולה עם חברת האחסון שלכם או עם מנהל השרת. לא כל חברת אחסון (במיוחד באחסונים שיתופיים זולים) מאפשרת גישה נוחה ללוגים.

בנוסף, קבצי הלוג יכולים להיות עצומים בגודלם, במיוחד באתרים עם תנועה רבה, ולהכיל מיליוני שורות. ניתוח ידני שלהם הוא כמעט בלתי אפשרי. לכן, חייבים להשתמש בכלים ייעודיים.

כלים לניתוח קבצי לוג:

  • גיליונות אלקטרוניים (Excel / Google Sheets): אפשרי תיאורטית לקבצי לוג קטנים מאוד, אבל הופך ללא מעשי מהר מאוד. דורש יכולות סינון ו-Pivot מתקדמות.
  • תוכנות/שירותים ייעודיים לניתוח לוגים:
    • Screaming Frog Log File Analyser: כלי דסקטופ פופולרי וייעודי לניתוח לוגים מנקודת מבט של SEO (בתשלום).
    • SEMrush Log File Analyzer: כלי מובנה בחבילת SEMrush (בתשלום).
    • כלים נוספים: ישנם כלים נוספים כמו Logz.io, Splunk, או חבילת ELK, אך אלו לרוב כלים כלליים יותר לניתוח לוגים (שמשמשים גם צוותי IT ו-DevOps) ויכולים להיות מורכבים ויקרים יותר.
    • פתרונות של ספקי אחסון: חלק מספקי האחסון המתקדמים יותר מציעים כלים מובנים לניתוח לוגים ברמה בסיסית.

מה לחפש בכלי ניתוח? יכולת לייבא קבצי לוג גדולים, לסנן בקלות לפי User-Agent (במיוחד Googlebot לסוגיו – Desktop, Mobile, Images, AdsBot וכו'), לסנן ולנתח לפי קודי סטטוס, לפי כתובות URL או ספריות, ולהציג מגמות וגרפים לאורך זמן.

תהליך עבודה בסיסי לניתוח לוגים (בקונספט):

  1. השגת קבצי הלוג: דאגו לקבל קבצי לוג שמכסים תקופת זמן מספקת (לפחות כמה שבועות, ועדיף חודשים) כדי לזהות מגמות.
  2. טעינה לכלי הניתוח: ייבאו את הקבצים לכלי שבחרתם.
  3. סינון לפי Googlebot: התמקדו בבקשות שהגיעו מה-User Agents הרשמיים של גוגל.
  4. ניתוח נפח סריקה: כמה בקשות גוגלבוט מבצע ביום/שבוע/חודש? האם יש מגמת עלייה/ירידה?
  5. ניתוח לפי קוד סטטוס: איזה אחוז מהבקשות מסתיימות ב-200 OK? כמה 301 (הפניות קבועות), 404 (לא נמצא), 5xx (שגיאות שרת) גוגל פוגש? חקרו לעומק קודי שגיאה או הפניות מיותרות.
  6. ניתוח לפי URL / ספרייה: אילו אזורים/סוגי דפים באתר נסרקים הכי הרבה? האם גוגל מבזבז זמן על אזורים לא חשובים (למשל, URL עם פרמטרים, דפי תגיות מרובים)? האם אזורים חשובים (כמו דפי מוצר חדשים) מקבלים מספיק תשומת לב?
  7. ניתוח תדירות סריקה לדפים חשובים: כל כמה זמן גוגל חוזר לסרוק את דף הבית, דפי קטגוריה מרכזיים, או דפים שעדכנתם לאחרונה?

הצלבה עם נתונים אחרים: השוו את רשימת ה-URLs שגוגלבוט סורק למפת האתר שלכם ולתוצאות סריקה מכלי כמו Screaming Frog. האם יש פערים? האם הוא סורק דפים שלא במפה? האם הוא לא סורק דפים חשובים שכן במפה?

הפיכת התובנות לפעולה:

ניתוח לוגים הוא חסר ערך אם לא פועלים על סמך התובנות. למשל:

  • אם גוגל מבזבז זמן על אזורים לא חשובים -> עדכנו את קובץ ה-Robots.txt.
  • אם הוא נתקל בהרבה שגיאות 404 -> תקנו את הקישורים השבורים או בצעו הפניות 301.
  • אם דפים חשובים לא נסרקים מספיק -> שפרו את הקישורים הפנימיים אליהם, ודאו שהם במפת האתר.
  • אם יש בעיות מהירות שמשפיעות על הסריקה -> בצעו אופטימיזציית מהירות.

אתגרים ושיקולים:

כאמור, ניתוח לוגים דורש גישה לקבצים, כלים מתאימים, והבנה טכנית מסוימת. זה נחשב לטכניקה מתקדמת יותר, ולא תמיד הכרחי לאתרים קטנים ופשוטים. חשוב גם לדעת להבדיל בין הסוגים השונים של גוגלבוט (Mobile, Desktop, Images וכו') כדי להבין טוב יותר את ההתנהגות.

לסיכום: הצצה נדירה ל"מוח" של גוגלבוט

ניתוח קבצי לוג הוא כלי רב עוצמה שמאפשר לנו להבין איך מנועי החיפוש באמת מתקשרים עם האתר שלנו, מעבר למה שאנחנו רואים בדוחות הרגילים. למרות שהוא דורש מאמץ טכני, התובנות שאפשר להפיק ממנו לגבי יעילות הסריקה, איתור בעיות נסתרות ואופטימיזציה של תקציב הזחילה הן יקרות מפז, במיוחד לאתרים גדולים או מורכבים. הבנה של התנהגות גוגלבוט היא צעד נוסף בדרך למאסטריות ב-SEO טכני.

בזאת סיימנו את מודול 2 שעסק במגוון הרחב של ה-SEO הטכני! כיסינו את היסודות מארכיטקטורה ועד ניתוח לוגים.

במודול 3 הבא, נעבור להתמקד באחד התחומים החשובים ביותר שמשפיעים על הדירוג והמעורבות – אסטרטגיית תוכן ו-On-Page SEO מתקדם. מוכנים להתחיל ליצור ולשפר את התוכן עצמו?

רוצים לדבר על זה בקבוצת פייסבוק שלנו? קדימה! מדוזה – דיגיטל ושיווק לעצמאים

רוצה להרגיש את התוצאות באמת?

אם אתם רוצים לחסוך זמן ולהתחיל לקדם את האתר שלכם כבר עכשיו – פנו אלינו! 

Facebook
X
LinkedIn
WhatsApp
Email
קורס seo קידום אתרים
admin
תמונה שווה אלף מילים (וגם דירוגים): אופטימיזציית תמונות ווידאו (Image & Video SEO)

אל תזניחו את הוויז'ואלס! למדו איך לבצע אופטימיזציית תמונות ווידאו לאתר שלכם – משמות קבצים ותגיות ALT ועד לגודל קובץ ונתונים מובנים – כדי לשפר חווית משתמש, מהירות ודירוגים בגוגל.

קרא עוד »