קובץ TXT הוא קובץ שנמצא בשרת ונועד למנוע מהחיפושים להיכנס לאזורים מסויימים באתר למטרת סריקה. מטרת העל של הקובץ היא למנוע סריקה של עמודים בשונים באתר מסיבות שונות. חשוב להדגיש כי ברירת המחדל היא אי מניעת הסריקה, ולכן במטרה למנוע קיימת חשיבות רבה לעשות שימוש בקובץ זה.
User-Agent:
אחת הפעולות השכיחות ביותר היא פעולת user-agent המסמנת באיזה מנוע חיפוש מדובר. ישנן אפשרויות רבות, אחת המרכזיות שבהן היא שם הקובץ בצירוף כוכבית. כאשר לסוף שם הקובץ מוסיפים כוכבית, היא מסמנת שלכל מנועי החיפוש ישנה אפשרות לסרוק את האתר.
Disallow:
פעולה נוספת ושכיחה לא פחות היא פעולת disallow. פעולה זו מונעת את האפשרות לסרוק את כל חלקי האתר בציוף כוכבית. חשוב להדגיש כי ניתן למנוע את הסריקה של עמוד שלם או תקייה בודדת. ישנן אפשרויות רבות לבחירתכם למנוע או לאפשר סריקה של חלקים שונים באתר שלכם.
Allow:
ישנה אפשרות למנוע מכולם את האפשרות לסרוק את האתר ללא כל הבחנה. האפשרויות הרבות מבטיחות לבעל האתר יכולת להבחין בין עמודיו השונים לעניין הסריקה של מנועי חיפוש שונים
Sitemap: https://hovalail.co.il/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
ישנה אפשרות גם לעשות שימוש במפת האתר שלכם ועל ידי כך לקבוע אילו עמודים ניתן יהיה לסרוק ואילו עמודים לא ניתן יהיה לברוק. דגש נוסף שחשוב לדעת – אפשרות זו מאפשרת לקרוא את הקובץ בצורה פשוטה ומהירה.
איפה נמצא הקובץ?
קובץ זה נמצא בשרת וניתן להגיע אליו בקלות על ידי כתיבת הדומיין robits/txt. אם יש לכם אתר שבנוי על וורדפרס ישנו תוסף ייעודי שתצטרכו להתקין על מנת לעשות שימוש ברובוט. ברוב ככל האתרים לא עושים שימוש תדיר במניעת אפשרות סריקה מלבד סריקת האדמין.
מתי נרצה לחסום אזורים באתר בקובץ RobotsTXT
אדמין
כפי שציינו מעלה, ברוב המקרים אין כל סיבה לחסום את הרובוט של גוגל או כל רובוט אחר מלסרוק את האתר. אז מתי בכל זאת עושים שימוש ברובוט זה? ברוב המקרים מדובר על סריקת האדמין או סריקת אתר חדש.
אתר חדש
הסיבה המרכזית בגינה כדאי למנוע מהרובוט לסרוק את עמודיו של אתר חדש היא העובדה שהאתר עדיין לא מוכן בצורה מיטבית. סריקה של גוגל לאתר שעדיין לא בנוי בצורה מיטבית עתידה להשפיע על מיקומו בתוצאות החיפוש של גוגל. קיימת חשיבות רבה להוריד את החסימה של סריקת האתר לאחר שהוא מוכן היטב במטרה לוודא כי הוא יוכל להיסרק על ידי הרובוט של גוגל שיקבע את איכותו וימקמו בהתאם.
איזורים בשלבית פיתוח
בדומה לאתרים חדשים, קיימת חשיבות רבה לחסום אזורים חדשים בפיתוח האתר שלכם. לא מעט בעלי אתרים בטוחים כי בגלל שהאתר קיים ועובד, הם לא צריכים לעשות שימוש באפשרות זו למניעת סריקה כאשר מנסים לשנות אזורים נקודתיים באתר. לכן, חשוב להדגיש ולומר כי כדאי לעשות שימוש באפשרות זו של מניעת סריקה לאזורים חדשים בבניית האתר שלכם.
משתמשים מורשים
סיבה נוספת לעשות שימוש בחסימה זו היא אזורים מורשים באתר שלכם. יש לכם אזורים הפתוחים לגולשים מורשים בלבד? ניתן למנוע את גישת הסריקה שלהם על ידי שימוש בתוכנה.
תוכן דל או לא שימושי למנועי חיפוש
יש לכם עמודים עם תוכן דל שסריקתם לא תוסיף לרזומה החיובי של האתר שלכם? ניתן לעשות שימוש באפשרות זו לטובת חסימת הרובוט הסורק את העמוד. מקדמי אתרים רבים ומקצועיים ממליצים לעשות שימוש בחסימה זו במקרים בהם חלק מתוכן האתר דל או עדיין אינו מוכן עד הסוף.
דרכים נוספות לחסום עמודים או קטגוריות
ישנן דרכים נוספות לעשות חסימות סריקה שונות שימנעו מרובוטים שונים לסרוק את תוכן האתרים שלכם. קיימת חשיבות רבה שבכלל השיטות ניתן לחסום אתרים שלמים, קטגוריות שלמות, עמודים שלמים או חלקים בודדים וממוקדים בלבד. אפשרות זו מבטיחה שתוכלו לחשוף אך ורק את החלקים הטובים והמוכנים ביותר באתר.
שליטה בתקציב הזחילה
כיוון הרובוט לסריקה של אזורים מסויימים יאפשר לנו לשלוט נכון על תקציב הזחילה. כל הוצאות הזחילה ישולמו על זחיחה בעמודים הטובים ביותר באתר, מה שכמובן יניב את התוצאות הטובות ביותר. במילים אחרות, רוצים לשלם על זחילה שתניב לכם תוצאות מיטביות? חשוב מאוד לדעת לעשות שימוש באפשרות זו ולמנוע את הסריקה מהעמודים שאינם מוכנים דיו.
זה שאמרנו לגוגל לא להכנס לאיזור מסויים לא אומר שאותו אזור לא יואנדקס באינדקס של גוגל
חשוב לדעת כי העובדה שעשינו שימוש באפשרות זו של מניעת סריקה של עמודים שונים אינה אומרת שהעמוד שבחרנו שלא יסרק, לא יאונדקס. גוגל תגיע לעמודים כולם ותאנדקס אותם בצורה מיטבית על מנת להמשיך להעניק לכלל הגולשים את התוצאות הטובות ביותר. ישנה אפשרות למנוע מגוגל לאנדקס את העמוד על ידי אפשרות ספציפית שתידרשו לסמן לשם כך.
מלאו פרטים בטופס וקבלו ייעוץ ראשוני ללא עלות.
