هَلْ مِلَفُّ الرُّوبُوتِ ضَرُورِيٌّ؟

 

صورة ذات خلفية بيضاء تحمل النّص الآتي: هل ملف robots.txt ضروري؟ مشرفو المواقع arsoporte.com

هَلْ مِلَفُّ robots.txt ضَرُورِيٌّ؟

ملف robots.txt عبارة عن شفرات تتم إضافتها للمودوّنة أو الموقع الإلكتروني للتّحكم في وصول الزواحف، فـهل ملف robots.txt مهم لمدونات Blogger؟

ما هي مهمة ملف robots.txt؟

قبل البدء في الحديث عن هل يُعتبر ملف robots.txt ضروري لمدوّنات Blogger، وجبت الإشارة قبل ذلك إلى أن مهمة ملف robots.txt الوحيدة هي منع الزواحف من الوصول إلى بعض أو كل صفحات الموقع الإلكتروني أو المدوّنة، وليس دوره تسريع عملية الأرشفة أو الفهرسة أو ما شابه ذلك.

وفي هذا تقول Google:

يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويُستخدم عادةً لإخفاء صفحة من نتائج البحث على Google، حسب نوع الملف.

المصدر: مجموعة خدمات "بحث Google"

متى يُنصح باستخدام ملف robots.txt؟

في حالة المواقع الإلكترونية الكبيرة والتي تضم أزيد من 10000 صفحة فريدة، فإنه فعلا يُنصح باستخدام ملف robots.txt حتى لا يتم اثقال الخادم بسبب كثرة طلبات الزحف لصفحات الموقع الإلكتروني.

غير أنه في حالة المدوّنات الصغيرة وخصوصا منها مدوّنات Blogger فإنه لا يُنصح باستخدام هذا الخيار خصوصا للناشرين المبتدئين، كون علاوة عن أنه لن يُشكل إضافة إيجابية، فإن سوء استخدام ملف robots.txt قد يُعرّض الموقع الإلكتروني لمخاطر عديدة، والتي منها:

اختفاء بعض صفحات الموقع الإلكتروني من على بحث Google
اختفاء المدونة أو الموقع الإلكتروني ككل من على نتائج البحث
تعذّر وصول زاحف AdSense لمراجعة الموقع الإلكتروني
...

وفي هذا الصّدد تقول Google:

إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يعرض موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.

المصدر: مجموعة خدمات "بحث Google"

تجب الإشارة أيضا أن المواقع الإلكترونية أو المدونات العادية لا تحتاج إلى ملف robots.txt، بمعنى لا يُعتبر ضروريا حتى تقوم Google بالزّحف إليها.

وباستطاعة Google وأغلب محرّكات البحث الأخرى الوصول إلى صفحات المدوّنة دون وجود ملف robots.txt.

وفي هذا الإطار تقول Google ردّا على سؤال: هل يحتاج موقعي الإلكتروني لملف robots.txt؟

لا، عندما يزحف Googlebot إلى أحد المواقع الإلكترونية، نطلب أولاً إذنًا بالزحف عن طريق محاولة استرداد ملف robots.txt. سيتم بشكل عام الزحف إلى أي موقع إلكتروني لا يشتمل على ملف robots.txt أو علامات وصفية لبرامج الروبوت أو عناوين X-Robots-Tag HTTP بالإضافة إلى فهرسته بشكلٍ عادي.

المصدر: مجموعة خدمات "بحث Google"

تجب الإشارة أيضا إلى أن ملف robots.txt يسبب مشكلا كبيرا بالنسبة للناشرين الجدد الذين يريدون تقديم مدوّناتهم لتحقيق الربح عليها عن طريق AdSense، وسوء استخدام هذا الأخير يكون سببا في عدم قدرة زاحف AdSense الوصول إلى جميع صفحات الموقع الإلكتروني.

لهذا فأنسب وأفضل حل عموما، يتمثل في إلغاء تفعيل ملف robots.txt وعلامات الرؤوس المخصصة لبرامج الرّوبوت، حتى يتّقي الناشر مشكلا كبيرا من المشاكل الخفية لرفض الموقع الإلكتروني على AdSense.

لقطة شاشة من إعدادات Blogger لقسم برامج الزحف والفهرسة، وتظهر أنه قد تم إلغاء تفعيل ملف robots.txt وعلانات الرؤوس المخصصة لبرامج الروبوت


على العموم، وكخلاصة لما تمّ ذكره في الأعلى، لا يُعتبر ملف robots.txt ضروريا لزحف محرّكات البحث إلى المدوّنة، وإذا كانت لا تزال هناك أسئلة أخرى، لا يجب التردد من تركها في الرّدود في الأسفل، أو نشر ملصق مباشرة على منتدى مساعدة مجموعة خدمات "بحث Google" مباشرة عبر الرابط الآتي:

كما رأينا أنه قد يثير انتباهك بعض الآتي:



الصورة الشّخصية لمحمد الورياغلي خبير منتجات Google




2 تعليقات

كتابة تعليق ...

  1. شركآ الك استاذ ربي يوفقك يا ذهب

    ردحذف
    الردود
    1. شكرا لك عزيزي عمر على الرّدّ الإيجابي واللّطيف . نرجو أن يكون موضوع -ملف الروبوت وهل هو ضروري لمدونات بلوجر- قد أفادك.

      بالتّوفيق والنّجاح :-)

      حذف

إرسال تعليق

كتابة تعليق ...

يُمكنك كتابة التّعليق هنا

أحدث أقدم