هَلْ مِلَفُّ الرُّوبُوتِ ضَرُورِيٌّ؟

 

صورة ذات خلفية بيضاء تحمل النّص الآتي: هل ملف robots.txt ضروري؟ مشرفو المواقع arsoporte.com

هَلْ مِلَفُّ robots.txt ضَرُورِيٌّ؟

ملف robots.txt عبارة عن أوامر تتم إضافتها للمدوّنة أو الموقع الإلكتروني للتّحكم في وصول الزواحف مثل زواحف محرّك "بحث Google"، فـهل ملف robots.txt مهم لمدونات Blogger؟

في هذه الصّفحة سنتعرّف على إجابة سؤال: هل ملف robots.txt ضروري.

مهمة robots.txt

قبل البدء في الحديث عن هل يُعتبر ملف robots.txt ضروري لمدوّنات Blogger، وجبت الإشارة قبل ذلك إلى أن مهمة ملف robots.txt الوحيدة هي منع الزواحف من الوصول إلى بعض أو كل صفحات الموقع الإلكتروني أو المدوّنة، وليس دوره تسريع عملية الأرشفة أو الفهرسة أو ما شابه ذلك.

وفي هذا تقول Google:

يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويُستخدم عادةً لإخفاء صفحة من نتائج البحث على Google، حسب نوع الملف.

المصدر: مجموعة خدمات "بحث Google"

متى يُنصح باستخدام ملف robots.txt؟

في حالة المواقع الإلكترونية الكبيرة والتي تضم أزيد من 500 صفحة فريدة، فإنه فعلا يُنصح باستخدام ملف robots.txt حتى لا يتم اثقال الخادم بسبب كثرة طلبات الزحف لصفحات الموقع الإلكتروني.

غير أنه في حالة المدوّنات الصغيرة وخصوصا منها مدوّنات Blogger فإنه لا يُنصح باستخدام هذا الخيار خصوصا للناشرين المبتدئين، كون علاوة عن أنه لن يُشكل إضافة إيجابية في بدايات المدوّنة، فإن سوء استخدام ملف robots.txt قد يُعرّض الموقع الإلكتروني لمخاطر عديدة، والتي منها:

  • اختفاء بعض صفحات الموقع الإلكتروني من على بحث Google.
  • اختفاء المدونة أو الموقع الإلكتروني ككل من على نتائج البحث.
  • تعذّر وصول زاحف AdSense لمراجعة الموقع الإلكتروني.
  • [...]



وفي هذا الصّدد تقول Google:

إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يَعرِضُ موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.

المصدر: مجموعة خدمات "بحث Google"


تجب الإشارة أيضا أن المواقع الإلكترونية أو المدونات العادية لا تحتاج إلى ملف robots.txt، بمعنى لا يُعتبر ضروريا حتى تقوم Google بالزّحف إليها. يُمكنك تجربة اختبار زاحف محرّك البحث.

وباستطاعة Google وأغلب محرّكات البحث الأخرى الوصول إلى صفحات المدوّنة دون وجود ملف robots.txt.

وفي هذا الإطار تقول Google ردّا على سؤال: هل يحتاج موقعي الإلكتروني لملف robots.txt؟

لا، عندما يزحف Googlebot إلى أحد المواقع الإلكترونية، نطلب أولاً إذنًا بالزحف عن طريق محاولة استرداد ملف robots.txt. سيتم بشكل عام الزحف إلى أي موقع إلكتروني لا يشتمل على ملف robots.txt أو علامات وصفية لبرامج الروبوت أو عناوين X-Robots-Tag HTTP بالإضافة إلى فهرسته بشكلٍ عادي.

المصدر: مجموعة خدمات "بحث Google"

تجب الإشارة أيضا إلى أن ملف robots.txt يسبب مشكلات كبيرة بالنسبة للناشرين الجدد الذين يريدون تقديم مدوّناتهم لتحقيق الربح عليها عن طريق AdSense، وسوء استخدام هذا الأخير يكون سببا في عدم قدرة زاحف AdSense الوصول إلى جميع صفحات الموقع الإلكتروني.

لهذا فأنسب وأفضل حل عموما، يتمثل في إلغاء تفعيل ملف robots.txt وعلامات الرؤوس المخصصة لبرامج الرّوبوت، حتى يتّقي الناشر مشكلا كبيرا من المشاكل الخفية لرفض الموقع الإلكتروني على AdSense.

لقطة شاشة من إعدادات Blogger لقسم برامج الزحف والفهرسة، وتظهر أنه قد تم إلغاء تفعيل ملف robots.txt وعلانات الرؤوس المخصصة لبرامج الروبوت


على العموم، وكخلاصة لما تمّ ذكره في الأعلى، لا يُعتبر ملف robots.txt ضروريا لزحف محرّكات البحث إلى المدوّنة، وتوفّر Blogger طُرُقا آلية لتوجيه زاحف Google دون الحاجة إلى إضافة الملفّ.

أيضا، ليس ملف robots.txt ضروري من أجل ان يزحف محرّك "بحث Google" إلى المحتوى أو فهرسته أو عرضه.



وهذا كلّ ما في الأمر
𝌘 تابع AR-S 𝌘

🤛🏽 🤜

وإذا كانت لا تزال هناك أسئلة أخرى، لا يجب التردد من تركها في الرّدود في الأسفل، أو نشر ملصق مباشرة على منتدى مساعدة مجموعة خدمات "بحث Google" مباشرة عبر الرابط الآتي:

كما رأينا أنه قد يثير انتباهك بعض الآتي:


تاريخ آخر تحديث: 11/27/2021 07:09:00 ص | GMT+1

2 تعليقات

التّعليقات والرّدود ...

  1. شركآ الك استاذ ربي يوفقك يا ذهب

    ردحذف
    الردود
    1. شكرا لك عزيزي عمر على الرّدّ الإيجابي واللّطيف . نرجو أن يكون موضوع -ملف الروبوت وهل هو ضروري لمدونات بلوجر- قد أفادك.

      بالتّوفيق والنّجاح :-)

      حذف

إرسال تعليق

التّعليقات والرّدود ...

لكتابة تعليق، انقر/ي هنا

أحدث أقدم
بشكل عفوي، هل وجدت الصّفحة مفيدة؟