هَلْ مِلَفُّ الرُّوبُوتِ ضَرُورِيٌّ؟

ملف robots.txt عبارة عن أوامر تتم إضافتها للمدوّنة أو الموقع الإلكتروني من أجل التّحكم في وصول الزواحف مثل زواحف محرّك "بحث جوجل"، فـهل ملف robots.txt مهم لمدونات بلوجر؟

في هذه الصّفحة سنتعرّف على الإجابة عن سؤال: هل ملف robots.txt ضروري؟

مهمة robots.txt

قبل البدء في الحديث عن هل يُعتبر ملف robots.txt ضروري لمدوّنات بلوجر، وجبت الإشارة قبل ذلك إلى أن مهمة ملف robots.txt الوحيدة هي منع الزواحف من الوصول إلى بعض أو كل صفحات الموقع الإلكتروني أو المدوّنة، وليس دوره تسريع عملية الأرشفة أو الفهرسة أو ما شابه ذلك.

هذه الصّفحة مخصّصة بالدّرجة الأولى للمدوّنين الجدد الذين بدأوا في استخدام بلوجر، قد لا تكون هذه المقالات تضمّ معلومات متقدّمة حول الملف، لأنّ الغاية منها بيان هل ملف الروبوت بشكل عام ضروري في بلوجر. {alertInfo}

هل ملف الروبوت ضروري


وفي هذا تقول جوجل:

يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويُستخدم عادةً لإخفاء صفحة من نتائج البحث على جوجل، حسب نوع الملف.

المصدر: مجموعة خدمات "بحث Google"

متى يُنصح باستخدام ملف robots.txt؟

في حالة المواقع الإلكترونية الكبيرة والتي تضم أزيد من 500 صفحة فريدة، فإنه فعلا يُنصح باستخدام ملف robots.txt حتى لا يتم اثقال الخادم بسبب كثرة طلبات الزحف لصفحات الموقع الإلكتروني.

غير أنه في حالة المدوّنات الصغيرة وخصوصا منها مدوّنات بلوجر فإنه لا يُنصح باستخدام هذا الخيار خصوصا للناشرين المبتدئين، كون علاوة عن أنه لن يُشكل إضافة إيجابية في بدايات المدوّنة، فإن سوء استخدام ملف robots.txt قد يُعرّض الموقع الإلكتروني لمخاطر عديدة، والتي منها:

  • اختفاء بعض صفحات الموقع الإلكتروني من على بحث جوجل.
  • اختفاء المدونة أو الموقع الإلكتروني ككل من على نتائج البحث.
  • تعذّر وصول زاحف ادسنس لمراجعة الموقع الإلكتروني.
  • [...]


قبل المتابعة، تعرّف على معلومات خاطئة حول ملفّ الروّبوت وماذا كانت نتيجة الاستطلاع الخطيرة. {alertInfo}


وفي هذا الصّدد تقول جوجل:

إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يَعرِضُ موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.

المصدر: مجموعة خدمات "بحث Google"


تجب الإشارة أيضا أن المواقع الإلكترونية أو المدونات العادية لا تحتاج إلى ملف robots.txt، بمعنى لا يُعتبر ضروريا حتى تقوم Google بالزّحف إليها. يُمكنك تجربة اختبار زاحف محرّك البحث.

وباستطاعة Google وأغلب محرّكات البحث الأخرى الوصول إلى صفحات المدوّنة دون وجود ملف robots.txt.

وفي هذا الإطار تقول Google ردّا على سؤال: هل يحتاج موقعي الإلكتروني لملف robots.txt؟

لا، عندما يزحف Googlebot إلى أحد المواقع الإلكترونية، نطلب أولاً إذنًا بالزحف عن طريق محاولة استرداد ملف robots.txt. سيتم بشكل عام الزحف إلى أي موقع إلكتروني لا يشتمل على ملف robots.txt أو علامات وصفية لبرامج الروبوت أو عناوين X-Robots-Tag HTTP بالإضافة إلى فهرسته بشكلٍ عادي.

المصدر: مجموعة خدمات "بحث Google"

تجب الإشارة أيضا إلى أن ملف robots.txt يسبب مشكلات كبيرة بالنسبة للناشرين الجدد الذين يريدون تقديم مدوّناتهم لتحقيق الربح عليها عن طريق ادسنس، وسوء استخدام هذا الأخير يكون سببا في عدم قدرة زاحف ادسنس الوصول إلى جميع صفحات الموقع الإلكتروني.

لهذا فأنسب وأفضل حل عموما، يتمثل في إلغاء تفعيل ملف robots.txt وعلامات الرؤوس المخصصة لبرامج الرّوبوت، حتى يتّقي الناشر مشكلا كبيرا من المشاكل الخفية لرفض الموقع الإلكتروني على AdSense.

لقطة شاشة من إعدادات Blogger لقسم برامج الزحف والفهرسة، وتظهر أنه قد تم إلغاء تفعيل ملف robots.txt وعلامات الرؤوس المخصصة لبرامج الروبوت


على العموم، وكخلاصة لما تمّ ذكره في الأعلى، لا يُعتبر ملف robots.txt ضروريا لزحف محرّكات البحث إلى المدوّنة ولا لفهرستها وظهورها على نتائج محرّكات البحث ومهمّته المنع فقط، وتوفّر بلوجر طُرُقا آلية لتوجيه زاحف جوجل وزواحف محرّكات البحث الأخرى دون الحاجة إلى إضافة الملفّ.



وهذا كلّ ما في الأمر
𝌘 تابع AR-S 𝌘

🤛🏽 🤜

وإذا كانت لا تزال هناك أسئلة أخرى، لا يجب التردد من تركها في الرّدود في الأسفل، أو نشر ملصق مباشرة على منتدى مساعدة مجموعة خدمات "بحث جوجل" مباشرة عبر الرابط الآتي:

كما رأينا أنه قد يثير انتباهك بعض الآتي:


تاريخ آخر تعديل: الثّلاثاء 30 نوفمبر 2022 على السّاعة 00:30 بتوقيت المملكة المغربيّة
Medelinor

محمد الورياغلي | مستشار سيو. منشئ محتوى، ناشر ومعلن. مرشد في برنامج خبراء منتجات جوجل، حاصل على جائزة السّفير وجائزة الميل الإضافي في فعاليّات خبراء منتجات جوجل EMEA 21/22. طالب بجامعة عبد المالك السّعدي (UAE) 📍الفنيدق | المملكة المغربية external-link blogger facebook twitter rss youtube linkedin instagram

2 تعليقات

التّعليقات والرّدود ...

  1. شركآ الك استاذ ربي يوفقك يا ذهب

    ردحذف
    الردود
    1. شكرا لك عزيزي عمر على الرّدّ الإيجابي واللّطيف . نرجو أن يكون موضوع -ملف الروبوت وهل هو ضروري لمدونات بلوجر- قد أفادك.

      بالتّوفيق والنّجاح :-)

      حذف
أحدث أقدم