تم الحظر باستخدام robots.txt | الصّفحات المستبعَدة

تم الحظر باستخدام robots.txt حالة من حالات الصّفحات التي تظهر ضمن الصّفحات المستبعدة من تقرير تغطية الفهرسة في أدوات مشرفي المواقع جوجل، ولا تتمّ فهرسة هذا النّوع من الصّفحات ولا عرضه على نتائج بحث جوجل. وبشكل عامّ لا تشير حالة "تم الحظر باستخدام robots.txt" إلى وجود مشكلة ما دام مشرف الموقع نفسه من قام بحظر تلك الصّفحات باستخدام ملف الرّوبوت أو تمّ حظرها آليا عن طريق نظام إدارة المحتوى مثل بلوجر.

الهدف من هذه الصّفحة سيكون التّعرّف على حالة (تم الحظر باستخدام robots.txt) التي تظهر ضمن تقرير تغطية الفهرسة في أدوات مشرفي المواقع جوجل.

تعريف جوجل لملفّ robots.txt

تقول جوجل في تعريف ملف robots.txt ما يلي:

يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويتم استخدامه عادةً لإخفاء ملف من نتائج البحث على Google، حسب نوع الملف:
  • صفحة ويب
  • ملفّ وسائط
  • ملفّ موارد.


لمحة حول حالة تم الحظر باستخدام robots.txt

حالة "تم الحظر باستخدام robots.txt" هي نوع من أنواع الصّفحات المستبعدة في تقرير تغطية الفهرسة التي لا يقوم محرّك البحث بفهرستها أو إظهارها على نتائج البحث نظرا لأنّ هناك أوامر في ملف robots.txt تمنع فهرستها وظهورها على محرّك بحث جوجل.

ولا تعني حالة (تم الحظر باستخدام robots.txt) وجود مشكلة بالضّرورة لأن بعض الصّفحات يكون من المفترض أن يتمّ استبعادها من نتائج البحث للحفاظ على حالة جيّدة للموقع الإلكتروني.

وتختلف أنواع ملفّات robots.txt باختلاف احتياجات مشرفي المواقع وقد يختلف الملفّ من موقع إلكتروني إلى آخر ومن مدوّنة إلى أخرى.

تم الحظر باستخدام robots.txt, الصّفحات المستبعدة, مشرفي المواقع, مشرفي المواقع جوجل


إذا كنت تستخدم بلوجر وكانت مدوّنتك تضمّ أقلّ من 500 صفحة فريدة فلا داعي لإنشاء ملفّ robots.txt لأن بلوجر يوفّر ملفّ robots.txt تلقائيّا يقوم بحظر ما يراه غير مناسب للظّهور على نتائج بحث جوجل. وإذا أخبرك شخص ما أنه لتسريع الفهرسة في المدوّنات الجديدة يحتاج إنشاء ملفّ robots.txt فيُمكنك إخباره بأنّ هذا غير صحيح. alert-info

استخدام ملفّ robots.txt بطريقة غير صحيحة قد يُعرّض ظهور الموقع الإلكتروني -أو المدوّنة- للخطر على نتائج البحث وقد يحرم الموقع من الظّهور بشكل كلّي. alert-error

يُمكن لمشرف الموقع حظر محرّكات البحث من الوصول إلى أي صفحة أو قسم يريد من موقعه الإلكتروني، وفي ما يلي بعض الصّفحات التي يقوم جوجل بوضع أوامر تلقائية لاستبعادها:

  • صفحات أقسام المدوّنة.
  • صفحات نتائج بحث المدوّنة.

تقول جوجل في تعريف حالة تم الحظر باستخدام robots.txt ما يلي:

تم حظر عنوان URL باستخدام ملف robots.txt
تم حظر هذه الصفحة باستخدام ملف robots.txt على موقعك الإلكتروني. يمكنك التحقّق من ذلك باستخدام أداة اختبار ملف robots.txt.
يُرجى العِلم أنّ ذلك لا يمنع فهرسة الصفحة باستخدام وسائل أخرى. إذا تمكّن محرّك بحث جوجل من العثور على معلومات أخرى حول هذه الصفحة بدون تحميلها، هناك احتمال ضئيل جدًا بأن تتم فهرسة الصفحة. للتأكّد من أنّ محرّك بحث جوجل لن يفهرس الصفحة، يمكنك إزالة ملف robots.txt واستخدام التوجيه noindex.


هل تُعتبَر حالة تم الحظر باستخدام robots.txt مشكلة؟

لا تُعتبر حالة "تم الحظر باستخدام robots.txt" مشكلة ما دام مشرف الموقع -أنت في هذه الحالة- يعلم بأمرها ويعلم أنه لم يتمّ حظر إلّا الصّفحات التي من حقّها أن تُحظَر.

وإذا وجدنا انّه قد تمّ حظر صفحة كان من المفترض أن لا يتمّ حظرها بواسطة ملف robots.txt ففي هذه الحالة يجب الرّجوع إلى ملفّ الرّوبوت وتعديله بما يناسب.


أسئلة شائعة

كيف يُمكنني العثورعلى ملفّ الرّوبوت الذي يحظر بعض الصّفحات في مدوّنتي بلوجر؟

في حال وجدتَ حقل ملفّ robots.txt فارغا في إعدادات المدوّنة، فيُمكنك العثور عليه عن طريق الانتقال إلى نافذة جديدة في المتصفّح وكتابة رابط الصّفحة الرّئيسيّة للمدوّنة متبوعا بـ:

/robots.txt code-box

على سبيل المثال:

https://www.arsoporte.com/robots.txt code-box

وسيكون بإمكانك الوصول إلى ملفّ robots.txt التّلقائي للمدوّنة.

هل سيكون في الصّالح عدم استخدام ملف robots.txt بالمرّة؟

لا. يُنصح باستخدام ملفّ robots.txt لحظر الصّفحات التي قد تؤثّر سلبا على ظهور الموقع الإلكتروني او المدوّنة على نتائج البحث أو الصّفحات التي لا يُريد مشرف الموقع أن تزحف إليها محرّكات البحث. وبالنّسبة لبلوجر، فرغم أنه يبدو أنْ لا ملفّ robots.txt يظهر فإنّ بلوجر وغالب منصّات إدارة المحتوى تستخدم ملفّات robots.txt تلقائية بحيث لا داعي لإنشائها مرّة أخرى دون داعي. يُمكنك الاطّلاع على مزيد من المعلومات حول هل ملف robots.txt ضروري؟


خلاصة الصّفحة

تم الحظر باستخدام robots.txt في تقرير تغطية الفهرسة في ادوات مشرفي المواقع جوجل هي أنواع صفحات يتمّ استبعادها من الظّهور على نتائج بحث جوجل وفي الغالب يكون ذلك عن قصد إمّا مشرف الموقع أو منصّة إدارة المحتوى، ولا تعتبر مشكلة. والحظر بواسطة robots.txt ليس مثل الحظر باستخدام علامة noindex.

وهذا كلّ ما في الأمر
𝌘 تابع AR-S 𝌘
🤛🏽 🤜

مصادر ومراجع:

كما قد يثير انتباهك الانتقال للآتي:

إذا كنت تواجه مشكلة أو تريد طرح سؤال أو تعليق يتعلّق بموضوع الصّفحة، فيُمكنك الانتقال إلى: منتدى الدّعم العربيّ الأخضرalert-info

 تاريخ آخر تعديل: الأحد 20 نوفمبر 2022 على السّاعة 02:08 بتوقيت المملكة المغربيّة

أحدث أقدم