مِلَفُّ robots.txt وَعَلَاقَتُهُ بِتَقْيِيدِ الإِعْلَانَاتِ | AdSense

 

|-robots.txt-|

|-adsensebot-|

يشهد منتدى مساعدة AdSense العديد من حالات تقييد الإعلانات لأسباب خفية، وبعد البحث والتّقصّي يظهر أن سبب تقييد إعلانات AdSense، هو وجود ملف robots.txt يـمنع زاحف AdSense من الوصول إلى جميع صفحات الموقع الإلكتروني، فكيف يحصل الأمر؟

ماذا يُقصد بملف robots.txt؟

تقول Google:

يحدّد ملف robots.txt الصفحات أو الملفات التي يمكن لبرامج الزحف ... طلب الزحف إليها من موقعك الإلكتروني وتلك التي لا يمكنه طلب الزحف إليها. وغالبًا ما تُستخدم هذه المعلومات لتجنّب تحميل عبء زائد على موقعك الإلكتروني من خلال طلبات الزحف وهي ليست آلية لإخفاء صفحة ويب من نتائج البحث على Google.

المصدر: ما المقصود بملف robots.txt؟ | مجموعة خدمات بحث Google

الآن نعلم جميعا أن الدّور الأساسي لملف robots.txt يتمثّل في منع بعض أو كل الزواحف من الوصول إلى بعض أو كل صفحات الموقع الإلكتروني. كما نعلم أيضا أن من شروط AdSense أن تكون جميع صفحات الموقع الإلكتروني متاحة بالنّسبة لها.

سيلفت انتباهك الموضوع الآتي: هل ملف الروبوتس ضروري؟

وفي هذه الحالة، وعندما يتم منع زاحف AdSense من الوصول إلى جميع صفحات الموقع الإلكتروني

ماذا تقول Google بخصوص ملف robots.txt؟

تقول Google بخصوص ملف robots.txt:

إذا كنت قد عدَّلت ملف robots.txt لموقعك من أجل منع زاحف AdSense من فهرسة صفحاتك، فلن يمكننا عرض إعلانات Google على هذه الصفحات.

User-agent: Mediapartners-Google

‪Disallow: /

لتعديل ملف robots.txt لمنح الزاحف حق الوصول إلى صفحاتك، يُرجى إزالة السطرين التاليين من النص من ملف robots.txt:

سيسمح هذا التغيير للزاحف بفهرسة محتوى موقعك وتقديم إعلانات Google. تجدر الإشارة إلى أن أيّ تغييرات تُجريها على ملف robots.txt قد لا تظهر في فهرسنا‬ إلى أن تحاول برامج الزاحف التابعة لنا زيارة موقعك مرةً أخرى.

المصدر: السماح للزاحف بالوصول في ملف robots.txt | مركز مساعدة AdSense

من هنا نرى بوضوح أن ملف robots.txt له علاقة وطيدة بـAdSense مثل علاقته بمحرّك بحث Google وجميع المنصات التي تستخدم برامج الروبوت للزّحف.

لهذا، وقبل القيام بأي إجراء، فمن اول الإجراءات التي يُنصح بالقيام بها عند التّعامل مع AdSense، هي الحرص على إعطاء زاحف AdSense حق الوصول إلى جميع صفحات الموقع الإلكتروني.

التّحقق من حالة robots.txt وزاحف AdSense

للتّحقّق مما إذا كان زاحف AdSense باستطاعته الوصول إلى جميع صفحات الموقع الإلكتروني أم أن ملف robots.txt يقوم بمنعه. يُمكن استخدام أداة Merkle للتّحقق من الأمر.

إذا كنت غير متأكّد من ملف robots.txt وتريد بعض المساعدة، يُرجى التّواصل مع مدوّنة الدّعم العَربي

اقتراح لحلّ مشكلة robots.txt

قد يعتقد العديد من المشرفين والنّاشرين الجدد أن ملف robots.txt يُساعد تسريع عملية الأرشفة أو ما شابه، لكن على العكس تماما، فهو فقط يمنع -بحسب الأمر- الزواحف من الوصول للموقع الإلكتروني. ولا يُعتبر ضروريا، خصوصا للمواقع الإلكترونية أو المدوّنات الجديدة.

تقول Google في هذا الصّدد:

إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يعرض موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.

المصدر: أستخدم خدمة استضافة للمواقع الإلكترونية | مجموعة خدمات "بحث Google"

خلاصة الأمر

مما مرّ نستنتج أنه سواء كنت تريد تقديم موقعك للمراجعة لدى AdSense، أو أنك تشك بوجود أسباب خفية لرفض الموقع الإلكتروني، أو أنه تمّ تقييد الإعلانات بسبب هذا الأخير، أو أن الإعلانات لا تظهر على صفحات معيّنة. فيجب الحرص على التّحقّق أولا من أن ملف robots.txt لا يمنع وصول زاحف AdSense إلى جميع صفحات الموقع الإلكتروني.

هل سيلفت انتباهك الآتي:

• الأسباب الخفية لرفض موقع إلكتروني على ادسنس
• أدوات حل مشاكل AdSense
• صفحة ادسنس المخصصة لك

وإذا كان هناك سؤال أو استفسار، لا يجب التّردّد من تركه في الرّدود في الأسفل :-)