ملف robots.txt عبارة عن أوامر تتم إضافتها للمدوّنة أو الموقع الإلكتروني من أجل التّحكم في وصول الزواحف مثل زواحف محرّك "بحث جوجل"، فـهل ملف robots.txt مهم لمدونات بلوجر؟
في هذه الصّفحة سنتعرّف على الإجابة عن سؤال: هل ملف robots.txt ضروري؟
مهمة robots.txt
قبل البدء في الحديث عن هل يُعتبر ملف robots.txt ضروري لمدوّنات بلوجر، وجبت الإشارة قبل ذلك إلى أن مهمة ملف robots.txt الوحيدة هي منع الزواحف من الوصول إلى بعض أو كل صفحات الموقع الإلكتروني أو المدوّنة، وليس دوره تسريع عملية الأرشفة أو الفهرسة أو ما شابه ذلك.
هذه الصّفحة مخصّصة بالدّرجة الأولى للمدوّنين الجدد الذين بدأوا في استخدام بلوجر، قد لا تكون هذه المقالات تضمّ معلومات متقدّمة حول الملف، لأنّ الغاية منها بيان هل ملف الروبوت بشكل عام ضروري في بلوجر.
وفي هذا تقول جوجل:
يتم استخدام ملف robots.txt بشكل أساسي لإدارة عدد زيارات الزاحف إلى موقعك الإلكتروني، ويُستخدم عادةً لإخفاء صفحة من نتائج البحث على جوجل، حسب نوع الملف.
المصدر: مجموعة خدمات "بحث Google"
متى يُنصح باستخدام ملف robots.txt؟
في حالة المواقع الإلكترونية الكبيرة والتي تضم أزيد من 500 صفحة فريدة، فإنه فعلا يُنصح باستخدام ملف robots.txt حتى لا يتم اثقال الخادم بسبب كثرة طلبات الزحف لصفحات الموقع الإلكتروني.
غير أنه في حالة المدوّنات الصغيرة وخصوصا منها مدوّنات بلوجر فإنه لا يُنصح باستخدام هذا الخيار خصوصا للناشرين المبتدئين، كون علاوة عن أنه لن يُشكل إضافة إيجابية في بدايات المدوّنة، فإن سوء استخدام ملف robots.txt قد يُعرّض الموقع الإلكتروني لمخاطر عديدة، والتي منها:
- اختفاء بعض صفحات الموقع الإلكتروني من على بحث جوجل.
- اختفاء المدونة أو الموقع الإلكتروني ككل من على نتائج البحث.
- تعذّر وصول زاحف ادسنس لمراجعة الموقع الإلكتروني.
- [...]
قبل المتابعة، تعرّف على معلومات خاطئة حول ملفّ الروّبوت وماذا كانت نتيجة الاستطلاع الخطيرة.
وفي هذا الصّدد تقول جوجل:
إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يَعرِضُ موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.
المصدر: مجموعة خدمات "بحث Google"
تجب الإشارة أيضا أن المواقع الإلكترونية أو المدونات العادية لا تحتاج إلى ملف robots.txt، بمعنى لا يُعتبر ضروريا حتى تقوم Google بالزّحف إليها. يُمكنك تجربة اختبار زاحف محرّك البحث.
وباستطاعة Google وأغلب محرّكات البحث الأخرى الوصول إلى صفحات المدوّنة دون وجود ملف robots.txt.
وفي هذا الإطار تقول Google ردّا على سؤال: هل يحتاج موقعي الإلكتروني لملف robots.txt؟
لا، عندما يزحف Googlebot إلى أحد المواقع الإلكترونية، نطلب أولاً إذنًا بالزحف عن طريق محاولة استرداد ملف robots.txt. سيتم بشكل عام الزحف إلى أي موقع إلكتروني لا يشتمل على ملف robots.txt أو علامات وصفية لبرامج الروبوت أو عناوين X-Robots-Tag HTTP بالإضافة إلى فهرسته بشكلٍ عادي.
المصدر: مجموعة خدمات "بحث Google"
تجب الإشارة أيضا إلى أن ملف robots.txt قد يسبب مشكلات كبيرة بالنسبة للناشرين الجدد الذين يريدون تقديم مدوّناتهم لتحقيق الربح عليها عن طريق ادسنس، وسوء استخدام هذا الأخير يكون سببا في عدم قدرة زاحف ادسنس الوصول إلى جميع صفحات الموقع الإلكتروني.
لهذا، فإنّ أنسب وأفضل حل عموما، يتمثل في إلغاء تفعيل ملف robots.txt وعلامات الرؤوس المخصصة لبرامج الرّوبوت، حتى يتّقي الناشر مشكلا كبيرا من المشاكل الخفية لرفض الموقع الإلكتروني على AdSense.
على العموم، وكخلاصة لما تمّ ذكره في الأعلى، لا يُعتبر ملف robots.txt ضروريا لزحف محرّكات البحث إلى المدوّنة ولا لفهرستها وظهورها على نتائج محرّكات البحث ومهمّته المنع فقط ما لم تكن المدوّنة تضمّ عشرات أو مئات الآلاف من الصّفحات الفريدة في بعض الحالات، وتوفّر بلوجر طُرُقا آلية لتوجيه زاحف جوجل وزواحف محرّكات البحث الأخرى دون الحاجة إلى إضافة الملفّ.
وإذا كانت لا تزال هناك أسئلة أخرى، لا يجب التردد من تركها في الرّدود في الأسفل، أو نشر ملصق مباشرة على منتدى مساعدة مجموعة خدمات "بحث جوجل" مباشرة عبر الرابط الآتي:
كما قد يثير انتباهك الانتقال للآتي:
- أسباب تأخّر الفهرسة في جوجل
- هل ملف sitemap ضروري؟
- معرفة ترتيب الموقع أو الصفحة في جوجل
- المعلومات التي يجب أخذها بعين الاعتبار عند فحص العنوان في سيرش كونسول
مدوّنة الدّعم العَربي: لفهم منتجات جوجل، تحقيق الرّبح من الإنترنت وتحسين الظّهور على نتائج محرّكات البحث العالميّة...
المشاركات
شركآ الك استاذ ربي يوفقك يا ذهب
ردحذفشكرا لك عزيزي عمر على الرّدّ الإيجابي واللّطيف . نرجو أن يكون موضوع -ملف الروبوت وهل هو ضروري لمدونات بلوجر- قد أفادك.
حذفبالتّوفيق والنّجاح :-)
السلام عليكم أستاذ محمد، أريد ان أسألك عن مدى استعمال هذه اعدادات بلوجر لملف robots.txt في عام 2023 - 2024
ردحذفوعليكم السّلام ورحمة الله وبركاته
حذفمرحبا أخي أبو عيسى!، كيف حالك اليوم؟
ملفّ الرّوبوت هو ملفّ نسبي، بمعنى لا يوجد ملفّ روبوت مثالي يُمكن أن يصلح لكلّ الموقع الإلكترونية بشكل تلقائي، وغالب المواقع الإلكترونية الصّغيرة أو الجديدة لا تستخدمه لأنّه ليس بالضّرورة أن يكون ضروري في مثل هذه الحالات.
يُمكنك معرفة مدى استخدامه من خلال معرفة هل أنت بحاجة إلى استخدامه :-)
أرجو ان تكون قد وجدت هذا مفيدا.
مع أطيب التّحيّات