هل سبق لك أن لاحظت زاحفا غريبا من جوجل يتصفح موقعك الإلكتروني، غير زاحف جوجل Googlebot المعتاد؟ قد يكون هذا الزاحف أحد زواحف جوجل المخصصة للحالات الخاصة أو المعروف بـ(Special-Case Crawlers). هذه الزواحف جزء أساسي من منظومة جوجل المتطورة، وهي مصممة للقيام بمهام محددة تتجاوز الفهرسة التقليدية للمحتوى.
في ما يلي لقطة شاشة تظهر مثالا لزحف واحد من زواحف جوجل للحالات الخاصّة:
ما هي زواحف جوجل ذات المهام الخاصة؟
زواحف الحالات الخاصّة من جوجل: هي برامج زحف تستخدمها منتجات جوجل المختلفة لأغراض محدَّدة، وغالبا ما تكون هناك اتِّفاقيات بين الموقع الإلكتروني الذي يتمُّ الزَّحف إليه والمنتج المعني حول عمليَّة الزَّحف. على سبيل المثال، قد يتجاهل زاحف الإعلانات "AdsBot" توجيهات ملف robots.txt العام (المشار إليه بـ *) بإذن من ناشر الإعلانات (أي صاحب الموقع الإلكتروني).
تختلف هذه الزواحف عن زاحف جوجل Googlebot الشَّائع في أنَّها قد تتجاهل قواعد robots.txt في بعض الحالات، وتعمل من نطاقات عناوين IP مختلفة عن الزَّواحف العاديَّة. يتم نشر نطاقات IP الخاصة بها في ملف special-crawlers.json.
لماذا تزور هذه الزواحف موقعك؟
تهدف زواحف جوجل ذات المهام الخاصة إلى تحسين جودة البحث وتجربة المستخدم وتطوير ميزات جديدة. إليك بعض المهام التي قد تقوم بها هذه الزّواحف:
- اختبارات التحقق والأداء: قد تختبر أداء الموقع، امتثاله لمعايير الويب، وتجرب تقنيات فهرسة جديدة، مثل التحقق من مدى دعم الموقع للفهرسة المتوافقة مع الجوال.
- جمع البيانات المنظمة: تستخرج البيانات المنظمة لتحسين ظهور موقعك في نتائج البحث الغنية.
- مراقبة الامتثال للسياسات: تتأكد من التزام الموقع بإرشادات جوجل المتعلقة بالإعلانات والأمان والمحتوى، مثل البحث عن محتوى مخفي أو إعادة توجيهات احتيالية.
- البحث والتطوير: تدعم جهود البحث والتطوير لميزات وخدمات جوجل الجديدة، وجمع البيانات لنماذج التعلم الآلي.
- التحقق من المحتوى والميزات: تتحقق من تفاصيل الميزات مثل أخبار أو اقتراحات جوجل أو قوائم الأعمال المحلية.
- التدقيق من أجل إمكانية الوصول: قد تتحقق من وجود مشكلات في إمكانية الوصول بالموقع لضمان الامتثال لمعايير مثل WCAG.
- تتبع ومعالجة البريد العشوائي: تحدد أنماط التلاعب بالروابط أو ممارسات البريد العشوائي.
أمثلة على زواحف جوجل ذات المهام الخاصة
إليك بعض الأمثلة على هذه الزواحف، وعلاماتها (User-Agent) التي تظهر في طلبات HTTP، والرموز الخاصة بها في ملف robots.txt، والمنتجات المتأثرة بتفضيلات الزحف:
APIs-Google: يؤثر على تسليم رسائل الإشعارات الفورية من واجهات برمجة تطبيقات جوجل (Google APIs). يمكن أن يتجاهل
*فيrobots.txt.- مثال User-Agent:
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) - رمز robots.txt:
APIs-Google
AdsBot (AdsBot-Google / AdsBot-Google-Mobile): يستخدمه جوجل إعلانات (Google Ads) للتحقق من جودة صفحات الإعلانات. يتجاهل
*فيrobots.txt.مثال User-Agent لسطح المكتب:
AdsBot-Google (+http://www.google.com/adsbot.html)
- مثال User-Agent للجوال:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html) - رمز robots.txt:
AdsBot-GoogleأوAdsBot-Google-Mobile
Mediapartners-Google (AdSense): يزحف إلى المواقع للمساعدة في عرض الإعلانات ذات الصلة. يتجاهل
*فيrobots.txt.- مثال User-Agent لسطح المكتب:
Mediapartners-Google - رمز robots.txt:
Mediapartners-Google
Google-Safety: يتعامل مع الزحف الخاص بمكافحة الانتهاكات، مثل اكتشاف البرامج الضارة للروابط المنشورة علنًا على خصائص جوجل. يتجاهل قواعد
robots.txtولا يتأثر بتفضيلات الزحف.مثال User-Agent:
Google-Safety
يُمكنك الاطّلاع على قائمة الزّواحف الخاصة بالحالات الخاصة في جوجل، والتي تقول هذه الأخيرة بخصوصها: هذه القائمة ليست شاملة، بل تتضمّن فقط برامج الزحف الأكثر شيوعًا التي تزداد احتمالية ظهورها ضمن ملفات السجلّ والتي تلقّينا أسئلة بشأنها. كما يُمكنك الاطّلاع على قائمة زواحف جوجل العادية. أيضا طرق التحقق من أنّ مصدر طلبات الزحف هو برنامج زاحف جوجل وبرامج الزحف الأخرى من جوجل.
على الرغم من أن هذه الزواحف قد تعمل بصمت في الخلفية، إلا أنها تلعب أدوارا حاسمة في تحسين خدمات جوجل. من خلال مراقبة نشاطها وفهم غرضها، يمكنك التأكد من أن موقعك يتفاعل بشكل فعال مع هذه الجوانب المتخصصة من نظام جوجل البيئي.
هل لاحظت زاحفا من جوجل للحالات الخاصّة على موقعك الإلكتروني؟ يُمكنك مشاركة ذلك في مناقشة زواحف جوجل للحالات الخاصة على منتدى الدعم العربي بما في ذلك نماذج من كيف تبدو عليه.
){kind=link}