إليك ملخص لأبرز ما جاء في حلقة بودكاست "Search Off the Record" الـ103 بين "مارتن سبلت" و"غاري إليش"، والتي استعرضت تقرير مشكلات الزحف لعام 2025، يُرَكِّز هذا المقال على تلخيص البودكاست بالإشارة إلى الأخطاء التقنية الشائعة التي تلتهم ميزانية الزحف وتؤثر على أداء المواقع.
كواليس تقرير الزحف لعام 2025: أين تكمن المشكلات؟
بدأ النقاش باستعراض آلية عمل فريق "علاقات البحث" في جوجل، حيث يتلقَّون تقارير عبر نموذج مخصص للإبلاغ عن مشكلات الزحف، وهو نموذج الإبلاغ عن مشكلة في الفهرسة الذي شاركته في الماضي على المدونة هنا.
يقوم الفريق بتصنيف هذه البلاغات للتَّأكد من وجود مشكلة حقيقيّة من طرف جوجل أو إذا كان السبب يعود لبنية الموقع نفسه. وقد كشف التّقرير السّنوي أن الغالبيّة العُظمى من المشكلات تقع ضمن فئات تقنيّة محدَّدة تتعلَّق بكيفيَّة إدارة الرَّوابط والمعلمات (Parameters) داخل المواقع الإلكترونية.
معضلة التَّصفح متعدِّد الأوجُه (Faceted Navigation)
احتلت مشكلة "التصفح المتعدد الأوجه" المرتبة الأولى بنسبة تقارب 50% من إجمالي التقارير.
تظهر هذه المشكلة بوضوح في مواقع التِّجارة الإلكترونية التي تتيح للمستخدمين تصفية وفلترة المنتجات بناء على خيارات متعدِّدة مثل السِّعر، اللَّون، أو العلامة التجارية:
ينتج عن هذه الفلاتر ملايين التَّوليفات من الرَّوابط الفريدة التي يحاول "جوجل بوت" زحفها جميعا لاكتشاف المحتوى، ممَّا قد يؤدِّي إلى استنزاف موارد الخادم وربما توقُّفه عن العمل تماما قبل أن يدرك الزّاحف أن هذه الرَّوابط مكرَّرة أو غير ضروريَّة.
معايير الإجراءات (Action Parameters): فخ الإضافات البرمجية
جاءت مشاكل "معايير الإجراءات" في المرتبة الثانية بنسبة 25%، وهي مفاجأة تقنية تعود لأساليب قديمة في البرمجة.
تتمثَّل المشكلة في وجود روابط تتضمن أوامر مثل "إضافة إلى السَّلة" أو "أضف لقائمة الأمنيات" كروابط قابلة للزحف (GET requests):
عندما يكتشف "زاحف جوجل" هذه الروابط، فإنه يتَّبعها ظنّا منه أنها صفحات محتوى، مما يضاعف عدد الرَّوابط في الموقع دون فائدة.
وقد أشار غاري إلى أن الكثير من هذه المشكلات تنبع من إضافات (Plugins) جاهزة لمنصات مثل "وردبريس"، حيث تمّ التّواصل مع بعض المطوِّرين لإصلاحها برمجيّا لتقليل العبء على المواقع.
الروابط غير الضّرورية والأخطاء التّقنيّة المتكرِّرة
تطرَّق الحوار أيضا إلى "المعايير غير ذات الصلة" مثل معرفات الجلسات (Session IDs) وروابط التّتبّع (UTM) التي تشكل 10% من المشكلات، حيث يصعب على محركات البحث أحيانا تمييز ما إذا كان المعيار يغير محتوى الصفحة أم أنه مجرد رمز عشوائي.
كما تمَّ التّحذير من مشكلة "التقاويم اللانهائية" التي تنشئ صفحات لكل يوم في المستقبل، وأخطاء "التّشفير المزدوج" للروابط (Double Encoding)، والتي تجعل الرّوابط غير صالحة وتؤدَّي إلى صفحات خطأ تستهلك طاقة الزّحف هباء.
الحلول المقترحة لتحسين كفاءة الزحف
اتفق الخبراء على أن ملف robots.txt يبقى الأداة الأقوى والأسرع للتّحكُّم في هذه الفوضى، حيث يمكن استخدامه لمنع الزحف إلى أنماط معينة من الرَّوابط مثل الفلاتر المعقدة أو روابط "إضافة إلى السلة"..
وفي هذا السياق، قدم مارتن نصيحة عمليَّة للمطورين وهي إلقاء نظرة على ملف google.com/robots.txt، حيث تستخدمه جوجل كمرجع تعليمي يحتوي على أمثلة واضحة لكيفيّة السّماح أو منع أنماط معينة من معايير البحث.
كما نصح الفريق بمراقبة سجلات الوصول (Access Logs) بانتظام لاكتشاف أيّ سلوك غريب من الزواحف قبل أن يتسبّب ذلك في انهيار الخادم، مؤكِّدين على ضرورة التّنسيق بين المطورين لضمان عدم توليد روابط لانهائيّة تضرّ بترتيب الموقع وظهوره في نتائج البحث.
