بالإضافة إلى كونه تحديثا في وثائق السيو، أعلنت جوجل، يوم 30 أكتوبر 2026، عن خططها لدعم آلية جديدة تتيح لأصحاب المواقع الإلكترونية التَّعبير عن تفضيلاتهم بشأن استخدام محتوى مواقعهم في تدريب نماذج الذكاء الاصطناعي، من خلال تعليمة مشتركة داخل ملف robots.txt، بدلا من الاضطرار إلى إعداد تعليمات منفصلة لكلّ شركة أو مزوّد لخدمات الذَّكاء الاصطناعي.
ويأتي هذا التّوجه استجابة للنقاشات المتزايدة حول كيفية استخدام المحتوى المنشور على الإنترنت في تدريب نماذج الذكاء الاصطناعي، وحقوق أصحاب المواقع في تحديد الأغراض التي يسمحون باستخدام محتواهم من أجلها.
وتجب الإشارة بمناسبة الموضوع إلى أنّ جوجل في يناير 2026، كانت قد أعلنت عن التّحضير لـ"أدوات تحكّم لمحتوى المواقع في البحث" في يناير 2026 مع هيئة المنافسة البريطانيَّة.
ما الذي تريد جوجل تغييره؟
لفهم هذا الإعلان، دعني أوضح لك أولا -في حال كنت جديدا في مجال المواقع الإلكترونية- أن ملف robots.txt هو ملف نصّي تضعه عادة في المجلد الرئيسي لموقعك، وتستخدمه لتوجيه برامج الزحف، وهي برامج آلية تزور صفحات المواقع الإلكترونيَّة وتكتشف محتواها، مثل جوجل بوت (Googlebot) التابع لجوجل.
وقد اعتاد أصحاب المواقع استخدام هذا الملف لتحديد الصفحات والمسارات التي يسمحون لبرامج الزحف بالوصول إليها أو يطلبون منها عدم الزحف إليها، لكن جوجل تريد الآن الاستفادة منه أيضا في التَّعبير عن تفضيلات تتعلّق باستخدام المحتوى في تدريب الذكاء الاصطناعي.
المشكلة التي تحاول هذه الخطوة معالجتها هي أن شركات الذكاء الاصطناعي لا تستخدم جميعها التَّعليمة نفسها للتّحكّم في كيفيّة الاستفادة من محتوى المواقع، ولذلك، قد يضطرّ صاحب الموقع إلى إعداد قواعد مختلفة لكل شركة، وهو ما يجعل إدارة هذه التّفضيلات أكثر تعقيدا.
ومن هنا يأتي المقترح الجديد، الذي يتيح استخدام رمز موحّد داخل robots.txt، يمكن للشّركات المشارِكة في هذه المبادرة التّعرف عليه وفهم التّفضيل الذي يعبّر عنه صاحب الموقع.
ما المقصود بإشارة تدريب الذكاء الاصطناعي المشتركة؟
تعتمد الآلية الجديدة على مقترح تقني تعمل عليه مجموعة AIPREF، وهي اختصار لـ AI Preferences، أي تفضيلات الذكاء الاصطناعي، التابعة لفريق عمل هندسة الإنترنت (IETF)، وهي جهة دولية تعمل على تطوير المعايير والمواصفات التّقنيّة التي تساعد مختلف أنظمة الإنترنت على العمل بطريقة متوافِقَة.
ولقد جاء في التّعريف (القسم 4.0 من المستند) ما نصّه:
4.1. رمز السياسة (Policy Token)
تُعرِّف هذه الوثيقة رمز السياسة "__usage_ai-training".
يتوافق رمز السياسة هذا مع صيغة "رموز المنتجات" (product-token) الواردة في القسم 2.2.1 من وثيقة [ROBOTS] (والتي تتكون من أحرف، وشرطات سفلية "_"، وشرطات أفقية "-").
يجب على الجهات المُستخدِمة (Consumers) مطابقة رموز السياسة بدقة — مع عدم مراعاة حالة الأحرف (case-insensitive) — تماماً كما هو الحال مع أي رمز منتج آخر. (تجدر الإشارة إلى أن بعض المُحلِّلات المُستخدَمة حاليا قد تُجري المطابقة بمرونة أكبر؛ لذا فإن استخدام البادئة "__" يجعل حدوث مطابقات غير مقصودة أمرا مستبعدا).
يمكن لمجموعة واحدة أن تتضمن عدة رموز سياسة (من خلال أسطر "User-Agent" متتالية؛ راجع القسم 2.2 من [ROBOTS])، وذلك لربط قواعدها بأغراض متعددة. كما يمكن الجمع بين رموز السياسة ورموز منتجات أخرى داخل المجموعة الواحدة.
ويحمل المقترح اسم Machine-Readable Training Preference Signal، ويمكن ترجمة ذلك إلى إشارة تفضيلات تدريب قابلة للقراءة آليا.
والمقصود بها توفير رمز مشترك داخل ملف robots.txt يعبّر عن رغبة صاحب الموقع في السماح باستخدام محتواه لتدريب نماذج الذكاء الاصطناعي أو رفض ذلك.
ويُطلق على هذا الرمز اسم Policy Token، أي رمز السياسة أو التفضيل، والرمز المقترح لهذا الغرض هو:
__usage_ai-trainingفإذا أردت التَّعبير عن رفض استخدام محتوى موقعك في تدريب نماذج الذكاء الاصطناعي، فستكون التَّعليمات على النحو التالي:
User-Agent: __usage_ai-training
Disallow: /هنا، يحدد User-Agent مجموعة التّعليمات، بينما يشير __usage_ai-training إلى أن هذه التَّعليمات تتعلّق بتدريب الذكاء الاصطناعي، أما Disallow: / فتعني رفض استخدام جميع مسارات الموقع لهذا الغرض.
ومن المهم أن أوضح لك أن هذه التّعليمة لا تعني منع جميع برامج الزّحف من زيارة موقعك، ولا تمنع زاحف جوجل من اكتشاف صفحاتك أو فهرستها، فهي مخصصة للتّعبير عن تفضيل يتعلّق باستخدام المحتوى في التّدريب، وليست قاعدة عامّة لمنع الزَّحف.
لكن الإشارة المقترحة لا تعني بالضرورة منع استخدام جميع صفحات موقعك في تدريب الذكاء الاصطناعي، إذ تتيح لك المسودة تحديد تفضيلات مختلفة بحسب مسارات الموقع، من خلال الجمع بين التوجيهين Disallow وAllow.
فعلى سبيل المثال، يمكنك منع استخدام محتوى الموقع عموما، مع استثناء مجلد أو مسار معين:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/في هذا المثال، يعبّر Disallow: / عن تفضيل عدم استخدام محتوى الموقع في تدريب الذكاء الاصطناعي، بينما يحدد Allow: /press-kit/ استثناء يسمح باستخدام المحتوى الموجود ضمن هذا المسار، وبذلك يمكنك، مثلا، إتاحة مواد صحفية أو موارد مخصصة للاستخدام، مع الإبقاء على تفضيل منع استخدام بقية محتوى الموقع في التدريب.
ما علاقة Google-Extended بالآلية الجديدة؟
قد تتساءل هنا عن سبب ذكر جوجل لاسم Google-Extended في إعلانها، خصوصاً إذا كنت قد تابعت التحديثات السابقة المتعلقة بالتحكم في استخدام محتوى المواقع بواسطة الذكاء الاصطناعي.
في الواقع، Google-Extended هو رمز أتاحته جوجل لأصحاب المواقع منذ عام 2023، ويمكن إضافته إلى robots.txt للتحكم في بعض أوجه استخدام المحتوى الذي تزحف إليه جوجل في تدريب نماذج جيميناي، وكذلك في استخدامات مرتبطة بإسناد الإجابات إلى مصادر خارجية، وهو ما يُعرف باسم Grounding، علما أنّه عند إطلاق هذا الأمر، كان مخصصا لـBard.
ويقصد بـGrounding استعانة نظام الذكاء الاصطناعي بمعلومات ومصادر خارجية عند إعداد إجاباته، بدلا من الاعتماد حصريا على المعلومات التي تعلّمها أثناء التّدريب.
وبالتالي، عندما يستعين جيميناي بمعلومات منشورة في أحد المواقع الإلكترونية للإجابة عن سؤال المستخدم، فهذا يختلف عن استخدام المقال نفسه ضمن البيانات التي تُستخدم لتدريب نموذج الذَّكاء الاصطناعي.
وهنا تظهر أهمية الإعلان الجديد؛ فبدلا من أن يضطرَّ صاحب الموقع إلى تحديد تفضيلاته تجاه جوجل وبقيّة الشّركات بصورة منفصلة، يمكنه استخدام الإشارة المشتركة للتّعبير عن رفض التّدريب لدى الجهات التي تدعمها.
وقد أوضحت جوجل أنها ستتعامل مع هذه الإشارة باعتبارها رفضا لاستخدام المحتوى عبر Google-Extended أيضا، ما لم يحدد صاحب الموقع تعليمات صريحة ومختلفة لهذا الرمز.
بمعنى آخر، لن تلغي الآلية الجديدة إمكانية تخصيص التّعليمات لشركة معينة، فإذا استخدمت الإشارة المشتركة لمنع التّدريب، ثم سمحت صراحةً باستخدام Google-Extended، فستتعامل جوجل مع تعليمات Google-Extended باعتبارها التّفضيل المحدّد لها.
وهذا يسمح لأصحاب المواقع باتخاذ قرارات مختلفة بحسب الشّركة والغرض من استخدام المحتوى، بدلا من الاكتفاء بخيار واحد يشمل الجميع.
هل ستشمل الآلية جميع استخدامات محتوى المواقع بواسطة الذكاء الاصطناعي؟
ليس في مرحلتها الحالية، فالإعلان الذي نشرته جوجل يتناول تحديدا استخدام المحتوى في تدريب نماذج الذّكاء الاصطناعي، ولا يعني اعتماد جميع أنواع التّفضيلات التي تناقشها مجموعة AIPREF.
وتعمل هذه المجموعة على تطوير مفردات أوسع تتيح التّمييز بين تدريب النّماذج، واستخدام المحتوى لإنتاج إجابات ومخرجات للمستخدمين، والاستعانة به في سياقات البحث التي تعرض المعلومات وتحيل المستخدمين إلى مصادرها.
وهذا التّمييز مهم بالنّسبة إليك إذا كنت صاحب موقع إلكتروني؛ فقد ترغب في منع استخدام مقالاتك لتدريب النماذج، مع السماح لمحركات البحث وخدمات الذّكاء الاصطناعي بالاستعانة بها للوصول إلى المعلومات وإحالة المستخدمين إلى صفحاتك.
لكن هذه الاستخدامات لا تخضع جميعها حاليّا للآليّة التي أعلنت جوجل دعمها، إذ أشارت الشّركة إلى أنّ المناقشات بشأن بقيّة مفردات AIPREF لا تزال مستمرّة.
هل أصبحت هذه الآلية معيارا رسميّا؟
المقترح الذي تستند إليه جوجل منشور ضمن نظام IETF Datatracker، وهو النِّظام الذي تَستخدمه مؤسَّسة IETF لمتابعة الوثائق والمقترحات التّقنيّة.
ويحمل المقترح -مثل ما تمّت الإشارة إليه في الأعلى- اسم Machine-Readable Training Preference Signal، وهو في الوقت الحالي ضمن فئة Internet-Draft، أي مسودة مواصفة تقنيّة لا تزال قابلة للنّقاش والتّعديل والتّطوير.
وهذا يعني أننا لا نتحدث عن معيار نهائي معتمد، بل عن مقترح يسعى إلى توفير طريقة موحّدة يمكن لشركات الذّكاء الاصطناعي اعتمادها.
كما أشارت جوجل إلى أنّ هذه المبادرة تتوافق مع التّوجُّهات الواردة في مدوّنة الممارسات الخاصّة بمزوّدي نماذج الذَّكاء الاصطناعي للأغراض العامة (GPAI) ضمن قانون الذّكاء الاصطناعي الأوروبي (EU AI Act)، الذي يعترف بملف robots.txt باعتباره إحدى الوسائل الأساسيّة التي يستطيع من خلالها ناشرو المحتوى التّعبير عن تفضيلاتهم بطريقة قابلة للقراءة آليّا.
شركات تقنية وإعلامية كبرى ضمن المساهمين في تطوير المقترح
ومن التفاصيل اللافتة في الوثيقة التقنية التي يستند إليها هذا التوجه، أنها تتضمن أسماء أشخاص من شركات ومؤسسات دولية معروفة، من بينها Google وMicrosoft وOpenAI وAnthropic وMeta وCloudflare وAmazon Web Services، إلى جانب مؤسسات إعلامية مثل BBC وFinancial Times وNews Corp، ومنظمات معنية بالحقوق الرقمية مثل Electronic Frontier Foundation.
وتضم قائمة المساهمين أسماءً معروفة في مجال البحث والإنترنت، من بينها Gary Illyes وJohn Mueller من جوجل، إلى جانب أشخاص من شركات منافسة في مجال الذكاء الاصطناعي، مثل OpenAI وAnthropic.
ولا يعني ورود هذه الأسماء أن الشركات التي ينتمون إليها أعلنت اعتماد الآلية أو التزمت بتطبيقها، إذ توضح الوثيقة أن هؤلاء الأشخاص ساهموا في النقاشات والعمل المتعلق بالمقترح بصفتهم أفراداً، مع ذكر انتماءاتهم المؤسسية للتعريف بهم. ومع ذلك، فإن تنوع الجهات الممثلة في هذه القائمة يعكس اتساع النقاش حول إيجاد طريقة مشتركة لتنظيم تفضيلات أصحاب المواقع بشأن استخدام محتواهم في تدريب الذكاء الاصطناعي.
متى ستبدأ جوجل بدعم الآلية الجديدة؟
بحسب الإعلان، تخطط جوجل لدعم هذه الآلية بالتعاون مع شركات الذّكاء الاصطناعي الأخرى خلال عام 2027، على أن تنشر تحديثات لاحقة بشأن تقدُّم العمل عليها.
وبالتّالي، لا يُعدّ الإعلان إطلاقا فوريّا للميزة، ولا أنصحك صديقي القارئ بإجراء تغييرات على ملف robots.txt اعتمادا على المقترح قبل صدور توثيق نهائيّ يوضّح طريقة تطبيقه ودعمه.
في النهاية، أرى أن أهمية هذه الخطوة لا تقتصر على إضافة تعليمة جديدة إلى ملف robots.txt، بل تكمن في محاولة توحيد الطريقة التي نستطيع بها نحن أصحاب المواقع الإلكترونيَّة التّعبير عن تفضيلاتنا تجاه استخدام محتوانا في تدريب الذّكاء الاصطناعي، وإذا تبنتها شركات متعدِّدة، فقد تصبح إدارة هذه التّفضيلات أسهل بكثير، مع الاحتفاظ بإمكانيّة تخصيص التَّعليمات لكلّ شركة على حدة.
{alertSource}
- منشور المدوّنة الرّسمي بعنوان: دعم آلية مشتركة للتحكم في تدريب الذكاء الاصطناعي على المواقع الإلكترونية
- مسودة "كيلي" بشأن إشارة تفضيلات التدريب (AIPref)
