كشفت بيانات حديثة من Cloudflare أن شركتي Anthropic وOpenAI تجريان عمليات زحف مكثفة على مواقع الويب، لكنهما في المقابل توجهان عددًا محدودًا للغاية من الزيارات إلى هذه المواقع، مما يثير جدلًا متزايدًا حول طبيعة علاقة شركات الذكاء الاصطناعي بمحتوى الإنترنت.
وأشارت البيانات إلى تدهور نسبة الزحف إلى الإحالة لدى الشركتين مقارنةً بفترة سابقة، وهو ما يعني أن روبوتات الذكاء الاصطناعي باتت تستخلص كميات أكبر من المحتوى من الويب، بينما تقدم قيمة أقل بكثير للناشرين وأصحاب المواقع.
اقتصاد البيانات غير المعلن
يمثل هذا الجانب أحد أقل المحاور نقاشًا في ثورة الذكاء الاصطناعي، ففي حين تستثمر شركات التكنولوجيا مليارات الدولارات في مراكز البيانات، والرقائق، واستقطاب المواهب، إلا أنها نادرًا ما تتطرق إلى المكون الأساسي الآخر لنجاح نماذج الذكاء الاصطناعي، وهو البيانات البشرية عالية الجودة.
وبدلًا من شراء هذه البيانات أو تقديم تعويض لمنتجيها، تعتمد العديد من الشركات على إرسال روبوتات لزحف المواقع وجمع المحتوى المتاح، وغالبًا ما يتم ذلك دون مقابل مادي مباشر.
تفكك الصفقة الكبرى للويب
تقليديًا، سمح أصحاب المواقع الإلكترونية لمحركات البحث ومنصات التكنولوجيا بالوصول إلى محتواهم مجانًا، وذلك مقابل الحصول على زيارات من المستخدمين، والتي يمكن تحويلها إلى عائدات من خلال الإعلانات أو الاشتراكات، وقد شكلت هذه المعادلة ما بات يُعرف بـ “الصفقة الكبرى” للويب.
لكن في عصر الذكاء الاصطناعي التوليدي، بدأت هذه الصفقة في التفكك، فبدلًا من توجيه المستخدمين إلى المصادر الأصلية للمحتوى، أصبحت محركات الإجابة وروبوتات الدردشة تقدم إجابات مباشرة، مما يقلل من حاجة المستخدمين لزيارة المواقع التي أنتجت هذا المحتوى وتأكدت من صحته.
منهجية Cloudflare لقياس السلوك
تتولى Cloudflare إدارة خدمات لما يقرب من 20% من مواقع الإنترنت حول العالم، وقد بدأت منذ فترة قريبة في تتبع سلوك محدد:
- عدد طلبات الزحف التي ترسلها روبوتات شركات التكنولوجيا إلى المواقع.
- عدد الزيارات التي تعيدها هذه المنصات إلى تلك المواقع.
وتُستخدم نسبة الزحف إلى الإحالة كمؤشر رئيسي على مقدار المحتوى الذي تستقيه الشركات من الويب مقابل ما تعيده إليه من حركة مرور، فعلى سبيل المثال، تشير نسبة 100 إلى 1 إلى أن الشركة تقوم بزحف المواقع 100 مرة مقابل إحالة واحدة فقط.
Anthropic وOpenAI تتصدران المشهد
تُظهر بيانات الأسبوع الأول من شهر يناير أن شركة Anthropic تتصدر القائمة بفارق واضح، حيث تقوم بزحف المواقع بمعدلات مرتفعة جدًا مقارنة بعدد الإحالات التي ترسلها، وتشير البيانات إلى أن هذا السلوك قد تصاعد مقارنة بفترة سابقة.
وينطبق الاتجاه ذاته على OpenAI، فقد شهدت نسبة الزحف إلى الإحالة لديها تدهورًا، مما يعكس اعتمادًا متزايدًا على محتوى الويب، مع مساهمة أقل في إعادة حركة المرور إليه.
أعباء مالية إضافية على أصحاب المواقع
يتوافق هذا السلوك مع تقارير سابقة نشرها موقع بزنس إنسايدر، والتي أشارت إلى أن روبوتات Anthropic وOpenAI كانت تقوم بزحف بعض المواقع بكثافة لدرجة أنها تسببت في ارتفاع كبير في تكاليف الاستضافة والحوسبة السحابية على أصحابها.
وفي إحدى الحالات الموثقة، تضاعفت تكاليف الحوسبة لأحد العملاء خلال بضعة أشهر فقط نتيجة لهذا النشاط المكثف.
