شركات تحجب مكوكات الويب الخاصة بالذكاء الاصطناعي بما في ذلك GPTBot، مما يؤثر على توفر البيانات

مع استمرار ارتفاع الطلب على البيانات الدقيقة لتغذية نماذج الذكاء الاصطناعي، تتصاعد معركة متزايدة على الإنترنت. تتخذ الشركات تدابير لحماية بياناتها من مكوكات الويب الخاصة بالذكاء الاصطناعي، حيث تواجه GPTBot التابعة لـ OpenAI وCCBot التابعة لـ Common Crawl معارضة متزايدة. تكشف البيانات الأخيرة أن أكثر من 250 موقعاً رائداً تحجب الآن GPTBot، بينما حجب ما يقرب من 14% من أكثر المواقع شعبية CCBot أيضاً، مما أثر على توفر المعلومات الحيوية لتدريب الذكاء الاصطناعي.

المعركة المتزايدة ضد مكوكات الويب الخاصة بالذكاء الاصطناعي

في عصر تهيمن عليه قرارات قائمة على البيانات والذكاء الاصطناعي، أصبحت روبوتات زحف الويب أدوات أساسية ومصدراً كبيراً للجدل. في الشهر الماضي، قدمت OpenAI GPTBot، الذي صُمم لاحترام بروتوكول robots.txt القديم منذ عقود، مما يسمح للمواقع بالإشارة إلى رغبتها في البقاء غير مُسحوبة. في البداية، نفذت حوالي 70 من أفضل 1,000 موقع حجباً ضد GPTBot، بما في ذلك عمالقة الإنترنت مثل Amazon وTumblr.

تكشف نتائج حديثة من Originality.ai عن تحول كبير في المشهد. على مدى ثلاثة أسابيع فقط، ارتفع عدد المواقع البارزة التي تحجب GPTBot إلى أكثر من 250. وتشمل هذه القائمة الشاملة منصات معروفة مثل Pinterest وVimeo وGrubHub وIndeed وApartments.com وThe Guardian وLive Science وUSA Today وNPR وCBS News وNBC News وCNBC وThe New Yorker وPeople، وجميع العناوين المنشورة تقريباً بواسطة Hearst وConde Nast. حتى weather.com انضم إلى صفوف أولئك الذين يحمون محتواهم من مكوك الويب الخاص بالذكاء الاصطناعي.

التحدي أمام إمكانية الوصول إلى البيانات

يكمن الدافع وراء موجة حجب مكوكات الويب في الدور الحاسم الذي تلعبه البيانات الدقيقة في تدريب نماذج الذكاء الاصطناعي التوليدي القوية، مثل GPT-4 من OpenAI. تعتمد هذه النماذج بشكل كبير على كميات هائلة من البيانات النصية، والتي يتم الحصول على الكثير منها من الإنترنت، على الرغم من خضوع معظمها لحقوق الطبع والنشر أو امتلاكها من قبل كيانات محددة. وقد زاد الوعي بهذا الممارسة في الآونة الأخيرة، مما أدى إلى العديد من النزاعات القانونية وإمكانية ظهور لوائح حكومية جديدة.

في الوقت نفسه، تتخذ العديد من الشركات تدابير لتأمين محتواها الذي ينشئه المستخدمون وأنشطتها عبر الإنترنت. من خلال تحديثات شروط الخدمة وسياسات المستخدمين، تؤكد شركات التكنولوجيا على حقوقها في الوصول إلى بيانات المستخدمين واستخدامها لمشاريع الذكاء الاصطناعي وأغراض التدريب. ويمثل هذا التحول في النهج اتجاهًا أوسع نحو حماية البيانات والسيادة، حيث تسعى الشركات بشكل متزايد إلى التحكم في كيفية استخدام بياناتها، خاصة من قبل الكيانات المدعومة بالذكاء الاصطناعي.

CCBot هو هدف آخر للحظر

بينما لفت GPTBot انتباهاً كبيراً بسبب ارتباطه بـ OpenAI ونموذج GPT-4، فإن مكوك ويب آخر، CCBot، الذي تستخدمه Common Crawl، يواجه نصيبه من المقاومة. قضت Common Crawl، وهي منظمة مقرها أوروبا، سنوات في تجميع كميات هائلة من بيانات الويب، بما في ذلك المحتوى المحمي بحقوق الطبع والنشر، وتنظيمه لاستخدامه كبيانات تدريب لنماذج اللغة الكبيرة مثل Llama من Meta.

بحلول أواخر سبتمبر، تشير بيانات من Originality.ai إلى أن ما يقرب من 14% من أفضل 1,000 موقع شعبية قد نفذت حجباً ضد CCBot. وتشمل هذه القائمة Amazon وVimeo وMasterclass وKelly Blue Book وThe New York Times وThe New Yorker وThe Atlantic، من بين آخرين. وتجدر الإشارة إلى أن العديد من المواقع التي تحجب CCBot تمدد قيودها لتشمل GPTBot أيضاً، مما يوضح الاتجاه المتزايد لحماية البيانات من مكوكات الويب الخاصة بالذكاء الاصطناعي، بغض النظر عن انتماءاتها.

تستمر المعركة بين الشركات التي تسعى لحماية بياناتها ومكوكات الويب الخاصة بالذكاء الاصطناعي التي تسعى للحصول على مواد تدريبية في التصاعد. ويؤكد العدد المتزايد من المواقع التي تحجب GPTBot وCCBot على الأهمية المتزايدة لإمكانية الوصول إلى البيانات والتحكم فيها في عالم مدعوم بالذكاء الاصطناعي. ومع تزايد التدقيق القانوني والتنظيمي، يظل التوازن بين استخدام البيانات وحمايتها تحدياً حاسماً لكل من الشركات ومطوري الذكاء الاصطناعي.