क्लाउडफ्लेयर अद्यतन robots.txt साइटों को खोज अनुक्रमण और क्रॉल के लिए शुल्क लेने की अनुमति देते हुए AI स्क्रैपिंग को अवरुद्ध करने देता है। Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

क्लाउडफ्लेयर ने नए AI नियंत्रणों के साथ robots.txt प्रोटोकॉल को अद्यतन किया है, जिससे वेबसाइट मालिकों को खोज अनुक्रमण की अनुमति देते हुए और भुगतान-प्रति-क्रॉल शुल्क को सक्षम करते हुए प्रशिक्षण के लिए AI स्क्रैपिंग को अवरुद्ध करने की अनुमति मिलती है। Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. सामग्री संकेत नीति "नोआई" और मुद्रीकरण विकल्प जैसे निर्देश प्रस्तुत करती है, जिसका उद्देश्य प्रकाशकों को उनकी सामग्री का उपयोग कैसे किया जाता है, इस पर अधिक नियंत्रण देना है। The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. जबकि उपकरण क्लाउडफ्लेयर ग्राहकों के लिए मुफ़्त हैं और इसमें उन्नत निगरानी शामिल है, स्वैच्छिक अनुपालन पर संदेह बना हुआ है, क्योंकि कई AI बॉट robots.txt को अनदेखा करते हैं। While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. आलोचक लागू करने योग्य कानूनी मानकों की आवश्यकता पर जोर देते हुए चेतावनी देते हैं कि अकेले स्व-विनियमन रचनाकारों को अनधिकृत डेटा उपयोग से नहीं बचाएगा। Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.