Cloudflare ต่อต้าน Google ด้วยข้อจำกัดใหม่สำหรับการค้นหา AI

Cloudflare ต่อต้าน Google ด้วยข้อจำกัดใหม่สำหรับการค้นหา AI IT
IT
CloudflareGoogle

Cloudflare ประกาศฟีเจอร์ควบคุม AI Crawler แบบใหม่ สาเหตุมาจากฟีเจอร์การค้นหา AI ของ Google ที่ส่งผลกระทบต่อผลประโยชน์ของผู้ดูแลเว็บไซต์ การเคลื่อนไหวครั้งนี้สะท้อนความตึงเครียดที่เพิ่มขึ้นระหว่างผู้สร้างเนื้อหาและผู้พัฒนา AI

แนวทางใหม่ของ Cloudflare

Cloudflare ประกาศ “Content Signals Policy” ในเดือนกันยายน 2025 กลไกนี้ช่วยให้ผู้ดูแลเว็บไซต์สามารถควบคุมวิธีการใช้เนื้อหาโดย AI Crawler ได้อย่างละเอียด

ระบบนี้ให้ผู้ดูแลเว็บไซต์เพิ่มสัญญาณ 3 แบบในไฟล์ robots.txt สัญญาณ “search” อนุญาตให้สร้าง Search Index แต่ไม่รวมการสรุปโดย AI สัญญาณ “ai-input” ควบคุมการใช้สำหรับคำตอบ AI แบบเรียลไทม์ สัญญาณ “ai-train” จำกัดการใช้สำหรับฝึกโมเดล AI

ในเดือนตุลาคม Cloudflare นำนโยบายใหม่นี้ไปใช้กับโดเมนกว่า 3.8 ล้านโดเมนโดยอัตโนมัติ เว็บไซต์ประมาณ 20% ของทั้งหมดจึงอยู่ภายใต้กฎใหม่

ที่มาของปัญหา

ในอดีต Search Engine และผู้ดูแลเว็บไซต์มีความเข้าใจร่วมกัน Search Engine จะ Crawl เนื้อหาและส่งผู้เยี่ยมชมกลับมายังเว็บไซต์ ผู้ดูแลเว็บไซต์ได้รับรายได้จากโฆษณา ความสัมพันธ์นี้ดำเนินมาแล้ว 30 ปี

ฟีเจอร์ AI Overview ของ Google เปลี่ยนแปลงความสัมพันธ์นี้ AI สร้างคำตอบบนหน้าผลการค้นหาโดยตรง ผู้ใช้ไม่จำเป็นต้องเยี่ยมชมเว็บไซต์ต้นฉบับอีกต่อไป ผู้ดูแลเว็บไซต์เผชิญปัญหา เนื้อหาถูกนำไปใช้ แต่ผู้เยี่ยมชมลดลง

Cloudflare รายงานว่าระหว่างเดือนมกราคมถึงมีนาคม 2025 การส่งผู้เข้าชมจาก Google ไปยังเว็บไซต์ข่าวลดลงประมาณ 9% ในขณะเดียวกัน การเข้าถึงโดย AI Crawler เพิ่มขึ้นอย่างรวดเร็ว อัตราส่วน “Crawl ต่อการส่งผู้เข้าชม” ของ Crawler ของ Anthropic คือ 73,000:1 ของ OpenAI คือประมาณ 1,700:1 ขณะที่การค้นหาแบบดั้งเดิมของ Google อยู่ที่ 14:1

ตำแหน่งและปัญหาของ Google

Google ใช้ Crawler ตัวเดียวชื่อ “Googlebot” สำหรับทั้งการสร้าง Search Index และการรวบรวมข้อมูล AI ผู้ดูแลเว็บไซต์ต้องเผชิญการเลือกที่ยากลำบาก การปฏิเสธการใช้เนื้อหาใน AI Overview ต้องบลอก Googlebot ทั้งหมด นั่นหมายถึงเว็บไซต์จะหายไปจากผลการค้นหาแบบดั้งเดิมด้วย

Content Signals Policy ของ Cloudflare มุ่งแยกทั้งสองส่วนนี้ออกจากกัน ผู้ดูแลเว็บไซต์สามารถอนุญาตให้อยู่ใน Search Index ขณะเดียวกันปฏิเสธการใช้ใน AI-generated Summary

OpenAI และ Anthropic ใช้แนวทางที่แตกต่าง OpenAI ใช้ “GPTBot” สำหรับฝึกโมเดล และใช้ “OAI-SearchBot” สำหรับการค้นหา แยกกันชัดเจน Anthropic เช่นกัน ใช้ “ClaudeBot”, “Claude-User”, “Claude-SearchBot” แยกตามวัตถุประสงค์ Cloudflare ประเมินว่าบริษัทเหล่านี้ดำเนิน “Responsible Crawling”

Google ยังไม่ได้แสดงท่าทีที่ชัดเจนว่าจะเคารพสัญญาณใหม่หรือไม่ ในทางเทคนิค Google ต้องรักษา Index แยกกันสำหรับการค้นหาและ AI หรือต้องตรวจสอบ robots.txt ทุกครั้ง ทั้งสองวิธีต้องเสียต้นทุนเพิ่มเติม

โอกาสของโมเดลธุรกิจใหม่

Cloudflare นำเสนอกลไก “Pay-per-Crawl” ด้วย ระบบนี้ช่วยให้ผู้ดูแลเว็บไซต์เรียกเก็บค่าธรรมเนียมจาก AI Crawler ได้ ปัจจุบันให้บริการในรูปแบบ Private Beta

ระบบใช้ HTTP Status Code 402 “Payment Required” Crawler ที่ถูกบลอกต้องแสดงความตั้งใจจ่ายเงินก่อนดำเนินการต่อ Cloudflare ทำหน้าที่กลางในการตรวจสอบสิทธิ์ การวัด และการเรียกเก็บเงิน

การเคลื่อนไหวนี้ได้รับการสนับสนุนจากบริษัทสื่อชั้นนำ เช่น AP, Condé Nast, Dotdash Meredith, TIME บริษัทเหล่านี้แสดงความกังวลมานานเกี่ยวกับการที่ AI Crawler ใช้เนื้อหาโดยไม่มีค่าตอบแทน

ผลกระทบต่อธุรกิจ

สถานการณ์นี้นำเสนอตัวเลือกหลายอย่างสำหรับบริษัทที่ดำเนินการเว็บไซต์

บริษัทที่ใช้บริการของ Cloudflare สามารถใช้ฟีเจอร์ควบคุมใหม่ได้ บริษัทกำหนดนโยบายตอบสนอง AI Crawler ได้ชัดเจน เช่น อนุญาตการเข้าถึงเนื้อหาโปรโมชั่น และปกป้องเนื้อหาที่มีเอกลักษณ์สูง

ในมุมกลับกัน การถูกอ้างอิงในคำตอบ AI อาจเพิ่มการรับรู้บริษัทได้ ในอนาคต หากคำตอบ AI กลายเป็นวิธีหลักค้นหาข้อมูล เว็บไซต์ที่ไม่อยู่ใน Training Data อาจถูกรับรู้ยากขึ้น

การเลือกนโยบายขึ้นอยู่กับสถานการณ์บริษัท บริษัทสื่อขนาดใหญ่มักให้ความสำคัญกับการปกป้องเนื้อหา ขณะที่บริษัทที่เน้นการเพิ่มการรับรู้อาจเลือกอนุญาตการเข้าถึงจาก AI

มุมมองในอนาคต

ปัญหานี้เป็นส่วนหนึ่งของกระแสใหญ่กว่า Internet Engineering Task Force (IETF) กำลังพัฒนามาตรฐาน robots.txt Protocol สำหรับยุค AI องค์กรจัดตั้ง Working Group “AI Preferences (AIPREF)” และเริ่มสร้างกฎสำหรับทั้งอุตสาหกรรม

การเคลื่อนไหวของ Cloudflare มีแนวโน้มส่งผลต่อกระบวนการมาตรฐานนี้ Cloudflare นำไปใช้กับโดเมน 3.8 ล้านแล้ว นโยบายนี้กำลังกลายเป็นมาตรฐานอุตสาหกรรมจริง

ในระยะยาว นโยบายนี้เตรียมพร้อมสำหรับยุค AI Agent อัตโนมัติ ในอนาคต AI Agent อาจเรียกดูเว็บแทนผู้ใช้ เปรียบเทียบผลิตภัณฑ์ และซื้อสินค้า กลไกนี้จะกลายเป็นพื้นฐานการเข้าถึงข้อมูล

ความสัมพันธ์ระหว่างเว็บไซต์และ AI เข้าสู่ขั้นตอนใหม่ ในไม่กี่เดือนข้างหน้า การตอบสนองของ Google และงานมาตรฐานใน IETF น่าจะชัดเจนขึ้น BKK IT News เห็นว่าบริษัทควรติดตามผลกระทบของการเคลื่อนไหวนี้ต่อระบบนิเวศเว็บทั้งหมด

ลิงก์บทความอ้างอิง