Google, OpenAI, Anthropic і Microsoft домовилися впровадити нову директиву robots.txt, яка дозволить власникам вебсайтів контролювати, як їхній контент використовується для навчання моделей штучного інтелекту. Про це повідомляє Engadget.
Стандартний сигнал для збору даних
Ініціатива передбачає створення єдиного стандартного сигналу, який компанії зможуть використовувати для визначення дозволів на збирання даних. Пропозицію розробив технічний керівник Anthropic Кевін Келлі, і вона наразі розглядається Internet Engineering Task Force (IETF).
Налаштування обмежень у robots.txt
З новим механізмом власники сайтів зможуть вказувати параметри в файлі robots.txt за допомогою ідентифікатора:
- User-Agent: __usage_ai-training
- Disallow: /
- Allow: /press-kit/
Це дозволить заборонити збирання матеріалів для навчання ШІ або визначити окремі розділи сайту, доступ до яких дозволяється. Наприклад, можна відкрити прескіти для сканування, обмеживши доступ до інших сторінок.
Впровадження нових правил
Новий розділ user-agent не блокує сканування повністю і не впливає на відображення матеріалів у Google. Він забороняє агенту Google-Extended збирати дані для навчання моделей Gemini. Нові правила не матимуть зворотної дії і не скасують використання контенту, вже зібраного раніше.
Anthropic вже підтримує цю директиву, Microsoft планує реалізувати її з 1 лютого 2024 року, а Google — на початку 2027 року. OpenAI обіцяє впровадити зміни найближчими місяцями.
Джерело: Mezha.Media (https://mezha.ua/news/google-openai-ta-anthropic-vvodyat-novi-pravila-shchodo-zboru-danih-dlya-shi-316741/)