Генератор robots.txt

Створюйте robots.txt з кількома блоками user-agent, правилами Allow/Disallow, необов’язковими Crawl-delay, Host та рядками Sitemap. Попередній перегляд оновлюється під час введення.

Блоки User-agent

Загальні

URL Sitemap (по одному в рядок) Host (необов’язково; використовується деякими сканерами)

Примітки: Host враховують деякі сканери (наприклад, Yandex). Crawl-delay не використовується Google, але може використовуватись іншими. Підстановки * і $ широко підтримуються (не входять до основного RFC).

Попередній перегляд (robots.txt)

Тестер URL

User-agent URL або шлях

Нагадування: robots.txt є публічно доступним і слугує рекомендацією для добросовісних сканерів; це не механізм контролю доступу.

Коментарі (0)

Поділіться своєю думкою — будь ласка, будьте ввічливі та по темі.

Поки немає коментарів. Залиште коментар — поділіться своєю думкою!

Увійдіть, щоб коментувати

Електронна пошта

Пароль

Forgot your password? Створити акаунт

Asted Cloud