andronof/robotstxt

Parse robots.txt

Parse (разбор) robots.txt

Библиотека для разбора файла robots.txt. Написаная на языке php. Основная задча библиотеки проверить любую ссылку, закрыта она от индексации или нет. Правила разбора используются из описания в справочнике Яндекс., _(*1)

Правила разбора

1. Разбирается все данные по ботам.
2. Для каждого бота сортируются по длине ссылки. Если у нескольких правил длина одинаковая то предпочтение отдается разрешающему(allow) правилу.
3. Правила содержащие пустые значения изменяются на противоположные.

Установка

Через composer:, _(*2)

{
    "require": {
        "andronof/robotstxt": "dev-master"
    }
}

и запустить команду, _(*3)

composer update

установится последний версия, но не обязательно стабильная или, _(*4)

composer require andronof/robotstxt

установится последняя стабильная версия, _(*5)

Использование

$robotstxt = new \Robotstxt(file_get_contents('http://yandex.ru/robots.txt'));

или, _(*6)

$robotstxt = new \Robotstxt();
$robotstxt->init(file_get_contents('http://yandex.ru/robots.txt'));

Проверка запрещена ли ссылка в robots.txt, _(*7)

if ($robotstxt->isAllowed('/msearch') ) {
    echo('Доступ разрешен');
} else {
    echo('Доступ запрещен');
}

Данная функция может принимать вторым параметром имя бота. Если не указан, то берутся правила для всех (*). Ссылку для проверки указывайте с начинающегося слеша (/)., _(*8)

Остальные функции

• isUserAgent($user_agent) — Проверяет есть ли правила для конкретного бота
• setUserAgent($user_agent = null) — Устанавливает правила какого бота использовать. Имеет больший приоритет чем если указывать бота в функции isAllowed. Если необходимо сбросить глобального бота передайте в эту функцию null.

Используется в проектах

• https://gensitemap.ru/