Как найти страницы на которых есть текст именно в заданном вхождение

Здравствуйте,

Есть список ссылок сайтов со страницами robots.txt, вида Ссылки недоступны для гостей, Ссылки недоступны для гостей и т.д. Стоит задача спарсить все закрытые от индексации сайты, т.е нужно отловить все страницы где на странице есть Disallow: /

Но проблема в том, что на страницах robots.txt могут быть и такие записи

Disallow: /manager/
Disallow: /core/
Disallow: /connectors/

а мне надо отловить, именно только те страницы где есть только такое вхождение "Disallow: /" без хвостов в виде core/, manager/ и т.д

Пробовал применить вот такую конструкцию,

[CHECKENTRY(Disallow: /[FULL])][DOCSOURCE][THENTEXT]<CD_DOCURL!>[/CHECKENTRY]

где при помощи [FULL] попытался добиться полного совпадения вхождения, но почему-то не работает

Подскажите пожалуйста, что я делаю не так?

 

Здравствуйте.

Код:

Disallow: /{br}

Код:

[CHECKENTRY(Disallow: /{br})][FIRST_REPLACE({get}|{get}{br})][DOCSOURCE][/FIRST_REPLACE][THENTEXT]<CD_DOCURL!>[/CHECKENTRY]

 

хм, а что значит вот эта конструкция
{get}|{get}{br}) ?

 

Все равно он находит страницы где вхождение
Disallow: / даже если оно в составе конструкций типа Disallow: /manager/

 

Добавляет к
[DOCSOURCE]
Дополнительный перенос строки (на случай, если после Disallow: / нет переноса строки {br}).

 

Напишите URL такой страницы.

 

К примеру вот Ссылки недоступны для гостей

 

Вот код страницы

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

В нем нет строки Disallow: / (по ней вы и хотели проверять), соответственно, макрос и не выводит ничего. В чем проблема тогда?

 

Извините, не правильно понял ваш вопрос, но вот например и эту строку "Disallow: *?*" макрос тоже тоже не находит,

[CHECKENTRY(Disallow: *?*{br})][FIRST_REPLACE({get}|{get}{br})][DOCSOURCE][/FIRST_REPLACE][THENTEXT]<CD_DOCURL!>[/CHECKENTRY]

 

Вы просили для Disallow: /, я сделал для Disallow: /. Пожалуйста, формулируйте задачи точнее.

 

Сейчас доработаю.

 

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 5 постов.**

В нем добавлен оператор {lf} (Line feed) для макросов [CHECKENTRY]

Используйте такой код шаблона вывода для решения вопроса:

Код:

[CHECKENTRY(Disallow: /{lf}||Disallow: *?*{lf})][FIRST_REPLACE({get}|{get}{br})][DOCSOURCE][/FIRST_REPLACE][THENTEXT]<CD_DOCURL!>[/CHECKENTRY]