Не могу собрать ссылки с сайта.

Через сканер сайтов перестали собираться ссылки.

Работало все нормально, одну "ветку сайта" собрал без проблем, вторая "ветка" (отличается только одной цифрой в названии) не идет даже когда все фильтры убраны, в списке очереди не появляется ни одного URL. Попробовал с параметрами первой "ветки" - тоже перестал сканировать.
При этом через броузер на сайт захожу - по IP бана нет.

Проверил - при попытке просмотра дает сообщение:
"Программе не удалось загрузить WEB-страницу (HTTP/1.1 500 Internal Server Error"

Все-таки закрыли сайт от парсинга?

Заходил с разных IP.

Сайт похоже на UCOZ.

 

Здравствуйте.

Нужно ваш файл проекта посмотреть (в программе: меню - файл - сохранить проект).

 

Файлы проектов :
1 - создан из действовавшего проекта
2 - создан заново

 

Стартовый URL в сканере сайтов из вашего первого проекта ведет на несуществующую страницу:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Во втором проекте стартовый URL сканера пуст.

Проблема в том, что стартовая ссылка в сканере некорректная!

С уважением к вам, Сергей.

 

Спасибо, снова все работает
Видимо где-то при копировании ссылок накосячил

 

Возможно.

Пожалуйста. Обращайтесь...

 

Видимо я поторопился Снова та же картина (ошибка).
Только что все работало, скачал порцию url, при попытке повторить или разметить парсинг - 500-ая ошибка.
Посылаю файл проекта и скан экрана с ошибкой.
Может быть дело в рекламе, которая там ложиться "поверх всего"?

 

Думаю, это реакция сайта на частые запросы к нему.

Как обойти это:
1) Использовать 1 поток при парсинге;
2) Либо использовать прокси (ctrl+r).

С уважением к вам, Сергей.

 

парсил в 1 поток с задержкой 500 мс и через TOR, но видимо как-то вычисляют

 

Без TOR попробуйте 1 поток и задержка 2000-3000. Если не поможет, то тогда, думаю, только платные SOCKS-прокси.