Отчего на некоторых сайтах медленно отдаются ссылки

Привет, форумчане.
Вопрос больше не к CD а к сайтам в целом. Так как никакой программой или методом у меня не получаеться получить ссылки быстрее 0,1 в секунду.

Никаким известным мне способом, не получаеться спарсить быстро ссылки с этого сайта

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 50 or greater.**

, хотя в браузере тойже машины на которой стоит CD ссылки открываються пулей.

Все известные мне ухищрения по сбору ссылок через CD я использовал, результат все равно 0,1 документ в секунду собирает.

Прокси. Куки. притвориться роботом , ничего не помогло.

Если кто знает, рад буду понять в чем причина.

 

Здравствуйте.

Изучать этот сайт у меня сейчас возможности нет. Предполагаю, что это настройки сервера указывают ему так реагировать на частые запросы с одного и того же IP.

С уважением к вам, Сергей.

 

Ну так то да, но не все сайты в браузер отдают код документа, а в робота показывают 404 с первого коннекта.
Сколько стоит собрать все ссылки на товары с этого сайта, если заказать проект сбора ссылок у тебя Kagorec ? Готов заказать!

 

Добрый день,
все ссылки даного сайта вы можете найти тут:
Ссылки недоступны для гостей
И вот урок как парсить ссылки из Sitemap:
Ссылки недоступны для гостей
Я уже скачал все ссылки в TXT файлик и приложил их ниже.

 

Круто, спасибо.
А почему сканер не может найти ссылки не знаете ?

 

Здравствуйте.

Предоставьте адрес страницы, на которой сканер не находит ссылки и укажите, какие ссылки он на ней не находит. Проверим.

С уважением к вам, Сергей.

 

Ссылки недоступны для гостей вот этот

 

Здравствуйте.

Пожалуйста, еще раз прочитайте и сделайте, как написано:

С уважением к вам, Сергей.