Как собрать ссылки с аптека ру и piluli ru

Не получается собрать ссылки с сайтов
piluli.ru
apteka.ru
Там даже кода страниц нет.
Как это сделать?

 

1) Piluli у меня не открывается ни в одном из браузеров, скорее всего, что-то с сайтом.



2) Данный сайт при первом обращении к нему требует пройти антикаптчу.



Также следите за скоростью парсинга, я протестировал загрузку страниц с этого сайта в 1 поток, все ok.



И обратите внимание на XML карту сайта для быстрого сбора ссылок Ссылки недоступны для гостей (возможно в ней содержится актуальный список товаров).




Сергей.

 

Ссылки недоступны для гостей
Открывается

 

Может сайт считать что его собираются спрсить (разные юзерагенты с одного ip). Потому что в браузере открываю - не открывается, нажимаю ctrl+f5 - открывается страница

 

По Apteka ru:

Если вы его многопоточно парсили, могли в бан улететь. Я тестировал и написал, что парсить его нужно в 1 поток.

После ввода каптчи спарсил 1200 страниц - проблем нет.

Подождите, когда разбанит. Либо попробуйте перезапустить интернет-соединение, если IP динамический (чтобы IP сменился).

 

Piluli на Windows 7 у меня не работают ни с одного браузера.

Компьютер с Windows 10 у меня будет сегодня - завтра.

 

На Windows 10 в браузере страницы стали открываться.

Парсится этот сайт, как я понимаю, только через браузер.

Проект с примером приложил.