Собрать ссылки с кнопкой show more results

Здравствуйте. Никак не могу настроить, чтобы прошелся по всем страницам и собрал ссылки. Сайт большой, весь сканируется, решил собрать повторяющимися границами постранично через пустой поиск по сайту. Вначале собирал просто по get запросу и параметру "?page=2" (я там прошел около 400 тыс. страниц) потом перестал. Пытаюсь теперь post запросами (getmorecontent, phpscript пробовал), post данных - 1 параметр, заголовки и куис вставлял - все равно собирает только у первой страницы (где код у первой позиции /129578/).
Не пойму, что еще нужно ему)

 

Здравствуйте.

POST запрос на этом сайте не поможет.

Даже в браузере этот сайт отдает совсем немного результатов.

 

А какое может быть решение, чтобы собрать ссылки на позиции на этом сайте? Там их около 1.2 млн вроде как. Запускал сканирование на 2 дня дважды, находит около 150 тыс всего.

 

Не знаю, искать, откуда можно ссылки на этом сайте собрать и собирать.

 

Откуда инфо о 1,2 млн ссылок ?

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 500 постов.**

 

Скорей всего одно и тоже лекарство в нескольких категориях - вот и получается 1,5 мл
а по факту 150к

 

Все же нет, у каждого "лекарства" в ссылке свой артикул (идет после группы), и они не повторяются. Я собрал с этого сайта около 400 тыс ссылок ( с уникальным артикулом) через "?page=...", после чего он стал отдавать одну и ту же страницу по этому get-запросу и добавили ответ после загрузки трех страниц по кнопке: "There are too many results in your search. Please use the filter to narrow down the search results.."