Собрать ссылки с кнопкой show more results

Тема в разделе "Решение проблем с использованием программы", создана пользователем Maxxx, 5 янв 2021.

  1. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    100
    Здравствуйте. Никак не могу настроить, чтобы прошелся по всем страницам и собрал ссылки. Сайт большой, весь сканируется, решил собрать повторяющимися границами постранично через пустой поиск по сайту. Вначале собирал просто по get запросу и параметру "?page=2" (я там прошел около 400 тыс. страниц) потом перестал. Пытаюсь теперь post запросами (getmorecontent, phpscript пробовал), post данных - 1 параметр, заголовки и куис вставлял - все равно собирает только у первой страницы (где код у первой позиции /129578/).
    Не пойму, что еще нужно ему)
     

    Вложения:

    Последнее редактирование: 7 янв 2021
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.369
    Город:
    Барнаул
    Здравствуйте.

    POST запрос на этом сайте не поможет.

    Даже в браузере этот сайт отдает совсем немного результатов.
     
  3. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    100
    А какое может быть решение, чтобы собрать ссылки на позиции на этом сайте? Там их около 1.2 млн вроде как. Запускал сканирование на 2 дня дважды, находит около 150 тыс всего.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.369
    Город:
    Барнаул
    Не знаю, искать, откуда можно ссылки на этом сайте собрать и собирать.
     
  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    642
    Откуда инфо о 1,2 млн ссылок ?
     
  6. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    100
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 500 постов.**
     
  7. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    642
    Скорей всего одно и тоже лекарство в нескольких категориях - вот и получается 1,5 мл
    а по факту 150к
     
  8. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    100
    Все же нет, у каждого "лекарства" в ссылке свой артикул (идет после группы), и они не повторяются. Я собрал с этого сайта около 400 тыс ссылок ( с уникальным артикулом) через "?page=...", после чего он стал отдавать одну и ту же страницу по этому get-запросу и добавили ответ после загрузки трех страниц по кнопке: "There are too many results in your search. Please use the filter to narrow down the search results.."
     

Поделиться этой страницей