Парсинг ответов поисковой строки

Тема в разделе "Общее", создана пользователем igpod, 12 окт 2021.

  1. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Добрый день, подскажите пожалуйста как собрать список ссылок для парсинга.
    Сайт Ссылки недоступны для гостей
    Поиск пишу ИНН компании 9202001229
    В ответ получаю не результат поиска , а сразу страницу компании с уром чпу Ссылки недоступны для гостей
    Как получить список страниц которые выходят из поисковой строки сайта по запросу ИНН ?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Добрый вечер.

    Вы понимаете то, чем пытаетесь заниматься ?
    Как по ИНН или ОГРН может быть множественная выдача !?
    Это все равно, что одни паспортные данные - относятся к 10 человекам
     
  3. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Добрый вечер. Вы немного неправильно меня поняли . Мне нужно : 1 ИНН как поисковый запрос - 1 страница ответа и так 500 раз !
    Ссылки недоступны для гостей
     
    Последнее редактирование: 13 окт 2021
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Попробуйте так. Вроде то, что вам нужно.
     

    Вложения:

    • querycom_ru.cdp
      Размер файла:
      43,1 КБ
      Просмотров:
      5
  5. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Спасибо, скорей всего это то что нужно, но у меня стартовая лицензия, парсинг не запускается, а расширение для меня нецелесообразно . Могу попросить вас спарсить страницы по списку За донат) ? Ссылки недоступны для гостей
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  7. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Спасибо, благодарность отправил!
     
    Root нравится это.
  8. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Есть ещё вопрос не по теме. Пытался тоже самое парсить с Ссылки недоступны для гостей - так там меня забанили после сбора 50 страниц. Защита у таких сайтов наверное примерно схожая - есть рекомендации по по ткам и таймаутам что бвы не попадать на бан?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Поставьте 1 поток и повышайте время паузы между запросами, пока не перестанет банить. Начните с 1000 мс (1 секунда).

    Также можно использовать список прокси, чтобы парсить быстрее.
     
    ital нравится это.

Поделиться этой страницей