Парсинг ответов поисковой строки

Discussion in 'Общее' started by igpod, Oct 12, 2021.

  1. igpod

    igpod New Member Пользователи

    Joined:
    Feb 21, 2015
    Messages:
    13
    Добрый день, подскажите пожалуйста как собрать список ссылок для парсинга.
    Сайт Ссылки недоступны для гостей
    Поиск пишу ИНН компании 9202001229
    В ответ получаю не результат поиска , а сразу страницу компании с уром чпу Ссылки недоступны для гостей
    Как получить список страниц которые выходят из поисковой строки сайта по запросу ИНН ?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Добрый вечер.

    Вы понимаете то, чем пытаетесь заниматься ?
    Как по ИНН или ОГРН может быть множественная выдача !?
    Это все равно, что одни паспортные данные - относятся к 10 человекам
     
  3. igpod

    igpod New Member Пользователи

    Joined:
    Feb 21, 2015
    Messages:
    13
    Добрый вечер. Вы немного неправильно меня поняли . Мне нужно : 1 ИНН как поисковый запрос - 1 страница ответа и так 500 раз !
    Ссылки недоступны для гостей
     
    Last edited: Oct 13, 2021
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Попробуйте так. Вроде то, что вам нужно.
     

    Attached Files:

  5. igpod

    igpod New Member Пользователи

    Joined:
    Feb 21, 2015
    Messages:
    13
    Спасибо, скорей всего это то что нужно, но у меня стартовая лицензия, парсинг не запускается, а расширение для меня нецелесообразно . Могу попросить вас спарсить страницы по списку За донат) ? Ссылки недоступны для гостей
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  7. igpod

    igpod New Member Пользователи

    Joined:
    Feb 21, 2015
    Messages:
    13
    Спасибо, благодарность отправил!
     
    Root likes this.
  8. igpod

    igpod New Member Пользователи

    Joined:
    Feb 21, 2015
    Messages:
    13
    Есть ещё вопрос не по теме. Пытался тоже самое парсить с Ссылки недоступны для гостей - так там меня забанили после сбора 50 страниц. Защита у таких сайтов наверное примерно схожая - есть рекомендации по по ткам и таймаутам что бвы не попадать на бан?
     
  9. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Поставьте 1 поток и повышайте время паузы между запросами, пока не перестанет банить. Начните с 1000 мс (1 секунда).

    Также можно использовать список прокси, чтобы парсить быстрее.
     
    ital likes this.

Share This Page