Ограничение при парсинге ссылок (как установить регион с помощью cookie)

Тема в разделе "Решение различных задач по парсингу", создана пользователем sotex2, 22 фев 2021 в 02:42.

  1. sotex2

    sotex2 New Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    52
    Город:
    нижний новгород
    Доброго времени суток.
    ссылок в обработке 991 (скрин 1), но только парсятся ссылки с первых 46 страниц и показывает 541 ссылку и дальше не хочет собирать. Парсинг с сайта qlaster.ru. пробовал дополнительно сбор ссылок, через авторизацию webbrowser и тоже собирает только до 541 ссылок.(скрин 2). Кто нибудь подскажет, что не хватает.


    [​IMG]

    [​IMG]
     

    Вложения:

    • qlaster_ru.cdp
      Размер файла:
      123,2 КБ
      Просмотров:
      1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.535
    Город:
    Барнаул
    Здравствуйте.

    Вот тут Ссылки недоступны для гостей смотрите "Авторизация методом передачи cookie из модуля Chromium (самый простой способ)".

    2021-02-22_05-23-48.png
     
  3. sotex2

    sotex2 New Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    52
    Город:
    нижний новгород
    спасибо.
     
  4. sotex2

    sotex2 New Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    52
    Город:
    нижний новгород
    если нужен кому скрипт для перезаписи данных в базе данных версия > php 7.0. проверялся скрипт на php 7.0, 7.1, 7.2
     

    Вложения:

Поделиться этой страницей