Не парсятся все товары

Тема в разделе "Решение различных задач по парсингу", создана пользователем AlexFlint, 3 авг 2021.

  1. AlexFlint

    AlexFlint New Member Пользователи

    Регистрация:
    12 июн 2019
    Сообщения:
    13
    Город:
    Москва
    Добрый день!

    Есть проект, но парсятся только около 300 товаров. Ссылок в проекте почти 170000. Это защита? Пробовал уменьшить количество потоков - не помогает. Нужно прокси?
     

    Вложения:

    AlexFlint, 3 авг 2021
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Это "защита" сайта от частых запросов к нему.

    Да, список прокси должен решить вопрос.
     
    Root, 4 авг 2021
    #2
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    При таких настройках должно парсится и без прокси примерно за 1 сутки

    2021-08-04_06-41-52.png

    2021-08-04_06-42-35.png
     
    Root, 4 авг 2021
    #3
    JAGUAR нравится это.
  4. AlexFlint

    AlexFlint New Member Пользователи

    Регистрация:
    12 июн 2019
    Сообщения:
    13
    Город:
    Москва
    AlexFlint, 4 авг 2021
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Ссылка у меня не открывается.
     
    Root, 4 авг 2021
    #5
  6. AlexFlint

    AlexFlint New Member Пользователи

    Регистрация:
    12 июн 2019
    Сообщения:
    13
    Город:
    Москва
    AlexFlint, 4 авг 2021
    #6
Similar Threads
  1. Diabet

    Не грузит товары (товары подгружаются скриптом)

    Diabet, 17 окт 2017, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    773
    Root
    20 окт 2017
  2. Grafin

    Как удалить ссылки на одинаковые товары из разных рубрик

    Grafin, 1 фев 2019, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    795
    Grafin
    2 фев 2019
  3. strateg2010

    При сборе ссылок на товары сканер сайтов и wbapp не видит сами товары

    strateg2010, 14 мар 2019, в разделе: Решение проблем с загрузкой WEB-страниц
    Ответов:
    7
    Просмотров:
    820
    strateg2010
    16 мар 2019
  4. 4upik

    Не парсятся ссылки на товары с сайта eme54 ru

    4upik, 31 мар 2021, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    3
    Просмотров:
    1.368
    4upik
    1 апр 2021
  5. Jack_Sparrow

    Парсятся не все товары

    Jack_Sparrow, 5 апр 2021, в разделе: Решение проблем с использованием программы
    Ответов:
    3
    Просмотров:
    546
    Root
    5 апр 2021
Загрузка...

Поделиться этой страницей