Не парсятся все товары

Discussion in 'Решение различных задач по парсингу' started by AlexFlint, Aug 3, 2021.

  1. AlexFlint

    AlexFlint New Member Пользователи

    Joined:
    Jun 12, 2019
    Messages:
    13
    Город:
    Москва
    Добрый день!

    Есть проект, но парсятся только около 300 товаров. Ссылок в проекте почти 170000. Это защита? Пробовал уменьшить количество потоков - не помогает. Нужно прокси?
     

    Attached Files:

    AlexFlint, Aug 3, 2021
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Это "защита" сайта от частых запросов к нему.

    Да, список прокси должен решить вопрос.
     
    Root, Aug 4, 2021
    #2
  3. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    При таких настройках должно парсится и без прокси примерно за 1 сутки

    2021-08-04_06-41-52.png

    2021-08-04_06-42-35.png
     
    Root, Aug 4, 2021
    #3
    JAGUAR likes this.
  4. AlexFlint

    AlexFlint New Member Пользователи

    Joined:
    Jun 12, 2019
    Messages:
    13
    Город:
    Москва
    Спасибо!!!! А могли бы ответить еще в этой теме? Ссылки недоступны для гостей
     
    AlexFlint, Aug 4, 2021
    #4
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пожалуйста.

    Ссылка у меня не открывается.
     
    Root, Aug 4, 2021
    #5
  6. AlexFlint

    AlexFlint New Member Пользователи

    Joined:
    Jun 12, 2019
    Messages:
    13
    Город:
    Москва
    AlexFlint, Aug 4, 2021
    #6
Similar Threads
  1. Diabet

    Не грузит товары (товары подгружаются скриптом)

    Diabet, Oct 17, 2017, in forum: Решение различных задач по парсингу
    Replies:
    3
    Views:
    773
    Root
    Oct 20, 2017
  2. Grafin

    Как удалить ссылки на одинаковые товары из разных рубрик

    Grafin, Feb 1, 2019, in forum: Решение различных задач по парсингу
    Replies:
    5
    Views:
    796
    Grafin
    Feb 2, 2019
  3. strateg2010

    При сборе ссылок на товары сканер сайтов и wbapp не видит сами товары

    strateg2010, Mar 14, 2019, in forum: Решение проблем с загрузкой WEB-страниц
    Replies:
    7
    Views:
    820
    strateg2010
    Mar 16, 2019
  4. 4upik

    Не парсятся ссылки на товары с сайта eme54 ru

    4upik, Mar 31, 2021, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    3
    Views:
    1,368
    4upik
    Apr 1, 2021
  5. Jack_Sparrow

    Парсятся не все товары

    Jack_Sparrow, Apr 5, 2021, in forum: Решение проблем с использованием программы
    Replies:
    3
    Views:
    546
    Root
    Apr 5, 2021
Loading...

Share This Page