При парсинге часть ссылок (товаров) не грузится

Тема в разделе "Решение проблем с использованием программы", создана пользователем madison21, 17 июл 2017.

  1. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    Привет всем, форумчане.
    Сегодня приобрёл программу.
    До этого настроил нужный мне магазин.
    До покупки по одному товару я парсил без проблем.

    А вот после покупки массовый парсинг не хочет корректно работать.
    То есть есть 40 ссылок товаров.
    Первый раз спарсил только 16, второй раз теже ссылки спарсил только 30.
    Такое впечатление что не успевает обрабатывать.

    Разработчик подскал что править надо в настройках http но не могу разобраться что именно.

    Подскажите кто знает - где искать решение вопроса?
    Благодарю.
     
  2. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Добрый день!

    Попробуйте уменьшить количество потоков и выставить паузу между запросам. Проверьте лог на наличие ошибок(ctrl+i).
     
    Root нравится это.
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте
    Предоставьте урл или проект
     
  4. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    Вы знаете, пока ждал ответа, экспериментировал с настройками загрузки.
    И когда установил 1 поток вместо 5, а паузу между запросами 1 секунду вместо 0, то все товары по ссылкам стали парсится ровно столько сколько и ссылок.
    Это значит, что программа не успевает обрабатывать именно с этого конкретного сайта, откуда я парсю?
    или тут в другом причина?
     
  5. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Вероятно, не программа не успевает обрабатывать. Скорее, сайт не успевает отдавать.
     
    Root нравится это.
  6. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Если парсите по 40 ссылок, то это не страшно. Можно и в 1 поток парсить с паузами. Было бы хуже, если бы там несколько тысяч страниц было.
     
  7. madison21

    madison21 Member Пользователи

    Регистрация:
    17 июл 2017
    Сообщения:
    63
    это точно))
    спасибо за советы, парни.
    буду осваивать программу дальше..
     
    Root нравится это.

Поделиться этой страницей