Не все ссылки собираются с ebay

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем soltecsdev, 13 май 2022.

  1. soltecsdev

    soltecsdev New Member Пользователи

    Регистрация:
    11 май 2022
    Сообщения:
    2
    Здравствуйте, перед тем как создавать тему прошелся поиском по форуму, почитал аналогичные темы, но ответа не нашел.
    Заранее прошу прощения, за то, что могу спрашивать банальные вещи, которые описаны в документации, программой пользуюсь всего два дня, а сроки сдачи работы поджимают.

    Собираю ссылки сканером сайта через библиотеку Clever Internet Sute.
    Собираю ссылки из этой категории (Ссылки недоступны для гостей)
    задав в ручную список стартовых URL.

    Точно знаю, что ссылок более 2500, однако каждый раз собирается разное в количество ~ 1900-2100 штук.

    Пробовал сочетания разных комбинаций количество потоков/пауз между запросами, но ситуацию это не исправило.

    Посоветуйте, как решить эту проблему?
     

    Вложения:

    • ebay_com.cdp
      Размер файла:
      48,1 КБ
      Просмотров:
      3
  2. soltecsdev

    soltecsdev New Member Пользователи

    Регистрация:
    11 май 2022
    Сообщения:
    2
    Возможно кому-то пригодится.
    Из анализа выдачи стало понятно, что Ebay генерирует выдачу страниц с товаром случайным образом, по этому на нескольких страницах может появляться один и тот же товар.
    Частично смог решить почив приемлемые результаты просто добавив те же самые ссылки для прохода по ним сканером несколько раз.
     

Поделиться этой страницей