Не могу собрать все ссылки на товар сканером - могу только часть.

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Trenikola, 9 авг 2017.

  1. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    26
    Доброго дня!

    Есть большой портал Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! имеет несколько миллионов страниц товара. Пытаюсь наладить его парсинг , пока безуспешно

    Вариант 1.(более предпочтительный)
    Попытавшись собрать все ссылки на товар вида /product-detail/en/ пример Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    получилось собрать только 194 тыс. и как бы не менял настройки все время 194 тыс . дальше не продвигается (неделю сканил) . Бана от сайта точно не получаю ибо вижу как ссылки перебираются.
    Пытался сканить по разделам отдельно и тоже не все получается, только часть товара. На каждом разделе видно количество товара, при сканировании, а выходит ссылок на товар (карточек) меньше

    Вариант 2.
    Также можно парсить инфу об остатках и ценах прям из списка товаров вида Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    пример Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Однако и тут не получается собрать все страницы, а также не умею собирать инфу не с карточек товара, а из самого списка

    Готов ли кто то помочь сделать правильную настройку?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.807
    Город:
    Riga
    Наберитесь терпения, выберите по частям разделы примерно так чтоб за раз собирало около 500.000 ссылок товаров от каждой части разделов.
    1. Сканер
    2. Список очереди содержит только Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! отсюда ссылки на некоторые разделы
    3. Для списка очереди указать фильтр по /page/
    4. Фильтр ссылок Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    п.с. Content Downloader хорошо работает со списком ссылок до 2.000.000
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.427

Поделиться этой страницей