На этапе подгрузки через WBApp стопорится действие и не собираются ссылки товаров

Тема в разделе "Решение различных задач по парсингу", создана пользователем rusalex, 9 апр 2019.

  1. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Вот такой сайт, это категория товаров

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Товары подгружаются и кажется бесконечно (очень много...)

    Это сбор ссылок на товары через WBApp.

    Принцип такой:

    Вот такая конфигурация : через каждые 20 товаров идет подгрузка новых, но для этого как я понял нужно вернуться обратно на 1 шаг, после уже на 23 товара (4+19), подгрузка и сбор идут, только на определенном этапе примерно после 7-8 подгрузки останавливаться и все.

    Подскажите как это решить. Вот конфигурация WBApp.

    [INT1]+19
    [INT2]=[INT1]-4
    [INT3]+23 - (или также ставил -[INT3]=[INT2]+23 )
    [CLICK][classname][N][INT1][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [SLABEL]
    [CLICK][classname][N][INT2][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [WAIT]:3000
    [CLICK][classname][N][INT3][/N][FULL][RETURN][ET_SCROLL]:name-link productellipse multiline

    Спасибо всем кто поможет!
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    449
    sitemap.xml - не помогает ?
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.437
    Без wbapp, к ссылкам категории добавьте параметры
    старт от 0 и до концовки с шагом в 24
    Код:
    https://uk.coach.com/shop/men-ready-to-wear?start=48
     
    rusalex нравится это.
  4. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    в файле роботс ее нет, а по стандарту нет.
     
  5. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Спасибо. Буду пробовать.

    Только концовка сколько?
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.356
    Город:
    Сочи
    rusalex нравится это.
  7. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Root нравится это.
  8. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Сделал все как в указанной вами статье, но при колличестве товаров 410 выводится 87-90, при 58 выводится 34 (правда я смотрю в предпросмотре)

    Может я что-то не активировал?

    Вот такая конфигурация

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Спасибо.
     
    Последнее редактирование: 15 апр 2019 в 14:08
  9. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Спасибо еще раз!
    Для собственного образован я, как вы взяли ссылку Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Я только нашел такой вариант
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ?producTilesRenderedCount=24&slotCount=0&sz=24&start=72&format=page-element&column=3&remainingProductCount=0&viewAll=false&totalProdcoach.com/shop/men-ready-to-weaructCount=72

    Хотелось бы понять? Спасибо
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.437
    Отключил яваскрипт в chrome, внизу страницы появилась пагинация в виде ссылок 1 2 3
    В вашей ссылке тоже есть пагинация "start" и остальные лишние параметры ссылки.
     
    rusalex нравится это.
  11. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    76
    Город:
    Kiev
    Супер! Спасибо!!! Возьму на вооружение...

    У меня теперь только одна проблемка!
    При динамическом парсинге Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! или Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Выдает не все ссылки... когда 410 товаров, то 87-90, когда 58 то 34... не подскажете почему?
    Спасибо.
     

Поделиться этой страницей