На этапе подгрузки через WBApp стопорится действие и не собираются ссылки товаров

Тема в разделе "Решение различных задач по парсингу", создана пользователем rusalex, 9 апр 2019.

  1. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Вот такой сайт, это категория товаров

    Ссылки недоступны для гостей

    Товары подгружаются и кажется бесконечно (очень много...)

    Это сбор ссылок на товары через WBApp.

    Принцип такой:

    Вот такая конфигурация : через каждые 20 товаров идет подгрузка новых, но для этого как я понял нужно вернуться обратно на 1 шаг, после уже на 23 товара (4+19), подгрузка и сбор идут, только на определенном этапе примерно после 7-8 подгрузки останавливаться и все.

    Подскажите как это решить. Вот конфигурация WBApp.

    [INT1]+19
    [INT2]=[INT1]-4
    [INT3]+23 - (или также ставил -[INT3]=[INT2]+23 )
    [CLICK][classname][N][INT1][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [SLABEL]
    [CLICK][classname][N][INT2][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [WAIT]:3000
    [CLICK][classname][N][INT3][/N][FULL][RETURN][ET_SCROLL]:name-link productellipse multiline

    Спасибо всем кто поможет!
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    sitemap.xml - не помогает ?
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Без wbapp, к ссылкам категории добавьте параметры
    старт от 0 и до концовки с шагом в 24
    Код:
    https://uk.coach.com/shop/men-ready-to-wear?start=48
     
    rusalex нравится это.
  4. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    в файле роботс ее нет, а по стандарту нет.
     
  5. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Спасибо. Буду пробовать.

    Только концовка сколько?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    rusalex нравится это.
  7. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Спасибо, буду осваивать.
     
    Root нравится это.
  8. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Сделал все как в указанной вами статье, но при колличестве товаров 410 выводится 87-90, при 58 выводится 34 (правда я смотрю в предпросмотре)

    Может я что-то не активировал?

    Вот такая конфигурация

    Ссылки недоступны для гостей

    Спасибо.
     
    Последнее редактирование: 15 апр 2019
  9. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Спасибо еще раз!
    Для собственного образован я, как вы взяли ссылку Ссылки недоступны для гостей

    Я только нашел такой вариант
    Ссылки недоступны для гостей?producTilesRenderedCount=24&slotCount=0&sz=24&start=72&format=page-element&column=3&remainingProductCount=0&viewAll=false&totalProdcoach.com/shop/men-ready-to-weaructCount=72

    Хотелось бы понять? Спасибо
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Отключил яваскрипт в chrome, внизу страницы появилась пагинация в виде ссылок 1 2 3
    В вашей ссылке тоже есть пагинация "start" и остальные лишние параметры ссылки.
     
    rusalex нравится это.
  11. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Супер! Спасибо!!! Возьму на вооружение...

    У меня теперь только одна проблемка!
    При динамическом парсинге Ссылки недоступны для гостей или Ссылки недоступны для гостей
    Выдает не все ссылки... когда 410 товаров, то 87-90, когда 58 то 34... не подскажете почему?
    Спасибо.
     
  12. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Будьте любезны подскажите
    Вот такая конфигурация Ссылки недоступны для гостей
    Все как у вас написано и все как указано выше,... но только борльше 26 или 32 шт не парсится, хот заявлено на странице 68... тоже самое со всеми остальными
    Ссылки недоступны для гостей?start={num:0,24} - здесь 330

    Буду признателен. Спасибо!
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я не знаю, в чем проблема. Разберитесь.

    Функция предпросмотра парсинга с отображением кода есть, логи есть, что вам мешает проанализировать, почему вы эту задачу скидываете на меня, я догадываюсь, но лучше промолчу.
     
  14. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev

    Случайно два раза опубликовал Сорри... не могу удалить
     
    Последнее редактирование: 26 апр 2019
  15. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Я не понимаю,что я такого ужасного мог замыслить своим вопросом! У меня не получается воспользоваться макросом... я не могу решить проблему... искал помощи с подсказкой где смотреть проблему... здесь форум... вот и все
    Логи смотрел изначально и анализировал, ошибок нет. В hml коде вместо 414 товаров 46... что дальше делать я не знаю

    Я спрашивал где можно почитать или подсказки как правильно подойти к решению проблемы... не вижу в этом негативного подтекст...

    Мне приходится собирать ссылки через сканер, но конечно удобно через динамический парсинг и хотелось бы его освоить
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вставил ссылку.

    Ссылки недоступны для гостей

    Сделал парсинг, найдены все товары (91).

    Проблем не вижу.

    2019-04-26_14-31-29.png

    В итоге на простой вопрос потрачено много сообщений.
     

    Вложения:

    rusalex нравится это.
  17. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Я очень благодарен вам за понимание и участие!
     
    Последнее редактирование: 26 апр 2019
  18. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev

    Очень извиняюсь за недочет с моей стороны...

    Я не заметил, что ссылки только при парсинге все парсятся! Все еще раз внимательно перечитал ... рне обращал ранее на эту деталь!!!

    У меня все работало значит и раньше.

    Еще раз извините!

    Спасибо!
     
  19. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Супер все работает! Я месяц куда-то смотрел мимо!))) До этого ссылки в сканере мучился собирал!)))
     
    Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     
    rusalex нравится это.

Поделиться этой страницей