На этапе подгрузки через WBApp стопорится действие и не собираются ссылки товаров

Тема в разделе "Решение различных задач по парсингу", создана пользователем rusalex, 9 апр 2019.

  1. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Вот такой сайт, это категория товаров

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Товары подгружаются и кажется бесконечно (очень много...)

    Это сбор ссылок на товары через WBApp.

    Принцип такой:

    Вот такая конфигурация : через каждые 20 товаров идет подгрузка новых, но для этого как я понял нужно вернуться обратно на 1 шаг, после уже на 23 товара (4+19), подгрузка и сбор идут, только на определенном этапе примерно после 7-8 подгрузки останавливаться и все.

    Подскажите как это решить. Вот конфигурация WBApp.

    [INT1]+19
    [INT2]=[INT1]-4
    [INT3]+23 - (или также ставил -[INT3]=[INT2]+23 )
    [CLICK][classname][N][INT1][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [SLABEL]
    [CLICK][classname][N][INT2][/N][FULL][ET_SCROLL]:name-link productellipse multiline
    [WAIT]:3000
    [CLICK][classname][N][INT3][/N][FULL][RETURN][ET_SCROLL]:name-link productellipse multiline

    Спасибо всем кто поможет!
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    471
    sitemap.xml - не помогает ?
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.536
    Без wbapp, к ссылкам категории добавьте параметры
    старт от 0 и до концовки с шагом в 24
    Код:
    https://uk.coach.com/shop/men-ready-to-wear?start=48
     
    rusalex нравится это.
  4. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    в файле роботс ее нет, а по стандарту нет.
     
  5. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Спасибо. Буду пробовать.

    Только концовка сколько?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    rusalex нравится это.
  7. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Root нравится это.
  8. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Сделал все как в указанной вами статье, но при колличестве товаров 410 выводится 87-90, при 58 выводится 34 (правда я смотрю в предпросмотре)

    Может я что-то не активировал?

    Вот такая конфигурация

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Спасибо.
     
    Последнее редактирование: 15 апр 2019
  9. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Спасибо еще раз!
    Для собственного образован я, как вы взяли ссылку Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Я только нашел такой вариант
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ?producTilesRenderedCount=24&slotCount=0&sz=24&start=72&format=page-element&column=3&remainingProductCount=0&viewAll=false&totalProdcoach.com/shop/men-ready-to-weaructCount=72

    Хотелось бы понять? Спасибо
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.536
    Отключил яваскрипт в chrome, внизу страницы появилась пагинация в виде ссылок 1 2 3
    В вашей ссылке тоже есть пагинация "start" и остальные лишние параметры ссылки.
     
    rusalex нравится это.
  11. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Супер! Спасибо!!! Возьму на вооружение...

    У меня теперь только одна проблемка!
    При динамическом парсинге Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! или Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Выдает не все ссылки... когда 410 товаров, то 87-90, когда 58 то 34... не подскажете почему?
    Спасибо.
     
  12. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Будьте любезны подскажите
    Вот такая конфигурация Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Все как у вас написано и все как указано выше,... но только борльше 26 или 32 шт не парсится, хот заявлено на странице 68... тоже самое со всеми остальными
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ?start={num:0,24} - здесь 330

    Буду признателен. Спасибо!
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Я не знаю, в чем проблема. Разберитесь.

    Функция предпросмотра парсинга с отображением кода есть, логи есть, что вам мешает проанализировать, почему вы эту задачу скидываете на меня, я догадываюсь, но лучше промолчу.
     
  14. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev

    Случайно два раза опубликовал Сорри... не могу удалить
     
    Последнее редактирование: 26 апр 2019
  15. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Я не понимаю,что я такого ужасного мог замыслить своим вопросом! У меня не получается воспользоваться макросом... я не могу решить проблему... искал помощи с подсказкой где смотреть проблему... здесь форум... вот и все
    Логи смотрел изначально и анализировал, ошибок нет. В hml коде вместо 414 товаров 46... что дальше делать я не знаю

    Я спрашивал где можно почитать или подсказки как правильно подойти к решению проблемы... не вижу в этом негативного подтекст...

    Мне приходится собирать ссылки через сканер, но конечно удобно через динамический парсинг и хотелось бы его освоить
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Вставил ссылку.

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Сделал парсинг, найдены все товары (91).

    Проблем не вижу.

    2019-04-26_14-31-29.png

    В итоге на простой вопрос потрачено много сообщений.
     

    Вложения:

    rusalex нравится это.
  17. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Я очень благодарен вам за понимание и участие!
     
    Последнее редактирование: 26 апр 2019
  18. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev

    Очень извиняюсь за недочет с моей стороны...

    Я не заметил, что ссылки только при парсинге все парсятся! Все еще раз внимательно перечитал ... рне обращал ранее на эту деталь!!!

    У меня все работало значит и раньше.

    Еще раз извините!

    Спасибо!
     
  19. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    84
    Город:
    Kiev
    Супер все работает! Я месяц куда-то смотрел мимо!))) До этого ссылки в сканере мучился собирал!)))
     
    Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
     
    rusalex нравится это.

Поделиться этой страницей