Сбор ссылок по страницам раздела?

Тема в разделе "WBAppIE", создана пользователем weresa, 12 окт 2020.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день.
    Помогите разобраться, пожалуйста.
    Есть сайт, где нет пагинации по url (т.е. ссылка не меняется при переходе по страничкам), вот такой -
    Ссылки недоступны для гостей
    Я настроила прокликивать страницы в WBApp с добавлением найденного кода. Но количество выдаваемых ссылок по всем разделам почему-то не превышает определенного числа, программа обходит максимально 102 страницы с раздела и переходит к следующему разделу. А между тем многие разделы содержат более тысячи страниц. Я пришла к выводу, что в CD установлено ограничение на объем памяти для кода.
    Вопрос - можно ли обойти это ограничение? Или есть другой способ собрать ссылки с такой кучи страниц? Может быть, все-таки номер страницы как-то попадает в url, но просто не отображается...
     
  2. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Можете попробовать так собрать.
    1. Пагинация есть здесь Ссылки недоступны для гостей
    где index=3 - это третья страница.
    2. Если ввести в брауз ссылку выше, то увидим данные этой страницы, где есть ProductId
    Ссылки недоступны для гостей
    3. Страница товара Ссылки недоступны для гостей
    Если подставить ProductId из п.2 в п.3(после "?id=") получим карточку товара.

    Понимаю, что метод через одно место, но как вариант
     
    weresa нравится это.
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Mind, затык уже на первом шаге - в браузере ссылка на любую страницу ведет только на первую :(
     
  4. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    сгенерируйте ссылки, а потом просто их пропарсите
     
  5. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    может что я в ссылке ошибся, вот проверьте
    Ссылки недоступны для гостей
     
    kagorec нравится это.
  6. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    да, совсем другая страница. Потестирую
     
  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    вроде бы работает! /тьфу-тьфу-тьфу/
    как же изворачиваться приходится, чтобы откопать то, что тщательно зарыли.
    БЛАГОДАРЮ ОЧЕНЬ!!! :)
     

Поделиться этой страницей