Сбор ссылок по страницам раздела?

Тема в разделе "WBAppIE", создана пользователем weresa, 12 окт 2020.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    217
    Добрый день.
    Помогите разобраться, пожалуйста.
    Есть сайт, где нет пагинации по url (т.е. ссылка не меняется при переходе по страничкам), вот такой -
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Я настроила прокликивать страницы в WBApp с добавлением найденного кода. Но количество выдаваемых ссылок по всем разделам почему-то не превышает определенного числа, программа обходит максимально 102 страницы с раздела и переходит к следующему разделу. А между тем многие разделы содержат более тысячи страниц. Я пришла к выводу, что в CD установлено ограничение на объем памяти для кода.
    Вопрос - можно ли обойти это ограничение? Или есть другой способ собрать ссылки с такой кучи страниц? Может быть, все-таки номер страницы как-то попадает в url, но просто не отображается...
     
  2. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    164
    Можете попробовать так собрать.
    1. Пагинация есть здесь Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    где index=3 - это третья страница.
    2. Если ввести в брауз ссылку выше, то увидим данные этой страницы, где есть ProductId
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    3. Страница товара Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Если подставить ProductId из п.2 в п.3(после "?id=") получим карточку товара.

    Понимаю, что метод через одно место, но как вариант
     
    weresa нравится это.
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    217
    Mind, затык уже на первом шаге - в браузере ссылка на любую страницу ведет только на первую :(
     
  4. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    164
    сгенерируйте ссылки, а потом просто их пропарсите
     
  5. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    164
    kagorec нравится это.
  6. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    217
    да, совсем другая страница. Потестирую
     
  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    217
    вроде бы работает! /тьфу-тьфу-тьфу/
    как же изворачиваться приходится, чтобы откопать то, что тщательно зарыли.
    БЛАГОДАРЮ ОЧЕНЬ!!! :)
     

Поделиться этой страницей