Парсинг ссылок

Здравствуйте! Не могу зацепиться и спарсить нужные мне ссылки рубрик товаров.
По вашим видео не получается настроить сканером сайта Ссылки недоступны для гостей
Вот рубрики которые нужно спарсить
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Как показано видео, строка подстрока /catalog/ или /product/ такого не встречается у меня и не знаю какие подхватить?
Что я делаю не так? Спасибо.

 

Попробовал с помощью генерации ссылок с динамическим {num} с {key} Так все ссылки не собирает!
А если по одиночке собирать то все в порядке, собирает все ссылки. Где допустил ошибку?

 

Если бы вы еще внимательно посмотрели, как меняются ссылки на этом сайте:

Код:

https://dver.com/mezhkomnatnye-dveri/dveri-shponirovannye/?from=0&to=50&page=1
https://dver.com/mezhkomnatnye-dveri/dveri-shponirovannye/?from=50&to=50&page=2

 

Здравствуйте, Сергей! А что с этими ссылками? Я через фильтр отсеил которые содержали ? поэтому и не заметил.

 

Здравствуйте.

Помимо page в них меняются параметры from и to.

Данный ресурс легко парсится и из карты сайта и сканером сайтов.

 

Ничего не понял если честно Сергей! Какой материал внимательно изучить? А как вложенные категории спарсить?

 

Выше приложен проект.

Написано, что ссылки можно собрать из XML карты сайта (в проекте настроено).

Написано, что в проекте настроен сканер сайтов.

В системе помощи подробно расписано про инструменты сбора ссылок.

Ссылки недоступны для гостей

И после этого снова вопросы и просьба скинуть ссылку на хелп. Разве это хорошо.

 

Здравствуйте! Скажите пожалуйста, можно парсить инстаграмм ленту и автоматически оставлять комментарии на все посты?

 

По логике - да, через WBAPP можно это делать.
Но с постоянно меняющимеся алгоритмами инстаграмма, его работой, постоянными блокировками, теневыми "банами", лучше просто парсить, без оставления комментария. Либо, CD использовать для парсинга, а какой-либо другой софт - для комментариев, при использовании разных аккаунтов, IP-адресов, User-агентов и т.д.
В общем, под этой темой можно много говорить, но если по итогу - да, можно.

 

Благодарю за ответ!