Не могу найти сайтмап, или как собрать ссылки?

Тема в разделе "Общее", создана пользователем MaiklWizard, 24 апр 2021.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Добрый ночи. Проект приложил. Ссылки недоступны для гостей. Не получается найти сайт мап, а если через сканер ссылок, то он либо вообще их не видит, либо если уже все собирать - то собирает все... но часть (%%30) ссылок отсуствует. Прошу посильной помощи у форумчан. Спасибо
     

    Вложения:

    • vencon_ua.cdp
      Размер файла:
      40,4 КБ
      Просмотров:
      1
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Здравствуйте.

    Наболее простое решение - это собрать ссылки на категории:
    * Ссылки недоступны для гостей

    А затем повторяющейся границей (в блоке "shop-item-container") собрать ссылки на продукты:
    * Ссылки недоступны для гостей
     
    Root нравится это.
  3. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Видимо у них стоит блок, на ip, с которого была нагрузка при парсинге ссылок, уже вообще ничего не собирает.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для обхода бана используйте список прокси.
     
  5. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Где, можно про хто почитать, как это сделать?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    MaiklWizard нравится это.
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Вроде все понятно, даже вроде проработало какоето время, но случился стопинг и дальше никак(( Ссылки недоступны для гостей
     

Поделиться этой страницей