Не могу найти сайтмап, или как собрать ссылки?

Тема в разделе "Общее", создана пользователем MaiklWizard, 24 апр 2021.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Добрый ночи. Проект приложил. Ссылки недоступны для гостей. Не получается найти сайт мап, а если через сканер ссылок, то он либо вообще их не видит, либо если уже все собирать - то собирает все... но часть (%%30) ссылок отсуствует. Прошу посильной помощи у форумчан. Спасибо
     

    Вложения:

    • vencon_ua.cdp
      Размер файла:
      40,4 КБ
      Просмотров:
      1
    MaiklWizard, 24 апр 2021
    #1
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    407
    Здравствуйте.

    Наболее простое решение - это собрать ссылки на категории:
    * Ссылки недоступны для гостей

    А затем повторяющейся границей (в блоке "shop-item-container") собрать ссылки на продукты:
    * Ссылки недоступны для гостей
     
    xLime, 25 апр 2021
    #2
    Root нравится это.
  3. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Видимо у них стоит блок, на ip, с которого была нагрузка при парсинге ссылок, уже вообще ничего не собирает.
     
    MaiklWizard, 25 апр 2021
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для обхода бана используйте список прокси.
     
    Root, 25 апр 2021
    #4
  5. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Где, можно про хто почитать, как это сделать?
     
    MaiklWizard, 25 апр 2021
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, 25 апр 2021
    #6
    MaiklWizard нравится это.
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Вроде все понятно, даже вроде проработало какоето время, но случился стопинг и дальше никак(( Ссылки недоступны для гостей
     
    MaiklWizard, 26 апр 2021
    #7
Similar Threads
  1. jeDauphin

    Не могу собрать ссылки на сайте

    jeDauphin, 18 авг 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    1
    Просмотров:
    1.218
    kagorec
    18 авг 2015
  2. Sima

    Не могу собрать ссылки с сайта.

    Sima, 2 сен 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    9
    Просмотров:
    1.476
    Root
    2 сен 2015
  3. Trenikola

    Не могу собрать все ссылки на товар сканером - могу только часть.

    Trenikola, 9 авг 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    2
    Просмотров:
    1.005
    Root
    18 авг 2017
  4. sanyok

    Не могу собрать относительные ссылки

    sanyok, 14 фев 2018, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    6
    Просмотров:
    746
    Root
    16 фев 2018
  5. Mind

    Не могу собрать ссылки, код необычный

    Mind, 16 ноя 2018, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    7
    Просмотров:
    933
    Root
    9 май 2019
Загрузка...

Поделиться этой страницей