Не могу найти сайтмап, или как собрать ссылки?

Discussion in 'Общее' started by MaiklWizard, Apr 24, 2021.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Joined:
    Oct 26, 2015
    Messages:
    146
    Location:
    Odessa
    Добрый ночи. Проект приложил. Ссылки недоступны для гостей. Не получается найти сайт мап, а если через сканер ссылок, то он либо вообще их не видит, либо если уже все собирать - то собирает все... но часть (%%30) ссылок отсуствует. Прошу посильной помощи у форумчан. Спасибо
     

    Attached Files:

    MaiklWizard, Apr 24, 2021
    #1
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Joined:
    Sep 4, 2017
    Messages:
    407
    Здравствуйте.

    Наболее простое решение - это собрать ссылки на категории:
    * Ссылки недоступны для гостей

    А затем повторяющейся границей (в блоке "shop-item-container") собрать ссылки на продукты:
    * Ссылки недоступны для гостей
     
    xLime, Apr 25, 2021
    #2
    Root likes this.
  3. MaiklWizard

    MaiklWizard Member Пользователи

    Joined:
    Oct 26, 2015
    Messages:
    146
    Location:
    Odessa
    Видимо у них стоит блок, на ip, с которого была нагрузка при парсинге ссылок, уже вообще ничего не собирает.
     
    MaiklWizard, Apr 25, 2021
    #3
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Для обхода бана используйте список прокси.
     
    Root, Apr 25, 2021
    #4
  5. MaiklWizard

    MaiklWizard Member Пользователи

    Joined:
    Oct 26, 2015
    Messages:
    146
    Location:
    Odessa
    Где, можно про хто почитать, как это сделать?
     
    MaiklWizard, Apr 25, 2021
    #5
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, Apr 25, 2021
    #6
    MaiklWizard likes this.
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Joined:
    Oct 26, 2015
    Messages:
    146
    Location:
    Odessa
    Вроде все понятно, даже вроде проработало какоето время, но случился стопинг и дальше никак(( Ссылки недоступны для гостей
     
    MaiklWizard, Apr 26, 2021
    #7
Similar Threads
  1. jeDauphin

    Не могу собрать ссылки на сайте

    jeDauphin, Aug 18, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    1
    Views:
    1,218
    kagorec
    Aug 18, 2015
  2. Sima

    Не могу собрать ссылки с сайта.

    Sima, Sep 2, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    9
    Views:
    1,476
    Root
    Sep 2, 2015
  3. Trenikola

    Не могу собрать все ссылки на товар сканером - могу только часть.

    Trenikola, Aug 9, 2017, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    2
    Views:
    1,005
    Root
    Aug 18, 2017
  4. sanyok

    Не могу собрать относительные ссылки

    sanyok, Feb 14, 2018, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    6
    Views:
    746
    Root
    Feb 16, 2018
  5. Mind

    Не могу собрать ссылки, код необычный

    Mind, Nov 16, 2018, in forum: Сбор ссылок сканером сайтов
    Replies:
    7
    Views:
    934
    Root
    May 9, 2019
Loading...

Share This Page