Парсинг ссылок

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем timur777, 1 мар 2020.

  1. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Всем привет! Может кто предоставить комплексное руководство по сбору ссылок на товары?
    Есть рубрика и есть подрубрика Ссылки недоступны для гостей как спарсить главную рубрику со страницами пагинации а также во вложенной рубрике пагинацию на товары и так далее по вложенности рубрик? Просто надоело парсить сначала главную страницу с пагинацией и собирать там все ссылки на товары потом создавать новый проект и собирать уже вложенную рубрику с пагинацией уже отдельно и так далее! Есть универсальное видео руководство или как связать весь процесс в одном проекте?!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей

    Ссылки недоступны для гостей
     
  3. pomansur

    pomansur Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    19
    Ссылки недоступны для гостей
    Где то встречал тему или систему помощи, как парсить карту сайта.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Настройка сканера.

    Ссылки недоступны для гостей
     

    Вложения:

    • Kromus3.cdp
      Размер файла:
      45,5 КБ
      Просмотров:
      3
    timur777 и pomansur нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  6. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Я правильно вас понял? Сначала нужно пройтись сканером на все ссылки рубрик и подрубрик далее исключить ссылки на товары и только потом от собранных ссылок от рубрик настроить с помощью динамическим num и далее спарсить товары? Или может чет не понял?)
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В проекте, который я приложил в предыдущем своем сообщении, сканер собирает все ссылки на товары?
     
    Последнее редактирование: 1 мар 2020
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также непонятно, зачем вам собирать ссылки и с рубрики и с подрубрики. Когда на этом сайте все товары подрубрики присутствуют в главной рубрике.
     
  9. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Здравствуйте. При импорте также реализовать в своем магазине по рубрикам и подрубрикам. У меня нюанс как парсить все категории товаров разом, например главная рубрика ДВЕРНЫЕ РУЧКИ и спарсить все страницы пагинации далее спарсить подрубрику ДВЕРНЫЕ РУЧКИ НА РОЗЕТКЕ и тоже спарсить пагинацию и так далее. И так до конца всех рубрик Ссылки недоступны для гостей
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  11. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Вообще запутался. Как тогда динамически выводить в результат шаблона названии рубрик и подрубрик так они могут изменяться при том что повторяющие значения рекомендуется выводить и вставлять в конце документа в шаблоне вывода?!
     
  12. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Здравствуйте. Спарсил и выставил нужные фильтр по ссылкам и спарсил на одну главную рубрику и остальные вложенные подрубрики.
    Вопрос: Как при вывести динамически спарсить контент по колонкам а в колонках разное вложенность ссылок подрубрик? Так как при помощи повторяющих границ желательно выводить в конце но а в последующем необходимы характеристики и опции вывести в результат вывода CSV Ссылки недоступны для гостей Ссылки недоступны для гостей
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Постарайтесь осмысленно связать слова в предложении. Смысл такого вопроса понять очень сложно:
    Я расцениваю подобное, как пренебрежение к собеседнику. Написали какой попало текст, а другим людям нужно думать, что вы в нем хотели сказать.
     
  14. timur777

    timur777 Member Пользователи

    Регистрация:
    24 дек 2019
    Сообщения:
    118
    Город:
    Москва
    Есть главная категория в ней есть подкатегория далее в подкатегории есть еще одна или несколько подкатегорий, задача спарсить главные категории и подкатегории в которых есть пагинация на ссылки товара. Далее необходимо при парсинге контента вывести в шаблоне вывода по колонкам название категории и подкатегории и вложенные в подкатегория в начале документа CSV/ Если выводить в повторящих границах то в руководстве сказано что повторяющие значения лучше выводить в конце. Надеюсь более менее изложил мысль! Спасибо за понимание.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     

Поделиться этой страницей