Как спарсить сайт со множеством подкатегорий...

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем voff, 30 июл 2015.

  1. voff

    voff New Member Пользователи

    Регистрация:
    29 июл 2015
    Сообщения:
    4
    ... и при этом сохранить структуру при импорте.

    Вообщем есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    на котором множество категорий и подкатегорий.

    Возьму для примера раздел Компьютеры, ноутбуки и планшеты, в нем есть подразделы "Ноутбуки", "Планшеты", "Ноутбуки" и пр., а в них уже товары которые нужно спарсить.

    Но получается нужно все по очереди парсить каждый раздел парсить и сводить потом как-то в один файл... А можно ли как-то все это сразу объединить?
    Думаю опиция "в один файл" здесь не поможет, т.к. нужно поочередно парсить категории.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Собирайте ссылки на все товары всех категорий сканером сайтов Ссылки недоступны для гостей и парсите в 1 файл.

    С уважением к вам, Сергей.
     
  3. voff

    voff New Member Пользователи

    Регистрация:
    29 июл 2015
    Сообщения:
    4
    Сергей, спасибо!


    p.s. прошу прощения за ошибки, писал с телефона, только сейчас их заметил :)
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, все ок, обращайтесь!
     
  5. Алена-1

    Алена-1 New Member Пользователи

    Регистрация:
    14 июн 2015
    Сообщения:
    25
    Адрес:
    Волгоргад
    Сергей, добрый день,
    спарсила все ссылки рубрик, небольшая часть указана в файле "ссылки 1 уровня рубрик.txt", (см. настройки в файле проекта). Но каждая ссылка рубрики ведет к различному кол-ву страниц по каждой рубрике (на 1 странице не более 25 предприятий) .Как спарсить кол-во страниц? Спасибо!
     

    Вложения:

  6. Алена-1

    Алена-1 New Member Пользователи

    Регистрация:
    14 июн 2015
    Сообщения:
    25
    Адрес:
    Волгоргад
    ой, вроде разобралась))) спасибо!
     
  7. KEN

    KEN New Member Пользователи

    Регистрация:
    2 авг 2015
    Сообщения:
    19
    А разве не проще взять все ссылки на товары отсюда ?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

Поделиться этой страницей