Автоматический сбор ссылок страниц пагинаций

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем rezhisser, 23 сен 2015.

  1. rezhisser

    rezhisser New Member Пользователи

    Регистрация:
    12 дек 2014
    Сообщения:
    22
    Добрый день!

    Есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Спарсил страницы всех категорий (по маске "catalog")
    Всего 254 страницы

    Почти на каждой странице есть пагинация

    Если по этим страницам категорий искать страницы с маской "?PAGEN", то для каждой страницы получил такие ссылки:

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Что логично...

    Есть ли возможность запуска какого-то цикла... ?

    Например, на каждой найденной странице искать повтрно по маске "?PAGEN", и так перебрать все страницы...

    Потому что вручную 254 раза применять функцию генерацию ссылок с {num} как-то не хочется...
     
    rezhisser, 23 сен 2015
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Откройте для себя такую вещь полезную как Сканер ссылок (ctrl+7)
     
    kagorec, 23 сен 2015
    #2
  3. rezhisser

    rezhisser New Member Пользователи

    Регистрация:
    12 дек 2014
    Сообщения:
    22
    Знаю я про сканер ссылок.

    Но, к сожалению, то ли у меня руки кривые, то ли сайты такие попадаются, но с его помощью парсится не все.

    Например, для ссылки Ссылки недоступны для гостей

    по маске "product" находит только 5 из 12 ссылок

    Иногда помогает пауза между запросами, но очень редко...
     

    Вложения:

    • bontoy.cdp
      Размер файла:
      29,9 КБ
      Просмотров:
      77
    rezhisser, 23 сен 2015
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Пример прилогаю, ознакомьтесь со сканером как на данном сайье можно искать получше и побыстрее.
    Обратите внимание что сайт требует включения обработки DOM (в ctrl+h отметил на сканер)
     

    Вложения:

    kagorec, 23 сен 2015
    #4
  5. rezhisser

    rezhisser New Member Пользователи

    Регистрация:
    12 дек 2014
    Сообщения:
    22
    спасибо, буду разбираться
     
    rezhisser, 23 сен 2015
    #5
Similar Threads
  1. Lenok

    Сбор ссылок amazon

    Lenok, 2 июл 2013, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    2.263
    Lenok
    2 июл 2013
  2. Roman

    Автоматический регулярный парсинг ссылок с обновляющейся страницы

    Roman, 4 фев 2014, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    6
    Просмотров:
    2.334
    Root
    4 фев 2014
  3. Бука

    Сбор данных со страниц формуруемых js-сом

    Бука, 2 июл 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    1.809
    Root
    3 июл 2014
  4. Dron25

    сбор ссылок с як

    Dron25, 17 авг 2014, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.403
    Dron25
    17 авг 2014
  5. Anufriy

    Сбор ссылок с Job.ru

    Anufriy, 9 авг 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    5
    Просмотров:
    1.481
    kagorec
    10 авг 2015
Загрузка...

Поделиться этой страницей