Сбор ссылок ajax

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем flex21, 4 фев 2017.

Метки:
  1. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    Здравствуйте! есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    не могу собрать ссылки из за переключения страниц с помощью ajax. При анализе выяснил что страницы переключаются с помощью
    Код:
    $(".AjaxProductList").attr("data-page", parseInt($(this).attr("data-page")));

        gs_site.forms.web_form.catalog.list.update();
    если изменить на
    Код:
    $(".AjaxProductList").attr("data-page", 3);
gs_site.forms.web_form.catalog.list.update();
    и отправить в консоль то происходит переход на страницу. Ума не приложу как это реализовать в парсере. Прошу помочь разобраться.
    P.S. на сайте присутствует карта сайта, но из за ее большого размера и настроек MySQL она отдается не вся.
     
    flex21, 4 фев 2017
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Незачем аякс обрабатывать, ссылки и без обработки DOM работают по пагинации
    Ссылки недоступны для гостей
     
    kagorec, 4 фев 2017
    #2
  3. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    ссылка есть, но на страницу не переходит. То есть без разницы что писать в линке, но остаешься на прежней странице
     
    flex21, 4 фев 2017
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В httpheader отснифить запросы удалось, где меняется номер страницы Ссылки недоступны для гостей1/ подгружается xml вместо сайта, но там есть ссылки товаров.
    Код:
    http://teplovodservice.ru/udata/catalog/gsGetFullSmartCatalog/6629/1/(ord)/?filter%5Bprice%5D%5Bfrom%5D=&filter%5Bprice%5D%5Bto%5D=502300&filter_sort=on&filter%5Bmaksimalnaya_mownost%5D%5Bfrom%5D=&filter%5Bmaksimalnaya_mownost%5D%5Bto%5D=30&filter%5Bmaksimalnyj_napor_m%5D%5Bfrom%5D=&filter%5Bmaksimalnyj_napor_m%5D%5Bto%5D=547&filter%5Bnominalnaya_mownost%5D%5Bfrom%5D=&filter%5Bnominalnaya_mownost%5D%5Bto%5D=30&filter%5Bproizvoditelnost_lchas%5D%5Bfrom%5D=&filter%5Bproizvoditelnost_lchas%5D%5Bto%5D=60000&transform=ajax/modules/Catalog/AjaxFullSmartCatalog.xsl&filter_string=filter%255Bprice%255D%255Bfrom%255D%3D%26filter%255Bprice%255D%255Bto%255D%3D502300%26filter_sort%3Don%26filter%255Bmaksimalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bmaksimalnyj_napor_m%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnyj_napor_m%255D%255Bto%255D%3D547%26filter%255Bnominalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bnominalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bproizvoditelnost_lchas%255D%255Bfrom%255D%3D%26filter%255Bproizvoditelnost_lchas%255D%255Bto%255D%3D60000
     
    kagorec, 4 фев 2017
    #4
  5. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    Спасибо за ответ, но как это можно использовать в парсере ?
     
    flex21, 4 фев 2017
    #5
    kagorec нравится это.
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    вставляете в парсер и распарсиваете повторяющейся границей
     
    Kreol, 4 фев 2017
    #6
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Можно во вкладке ССЫЛКИ через FIND, ссылки дергать макросом {get}

    Подробнее:
    1. установите HTTPHEADER аддон в мозиле
    2. зайдите мозилой в любую нужную категорию где есть пагинация
    3. включите этот мод в мозиле сочетанием клавишь Ctrl+Shift+F2 , слева зеленый треугольник Start.
    4. включив запись снифера, теперь поочередно кликайте не спеша по пагинации первой потом второй потом третьей и выключите запись снифера. остановите.
    5. увидет много записей, отфильтруте ненужное. добавив в поиске это чуть праввее зеленого треугольника поле - туда вставьте Ссылки недоступны для гостей
    Ссылки недоступны для гостей........................
    где 1 это номер страницы, вместо нее {num} и дальше столько диапазон сколько страниц на сайте этой категории.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 4 фев 2017
    kagorec, 4 фев 2017
    #7
Similar Threads
  1. Poltavtcev

    Сбор ссылок - помогите

    Poltavtcev, 15 мар 2012, в разделе: Разное
    Ответов:
    4
    Просмотров:
    2.396
    Valiks
    15 мар 2012
  2. aphone

    Сбор ссылок в кириллице

    aphone, 27 янв 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.459
    aphone
    27 янв 2013
  3. Dron25

    сбор ссылок с як

    Dron25, 17 авг 2014, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.388
    Dron25
    17 авг 2014
  4. Anufriy

    Сбор ссылок с Job.ru

    Anufriy, 9 авг 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    5
    Просмотров:
    1.464
    kagorec
    10 авг 2015
  5. Mind

    Как оптимизировать сбор ссылок?

    Mind, 28 ноя 2016, в разделе: Фильтры ссылок
    Ответов:
    2
    Просмотров:
    1.038
    Root
    28 ноя 2016
Загрузка...

Поделиться этой страницей