Сбор ссылок ajax

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем flex21, 4 фев 2017.

Метки:
  1. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    Здравствуйте! есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    не могу собрать ссылки из за переключения страниц с помощью ajax. При анализе выяснил что страницы переключаются с помощью
    Код:
    $(".AjaxProductList").attr("data-page", parseInt($(this).attr("data-page")));
    
            gs_site.forms.web_form.catalog.list.update();
    если изменить на
    Код:
    $(".AjaxProductList").attr("data-page", 3);
    gs_site.forms.web_form.catalog.list.update();
    и отправить в консоль то происходит переход на страницу. Ума не приложу как это реализовать в парсере. Прошу помочь разобраться.
    P.S. на сайте присутствует карта сайта, но из за ее большого размера и настроек MySQL она отдается не вся.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Незачем аякс обрабатывать, ссылки и без обработки DOM работают по пагинации
    Ссылки недоступны для гостей
     
  3. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    ссылка есть, но на страницу не переходит. То есть без разницы что писать в линке, но остаешься на прежней странице
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В httpheader отснифить запросы удалось, где меняется номер страницы Ссылки недоступны для гостей1/ подгружается xml вместо сайта, но там есть ссылки товаров.
    Код:
    http://teplovodservice.ru/udata/catalog/gsGetFullSmartCatalog/6629/1/(ord)/?filter%5Bprice%5D%5Bfrom%5D=&filter%5Bprice%5D%5Bto%5D=502300&filter_sort=on&filter%5Bmaksimalnaya_mownost%5D%5Bfrom%5D=&filter%5Bmaksimalnaya_mownost%5D%5Bto%5D=30&filter%5Bmaksimalnyj_napor_m%5D%5Bfrom%5D=&filter%5Bmaksimalnyj_napor_m%5D%5Bto%5D=547&filter%5Bnominalnaya_mownost%5D%5Bfrom%5D=&filter%5Bnominalnaya_mownost%5D%5Bto%5D=30&filter%5Bproizvoditelnost_lchas%5D%5Bfrom%5D=&filter%5Bproizvoditelnost_lchas%5D%5Bto%5D=60000&transform=ajax/modules/Catalog/AjaxFullSmartCatalog.xsl&filter_string=filter%255Bprice%255D%255Bfrom%255D%3D%26filter%255Bprice%255D%255Bto%255D%3D502300%26filter_sort%3Don%26filter%255Bmaksimalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bmaksimalnyj_napor_m%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnyj_napor_m%255D%255Bto%255D%3D547%26filter%255Bnominalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bnominalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bproizvoditelnost_lchas%255D%255Bfrom%255D%3D%26filter%255Bproizvoditelnost_lchas%255D%255Bto%255D%3D60000
     
  5. flex21

    flex21 New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    6
    Спасибо за ответ, но как это можно использовать в парсере ?
     
    kagorec нравится это.
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    вставляете в парсер и распарсиваете повторяющейся границей
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Можно во вкладке ССЫЛКИ через FIND, ссылки дергать макросом {get}

    Подробнее:
    1. установите HTTPHEADER аддон в мозиле
    2. зайдите мозилой в любую нужную категорию где есть пагинация
    3. включите этот мод в мозиле сочетанием клавишь Ctrl+Shift+F2 , слева зеленый треугольник Start.
    4. включив запись снифера, теперь поочередно кликайте не спеша по пагинации первой потом второй потом третьей и выключите запись снифера. остановите.
    5. увидет много записей, отфильтруте ненужное. добавив в поиске это чуть праввее зеленого треугольника поле - туда вставьте Ссылки недоступны для гостей
    Ссылки недоступны для гостей........................
    где 1 это номер страницы, вместо нее {num} и дальше столько диапазон сколько страниц на сайте этой категории.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 4 фев 2017

Поделиться этой страницей