Сбор ссылок ajax

Discussion in 'Парсинг во вкладке "Ссылки"' started by flex21, Feb 4, 2017.

Tags:
  1. flex21

    flex21 New Member Пользователи

    Joined:
    Jan 27, 2015
    Messages:
    6
    Здравствуйте! есть сайт
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    не могу собрать ссылки из за переключения страниц с помощью ajax. При анализе выяснил что страницы переключаются с помощью
    Code:
    $(".AjaxProductList").attr("data-page", parseInt($(this).attr("data-page")));

        gs_site.forms.web_form.catalog.list.update();
    если изменить на
    Code:
    $(".AjaxProductList").attr("data-page", 3);
gs_site.forms.web_form.catalog.list.update();
    и отправить в консоль то происходит переход на страницу. Ума не приложу как это реализовать в парсере. Прошу помочь разобраться.
    P.S. на сайте присутствует карта сайта, но из за ее большого размера и настроек MySQL она отдается не вся.
     
    flex21, Feb 4, 2017
    #1
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Незачем аякс обрабатывать, ссылки и без обработки DOM работают по пагинации
    Ссылки недоступны для гостей
     
    kagorec, Feb 4, 2017
    #2
  3. flex21

    flex21 New Member Пользователи

    Joined:
    Jan 27, 2015
    Messages:
    6
    ссылка есть, но на страницу не переходит. То есть без разницы что писать в линке, но остаешься на прежней странице
     
    flex21, Feb 4, 2017
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    В httpheader отснифить запросы удалось, где меняется номер страницы Ссылки недоступны для гостей1/ подгружается xml вместо сайта, но там есть ссылки товаров.
    Code:
    http://teplovodservice.ru/udata/catalog/gsGetFullSmartCatalog/6629/1/(ord)/?filter%5Bprice%5D%5Bfrom%5D=&filter%5Bprice%5D%5Bto%5D=502300&filter_sort=on&filter%5Bmaksimalnaya_mownost%5D%5Bfrom%5D=&filter%5Bmaksimalnaya_mownost%5D%5Bto%5D=30&filter%5Bmaksimalnyj_napor_m%5D%5Bfrom%5D=&filter%5Bmaksimalnyj_napor_m%5D%5Bto%5D=547&filter%5Bnominalnaya_mownost%5D%5Bfrom%5D=&filter%5Bnominalnaya_mownost%5D%5Bto%5D=30&filter%5Bproizvoditelnost_lchas%5D%5Bfrom%5D=&filter%5Bproizvoditelnost_lchas%5D%5Bto%5D=60000&transform=ajax/modules/Catalog/AjaxFullSmartCatalog.xsl&filter_string=filter%255Bprice%255D%255Bfrom%255D%3D%26filter%255Bprice%255D%255Bto%255D%3D502300%26filter_sort%3Don%26filter%255Bmaksimalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bmaksimalnyj_napor_m%255D%255Bfrom%255D%3D%26filter%255Bmaksimalnyj_napor_m%255D%255Bto%255D%3D547%26filter%255Bnominalnaya_mownost%255D%255Bfrom%255D%3D%26filter%255Bnominalnaya_mownost%255D%255Bto%255D%3D30%26filter%255Bproizvoditelnost_lchas%255D%255Bfrom%255D%3D%26filter%255Bproizvoditelnost_lchas%255D%255Bto%255D%3D60000
     
    kagorec, Feb 4, 2017
    #4
  5. flex21

    flex21 New Member Пользователи

    Joined:
    Jan 27, 2015
    Messages:
    6
    Спасибо за ответ, но как это можно использовать в парсере ?
     
    flex21, Feb 4, 2017
    #5
    kagorec likes this.
  6. Kreol

    Kreol Модератор Staff Member Модератор

    Joined:
    Jan 6, 2013
    Messages:
    2,666
    вставляете в парсер и распарсиваете повторяющейся границей
     
    Kreol, Feb 4, 2017
    #6
  7. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Можно во вкладке ССЫЛКИ через FIND, ссылки дергать макросом {get}

    Подробнее:
    1. установите HTTPHEADER аддон в мозиле
    2. зайдите мозилой в любую нужную категорию где есть пагинация
    3. включите этот мод в мозиле сочетанием клавишь Ctrl+Shift+F2 , слева зеленый треугольник Start.
    4. включив запись снифера, теперь поочередно кликайте не спеша по пагинации первой потом второй потом третьей и выключите запись снифера. остановите.
    5. увидет много записей, отфильтруте ненужное. добавив в поиске это чуть праввее зеленого треугольника поле - туда вставьте Ссылки недоступны для гостей
    Ссылки недоступны для гостей........................
    где 1 это номер страницы, вместо нее {num} и дальше столько диапазон сколько страниц на сайте этой категории.
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
    Last edited: Feb 4, 2017
    kagorec, Feb 4, 2017
    #7
Similar Threads
  1. Poltavtcev

    Сбор ссылок - помогите

    Poltavtcev, Mar 15, 2012, in forum: Разное
    Replies:
    4
    Views:
    2,397
    Valiks
    Mar 15, 2012
  2. aphone

    Сбор ссылок в кириллице

    aphone, Jan 27, 2013, in forum: Решение различных задач по парсингу
    Replies:
    0
    Views:
    1,459
    aphone
    Jan 27, 2013
  3. Dron25

    сбор ссылок с як

    Dron25, Aug 17, 2014, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    2
    Views:
    1,388
    Dron25
    Aug 17, 2014
  4. Anufriy

    Сбор ссылок с Job.ru

    Anufriy, Aug 9, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    5
    Views:
    1,464
    kagorec
    Aug 10, 2015
  5. Mind

    Как оптимизировать сбор ссылок?

    Mind, Nov 28, 2016, in forum: Фильтры ссылок
    Replies:
    2
    Views:
    1,038
    Root
    Nov 28, 2016
Loading...

Share This Page