Как получить ссылки на brain.com.ua

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем aserbin, 25 июн 2015.

  1. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    Проблема с парсингом
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Подскажите, пожалуйста, как решить проблему?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Плагином Firefox "Live HTTP HEaders" я получил ссылки для подгрузки страниц рубрики:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Сгенерировал список ссылок и настроил вам файл проекта для сбора ссылок с указанной рубрики (в программе: меню - файл - загрузить проект).

    С уважением к вам, Сергей.
     

    Вложения:

  3. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    Спасибо! Только не понял, где этот самый файл проекта :)
     
  4. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    Простите, вопрос снят предыдущий :)
     
  5. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    Прошу прощения, но не могли бы Вы помочь еще в одном вопросе. В предоставленной Вами ссылке заполняю значения, чтобы парсить товары только те, что есть в наличии. Например, так: http://brain.com.ua/product_list?page={num}&search_text=&category=Wi_Fi_marshrutyzatory-c1343&vendor=0&filter=&order=&avail_type=delivery&avail_from=0&avail_to=2

    Но программа не находит никаких товаров. Подскажите, пожалуйста, как сформировать правильно ссылку, чтобы парсились товары в наличии ("заказ на послезавтра")?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Очистил avail_type и выдача стала не пустой:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  7. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    Да, выдача непустая, но неправильная: по такой ссылке находится 170 товаров, в то время как должно лишь 48 товаров (если "вручную" пересчитать по сайту при заданной доступности "заказ на послезавтра").
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тогда:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Просто на сайте в этой рубрике при фильтре "заказ на послезавтра" тоже нет товаров!!!
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  10. aserbin

    aserbin New Member Пользователи

    Регистрация:
    25 июн 2015
    Сообщения:
    7
    При "заказ на послезавтра" 48 товаров - Ссылки недоступны для гостей

    [​IMG]
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Делал по иначе, перебирая каждую категорию - скопировал ссылку и назначил ей в конце параметр, пример
    Код:
    http://brain.com.ua/category/Processory-c1097/[PARAM]:<kat1>Компьютеры, комплектующие<kat2>Комалектующие<kat3>Процессоры<kat4><>
    Далее во вкладке "ссылки" через wbapp идет сбор ссылок через клики.:soccer:
     

Поделиться этой страницей