Парсинг данных, которых не видно в коде

Тема в разделе "Решение различных задач по парсингу", создана пользователем qqq, 14 дек 2014.

  1. qqq

    qqq New Member Пользователи

    Регистрация:
    14 дек 2014
    Сообщения:
    4
    Коллеги, здравствуйте.

    Опыт использования программы - 2 дня, опыта нет. )) Нужна помощь, т.к. не представляю, даже, что искать.

    1. Пытаюсь спарсит один каталог, так вот, всё можно спарсить до авторизации, кроме цены. Я авторизуюсь, всё нормально, во встороенном браузере авторизован, вижу цены и все остальные данные. В коде тоже есть всё, кроме цены. Как в этом случае спарсить данные?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2. Если есть, скиньте, пжл, ссылку на видео, где рассказывается, как спарсить несколько картинок превью под основной картинкой и сохранить их с привязкой к этой позиции каталога.

    Зараенее, спасибо!
     
    Последнее редактирование: 14 дек 2014
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    По поводу авторизации - Ссылки недоступны для гостей
    По поводу парсинга нескольких картинок - Ссылки недоступны для гостей (видео "Парсинг картинок товаров интернет-магазинов в CSV").

    С уважением к вам, Сергей...
     
  3. qqq

    qqq New Member Пользователи

    Регистрация:
    14 дек 2014
    Сообщения:
    4
    Дело в том, что авторизация проходит нормально. Вопрос по данным, которых нет в коде. Поэтому, не получается выставить границы... Что же делать?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Скорее всего там данные подгружаются при выполнении WEB-документа.

    Вот два варианта решения этого вопроса:
    1) Подгружать данные макросом GETMORECONTENT (Ссылки недоступны для гостей
    2) Парсить используя библиотеку Internet Explorer (DOM) (включить ее в ctrl+h).

    С уважением к вам, Сергей...
     
  5. qqq

    qqq New Member Пользователи

    Регистрация:
    14 дек 2014
    Сообщения:
    4
    Кусок кода, где есть упоминание цены. Больше в коде страницы нет ничего.

    <script type="text/javascript">

    $(function() {
    $(".catalog3-tovar").mouseover(function() {
    $(this).find(".slide-left,.slide-right").show();

    $(this).find(".short-price-list").hide();
    $(this).find(".full-price-list").show();
    });
    $(".catalog3-tovar").mouseout(function() {
    $(this).find(".slide-left,.slide-right").hide();
    $(this).find(".full-price-list").hide();
    $(this).find(".short-price-list").show();
    });

    $(".catalog3-tovar .slide-left").click(function() {
    $a = $(this).siblings(".catalog3-for-but").children("a:visible");
    $a.hide();

    if ( $a.prev().is("a") ) {
    $a.prev().show();
    } else {
    $(this).siblings(".catalog3-for-but").children("a:last").show();
    }
    return false;
    });
    $(".catalog3-tovar .slide-right").click(function() {
    $a = $(this).siblings(".catalog3-for-but").children("a:visible");
    $a.hide();

    if ( $a.next().is("a") ) {
    $a.next().show();
    } else {
    $(this).siblings(".catalog3-for-but").children("a:first").show();
    }
    return false;
    });
    });
    </script>



     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Варианты решения проблемы я вам сказал. Если нужно, чтобы я за вас эту задачу решил, дайте хотя бы ссылку на товар...
     
  7. qqq

    qqq New Member Пользователи

    Регистрация:
    14 дек 2014
    Сообщения:
    4
    Сергей, я извиняюсь, посмотрел, попробовал, но ничего не вышло! Я напишу всё в ЛС, т.к. там приватные данные.

    Заранее спасибо!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Авторизовался методом передачи cookies из плагина Firefox LiveHTTPHeaders (как показано на видео Ссылки недоступны для гостей). Цены в коде есть, никаких проблем не вижу (вас вопрос должен решаться изучением материалов системы помощи)...
    Пожалуйста.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1) Открываем Firefox с установленным в нем плагином LiveHTTPHeaders
    2) Проходим авторизацию на сайте в браузере Firefox (методом обычного ручного ввода логина и пароля)
    3) Запускаем плагин LiveHTTPHeaders: alt (для вызова меню) -> «инструменты» -> «просмотр HTTP-заголовков»
    4) Переходим в браузере на любую страницу товара, возвращаемся в окно плагина и копируем cookies из соответствующего запроса (запрос на страницу товара) через контекстное меню (правый клик по строке с cookies)
    5) Возвращаемся в Content Downloader, нажимаем ctrl+h и вставляем скопированные cookies в соответствующее поле (также убеждаемся, что библиотека «Internet Explorer (DOM)» отключена)
     
  10. gkelektro

    gkelektro New Member Пользователи

    Регистрация:
    15 дек 2017
    Сообщения:
    8
    Всем привет !
    Нашел такое расширение Ссылки недоступны для гостей очень быстро выдергивает ссылки со страниц такого типа где в коде не видно ссылок
    например типа озона Ссылки недоступны для гостей

    если есть возможность прикрутить в виде макроса чтобы можно было парсить ссылки с такого рода сайтов прямо из проекта
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не понимаю, зачем использовать сторонние инструменты, если есть встроенные (ctrl+h -> включить "Internet Explorer (DOM)").
     
    Kreol нравится это.
  12. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    Вот столкнулся с интересной задачкой. Надо спарсить Алик (Ссылки недоступны для гостей) Там все грузится динамически и раньше я динамический контент парсил без проблем и GET и POST. Т.е. как это делается из "Системы помощи" я знаю. Но вот привычным методом спарсить значение строки "Доставка:" чет не получается. В потоке есть ссылка: Ссылки недоступны для гостей , по которой идет нужный ответ с данными о доставке, но при попытке открыть ее в браузере и в CD сайт отдает ошибку 404. Что я делаю не так?
     
  13. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    251
    Город:
    Москва
    UPD Вопрос решен. Оказывается ошибку-то он отдает, но в коде нужные данные имеются. Короче пудрит мозг браузер.
     
    Root нравится это.
  14. dezi92

    dezi92 Member Пользователи

    Регистрация:
    14 мар 2019
    Сообщения:
    16
    Город:
    Минск
    Добрый день. Настроил парсер на все необходимое, работает на ура. Но появилась необходимость спарсить данные фильтра. На странице товара Ссылки недоступны для гостей. Таких данных найти не получилось. Данные самого фильтра спарсил Ссылки недоступны для гостей. Но для каждого товара нужно также указать эти данные, например: ЦВЕТ, ФОРМУ, ТИП. Подскажите кто советом как это можно реализовать, ведь как я понимаю если фильтр работает, то и данные должны для фильтра быть в атрибутах товара. Спасибо за внимание.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В какой вид вы "спарсили данные фильтра"? Покажите получившийся файл с данными фильтра.
     
  16. dezi92

    dezi92 Member Пользователи

    Регистрация:
    14 мар 2019
    Сообщения:
    16
    Город:
    Минск
    Вот так, остальное пока что допиливал руками ( переносил данные по столбцам). Но это дает только понимание, какие есть атрибуты. И вот именно эти данные нужно найти в карточке товара
     

    Вложения:

  17. dezi92

    dezi92 Member Пользователи

    Регистрация:
    14 мар 2019
    Сообщения:
    16
    Город:
    Минск
    это что касается самих данных фильтра. а как их найти в карточке товара?
     

Поделиться этой страницей