Купил прогу, есть пара вопросов.

Тема в разделе "Решение проблем с использованием программы", создана пользователем artproma, 4 фев 2013.

  1. artproma

    artproma New Member Пользователи

    Регистрация:
    3 фев 2013
    Сообщения:
    32
    Собственно говоря парсинг у меня прошел на ура. Но только одного сайта и не все, что надо.
    Есть кучка вопросов:
    1. Как ускорить поиск нужных страниц?
    1.1 Например есть сайты типа сайт.ру/категория/товар. Как сделать, чтобы программа искала страницы только данного каталога? Просто при поиске страниц находятся все страницы, а это долго.
    1.2 Есть динамические страницы, типа сайт.ру/категория?id**** Как быть в данном случае?
    2. На страницах есть динамическое левое меню. Визуально отображается 1-ый уровень, но в коде есть все и 2-ой и 3-тий. Открывая нужный раздел отображается и изменение в левом меню (в нужном меню меняется down на up). По идее просто, но когда открывается 3-тий уровень, то up будет 2-а
    3. Есть страницы на которых есть все товары, но открываются они по порядку. Т.е. на странице есть повторяющийся код. Как быть в данном случае? (Пример Ссылки недоступны для гостей велосипеды)
    4. При парсинге контента иногда копируется код. Причем не со всех страниц. Каждый товар имеет свое описание. Где-то с картинками, где-то без. Получается лишний код. Как его убрать софтом?
    5. Парсинг картинок. Как парсить картинки, чтоб автоматически создавался csv. У меня получается только скачать картинки в отдельную папку без csv
    6. То же как и с картинками, только нужно видео с youtube.
    7. Как парсить только новые страницы, чтоб не парсить повторно?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте, спасибо!
    1 Ссылки недоступны для гостей
    2 Ссылки недоступны для гостей повторяющиеся границы парсинга, по этой же теме Ссылки недоступны для гостей
    5 Ссылки недоступны для гостей Задание границ парсинга для картинок:
     

Поделиться этой страницей