Парсинг картинок и документов в одну указанную папку

Тема в разделе "Решение различных задач по парсингу", создана пользователем prepod, 14 мар 2017.

  1. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Здравствуйте! Нужна ваша помощь или совет.

    Вопрос № 1
    Цель: собрать данные с сайта бесплатных объявлений Юлы (youla.io). Интересуют контактные данные (телефон продавца). Пользователь (продавец) при регистрации указывает свой номер телефона, а также указывает, можно или нет его показывать. Если можно - то на странице объявления доступны опции "Позвонить" (при нажатии показывается номер телефона) и "Написать сообщение" (открывается внутренний чат). Если нельзя - то доступна только опция "Написать сообщение".
    Например, Ссылки недоступны для гостей

    При просмотре кода страницы видим скрипт, в котором указывается:
    "displayPhoneNumber":true, - если пользователь дал согласие на показ номера телефона, и
    "displayPhoneNumber":false, - если запретил показывать номер.
    [​IMG]

    Сейчас при парсинге ссылок у меня в одну выдачу попадают объявления и тех, и иных пользователей. Т.е. приходится обрабатывать всех, что неудобно.

    Задача: настроить парсинг так, чтобы собирались ссылки на объявления только тех пользователей, на чьих страницах объявлений в скрипте есть "displayPhoneNumber":true, т.е. которые дали свое согласие на показ номера телефона...
    Можно ли сделать такую "привязку"? В настройках CD (сбор ссылок) я не нашел нужных настроек. Подскажите, что и как можно сделать?

    Вопрос-просьба № 2
    Помогите начинающему парсеру настроить скачивание картинок и контента в разные папки. Третий день бьюсь, пересмотрел все видео по несколько раз. Не могу добиться скачивания через DOWNLOADFILE при повторяющихся границах (но загружает через NIMG)...
    Цель (с учетом вопроса № 1): чтобы при обработке страницы объявлений (например, страница_1) итоговые документы (например, file_1.txt) и картинки (например, картинка_1_1.jpg, картинка_1_2.jpg и т.д.) скачивались в одну папку результатов (например, папка_1).
    Для второго объявления это, соответственно, страница_2, file_2.txt, картинка_2_1.jpg, картинка_2_2.jpg, папка_2...

    Сможете помочь? Файл проекта прикрепил. Буду очень признателен за помощь. Спасибо!
     

    Вложения:

  2. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Ну вот, подраскинул еще мозгами и решил вопрос № 1 (добавил еще одну границу для парсинга статуса "true/false", далее - фильтр ссылок по признаку "true"). Ларчик открывался просто - главное не паниковать)))
    По вопросу №2 требуется небольшая помощь: настроил скачивание картинок через NIMG с загрузкой в отдельные папки и присвоением имени. Но файл txt с шаблоном выдачи грузится в общую папку. Подскажите, плиз, как настроить сохранение файла в соответствующую папку с картинками? Прикрепил обновленный файл проекта.
    Еще момент: предполагается ежедневный парсинг результатов за предыдущие сутки. Подскажите, как настроить схему, чтобы при новом парсинге старые папки с сохраненными данными удалялись, а на их место загружались новые, с новыми результатами?
     

    Вложения:

  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-03-15_13-51-52.png

    2017-03-15_13-54-13.png

    С уважением к вам, Сергей...
     

    Вложения:

  4. prepod

    prepod Member Пользователи

    Регистрация:
    14 мар 2017
    Сообщения:
    36
    Сергей, спасибо Вам большое! И за помощь, и за скрипт!
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     
  6. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    @Root Здравствуйте. В продолжении темы. Попробовал проект из данной темы и сам писал и появилась проблема.
    При загрузке сайта не загружается кнопка позвонить и карты(такое ощущение что браузер не грузит js ). Пробовал разные настройки и не выходит. Помогите решить данный вопрос , пожалуйста.
     
    Последнее редактирование: 29 авг 2017
  7. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    @Root попробовал через IE 11 юлу открыть, тоже самое, нет кнопки позвонить и карты. Че делать с браузером, чтобы заработало?
     

Поделиться этой страницей