Парсинг по ключевикам с выводом ключевиков в результат

Тема в разделе "Решение различных задач по парсингу", создана пользователем kolalakolala, 7 май 2018.

  1. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    Добрый день.
    Есть необходимость собрать контент по мультикеям. Объясню подробнее.
    Есть строки такого типа:
    Ключ1, ключ2,ключ3
    Ключевик1, ключевик2, ключевик3

    Таких строк очень много. Мне нужно собрать картинки с бинга по каждой строчке отдельно в файл. Нужно, что бы результат выглядел так:
    Запись 1.
    Ключ1
    Картинка по ключу1
    Ключ2
    Картинка по ключу2
    Ключ3
    Картинка по ключу3

    Запись2
    Ключевик1
    Картинка по ключевику1
    Ключевик2
    Картинка по ключевику2
    Ключевик3
    Картинка по ключевику3

    Уверен, что КД умеет такое делать. Подскажите в какую сторону копать?
     
  2. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    немного дополню.
    Мне не нужна информация как прсить катинки... Нужно понять как в одну запись собрать картинки по разным ключам (заранее подготовленных)
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-05-08_02-02-11.png

    2018-05-08_02-05-21.png

    2018-05-08_02-07-20.png
     
    kolalakolala и xLime нравится это.
  4. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    спасибо. Но это просто будут 1 ключ одна картинка. С этим все понятно. Как сделать несколько ключей и несколько картинок по этим ключам в один шаблон вывода?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сохранять в 1 файл.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Объяснение размытое.

    Что за строки
    Ключ1, ключ2,ключ3
    Ключевик1, ключевик2, ключевик3

    Как они лежат, толи в файле непонятно. Толи в CSV, толи в txt.

    Что за запись сделать. Что это вообще такое. Толи отдельный файл, толи общий, толи некая запись в базе.

    Об этом знаете только вы, а мне остается только гадать. Что делать я не буду, раз не удосужились толком пояснить. Конкретно и однозначно нужно ставить вопрос. Чтобы другой человек понял суть и детали.

    Я уже потратил время на составление скриншотов.
     
    Последнее редактирование: 8 май 2018
  7. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    Сори:(, мне казалось изложил понятно. Попробую тщательнее.

    Есть семантически сгруппированные ключи по строкам. То есть, каждая строчка, это близкие по значению ключи. Сейчас они в file.txt. Каждая строчка - это семантическая группа, в строчке они разделены запятыми (но это не важно, можно их разместить в любом другом формате).

    Например внутренность файла с ключами выглядит вот так:
    1. Тапочки синие, тапочки синие для мужчин, тапочки синие для женщин
    2. Сапоги красные, сапоги красные для мужчин, сапоги для женщин

    Мне нужно сделать два файла, в которых контент будет распологаться так:

    1 файл

    Тапочки синие
    Картинка Тапочки синие (bing)
    тапочки синие для мужчин
    Картинка тапочки синие для мужчин(bing)
    Тапочки синие для женщин
    Картинка тапочки синие для женщин(bing)


    2 файл

    Сапоги красные
    Картинка Сапоги красные(bing)
    сапоги красные для мужчин
    Картинка сапоги красные для мужчин(bing)
    сапоги для женщин
    Картинка сапоги для женщин(bing)

    Просто по ключам найти картинки и вывести их в файл я могу. Но не получается сделать так, что бы в каждом файле были заранее собранные группы ключей.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также непонятно каким образом получаете картинки? Макросом или как-то еще.
     
  9. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    каринки с бинга. Через запрос Ссылки недоступны для гостей. Далее настройка повторяющихся границ и вывод в шаблоне вывода в файл.

    upload_2018-5-8_10-8-12.png
     

    Вложения:

  10. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Немного непонятно зачем создавать по миллион тхт файлов для этого.
    Не легче просто записать все в базу данных ?
    А потом делать с ними там все что угодно.
     
  11. kolalakolala

    kolalakolala New Member Пользователи

    Регистрация:
    6 дек 2016
    Сообщения:
    58
    Можно и так. Просто в данном случае мне нужно было дозаписывать потом в файл другую инфу по этим ключам.
     
  12. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Тогда тем более в базу данных :)
    Вам будет удобнее брать оттуда нужные вам ключи.
    А так же удобно для себя сохранять все данные в организованном виде.

    Покажу пример одного из моих проектов, похож на то что вы делаете:

    1) У меня есть база с номерами телефонов(в вашем случае ключами)
    upload_2018-5-8_11-17-58.png

    2) Перед запуском парсинга делается запрос на PHP скрипт(shift+ctrl+u), с его помошью я вытягиваю из базы данных номера телефонов(ключей в вашем случае) у которых поле v равно нулю(v - verified), это значит я их еще не проверил.
    Данный PHP скрипт создает txt файл нужного мне вида, все ссылки в нем выглядят вот так:
    Ссылки недоступны для гостей971503038206[PARAM]971503038206
    Ссылки недоступны для гостей971503038213[PARAM]971503038213
    ...
    Чтобы я мог использовать данный PARAM где я хочу.
    4) При парсинге нужной мне ссылки, он меняет поле V в 1. Это значит что я его уже отпарсил.
    В шаблоне вывода выглядит это так:
    Код:
    <PHP_SCRIPT=http://localhost/db/verified/>nr=[DATAENCODE][PARAM][/DATAENCODE]
    v=[DATAENCODE]1[/DATAENCODE]
    </PHP_SCRIPT>
    Далее все отпаршенные границы от отправляет в другую базу, мы можете использовать одну и туже.

    upload_2018-5-8_11-25-54.png

    Так что я всегда знаю какие номера(ключи в вашем случае) я отпарсил и держу их в красивом порядке.
     
    kagorec, Root, xLime и ещё 1-му нравится это.

Поделиться этой страницей