Сопоставление данных: из БД и Результатов парсинга CD

Тема в разделе "Решение различных задач по парсингу", создана пользователем Djahat, 5 ноя 2014.

  1. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Доброй ночи:
    Заинтересовался: Сопоставлением данных: из моей БД и Результатов парсинга CD


    Моя задача - допарсить данных из тырнета, для некоторых товаров моего магазина.

    Делаю проект: найти название товара на яндексе, и спарсить к нему немного контента, потом добавить этот контент к каждому товару в БД в магазин

    Генерирую ссылки:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В списке {key} подставляю название товаров и ставлю галку PARAM.

    В шаблоне вывода в каждой строке вывожу название товара [PARAM]

    Паршу.

    Получаю CSV: Название товара; текст из выдачи.

    По названию товара - объединяю в ЭКСЕЛЕ свою базу и результат парсинга.

    НО ЭТО НЕ ВСЕГДА ПРОКАТЫВАЕТ И НАКЛАДЫВАЕТ КУЧУ ДОПОЛНИТЕЛЬНЫХ ТЕЛОДВИЖЕНИЙ (особенно при дублях ключей).

    Можно как то пометить поисковый запрос, параметром, который не будет участвовать в формировании ссылки, как сейчас (key = PARAM), и потом этот параметр вывести в шаблоне и CSV?

    Например:

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В списке {key} подставляю название товаров и ставлю галку PARAM.
    Но список KEY добавлен маркер, например с id товара в магазине: key|marker

    В шаблоне вывода, вывожу название товара [PARAM] и в другую ячейку этой строки вывожу [MARKER]

    Таким образом мы сможем связывать свои огромные таблицы с результатами парсинга.

    Как то можно решить мою задачу существующими средствами программы?
     
  2. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Чета никто не отвечает.

    Я по тупому описал проблему ? могу переписать! :)
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Я сходу решения не вижу. Думаю, как и остальные, простите.

    С уважением к вам, Сергей.
     
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Ну короче, я понял - буду дальше в экселе генерировать ссылки.

    Но на всякий случай изложу свою идею в виде картинки - может когда и дойдут руки внедрить это в программу.


    [​IMG]

    [​IMG]

    [​IMG]

    [​IMG]
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В {key} можно заранее указать с разделителем колонок документа
    На скрине у вас кеи уже готовые где сначало ид, а через палочку | слово.
    Тогда в документе выводимое [PARAM] обработать заменой,
     
  6. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Можно, но они у меня тогда в ссылку попадут при генерации - и разделитель и слово. И потом парсер по этой ссылке пойдет и упрется в 404
     

Поделиться этой страницей