Парсинг сайта на основании списка товаров

Тема в разделе "Решение различных задач по парсингу", создана пользователем qoren, 20 янв 2015.

  1. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Здравствуйте. Возникла такая задача:
    Я пропарсил большой сайт с товарами, некоторые товары без картинки и без описания, я могу выделить названия этих товаров в список вот такого вида:

    lg trinitron 2335
    samsung laserjet 4000
    asus lk2317
    и т.д. всего около 1000 позиций.

    как и чем можно пропарсить скажем market.yandex.ru обладая только лишь наименованиями товаров с целью получения картинок и описаний? Дайте хотябы намек куда копать.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Парсить поиск Яндекс Маркета:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Сгенерировав эти самые ссылки на поиск на основании ваших ключевиков Ссылки недоступны для гостей

    С уважением к вам, Сергей...
     
  3. crucian

    crucian New Member Пользователи

    Регистрация:
    22 янв 2015
    Сообщения:
    23
    помогло
     
  4. vital

    vital Member Пользователи

    Регистрация:
    7 фев 2015
    Сообщения:
    11
    Помогите пожалуйста.
    Такая проблема
    Нужно пропарсить
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    имея название товаров с др сайта

    Названия в виде
    Ноутбук Apple MacBook Pro Retina (ME665UA/A)
    Ноутбук ASUS X550CA (X550CA-XX071D)
    Модуль памяти DDR SDRAM 512MB 400 MHz GOODRAM (GR400D64L3/512)

    Используя {key} в функции генерации ссылок где кей это список с имен.
    получаю ссылки вида
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Apple MacBook Pro Retina (ME665UA/A)

    При переходе по ссылке видно что в поиске все русские буквы меняет на абрукодабру).

    Подскажите как генерировать ссылки в кодировке донора. Или что делать.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В инструменте генерации ссылок нажать кнопку {key}, ввести туда список ваших ключевиков:
    И нажать "кодирование" - "а б ->%E0+%E1"

    Тогда поиск по этому сайту должен корректно срабатывать.

    Файл проекта программы прилагаю (меню - файл - загрузить проект)

    С уважением к вам, Сергей...
     

    Вложения:

    • fotos_ua.cdp
      Размер файла:
      26,9 КБ
      Просмотров:
      5
  6. vital

    vital Member Пользователи

    Регистрация:
    7 фев 2015
    Сообщения:
    11
    Спасибо большое. Просто на работе пробная версия программы стоит и там не нашел "кодирование" - "а б ->%E0+%E1".

    Дома все получилось.

    Только новая проблем как теперь в результаты поиска вставлять название товара не кодированое.

    Так как [PARAM] выдает кодированное.

    Вы уж извините новичка.

    В принципе это последнее чего мне не хватает.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Подождите несколько дней, выпущу обновление, где значение [PARAM] при кодировании затрагиваться не будет.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Content Downloader X1 версии 11.9922 (10.02.2015)

    - Теперь макрос GETMORECONTENT может использовать WBApp для загрузки кода WEB-документа (подробнее читаем на этой странице Ссылки недоступны для гостей);
    - В инструмент генерации ссылок добавлена опция автоматического кодирования списка ключевиков в URL-кодировки (смотрите новую опцию в окне расширенной настройки генерации ссылок: кнопка {key});
    - Множество других доработок.
     

Поделиться этой страницей