помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Есть на официальном сайте Справка, поверьте там много интетересного:)
    Ссылки недоступны для гостей
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Нажать f8, вставить туда ссылки из буфера и нажать кнопку "добавить".

    С уважением к вам, Сергей...
     
  3. Александр Сео

    Александр Сео New Member Пользователи

    Регистрация:
    27 мар 2015
    Сообщения:
    9
    Добрый ночи! Подскажите пожалуйста, возможно ли спарсить топ 10 выдачи яндекса (урлы сайтов из топ 10) по определенному запросу, нужен анализ большого количества запросов.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Меню - файл - загрузить проект.

    Список ключевиков вводится после нажатия на кнопку {key} в инструменте генерации ссылок, после чего жмется кнопка "сгенерировать ссылки" и запускается парсинг во вкладке "Контент".

    На предмет бана проект не тестировал (Яндекс может забанить на некоторое время).

    С уважением к вам, Сергей.
     

    Вложения:

    • yandex_ru.cdp
      Размер файла:
      26,6 КБ
      Просмотров:
      5
  5. Александр Сео

    Александр Сео New Member Пользователи

    Регистрация:
    27 мар 2015
    Сообщения:
    9
    Сергей, спасибо большое за проект! Подскажите пожалуйста есть ли возможность вывода результатов по колонкам, т.е. ключевое слово урлы одна колонка, следующее ключевое слово урлы другая колонка и т.д.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     

    Вложения:

    • yandex_ru.cdp
      Размер файла:
      26,7 КБ
      Просмотров:
      9
  7. Александр Сео

    Александр Сео New Member Пользователи

    Регистрация:
    27 мар 2015
    Сообщения:
    9
    Сергей, а вот в таком Посмотреть вложение для примера.rar формате можно вывод сделать. В экселе не в какую не получается строчный формат в колоночный перевести:sweat:. Извините за беспокойство!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Простите, у меня не чем открывать файлы xlsx. Покажите, пожалуйста, на скриншоте или прикрепите CSV-файл.
     
  9. Александр Сео

    Александр Сео New Member Пользователи

    Регистрация:
    27 мар 2015
    Сообщения:
    9
    Сергей, вот Посмотреть вложение для примера.rar CSV файл.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Можно только так
     

    Вложения:

    • yandex_ru_3.cdp
      Размер файла:
      26,7 КБ
      Просмотров:
      6
  11. rektos

    rektos New Member Пользователи

    Регистрация:
    12 май 2015
    Сообщения:
    5
    Сергей, можете подсказать мне как в данном случае парсить определенную категорию или подкатегорию Посмотреть вложение 3.cdp . Например шины легковые летние, потом шины легковые зимние. потому как в коде, например, разделения на грузовые легковые нет и мне было бы удобно парсить по категориям. А т.к. переход на страницу товара идет через JS, мне не понятно. как все это осуществить.
    И второй вопрос, как из наименования товара выделить его свойства. Например, А/ш 155/65 R13 Б/К Cordiant COMFORT и солнышко вверху нарисовано, что значит летнее, это прописано в коде отдельно,нужно вывести в файл CSV в одну колонку "Свойства" вида: Бренд=Cordiant&Ширина=155&Профиль=65&Диаметр=13&Сезон=Лето
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Эти вещи можно сделать только ручной обработкой, парсим все, смотрим все вариации и тогда пилим поиск замену через регулярки.
    Нужно при сборе ссылок присваивать параметр категории/подкатегории, но для этого нужно это опять же ковырять руками.
    Вид получается вот такой
    Код:
    Ссылки недоступны для гостей[PARAM]:<kat1>Категория1<kat2>Категория2<>
    В шаблоне вывода
    Код:
    [REPLACE(<kat1>{get}<|{get})][PARAM][/REPLACE]
    [REPLACE(<kat2>{get}<|{get})][PARAM][/REPLACE]
     
  13. rektos

    rektos New Member Пользователи

    Регистрация:
    12 май 2015
    Сообщения:
    5
    Как таковых в url указаний на категорию нет. Переход на вкладку товара происходит через скрипт.

    По свойствам, для чего они нужны. Они мне нужны только лишь для фильтрации в моем ИМ. А в коде товара их нет, но у них на сайте ведь как то работает их калькулятор,отбирает товар по характеристикам. Как этого добиться?
     
  14. Александр Сео

    Александр Сео New Member Пользователи

    Регистрация:
    27 мар 2015
    Сообщения:
    9
    Сергей, спасибо большое!!! Вы очень помогли, так даже лучше!!!
     
  15. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Добрый день! Я не знаю как спарсить размеры изделия
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    . Нужно чтоб при выводе они были в одной ячейке и через запятую

    Помогите, плиз)
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Смотрите проект
     

    Вложения:

    • paltoopt_ru.cdp
      Размер файла:
      26,6 КБ
      Просмотров:
      14
  17. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Спасибо большое! Получилось!
     
  18. abrikos

    abrikos New Member Пользователи

    Регистрация:
    19 май 2015
    Сообщения:
    49
    Подскажите как добавить имена столбцов?
    Ссылки недоступны для гостей
     
  19. abrikos

    abrikos New Member Пользователи

    Регистрация:
    19 май 2015
    Сообщения:
    49
    как добавить в список ссылки на WEB-документы?
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Кликнуть мышкой по нужной ячейке и в текстовом поле под таблицей прописать нужный текст.
     

Поделиться этой страницей