Парсинг сразу с нескольких сайтов

Тема в разделе "Решение различных задач по парсингу", создана пользователем customer77, 29 дек 2017.

  1. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Мне нужно собрать данные рейтинга разных стартатов.
    Например стартап BANCOR
    Имеем список ссылок на поиск в рейтинговом сайте проекта BANCOR
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Мне нужно, чтобы парсер зашел на каждый адрес и собрал рейтинг, дату старта, если есть.
    Подобных стартапов нужно проверять по 50 за прогон.

    Можно ли настроить парсинг так, как я озвучил?
     
    Последнее редактирование модератором: 18 янв 2018
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Старайтесь задавать вопросы так, чтобы на него нельзя было ответить да/нет.
    Чтобы ответить на этот вопрос, необходимо провести анализ всех этих сайтов. Вряд ли кто-то бесплатно будет это делать.
    Начните настраивать самостоятельно и пишите здесь о проблемах с которыми вы столкнетесь.

    Каждый элемент на этих сайтах находится в отдельной строке в таблице.
    Возможно границы [1]BANCOR ---- [AUTO]div помогут взять всю эту строку целиком, а дальше по маске текста вычленить всю остальную информацию.
    Обратите внимание на номер вхождения первой границы - таким образом мы отсеиваем это слово в строке поиска и переходим к следующему.
    Для даты формата дд.мм.гггг маска текста будет - re:\d{2}\.\d{2}\.\d{4}
     
    kagorec нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Или
    Можно через замену кода придать маску через регулярные выражения в глобальной замене (Ctrl+Shift+r) потом распарсивать границами.
    Еще вариант создать 50 проектов, это проще и легче реализовать. Потом этот комплект запускать через встроенный планировщик (Ctrl+p)
     
    xLime нравится это.
  4. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    В один файл можно как то настроить запись, чтобы разные проекты писали?
    1 csv, но разные ячейки
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    У всех проектов одинаковую папку сохранения и макрос DOCNAME одинаковое имя, и на главной панели программы выберите как вам надо дозаписывать или перезаписывать
     
    Kreol и Root нравится это.

Поделиться этой страницей