Парсинг данных на 1 проект с 10 разных сайтов

Тема в разделе "Решение различных задач по парсингу", создана пользователем knyazkovstudios, 2 июн 2020.

  1. knyazkovstudios

    knyazkovstudios New Member Пользователи

    Регистрация:
    15 апр 2020
    Сообщения:
    4
    Город:
    Rivne
    Всех приветствую!

    Задача у меня следующая:

    Дано:

    1) 10 сайтов, с которых я уже спарсил:
    - все необходимые ссылки
    - задал 3 границы парсинга для каждого сайта.
    - проекты сохранил Ссылки недоступны для гостей

    2) Мне необходимо перемешать ссылки каждого из сайтов в рандомном порядке (я это успешно делаю при помощи excel) Ссылки недоступны для гостей
    Выходит рандомная сортировка.


    3) Но есть перед началом парсинга одна загвоздка.

    !! Границы парсинга каждого сайта отличаются друг от друга.


    4) Если создать новый проект, поместить туда все рандомные ссылки с 10 сайтов. То:

    - Какие бы я границы парсинга не задал, они будут отличаться от 10 разных сайтов.
    - И старт парсинга приведет к "печальному результату".

    P.S. Что в этом случае я могу предпринять?
    Возможно я могу все эти проекты импортировать в один, или как-то по-другому это делается?

    Подскажите, пожалуйста, те, кто в теме.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Пробуйте адаптировать все 10 проектов через глобальную поиск-замена. Так чтобы каждая отдельная граница была отмечена к определенному элементу, который есть в 10 проектах (в поиск-замена назначьте).
    Если сложно самостоятельно разобраться, обращайтесь, на платной основе помогу.
     

Поделиться этой страницей