URLs для парсинга

Discussion in 'Решение различных задач по парсингу' started by iDobroslavin, Apr 26, 2023.

Tags:
  1. iDobroslavin

    iDobroslavin New Member Пользователи

    Joined:
    Apr 18, 2023
    Messages:
    8
    Город:
    Москва
    На текущий момент я делаю так, чтобы получить данные с сайтов:
    1) запускаю "лягушку" (Frog Deo Spider), прогоняю сайт, далее
    2) сохраняю юрлы для необходимой категории сайта, например определённый бренд велосипедов,
    3) загоняю в ContentDownloader (CD) и парсю данные.

    Но вот в чём дело: при прохождении лягушкой больших сайтов, например veloskad.ru, даже моих 16 ГБ оперативки не хватает, да и времени это занимает очень много

    1) Есть ли способ оптимизировать этот процесс?
    2) Можно ли как-то собрать урлы только определённой категории сайта?
     
    iDobroslavin, Apr 26, 2023
    #1
  2. masrub

    masrub Well-Known Member Пользователи

    Joined:
    Jun 29, 2018
    Messages:
    251
    1) Используйте CD для получения url ов, кто вам в этом мешает?
    2) Парсите товары из какой вам необходимо категории.
    Ну либо парсите sitemap.xml сайта на предмет товаров/категорий, но там бывает много мусора и не актуальных данных. Ссылки недоступны для гостей
     
    masrub, Apr 26, 2023
    #2
    iDobroslavin likes this.
  3. iDobroslavin

    iDobroslavin New Member Пользователи

    Joined:
    Apr 18, 2023
    Messages:
    8
    Город:
    Москва
    Спасибо. Видимо, нужно изучать материалы FAQ.
     
    iDobroslavin, Apr 26, 2023
    #3
  4. iDobroslavin

    iDobroslavin New Member Пользователи

    Joined:
    Apr 18, 2023
    Messages:
    8
    Город:
    Москва
    Нужны актуальные данные.
     
    iDobroslavin, Apr 26, 2023
    #4
  5. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Без "лягушки" можно обойтись, в Content Downloader есть сканер который быстрее соберет товары по категориям
     
    kagorec, Apr 27, 2023
    #5
    iDobroslavin likes this.
Similar Threads
  1. aluminoter

    Фильтрация границ парсинга

    aluminoter, May 18, 2014, in forum: Решение проблем с использованием программы
    Replies:
    7
    Views:
    2,184
    Root
    May 18, 2014
  2. maxwelhelp

    Автоопределение границ парсинга

    maxwelhelp, Jul 26, 2017, in forum: Решение различных задач по парсингу
    Replies:
    6
    Views:
    785
    gans
    Jul 26, 2017
  3. Lskipv

    Не загружается Web Страница при Задании границ парсинга

    Lskipv, Aug 21, 2017, in forum: Решение проблем с использованием программы
    Replies:
    3
    Views:
    839
    Root
    Aug 21, 2017
  4. yans01

    Как настроить остановку парсинга в случае 403 forbidden

    yans01, Mar 30, 2018, in forum: Функции и интерфейс программы
    Replies:
    3
    Views:
    692
    gans
    Mar 30, 2018
  5. dava002

    Поиск и замена в границе парсинга на другую границу парсинга

    dava002, Apr 7, 2020, in forum: Функции поиск-замены и регулярные выражения
    Replies:
    5
    Views:
    572
    Root
    Apr 10, 2020
Loading...

Share This Page