Тормозит при сборе ссылок

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Lelik80, 2 апр 2015.

Страница 2 из 2
  1. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    В меня не правильно поняли, я не говорю, что я лучше Вас это сделаю, я просто столкнулся с такой-же проблемой и думаю, что это самая актуальная тема так как напрямую влияет на парсинг сайтов. Вот пропарсил сайт, что я сделал не правильно, почему нашлось всего 3626 ссылок, ведь понятно, что там товаров за 20.000
     

    Вложения:

    • mebelion_ru.cdp
      Размер файла:
      210,7 КБ
      Просмотров:
      2
    Werter, 4 апр 2015
    #21
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Лучше возьмите ссылки с карты сайта разом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root, 4 апр 2015
    #22
  3. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    Там ссылки типа /tovari_dlya_doma/svet/svetilniki/nastennye/dlya-vannoi/ но при переходе на товар из любого каталога ссылка товара имеют вид .ru/catalog/товар.html Сам парсил сайты по схеме Lelik80 и заметил, что ужасно тормозит комп, (теперь понимаю почему), но при этом ссылок товара находит намного больше!
     

    Вложения:

    Werter, 6 апр 2015
    #23
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Werter, по первому скриншоту нет смысла обсуждать, по второму скриншоту где собрало много ссылок но за двое суток могу лишь порекомендовать обратить внимание что писалось ранее в этой теме - ссылки одного товара попали в сканер по несколько раз и все изза фильтров выбора (смотрите ниже описал как этого избежать добавив [f_ в запрещенные). Постарайтесь при сканировании подобных каталогов чтоб искало только по чистым ссылкам тем самым вы многократно ускорите процесс сбора и разгрузите сканер.

    Для очереди ссылок нужных надо оказывается еще указать категории (ранее беглым взглядом обнаружил /catalog только)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Для очереди необязательно забивать товарными, потому нагрузка на сканер, товарные страницы и так соберет из категорий.
    В список ненужных указать
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    п.с. посмотрим что с такими параметрами будет, посканирую.
    ---
    10 потоков, с паузой в 500мс собрало за 4 часа 24406 товарных (чистых) ссылок
     
    Последнее редактирование: 6 апр 2015
    kagorec, 6 апр 2015
    #24
  5. Werter

    Werter New Member Пользователи

    Регистрация:
    15 фев 2015
    Сообщения:
    15
    kagorec, Вы не могли бы прислать настроенный файл для парсинга который собрал 24406 ссылок?
     
    Werter, 6 апр 2015
    #25
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Так описал ведь что куда добавить, проект "обновил" который давно заказывали.
     

    Вложения:

    • img.png
      img.png
      Размер файла:
      58,4 КБ
      Просмотров:
      1
    Последнее редактирование: 6 апр 2015
    kagorec, 6 апр 2015
    #26
Страница 2 из 2
Similar Threads
  1. Love-world

    Тормозит программа

    Love-world, 24 сен 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    1.318
    Root
    25 сен 2013
  2. enbond

    Авторизация при сборе ссылок

    enbond, 27 янв 2014, в разделе: Решение проблем с использованием программы
    Ответов:
    5
    Просмотров:
    1.872
    Root
    27 янв 2014
  3. Maximalist

    Как задать исключения уже найденных ссылок при сборе ссылок?

    Maximalist, 21 авг 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    1.103
    Root
    8 май 2018
  4. Arless

    Тормозит компьютер при парсинге

    Arless, 19 сен 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    3
    Просмотров:
    1.033
    Arless
    19 сен 2015
  5. MaiklWizard

    Очень долгая работа парсера, при сборе ссылок с сайта

    MaiklWizard, 20 ноя 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    6
    Просмотров:
    1.126
    Root
    20 ноя 2015
Загрузка...

Поделиться этой страницей