Очень долгая работа парсера, при сборе ссылок с сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем MaiklWizard, 20 ноя 2015.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Странная ситуация. Уже вторые сутки идет, и никак не может приступить к созданию csv документа. Ссылки недоступны для гостей

    А прошлый раз оно же сделало за 6ть часов. и было всего 120000 ссылок.

    Сайт который парсится Ссылки недоступны для гостей

    Ссылки недоступны для гостей - вот поправки, где видно что сейчас он парсит 148200 строку, в тоже время видно, что ссылок в очереди 619000
    Почему так: Ссылки недоступны для гостей

    Настройки фильтра в парсере:
    Ссылки недоступны для гостей

    Что я мог сделать неправильно?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Все неправильно)
    Сканер "заблудился", укажите ему чтоб гулял только по категорийным ссылкам.
    ---
    Помотрел сайт который сканируете, там требуется wbapp с настроенным прокликиванием по страницам.
    Или грузите с сайтмапы Ссылки недоступны для гостей
     
    Последнее редактирование: 20 ноя 2015
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    "Голосую" за использование Sitemap для сбора ссылок!
    [S_HANDS]
     
  4. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Ссылки недоступны для гостей - так? Что значит гулять только по категорийным ссылкам, вроде нигде не нашел такого.

    Если я добавляю сайтмап, то он пропускает много ссылок с товарами.
     
    Последнее редактирование: 20 ноя 2015
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Инструмент загрузки ссылок из XML-карты сайта совсем не там, где вы якобы его показали на скриншоте.

    Обратите внимание на соответствующий пункт меню, обозреваемого на этой странице Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  6. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Ссылки недоступны для гостей - вот что получилось, что оно даст мне при парсинге ссылок.
    Что значит категорийность, как ее применить?

    Прошу прощения за глупые вопросы, читаю инструкцию, и не могу понять как сделать чтобы при парсинге, оно не зацикливалось.

    Свой проект я приложил. Помогите пожалуйста настроить так как нужно.
     

    Вложения:

    • ua.rar
      Размер файла:
      4,7 КБ
      Просмотров:
      2
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    MaiklWizard, настроил вам сканер сайтов для сбора ссылок с вложенных XML-карт. Проект приложил к сообщению.
     

    Вложения:

    • XML_SCAN.cdp
      Размер файла:
      27,2 КБ
      Просмотров:
      7

Поделиться этой страницей