Как оптимизировать сбор ссылок?

Тема в разделе "Фильтры ссылок", создана пользователем Mind, 28 ноя 2016.

  1. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    105
    Здравствуйте! Просьба по возможности подсказать, как можно оптимизировать очередь ссылок...

    Есть сайт Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    В фильтре ссылок поставил:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    re:\.html+$ + галочка "или"
    Поставил также длинну 4.
    В очередь ссылок тоже понаписал такое:
    re:\.html+$
    cart?add=
    skype:
    &token=
    Проблема в следующем...Знаю,что на сайте 800 товаров плюс минус. Находит 607 штук, а в очереди более 50тыс ссылок. Подскажите пожалуйста, можно ли как-то оптимизировать эту очередь?
     
  2. Reset

    Reset Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    57
    Ходить по ссылкам
    Код:
    re:\/shop\/\d{1,4}\-
    
    Собирать ссылки
    Код:
    re:\/\d{1,4}\-.*?html
    
     
    Mind нравится это.
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.641
    Город:
    Сочи
    Здравствуйте.

    Думаю, у вас недостоверная информация о количестве товаров. Сканер сайтов настроил, сканирует этот сайт минут за 5. Файл проекта приложил.

    2016-11-28_20-33-44.png

    PS: Предоставьте ссылку хотя бы на 1 товар, который не попадает в результат сканирования сайта (желательно и адрес расположения той ссылки на товар).

    С уважением к вам, Сергей.
     

    Вложения:

    • 12.cdp
      Размер файла:
      31,1 КБ
      Просмотров:
      1
    Mind нравится это.

Поделиться этой страницей