Сканер сайтов не работает правильно

Тема в разделе "Решение различных задач по парсингу", создана пользователем Kreol, 22 сен 2014.

  1. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Уважаемый root
    Объясните мне пожалуйста, почему при попытке спарсить страницы с сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и вставке слова show в фильтр очереди.
    Сканер не выдает желаемого результата.
    Судя по Ссылки недоступны для гостей все должно работать.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Представим у нас есть 5000 ссылок (всех) из них тех что нам нужно 100 шт.
    Для того чтоб мне получить эти 100 шт, нужно загрузить 5000 и отфильтровать.
    фильтр очереди как я всегда думал, нужен был как раз для того чтоб фильтровать начальный список урлов, который в очередь еще не попал.
    Во всяком случае по логике должно быть так.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Где на странице
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Расположены ссылки с show в себе?
    Можно, пожалуйста, показать участки кода, может я что-то пропустил...
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    простите не ту дал ссылку
     
    Последнее редактирование: 22 сен 2014
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Сканер - Это же основа работы с Content Downloader!!!
    Список очереди это собранные сканером ссылки тех страниц с которых соберет товарные ссылки, по сути пагинация категорийных ссылок - значит указывая части ссылок для очереди добиваемся наибыстрейшего сбора целевых ссылок.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все проверил, сканер сайтов работает правильно...
     

Поделиться этой страницей