Сканер пропускает ссылки

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем moov, 6 июл 2014.

  1. moov

    moov New Member Пользователи

    Регистрация:
    20 сен 2013
    Сообщения:
    31
    Добрый день!

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Что делать?

    Заранее благодарен за помощь.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Первый сайт:
    Там теги ссылок содержат лишние пробелы. Решается поиск-заменой для исходного кода (кнопка "поиск-замена" в сканере сайтов)
    Файл проекта приложил (у меня с ним прекрасно распарсивает ссылки с сайта).
    ОБЯЗАТЕЛЬНО ОБНОВИТЕСЬ ДО ПОСЛЕДНЕЙ ВЕРСИИ, ТАМ ВВЕДЕНА ПОДДЕРЖКА HTML-ТЕГА BASE

    Второй сайт:
    Стартовую ссылку вводите типа
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    тогда и увидит.
     

    Вложения:

    • ricardo-msk.cdp
      Размер файла:
      25,6 КБ
      Просмотров:
      4
  3. moov

    moov New Member Пользователи

    Регистрация:
    20 сен 2013
    Сообщения:
    31
    Спасибо, за быстрый ответ.

    Простите за еще один вопрос по второму сайту. Если так вводить то выводить будет только OUTLET, остальные увидит?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
    Зависит от сайта, я его особо не изучал. Попробуйте... Вот полное описание работы сканера - Ссылки недоступны для гостей
    Ждем вас с конкретными вопросами...
    С уважением к вам, Сергей.
     
  5. lexxser

    lexxser New Member Пользователи

    Регистрация:
    16 окт 2014
    Сообщения:
    8
    Доброе время суток!
    Подскажите, сканер ссылок берет только первые 40 ссылок, так как для того, чтобы на странице появились остальные ссылки на товар, необходимо ее прокрутить до конца!
    Прокручиваю страницу с помощью WBApp, но не помогает в сканер все ровно попадает только первые 40 ссылок!
    Подскажите, что не так делаю! Вот настройки WBApp:

    [HTMLPOINT]
    [SCROLLDOWN]
    [WAIT]:2000
    [HTMLPOINTCHECK]

    Вот ссылка на сайт:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  6. lexxser

    lexxser New Member Пользователи

    Регистрация:
    16 окт 2014
    Сообщения:
    8
  7. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    Не знаю, можно ли это сделать в Content Downloader (не было надобности пока).

    Но если отключить JavaScript в браузере и поставить такую ссылку:

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Попробуйте.(проверил в IE11)
     
    Последнее редактирование: 16 окт 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В WBApp используйте следующий список событий:
    В сканере сайтов установите количество потоков - 1 (так как парсим через Explorer и он должен успевать прогружать страницу).

    Надеюсь, наш ответ вам помог.

    С уважением к вам, Сергей.
     
  9. lexxser

    lexxser New Member Пользователи

    Регистрация:
    16 окт 2014
    Сообщения:
    8
    Спасибо nail Ваш совет очень помог, парсятся все 82 ссылки!

    Попробывал еще список событий:
    [SLABEL]
    [WAIT]:2000
    [SCROLLDOWNTHENRETURN]
    В сканере сайтов установл количество потоков - 1
    не помог, может чего не так сделал!
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Странно, у меня работает это.

    Как варианты:
    - Если у вас не последняя версия IE в системе, попробуйте обновить ее
    - Попробуйте увеличить время "тайм-аут проверки..." в ctrl+h

    С уважением к вам, Сергей.
     

Поделиться этой страницей