Сканер сайтов не видит ссылки

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем kolo555, 28 июл 2017.

  1. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Доброго времени суток.
    Очень странно, как обычно сканирую сайт Ссылки недоступны для гостей "сканером сайтов" указываю ро фильтру добавлять товара только с окончанием HTML, но сканер собирает только 7 ссылок.
    как настроить сканирование.
     
  2. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Доброго!

    В параметрах http запросов выберите Clever Internet Suite и используйте прокси(там защита - сайт на prom.ua).
     
    kolo555 и Root нравится это.
  3. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Есть ли ссылка в системе помощи как пользоваться или видео?
     
  4. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Для смены библиотеки кликнуть на зелёный шарик:
    [​IMG]

    А настройки прокси найдёте в верхнем меню Сервис-Список прокси.
     
    Последнее редактирование: 28 июл 2017
    kolo555, kagorec и Root нравится это.
  5. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87

    Здравствуйте.
    Сделал соответствующие настройки
    [​IMG]
    [​IMG]
    Один раз получилось сосканировать. Хотел сделать повторное сканирование, что бы более точно подобрать ссылки и при тех же настройках сканирование не происходит.
     

    Вложения:

  6. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Также добавил список прокси.
     
  7. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    сколько потоков и пауза стоит у вас? просто возможно не успевает страницы прогрузить. "с окончанием HTML" или всё таки c точкой .html?
     
  8. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Пауза 12000, поток 1
     
  9. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Естесствено не получается спасрсить, нужны прокси. В самом начале говорил.
     
    kolo555 нравится это.
  10. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Добавил 90 шт.
     

    Вложения:

  11. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Просто "HTML"
     
  12. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Прикреплённый проект 111111111111111111.cdp работает. Сразу заменил на точку. Остановил на примерно на 1000 ссылках.
     
  13. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Да. я потом заметил что работает, очень мелено собиралось)
    Какую оптимальную задержку установить для пром юа, мне кажется, что 12000 слишком много
     
    Последнее редактирование: 30 июл 2017
  14. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Готовый проект
     

    Вложения:

    • stroyteh.cdp
      Размер файла:
      129,8 КБ
      Просмотров:
      4
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.664
    для прома нужно использовать либо антикапчу, либо хорошие прокси. И лично я бы не использовал сканер в данном случае.
     
  16. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Дело в том, если использовать стандартный сбор ссылок, то выходит очень долго, много мелких подразделов по 20-50 товаров и меньше, на сайте несколько тысяч товаров.
    Или вы можете предложить альтернативу, буду благодарен.
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.664
    пром блочит, и тут уж никак по другому, либо долго, либо искать другого донора.
     
    kolo555 нравится это.
  18. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Добрый день!
    Есть ли у кого то нормальный список прокси, что б спарсить пром юа.
     
  19. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Помогите, пожалуйста, 2 дня убил на этот сайт.
     
    Последнее редактирование: 31 июл 2017
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Root нравится это.

Поделиться этой страницей