Не собирает ссылки

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Marichka, 2 окт 2014.

  1. Marichka

    Marichka New Member Пользователи

    Регистрация:
    15 авг 2014
    Сообщения:
    8
    Добрый день!
    Не парсит сайт.
    Проект прикрепила, раньше проблем не было, парсился
    Теперь даже при попытке создать новый проект ссылки не собираются.
    Помогите, что я делаю не так?
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Указанный сайт теперь требует cookies.

    Во вкладке "контент" нажмите кнопку с изображением ключика. Введите там адрес нужного сайта (который парсите), дождитесь его загрузки в браузере и дождитесь появления cookies в нижней части окна. После этого, нажмите кнопку "передать cookies...". После этих действий сайт должен отдавать страницы.

    Рекомендация: Парсите этот сайт в 1 поток...

    С уважением к вам, Сергей.
     

    Вложения:

  3. Marichka

    Marichka New Member Пользователи

    Регистрация:
    15 авг 2014
    Сообщения:
    8
    Точно, как я забыла про это, ведь парсила его не раз, а тут уже несколько дней мучаюсь не могу додуматься.
    Спасибо!
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, обращайтесь...
     
  5. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день.
    Настроила парсинг, работает (проект прикрепляю, авторизация не требуется).
    Но ссылки на товары не собираются. Тысячи других собираются, а на страницы товаров - нет.
    Подскажите, в чем может быть проблема?
     

    Вложения:

  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей

    Проект прикрепил.
     

    Вложения:

  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Ничего не изменилось, сканер собирает страницы разделов каталога, а не сами товары :(
    Пример страницы товара:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Я в фильтре пишу, например, action=information&id=
    и не собирается вообще ничего.
     
    Последнее редактирование: 3 дек 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Покажите мне на скриншоте, где на этой странице каталога
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    есть ссылки на страницы товаров? Откуда именно вы взяли ссылку на товар?
     
  9. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Ссылка на товар берется не из каталога, а из поиска, забиваю слово Мишки, поиск выдает список ссылок на товары
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    ОНИ СУЩЕСТВУЮТ, эти ссылки, нужно их собрать. Вот задача, с которой сканер не справляется
     
    Последнее редактирование модератором: 4 дек 2014
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Чтобы сканер собирал товары, укажите список ссылок на поисковые, такие что вы привели как пример выше.

    Сканер ищет вполне хорошо
    [​IMG]
     
  11. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    А как мне сформировать этот список "поисковых ссылок"?
    В примере выше я просто нашла товары со словом Мишка, и сканер собрал 11 товаров с этим словом. А мне нужен весь ассортимент магазина, может быть, тысячи товаров. Я вручную должна смотреть какие ключевые слова встречаются в названиях? Их же много сотен, это не реально!
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    0-9
     

    Вложения:

  13. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Простите, если туплю, но правда, не могу понять, как собрать ссылки, содержащие "catalogue.php?action=search" (как на скрине, который выложил kagorec) - сканер при таком фильтре вообще ничего не собирает.
    В проекте, предложенном root, сканер ищет разделы каталога, где НЕТ ссылок на товары. Это я пробовала изначально, но как я уже писала, их можно вытащить только через поиск, а это как раз и не получается :headbang:
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте.
    1)открываете генератор ссылок
    2)вставляете в поле ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    3)открываете список KEY и вставляете туда список который хотите забрать.
    4) генерируете список
    5) нажимаете на списке правой кнопкой и находите (преобразовать в url кодировку только русские символы)
    6) переходите в вкладку ссылки, и забираете ссылки
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Откройте мой проект и посмотрите на ссылки в нем. ССЫЛКИ УЖЕ СОБРАНЫ!!!!!!!
     
  16. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Kreol, спотыкаюсь на шаге 3) - не знаю, какой список туда вставлять. Ключевых слов? Это целый словарь можно перечислить
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Изучайте Ссылки недоступны для гостей
    Сергей, человек разобраться хочет, а не получить готовое решение. В которое вникать надо, опять же.
     
  18. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Открывала, конечно. Куда именно смотреть нужно? На вкладках Контент и ссылки - 1 ссылка, тестовая. В сканере тоже пустые окна, запускаю его - собираются ссылки разделов. Ссылок на товары нигде не вижу :(
     
  19. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Kreol, генерацию пыталась делать, но в ссылке такого образца:
    Ссылки недоступны для гостей
    переменных цифровых частей три штуки, одна их них - из 18 цифр. Ведь {num} может быть использован 1 раз и максимальная длина его 9-значная, как я понимаю. Как тут можно что-то генерировать? И теоретически список ссылок будет стремиться к бесконечности
     
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Закрепим вышеописанное скриншотом с пояснением.:nod:
     

    Вложения:

Поделиться этой страницей