Не собирает ссылки

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Marichka, 2 окт 2014.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    kagorec, кажись, начала соображать. Эти сгенерированные ссылки переношу в сканер и там по фильтру action=information уже собираются ссылки на товары. Проверяю догадку :)
     
  2. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    РАБОТАЕТ! УРА! Огромное человеческое спасибо вам :)
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В моем проекте около 18000 ссылок. Я не знаю, почему вы его не можете загрузить...
     
  4. Marichka

    Marichka New Member Пользователи

    Регистрация:
    15 авг 2014
    Сообщения:
    8
    Помогите собрать ссылки с двух сайтов, они одинаковые по смыслу
    Ссылки нужны такого плана, у меня вообще ни как не получается.:sad:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    1)Для работы с такими ссылками необходимо включать wbapp (так как в ссылке присутствует значек #)
    ctrl+h галочки на "Контент" и "Ссылки"
    2) Идем и ручками собираем все категории, причем таким образом, чтобы если есть подкатегория, то основную категорию не берем в расчет.
    Получается например такая ссылка
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    offset=0 это страницы, шаг = 10
    Поэтому генерируем это дело.(см рисунок)
    ну и дальше настраиваем фильтра. получаем ссылки.
    С другим аналогично.
     

    Вложения:

  6. igpod

    igpod New Member Пользователи

    Регистрация:
    21 фев 2015
    Сообщения:
    12
    Добрый день. Не собирает ссылки с сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    . При попытке снять куки пишет "Веб-сайт отклонил запрос на отображение веб-страницы". Какие действия предпринять дальше?
     

    Вложения:

    • www.4rd.ru.cdp
      Размер файла:
      26,9 КБ
      Просмотров:
      7
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нажать ctrl+h и вставить следующий UserAgent:
    Код:
    User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0
    С уважением к вам, Сергей...
     
  8. Олекса

    Олекса New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    4
    Не собираются ссылки с ютуба.
    Мои действия:
    перехожу в раздел ссылки
    ввожу
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    диапазон от 1 до 10 шаг1
    ввожу ключевики
    нажимаю "сгенерировать ссылки"-используя диапазон
    появляется 10 ссылок на каждый ключ
    нажимаю "парсить"
    перехожу во вкладку "контект", а там 0 ссылок
    Что я делаю не так?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Пожалуйста, приложите к сообщению ваш файл проекта (меню - файл - сохранить проект).

    Спасибо!
     
  10. Олекса

    Олекса New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    4
    Вложила файл проэкта
     

    Вложения:

    • youtube.cdp
      Размер файла:
      28,3 КБ
      Просмотров:
      3
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Посмотрел ваш проект. Во вкладке "Ссылки" -> группа "Парсинг и обработка" были некорректно задана область поиска ссылок (видимо, верстка YouTube сменилась и старая область поиска ссылок более не подходит).

    Проект к сообщению приложил.

    С уважением к вам, Сергей.
     

    Вложения:

    • youtube (5).cdp
      Размер файла:
      27,9 КБ
      Просмотров:
      14
  12. Олекса

    Олекса New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    4
    Загрузила в программу присланный вами проэкт, но при парсинге ссылок ни одной не находит.
    Т.е. на вкладке "ссылки" ссылки с заданным ключевиком генерирует, а далее при парсинге пишет "найдено ссылок:0 " и при переходе во вкладку "контент" ни одной ссылки так и не появялется...
     

    Вложения:

    • 1.jpg
      1.jpg
      Размер файла:
      40,3 КБ
      Просмотров:
      27
    • 2.jpg
      2.jpg
      Размер файла:
      59,5 КБ
      Просмотров:
      27
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Только что еще раз проверил - работает. В чем у вас проблема - мне не известно.
     
  14. Олекса

    Олекса New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    4
    ...я тоже не знаю в чем проблема, но программа нормально не работает, пробую парсить эти ссылки сканером сайтов, так они парсятся но с десятого раза и то не все ...
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Проблема не в программе, а в выполненных настройках или особенностях сайта (который парсите).

    Диагностировать причину проблемы использования вышеуказанного проекта программы на вашем ПК я не могу. Пожалуйста, попробуйте выставить 1 поток в сканере сайтов. Если это не поможет, обратитесь к специалистам по настройке Ссылки недоступны для гостей

    Спасибо!

    С уважением к вам, Сергей...
     
  16. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    Всем привет! Помогите разобраться! Сканер находит 724 ссылки с товарами, когда согласно прайсу их около 4000. В чем проблема?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Для сканера включите обработку DOM в ctrl+h
     
  18. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    Спасибо!
     

Поделиться этой страницей