Ссылки страниц товаров из выдачи

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем TomGood, 2 ноя 2015.

  1. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Помогите пожалуйста, сам не могу разобраться.
    Нужно собрать ссылки страниц товаров на всех страницах пагинации отсюда Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.560
    Здравствуйте.

    По указанной вами ссылке вижу только 1 страницу выдачи (без пагинатора внизу).

    С уважением к вам, Сергей.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.560
  4. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
  5. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Вроде все делаю по инструкции, в фильтре настраиваю /itm/
    в итоге парсятся ссылки не относящиеся к конкретно этому списку
     
  6. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Сделал список ссылок из пагинации,
    но при предъпросмотре ссылок пагинаций в списке нет ссылок товаров
    и при просмотре кода документа в нем тоже нет ссылок (части кода) Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! . смотрю в исходном коде на странице view-source:Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! есть ссылки Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.681
    Город:
    Riga
    1. ctrl+h отметить "ссылки"
    2. во вкладке "ссылки" ограничить область поиска (кнопка между F и FIND)
    3. проставить диапазон ссылок выдачи и собирать товарные ссылки
     
  8. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Спасибо за развернутый ответ!
    Новый вопрос нарисовался. Где включить прокси? Оказалось только через амер ip показывает товары
    Спасибо!
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.560
    Ctrl+r
     
  10. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Настроил корректный просмотр выдачи списка товаров с помощью кукис, но при парсинге ссылок товаров WBApp каждый зависает Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    и собирает 200 ссылок вместо 1000
    Пробовал увеличивать таймаут до 5000 - результат тот-же

    С такими настройками Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    При предпросмотре подъвисает Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! но ссылки в итоге ищет Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    При запуске парсинга не находит ни одной ссылки
     
    Последнее редактирование: 3 ноя 2015
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.681
    Город:
    Riga
    Скорее всего неправильно настроили, ранее с ебаем проблем не встречалось.
    С каждой страницы поиска или категорийной страницы максимум можно получить по 200 ссылок, как вы заметили этот параметр отображения передается через кукис.
    Откуда такое мнение что сразу со страницы можно собрать 1000 ссылок?)
     
  12. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Откуда нло прилетает?)

    вроде все правильно делаю.
    ссылки пагинации корректные
    не знаю, как http запросы настраивать.
    еще меня беспокоет, что App зависает

    помогайте плз
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    проект не могу отправить, кукис не мои)
     
  13. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    пересоздал проект с теми же настройками, собрало 412 ссылок из 1,109 results
    попробовал сделать через проверку загрузки элемента на странице - собрало 220)
     
    Последнее редактирование: 3 ноя 2015
  14. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Помогите настроить пожалуйста!
    Нужно отсюда, например Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! с учетом пагинации собрать ссылки товаров
     
    Последнее редактирование: 4 ноя 2015
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.560
    Здравствуйте.

    Настроил сканер сайтов (ctrl+7). Так устроит? (меню - файл - загрузить проект).
     

    Вложения:

    • ebay_links.cdp
      Размер файла:
      27,2 КБ
      Просмотров:
      8
  16. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Нашел 914 из 5,765 results.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.560
    Рекомендую обратиться к специалистам по настройке Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (сходу разобраться с этим вопросом у меня не удалось).

    Спасибо!
     
  18. diokim

    diokim New Member Пользователи

    Регистрация:
    14 окт 2015
    Сообщения:
    4
    а подскажите пжл
    у меня есть Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    на нем есть внизу переходы на страницы, можно ли заполучить ссылки на товар с помощью Сканера сайта? а то приходится каждую категорию вручную настраивать в зависимости от количества страниц и собирать ссылки через вкладку ссылки?
    оч нужен ответ, спасибо )
     
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.681
    Город:
    Riga
    пример настройки сканера
     

    Вложения:

  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.681
    Город:
    Riga
    Ebay store любой если взять то указывается там количестно одно, при сканировании другое. Испробовал несколько разных площадок на ebay.
     

Поделиться этой страницей