Ссылки страниц товаров из выдачи

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем TomGood, 2 ноя 2015.

  1. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Помогите пожалуйста, сам не могу разобраться.
    Нужно собрать ссылки страниц товаров на всех страницах пагинации отсюда Ссылки недоступны для гостей
    Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    По указанной вами ссылке вижу только 1 страницу выдачи (без пагинатора внизу).

    С уважением к вам, Сергей.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот материал системы помощи по вашему вопросу Ссылки недоступны для гостей
     
  4. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
  5. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Вроде все делаю по инструкции, в фильтре настраиваю /itm/
    в итоге парсятся ссылки не относящиеся к конкретно этому списку
     
  6. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Сделал список ссылок из пагинации,
    но при предъпросмотре ссылок пагинаций в списке нет ссылок товаров
    и при просмотре кода документа в нем тоже нет ссылок (части кода) Ссылки недоступны для гостей. смотрю в исходном коде на странице view-source:Ссылки недоступны для гостей есть ссылки Ссылки недоступны для гостей
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    1. ctrl+h отметить "ссылки"
    2. во вкладке "ссылки" ограничить область поиска (кнопка между F и FIND)
    3. проставить диапазон ссылок выдачи и собирать товарные ссылки
     
  8. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Спасибо за развернутый ответ!
    Новый вопрос нарисовался. Где включить прокси? Оказалось только через амер ip показывает товары
    Спасибо!
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ctrl+r
     
  10. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Настроил корректный просмотр выдачи списка товаров с помощью кукис, но при парсинге ссылок товаров WBApp каждый зависает Ссылки недоступны для гостей
    и собирает 200 ссылок вместо 1000
    Пробовал увеличивать таймаут до 5000 - результат тот-же

    С такими настройками Ссылки недоступны для гостей
    При предпросмотре подъвисает Ссылки недоступны для гостей но ссылки в итоге ищет Ссылки недоступны для гостей
    При запуске парсинга не находит ни одной ссылки
     
    Последнее редактирование: 3 ноя 2015
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Скорее всего неправильно настроили, ранее с ебаем проблем не встречалось.
    С каждой страницы поиска или категорийной страницы максимум можно получить по 200 ссылок, как вы заметили этот параметр отображения передается через кукис.
    Откуда такое мнение что сразу со страницы можно собрать 1000 ссылок?)
     
  12. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Откуда нло прилетает?)

    вроде все правильно делаю.
    ссылки пагинации корректные
    не знаю, как http запросы настраивать.
    еще меня беспокоет, что App зависает

    помогайте плз
    Ссылки недоступны для гостей

    проект не могу отправить, кукис не мои)
     
  13. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    пересоздал проект с теми же настройками, собрало 412 ссылок из 1,109 results
    попробовал сделать через проверку загрузки элемента на странице - собрало 220)
     
    Последнее редактирование: 3 ноя 2015
  14. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Помогите настроить пожалуйста!
    Нужно отсюда, например Ссылки недоступны для гостей с учетом пагинации собрать ссылки товаров
     
    Последнее редактирование: 4 ноя 2015
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Настроил сканер сайтов (ctrl+7). Так устроит? (меню - файл - загрузить проект).
     

    Вложения:

    • ebay_links.cdp
      Размер файла:
      27,2 КБ
      Просмотров:
      8
  16. TomGood

    TomGood New Member Пользователи

    Регистрация:
    2 ноя 2015
    Сообщения:
    25
    Нашел 914 из 5,765 results.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Рекомендую обратиться к специалистам по настройке Ссылки недоступны для гостей (сходу разобраться с этим вопросом у меня не удалось).

    Спасибо!
     
  18. diokim

    diokim New Member Пользователи

    Регистрация:
    14 окт 2015
    Сообщения:
    4
    а подскажите пжл
    у меня есть Ссылки недоступны для гостей
    на нем есть внизу переходы на страницы, можно ли заполучить ссылки на товар с помощью Сканера сайта? а то приходится каждую категорию вручную настраивать в зависимости от количества страниц и собирать ссылки через вкладку ссылки?
    оч нужен ответ, спасибо )
     
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    пример настройки сканера
     

    Вложения:

  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Ebay store любой если взять то указывается там количестно одно, при сканировании другое. Испробовал несколько разных площадок на ebay.
     

Поделиться этой страницей