Парсинг товаров Сканером сайтов ajax

Тема в разделе "Парсинг конкретных сайтов (ПЛАТНО)", создана пользователем strateg2010, 28 мар 2018.

  1. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    63
    Город:
    Владивосток
    Добрый вечер, у меня такой вопрос. Есть украинский рыболовный сайт, есть категория Воблеры Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Нужны воблеры только компании Jaxon, для фильтра именно этого производителя есть вот такая кнопка:
    [​IMG]
    У меня получилось собрать товары ТОЛЬКО с первой страницы, есть еще и вторая страница, ссылка на вторую страницу такая: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! (Я не ошибся, это такая страница)
    при переходе на эту ссылку, она становится автоматически такой: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    В итоге фильтры слетают и отображает всех производителей воблеров
    В общем CD не может зайти на вторую страницу и допарсить ссылки на товары со 2 страницы.
    Как можно получить товары со второй страницы?
    Вот мой проект:
     

    Вложения:

  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.105
    С чего вы взяли что там именно такая ссылка понятно, но это неправильно)
    И сканером такое не собирают
    правильная ссылка
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    ну и надо немного изучать
     

    Вложения:

  3. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    63
    Город:
    Владивосток
    А где вы такую ссылку взяли? читал гайд о HTTP заголовках и о том как их достать, но не разобрался.
    Открыл одну из ссылок вот что отображает браузер:
    [​IMG]
    Это так и должно быть? И что мне с этими ссылками делать? Искать нужные товары в сканере сайтов?
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.105
    Открываем проект и попадаем на вкладку ССЫЛКИ на ней просто нажимаем 2 раза на любой ссылке и получаем список ссылок с данной страницы.
    В браузере такие штуки не открываются
    И да это получение заголовков.
    Сканер не используется

    Остается настроить получение границ во вкладке Контент.
     
  5. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    63
    Город:
    Владивосток
    А можно узнать, как получить эти заголовки на будущее? По мануалу проходился, ничего не понятно и результата к сожалению от мануала нет((
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.105
    смотреть видео и разбираться. Это нужно просто понять.
     
  7. strateg2010

    strateg2010 Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    63
    Город:
    Владивосток
    Ну по совету Сергея, я попробовал поискать расширения для лисы, к сожалению или я дурак, или просто не смог найти точно такое же расширение.

    Спасибо Вам большое! Нужные товары я смог найти, уже все что нужно спарсил!
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.105
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    для новой версии
     
    Root нравится это.
Similar Threads
  1. Stepan
    Ответов:
    5
    Просмотров:
    631
  2. p_sheremet
    Ответов:
    1
    Просмотров:
    736
  3. kybertexbox
    Ответов:
    7
    Просмотров:
    166
  4. Rustia_25
    Ответов:
    6
    Просмотров:
    126
  5. strateg2010
    Ответов:
    7
    Просмотров:
    81
Загрузка...

Поделиться этой страницей