Проблема со сбором ссылок

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Liooon, 21 авг 2015.

  1. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    Всем привет! Есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Собираются не все ссылки. Никакие танцы с бубном не помогают. Пробовал DOM запросы и все такое. Сначала нашел косяк: Я собирал с сайта ссылки глубиной 3, например
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , там название "Косметичка Happy navy текст дорож уни_N", но если в названии есть фраза "д/шеи" или чего другого, например "Подушка д/шеи Grott blue флок+pvc_N" то этот слэш в ссылке тоже есть!:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и это уже глубина ссылки 4! Увеличил глубину ссылок - после этого немного ссылок добавилось, но все равно не хватает. Сравнивал две ссылки попавшего и не попавшего товара - особой разницы нет. Кто подскажет???
     
    Последнее редактирование модератором: 21 авг 2015
    Liooon, 21 авг 2015
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Заходите на любой раздел, например
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    крутите вниз и там есть ссылка "Показать ВСЕ"
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Вот с этих страниц и собираете.
    Категории собирать руками.
     
    Kreol, 22 авг 2015
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Какие то проблемы придумали на пустом месте, обычная настройка сканера там позволяет все собрать.
    Пример приложен к сообщению, после проверки сообщите все ли собрало.:soccer:
     

    Вложения:

    kagorec, 22 авг 2015
    #3
  4. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    Огромное спасибо. Вроде все собрались - буду смотреть что делал не так.
     
    Liooon, 23 авг 2015
    #4
  5. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    Я смотрю ты выставил паузу в мс, а с какой целью и по каким критериям определил?
     
    Liooon, 23 авг 2015
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Стандартная пауза чтоб исключить вероятность бана
     
    kagorec, 23 авг 2015
    #6
  7. Liooon

    Liooon New Member Пользователи

    Регистрация:
    7 июн 2015
    Сообщения:
    121
    пасиб
     
    Liooon, 23 авг 2015
    #7
Similar Threads
  1. nicksat

    Помогите решить задачу со сбором ссылок

    nicksat, 12 апр 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    2
    Просмотров:
    1.519
    nicksat
    12 апр 2013
  2. romanvl

    Проблема со сбором ссылок, русские названия в ссылке, прошу помощи

    romanvl, 15 июн 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    16
    Просмотров:
    2.211
    anzerg
    31 окт 2022
  3. Vicusto

    Сканер ссылок не парсит все ссылки с заданной страницы

    Vicusto, 19 фев 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    3
    Просмотров:
    1.650
    Root
    19 фев 2015
  4. DginyVolshebnik

    Проблема расстановки спарсеных ссылок на картинки в csv файле

    DginyVolshebnik, 14 июл 2015, в разделе: Скачивание картинок и файлов
    Ответов:
    8
    Просмотров:
    1.079
    Root
    16 июл 2015
  5. Japonec

    Проблема со сбором ссылок и категориями

    Japonec, 24 авг 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    788
    Japonec
    24 авг 2015
Загрузка...

Поделиться этой страницей