Ошибка: Не найдено ни одной новой ссылки

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем chikchirik, 7 сен 2017.

  1. chikchirik

    chikchirik New Member Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6
    Поиск ошибки не дал результатов.
    При парсинге сайта во вкладке Ссылки, первая страница парсится удачно, а последующие парсер видит как предыдущую и выдаёт сообщения "Не найдено ни одной новой ссылки". Стоит галочка DOM ссылки
    пример ссылки для парсинга Ссылки недоступны для гостей
     
  2. chikchirik

    chikchirik New Member Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6
    Увеличил таймаут проверки загрузки, заработало, послежу ещё
     
    Root нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.965
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
    chikchirik нравится это.
  4. chikchirik

    chikchirik New Member Пользователи

    Регистрация:
    23 авг 2017
    Сообщения:
    6
    Здравствуйте,
    Спасибо, карта сайта если что пригодится, но она у них давно не обновлялась и новых товаров там нет
    Таймаут проверки в итоге работает через раз
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.965
    Город:
    Барнаул
    Ссылки недоступны для гостей первое видео
     
    chikchirik нравится это.
  6. Deonis062

    Deonis062 New Member Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул
    Добрый день! Антологичная проблема - интернет магазин минилаб раздел металоискатели, сгенерированы ссылки по пагинации, выставленна глубина ссылок 5-5, при парсинге собираются ссылки с первой страницы на других соответственно ошибка: Не найдено ни одной новой ссылки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В настройках фильтра указаны только глубина ссылок (на товар).
    Лог: Ссылки недоступны для гостей
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.965
    Город:
    Барнаул
    Ну так то верно, зачем разбираться в URL. Зачем понимать, что для обычного запроса все, что после символа решетки - безразлично.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  8. Deonis062

    Deonis062 New Member Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул
    1. Откуда взялась данная ссылка?
    2.При переходе какая то кракозябра
    3. По шрифту я вижу что для вас это какой то тупой вопрос как для разработчика но во всех инструкциях о данной проблеме не слова я за последнию неделю около сотни видео просмотрел но тщетно, аналогичная проблема была и с сайтом ДНСом, если затрудняетесь объяснить дайте ссылку на паблик где можно разобраться с данной проблемой
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.965
    Город:
    Барнаул
    1) Ссылка берется из монитора сети Firefox Ссылки недоступны для гостей
    2) Это не "кракозябра", а JSON ответ с нужными данными
    3) Закономерное явление, столько отвечать на форуме на одни и те же вопросы без какой-то дополнительной оплаты. Странно, что еще отвечаю. Это не призыв платить, за ответы на форуме, просто поясняю ситуацию. Такая деформация поведения является закономерной в таких вот условиях.
     
  10. Deonis062

    Deonis062 New Member Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул
    Хорошо вопрос такой сколько будет стоить видео запись от А до Я по полному парсингу подобных сайтов? нужно разбираться а то год когда она просто мертвым грузом весит как то не ахти
    Ну и с вас я думаю это большинство вопросов снимет можете отправлять по ссылке
     
    Последнее редактирование: 8 апр 2020
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.965
    Город:
    Барнаул
    Видео с подобными темами полно, в системе помощи материалы есть по данным вопросам. Но вот досада, они не помогают большинству людей.
     
    Deonis062 нравится это.
  12. Deonis062

    Deonis062 New Member Пользователи

    Регистрация:
    29 мар 2020
    Сообщения:
    8
    Город:
    Барнаул
    Я встречал вычесление отдельных элементов (как например в вашем видео Связной где вы показываете как правильно делать ожидание загрузки сайта и с кнопкой корзина), а так же видео когда при переходе не менялась ссылка, но вот оч много сайтов это как раз как пример с минилабом dns, м-видео и еще куча, когда вроде и ссылка меняется и вроде все ок и html теги вроде есть но ни чего хорошего не происходит, видео полезно по крайней мере научился парсить некоторые сайты (то что после посещения этих сайтов почему то хочется помыть руки я промолчу) это не бесполезный труд. Но большинству необходим пример, привычка учится усваивать по видео 10 раз сделал по видео далее сам. Прога действительно хорошая и аналогов не видел но звезда какая сложная)
     
  13. AlexandrSorokin

    AlexandrSorokin Active Member Пользователи

    Регистрация:
    27 ноя 2018
    Сообщения:
    70
    Город:
    Пермь
    Конкретно по сборку ссылок в категории.
    Можно сделать парсинг ссылок, не используя сканер.

    Генерируете список
    num - от 1 до 15
    key - #/page-

    Ссылки недоступны для гостей

    Далее выбираете границу парсинга - ссылка на товар и запускаете в 1 поток с интервалом 1 секунда, потому что сайт будет банить за частые запросы.
    В идеале парсить со ссылки, которая будет показывать все товары, благо есть такая кнопка на странице.
    Конкретно у металлоискателей такая Ссылки недоступны для гостей

    Во вложении настройка и пример парсинга. Все ссылки собраны
     

    Вложения:

    Последнее редактирование: 9 апр 2020
    Deonis062 нравится это.
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.636
    Можно, если пользоватся Generate и несколькими последовательными шабьлонами, при этом начальные ссылки собрать руками
     

Поделиться этой страницей