Парсинг во вкладке "Ссылки" Sat, 11 Apr 2026 08:55:45 +0000 Sat, 11 Apr 2026 08:55:45 +0000 Форум по парсингу сайтов и интернет магазинов https://forum.sbfactory.ru/forums/parsing-vo-vkladke-ssylki.31/ Tue, 07 Mar 2023 18:05:47 +0000 https://forum.sbfactory.ru/threads/demo.2276/ https://forum.sbfactory.ru/threads/demo.2276/ invalid@example.com (Алексе) Алексе В демо версии собранные сканером ссылки нельзя запустить на парсер контента? я правильно понял]]> 12 Fri, 16 Dec 2022 15:53:58 +0000 https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-na-publikacii-so-stranic-paginacii.10353/ https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-na-publikacii-so-stranic-paginacii.10353/ invalid@example.com (smmshik) smmshik
Сгенерировал 100 страниц пагинации.

Посмотреть вложение 10900

На каждой такой странице содержится 24 ссылки на публикации (расширение страницы .html).

Как спарсить url публикаций, находящихся на этих страницах пагинации?
Их должно быть 2400.

Буду благодарен за подсказку!
]]> 6 Mon, 23 May 2022 18:24:43 +0000 https://forum.sbfactory.ru/threads/ne-poluchaetsja-sobrat-vse-ssylki-s-ajax-paginaciej.10095/ https://forum.sbfactory.ru/threads/ne-poluchaetsja-sobrat-vse-ssylki-s-ajax-paginaciej.10095/ invalid@example.com (strateg2010) strateg2010 при этом если смотреть отчет, тогда вроде все количество...

Не получается собрать все ссылки с ajax пагинацией]]> Fri, 01 Apr 2022 15:49:34 +0000 https://forum.sbfactory.ru/threads/zaschita-ot-parsinga.2754/ https://forum.sbfactory.ru/threads/zaschita-ot-parsinga.2754/ invalid@example.com (West) West http://ddos-guard.net, можно как-то обойти эту защиту?
Спасибо!]]> 11 Sat, 13 Nov 2021 18:35:08 +0000 https://forum.sbfactory.ru/threads/raznica-kol-va-stranic-brauzer-cdx1.8167/ https://forum.sbfactory.ru/threads/raznica-kol-va-stranic-brauzer-cdx1.8167/ invalid@example.com (imya) imya https://yandex.ru/sprav/search?text=строительство коттеджей,&geo_id=194&limit=50&page=2
хром и ие находят по 3 страницы
cdx1 находит две страницы(пробовал ei11 и CEF)]]> 6 Tue, 31 Aug 2021 14:42:07 +0000 https://forum.sbfactory.ru/threads/perestali-generirovatsja-ssylki-v-2gis.9707/ https://forum.sbfactory.ru/threads/perestali-generirovatsja-ssylki-v-2gis.9707/ invalid@example.com (AlexPestov) AlexPestov 1 Thu, 01 Apr 2021 06:22:06 +0000 https://forum.sbfactory.ru/threads/ne-parsjatsja-ssylki-na-tovary-s-sajta-eme54-ru.9435/ https://forum.sbfactory.ru/threads/ne-parsjatsja-ssylki-na-tovary-s-sajta-eme54-ru.9435/ invalid@example.com (4upik) 4upik https://eme54.ru/catalog/telezhki_skladskie_gidravlicheskie_standartnye/ не собираются ссылки на товары к примеру на этот товар https://eme54.ru/catalog/telezhki_s...00_kg_bfc6_7_s_led_displeem_poliuretan_kolesa

Пробовал в настройках http запросов различные библиотеки использовать, также поднимал тайм аут загрузки документа не помогло.

Посмотрел в браузере через просмотр кода,...

Не парсятся ссылки на товары с сайта eme54 ru]]> 3 Tue, 16 Feb 2021 02:47:25 +0000 https://forum.sbfactory.ru/threads/ne-parsit-po-ssylkam.9313/ https://forum.sbfactory.ru/threads/ne-parsit-po-ssylkam.9313/ invalid@example.com (vadkamm) vadkamm
Проблема в том что не парсит и пишет ошибки, сам файл CSV


]]> 6 Wed, 16 Dec 2020 09:19:37 +0000 https://forum.sbfactory.ru/threads/ne-parsjatsja-ssylki-parsing-etsy-magazina.9170/ https://forum.sbfactory.ru/threads/ne-parsjatsja-ssylki-parsing-etsy-magazina.9170/ invalid@example.com (moidodyr66) moidodyr66 https://www.etsy.com/shop/DiamondGraphicsArt?page=1#items

Почему программа не находит ссылки на товары?
https://www.etsy.com/listing/924389157/designer-inspired-logo-decal]]> 5 Thu, 03 Sep 2020 20:45:33 +0000 https://forum.sbfactory.ru/threads/dinamicheskij-parametr-dlja-sledujuschej-ssylki.8939/ https://forum.sbfactory.ru/threads/dinamicheskij-parametr-dlja-sledujuschej-ssylki.8939/ invalid@example.com (dexperanto) dexperanto Парсю FB, списки.
В конце страницы каждой есть ключ, который используется в ссылке для генерации следующей страницы. Как мне его использовать, чтобы парсить?
К примеру, ссылки вида xxx.net/sss.php?xxx=ключ
В конце каждой страницы выдачи новый ключ для следующей страницы пагинации.
Как мне его использовать в ссылках?
PARAM не получится, тут нужно как-то брать значение, запоминать и подставлять его в каждую следующую ссылку.]]> 1 Sun, 09 Aug 2020 10:42:03 +0000 https://forum.sbfactory.ru/threads/parsing-ssylok-s-rubriki-sajta-parsing-materialov-po-tegam.8860/ https://forum.sbfactory.ru/threads/parsing-ssylok-s-rubriki-sajta-parsing-materialov-po-tegam.8860/ invalid@example.com (zyzy) zyzy Есть сайт https://novate.ru/
Требуется https://novate.ru/blogs/tags/%EE%E1%F3%E2%FC/ . Подскажите как примерно реализовать, а то что то не могу понять.
ТО есть ребуется спарсить записи с тегом обувь. Спасибо вам.]]> 1 Fri, 17 Jul 2020 19:30:40 +0000 https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-na-tovary-iz-rubriki-gde-knopka-pokazat-esche.8807/ https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-na-tovary-iz-rubriki-gde-knopka-pokazat-esche.8807/ invalid@example.com (timur777) timur777 https://www.dveriregionov.ru/catalog/mezhkomnatnye_dveri/
С помощью wbapp а дальше как? Спасибо.]]> 3 Thu, 09 Jul 2020 11:47:10 +0000 https://forum.sbfactory.ru/threads/vozmozhno-li-ispolzovat-param-vo-vkladke-ssylki.5875/ https://forum.sbfactory.ru/threads/vozmozhno-li-ispolzovat-param-vo-vkladke-ssylki.5875/ invalid@example.com (weresa) weresa До сих пор удачно использовала функцию ПАРАМ в сканере. Теперь у меня генерируется список ссылок на подразделы каталога во вкладке Ссылки, и он огромный, > 10 тыс. позиций. Я копирую его в сканер, где настроен ПАРАМ, но ссылки на товары собираются только из одного раздела, остальные сканер почему-то не видит((
Может быть, можно сразу их выгонять из вкладки Ссылки? Может, тогда они будут обрабатываться все?
Прилагаю проект.]]> 14 Wed, 01 Jul 2020 16:04:55 +0000 https://forum.sbfactory.ru/threads/ne-parsjatsja-vtoraja-i-posledujuschie-stranicy-rubriki-v-url-adresax-prisutstvuet-simvol-reshetki.8754/ https://forum.sbfactory.ru/threads/ne-parsjatsja-vtoraja-i-posledujuschie-stranicy-rubriki-v-url-adresax-prisutstvuet-simvol-reshetki.8754/ invalid@example.com (timur777) timur777 8 Wed, 29 Apr 2020 09:39:28 +0000 https://forum.sbfactory.ru/threads/parsing-spiska-ssylok-podgruzhaemyx-po-knopke-pokazat-esche.8571/ https://forum.sbfactory.ru/threads/parsing-spiska-ssylok-podgruzhaemyx-po-knopke-pokazat-esche.8571/ invalid@example.com (green) green Буду благодарен за подсказку. Нужно получить все ссылки на товары со страницы
https://domoidostavim.ru/semya/categories/syry]]> 2 Thu, 09 Apr 2020 20:51:10 +0000 https://forum.sbfactory.ru/threads/oshibka-ne-najdeno-ni-odnoj-novoj-ssylki.5444/ https://forum.sbfactory.ru/threads/oshibka-ne-najdeno-ni-odnoj-novoj-ssylki.5444/ invalid@example.com (chikchirik) chikchirik При парсинге сайта во вкладке Ссылки, первая страница парсится удачно, а последующие парсер видит как предыдущую и выдаёт сообщения "Не найдено ни одной новой ссылки". Стоит галочка DOM ссылки
пример ссылки для парсинга http://www.acmilan.ru/katalog/classes/_proizvoditel-is-arte_lamp_164y/#page7]]> 13 Sat, 22 Feb 2020 12:51:35 +0000 https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-sajta.8359/ https://forum.sbfactory.ru/threads/kak-sparsit-ssylki-sajta.8359/ invalid@example.com (Liks) Liks Как можно собрать все ссылки на товары которые часть подгружаются json при скроле - Пример.]]> 5 Wed, 12 Feb 2020 12:25:33 +0000 https://forum.sbfactory.ru/threads/ne-naxodit-ssylki-na-tovary-rubriki-riter-com-ru.8314/ https://forum.sbfactory.ru/threads/ne-naxodit-ssylki-na-tovary-rubriki-riter-com-ru.8314/ invalid@example.com (Lexus) Lexus https://riter-com.ru/catalog/armchairs/ - не получается сделать сбор ссылок на товары,
ролик "Решение проблем с возможными ошибками загрузки WEB-страниц.mp4" не помог в данном случае, это их сервер не дает?
Можно обойти это?]]> 6 Tue, 13 Aug 2019 14:30:52 +0000 https://forum.sbfactory.ru/threads/parsing-kategorij-kataloga.7777/ https://forum.sbfactory.ru/threads/parsing-kategorij-kataloga.7777/ invalid@example.com (ergoline) ergoline Захотел для разминки попробовать сделать парсинг категорий крупного сайта
Точнее, в идеале, все категории сайты, и если выйдет - количество материалов в этих разделах.
Нашел здесь такое видео
вроде сделал как указано в 1 части про ebay.
Но... это ж только 1 страница и раздел контент.
А как чтоб он по всему сайту пробежался и собрал все категории?
Ну хоть не за 1 раз, а с главных...

Парсинг категорий каталога]]> Tue, 09 Apr 2019 16:03:38 +0000 https://forum.sbfactory.ru/threads/pri-ukazanii-oblasti-ssylok-dobavljaetsja-lishnjaja.7409/ https://forum.sbfactory.ru/threads/pri-ukazanii-oblasti-ssylok-dobavljaetsja-lishnjaja.7409/ invalid@example.com (Kreol) Kreol Настроил сбор ссылок на новом чистом проекте. Указал диапазон сбора ссылок.
В коде если его взять отдельно 2 ссылки и 2 дубля, в выдаче 3, откуда берется 3-я не понимаю. Может чего-то не замечаю? Подскажите пожалуйста. Речь про первую ссылку, которой не должно быть в выдаче.
Посмотреть вложение 6622]]> 5