Подгрузка данных, которых нет в коде WEB-документа Подгружаем отсутствующие данные с помощью WBApp или макросов шаблона вывода GETMORECONTENT Tue, 14 Jul 2026 09:23:38 +0000 Tue, 14 Jul 2026 09:23:38 +0000 Форум по парсингу сайтов и интернет магазинов https://forum.sbfactory.ru/forums/podgruzka-dannyx-kotoryx-net-v-kode-web-dokumenta.63/ Парсинг данных после скроллинга Mon, 09 Mar 2026 01:46:05 +0000 https://forum.sbfactory.ru/threads/parsing-dannyx-posle-skrollinga.10990/ https://forum.sbfactory.ru/threads/parsing-dannyx-posle-skrollinga.10990/ invalid@example.com (Styud) Styud есть проблема. Данные подгружаются только после скроллинга страницы вниз.

<div class="assoc-block js-load-block loader_circle" data-block="assoc" data-file="/catalog/vanny/akrilovye_vanny/74555/">

такой код виден до скроллинга

если пролистать то выполняется гет запрос
/catalog/vanny/akrilovye_vanny/74555/?BLOCK=assoc

после чего подгружаются связанные товары.
пробовал все что есть в справке и пролистал форум но не смог найти как прописать чтоб пролисталось само.
т.е....

Парсинг данных после скроллинга]]> Как подгрузить данные JSON по api (парсинг остатков товаров) Sat, 08 Feb 2025 12:48:42 +0000 https://forum.sbfactory.ru/threads/kak-podgruzit-dannye-json-po-api-parsing-ostatkov-tovarov.8955/ https://forum.sbfactory.ru/threads/kak-podgruzit-dannye-json-po-api-parsing-ostatkov-tovarov.8955/ invalid@example.com (Amigo1985) Amigo1985 https://spb.leroymerlin.ru
Возьмем к примеру товар https://spb.leroymerlin.ru/product/krug-otreznoy-po-metallu-a40-15633986/
Все данные передаются в GET запросе, кроме наличия.
Данные об остатках подгружаются POST запросом JSON, но через api
https://api.leroymerlin.ru/aem_api/v1/getProductAvailabilityInfo - ссылка POST запроса
{"productId":"15633986","productSource":"E-COMMERCE","regionId":"506"} - данные POST запроса
Сделать по инструкции...

Как подгрузить данные JSON по api (парсинг остатков товаров)]]> 11 Номер телефона не открывается в коде Fri, 21 Apr 2023 05:33:56 +0000 https://forum.sbfactory.ru/threads/nomer-telefona-ne-otkryvaetsja-v-kode.10515/ https://forum.sbfactory.ru/threads/nomer-telefona-ne-otkryvaetsja-v-kode.10515/ invalid@example.com (danielski) danielski открываю границы парсинга и вылезает окно wbapp с надписью ''использование списка событий вожможно только в ультимейт версиях программы"
я не понимаю проблема в версии или в том, что я делаю что-то не так
потому что в коде полного номера нет .
https://erzrf.ru/zastroyschiki/bran...onKey=0&organizationId=20813743001&costType=1...

Номер телефона не открывается в коде]]> 2 Составление POST-Запроса Sun, 12 Feb 2023 13:27:31 +0000 https://forum.sbfactory.ru/threads/sostavlenie-post-zaprosa.5812/ https://forum.sbfactory.ru/threads/sostavlenie-post-zaprosa.5812/ invalid@example.com (dexperanto) dexperanto Помогите создать запрос для перехода между поисковыми страницами.

Live Http пишет такие данные:
http://torgi.mosreg.ru/adminarea/api/adminArea/customer/postQuery

POST /adminarea/api/adminArea/customer/postQuery HTTP/1.1
Host: torgi.mosreg.ru
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:55.0) Gecko/20100101 Firefox/55.0
Accept: application/json, text/plain, */*
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Content-Type:...

Составление POST-Запроса]]> 5 WBAPP зависает при использовании SCROLLDOWN (большой объем контета) Fri, 23 Sep 2022 17:22:29 +0000 https://forum.sbfactory.ru/threads/wbapp-zavisaet-pri-ispolzovanii-scrolldown-bolshoj-obem-konteta.7479/ https://forum.sbfactory.ru/threads/wbapp-zavisaet-pri-ispolzovanii-scrolldown-bolshoj-obem-konteta.7479/ invalid@example.com (Octavian) Octavian Есть группа фейсбука, в которой состоит почти 50 тыс юзеров. Задача собрать все профили, которые подгружаются при скроллинге страницы вниз. Использую SCROLLDOWN, [GETHTML]: ,
[SAVEHTMLTOFILE] , [RESETSTOREDCODE] в цикле. Через некоторое время скорость процесса падает в десять раз, а потом зависает, для ИЕ это слишком большой объем кода.
Можно взять более мощное железо, но боюсь что для всего списка не поможет, есть ли решение средствами СД?]]> 7 парсинг калькуляторов uCalc Thu, 14 Jul 2022 18:48:48 +0000 https://forum.sbfactory.ru/threads/parsing-kalkuljatorov-ucalc.10164/ https://forum.sbfactory.ru/threads/parsing-kalkuljatorov-ucalc.10164/ invalid@example.com (perplexor) perplexor Пример https://api.ucalc.pro/api/398137
Как видно, везде обилие вариантов (чекбоксы, списки, радиобатоны).
Будет ли CD работать с таким контентом? Нужно задавать определенные значения, кликать по элементам и парсить результаты]]> Подгрузка данных в цикле с изменяемыми параметрами. Fri, 13 May 2022 19:35:07 +0000 https://forum.sbfactory.ru/threads/podgruzka-dannyx-v-cikle-s-izmenjaemymi-parametrami.10084/ https://forum.sbfactory.ru/threads/podgruzka-dannyx-v-cikle-s-izmenjaemymi-parametrami.10084/ invalid@example.com (iam9ripe) iam9ripe На входе HTML с JSON, из JSON берутся параметры которые используются в PHP_SCRIPT запросе, но дело в том, что PHP_SCRIPT нужно запускать в цикле, да еще и с изменением одного параметра взятого 1 раз из начального JSON, это параметр количества отзывов. Но подгружаемый скрипт за 1 раз отдает только 8 записей и в JSON формате, но это не проблема, проблема указывать каждый раз новое смещение для получение следующией порции из 8 отзывов...

Подгрузка данных в цикле с изменяемыми параметрами.]]> 1 Парсинг с заскриптованного сайта Wed, 04 May 2022 10:03:02 +0000 https://forum.sbfactory.ru/threads/parsing-s-zaskriptovannogo-sajta.10080/ https://forum.sbfactory.ru/threads/parsing-s-zaskriptovannogo-sajta.10080/ invalid@example.com (sotex2) sotex2
https://www.proizvoditeli-rossii.ru...vary-dlya-sada-i-ogoroda/13361-ooo-chippolino]]> в get запросе URL замкнутый круг(( помогите пжл Mon, 25 Apr 2022 09:51:43 +0000 https://forum.sbfactory.ru/threads/v-get-zaprose-url-zamknutyj-krug-pomogite-pzhl.10067/ https://forum.sbfactory.ru/threads/v-get-zaprose-url-zamknutyj-krug-pomogite-pzhl.10067/ invalid@example.com (ital) ital (во-первых - спасибо за парсер! - он крутой)

Теперь вот. Ситуация такая.
GET запрос включает в себя уникальный ID сотрудника.

[APPENDDOCSOURCE]<GETMORECONTENT>
<URL="http://nbase.opeo.ru/api/app/member_card_app.aspx?id=9043c33f-770f-4a6c-827e-59f0109a8ca&card=/01.01.05.01/member_card.aspx&css=/Content/register.css">
<START=""><STARTCOUNT="0"><END=""><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>[/APPENDDOCSOURCE]

Как / чем прописать эту часть...

в get запросе URL замкнутый круг(( помогите пжл]]> 2 Скролинг не страницы а в нутри страницы Fri, 19 Nov 2021 13:44:30 +0000 https://forum.sbfactory.ru/threads/skroling-ne-stranicy-a-v-nutri-stranicy.9859/ https://forum.sbfactory.ru/threads/skroling-ne-stranicy-a-v-nutri-stranicy.9859/ invalid@example.com (Neutrion) Neutrion ]]> 6 Характеристик нет в коде страницы (они подгружаются скриптами) Mon, 23 Aug 2021 14:57:18 +0000 https://forum.sbfactory.ru/threads/xarakteristik-net-v-kode-stranicy-oni-podgruzhajutsja-skriptami.8409/ https://forum.sbfactory.ru/threads/xarakteristik-net-v-kode-stranicy-oni-podgruzhajutsja-skriptami.8409/ invalid@example.com (Mind) Mind Собственно проблема в том, что в коде товара не видно характеристик. Подозреваю, что нужно использовать GET запрос. Просьба помочь советом, спасибо!
Пациент
http://prin.ru/kontrollery/trimble/tsc7/abcd/]]> 3 Подгрузить контакты (телефон) GET запросом с сайта Salexy Thu, 01 Jul 2021 13:54:08 +0000 https://forum.sbfactory.ru/threads/podgruzit-kontakty-telefon-get-zaprosom-s-sajta-salexy.9610/ https://forum.sbfactory.ru/threads/podgruzit-kontakty-telefon-get-zaprosom-s-sajta-salexy.9610/ invalid@example.com (Smodey) Smodey Суть в чём. Необходимо с сайта дополнительно подгружать телефон. Решил не кликать через CEF, а сделать это с помощью GET запроса.
Для ответа сайта как я понял достаточно передать
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
X-Requested-With: XMLHttpRequest

Однако, если их передавать через getmorecontent, то отдаёт пустой документ.
Если их передавать через основной парсинг - то отдаёт номер телефона.
Никак не могу понять, что там не так.

Проект:...

Подгрузить контакты (телефон) GET запросом с сайта Salexy]]> 2 Собрать ссылки вариантов Thu, 29 Apr 2021 08:30:03 +0000 https://forum.sbfactory.ru/threads/sobrat-ssylki-variantov.8633/ https://forum.sbfactory.ru/threads/sobrat-ssylki-variantov.8633/ invalid@example.com (Diabet) Diabet подскажите варианты собрать ссылки на товары из карточки
https://shambala.com.ua/kofta-muzhs...0-crew-light-gray-heather-r.l-sw-ss600.883-l/]]> 4 Парсинг телефонов и контактов Tue, 27 Apr 2021 00:01:24 +0000 https://forum.sbfactory.ru/threads/parsing-telefonov-i-kontaktov.9491/ https://forum.sbfactory.ru/threads/parsing-telefonov-i-kontaktov.9491/ invalid@example.com (Stan) Stan Такой сайт https://www.b17.ru/alina609/ . при клике на показать контакты, в браузере показывается телефон. а в CD нет, и в Firefox Тоже походу. Как можно спарсить телефон?]]> 6 PHP_SCRIPT разбить ответ не несколько переменных Sun, 07 Mar 2021 03:46:08 +0000 https://forum.sbfactory.ru/threads/php_script-razbit-otvet-ne-neskolko-peremennyx.9363/ https://forum.sbfactory.ru/threads/php_script-razbit-otvet-ne-neskolko-peremennyx.9363/ invalid@example.com (dima911) dima911 Столкнулся с такой задачей. Нужно выполнить перевод через гугл транслейтер нескольких границ.
Но не хочется каждый раз дергать гугл по каждой границе.
Я хотел отправлять запрос в гугл обрамленный служебными тегами а при получении раскидывать по нужным переменным, что бы за один запрос распарсить несколько граница.
Возможно ли ответ от PHP_SCRIPT разбить на несколько переменных?]]> 12 Как подгрузить ID (артикулы) похожих товаров Fri, 19 Feb 2021 05:47:32 +0000 https://forum.sbfactory.ru/threads/kak-podgruzit-id-artikuly-poxozhix-tovarov.9324/ https://forum.sbfactory.ru/threads/kak-podgruzit-id-artikuly-poxozhix-tovarov.9324/ invalid@example.com (schtirlitz) schtirlitz Помогите определить id связанных товаров. В firefox в мониторе сети эти данные не подгружаются динамически. Может быть кто-то сталкивался с таким?

Код:
https://www.prof-svet.ru/product/foraled/dp01-125-002-1w-blade-bs-25w-3000k.html

Спасибо всем!]]> 3 Вывод переменной JSON в макросе PHP_SCRIPT Sun, 14 Feb 2021 05:22:11 +0000 https://forum.sbfactory.ru/threads/vyvod-peremennoj-json-v-makrose-php_script.9295/ https://forum.sbfactory.ru/threads/vyvod-peremennoj-json-v-makrose-php_script.9295/ invalid@example.com (Sokol) Sokol <PHP_SCRIPT=https://translation.googleapis.com/...u&target=en&q=<CD_GRAN_1!>[GET][JSON_DECODE]>
<HEADERS></HEADERS>
</PHP_SCRIPT>
ответом приходит
{
"data": {
"translations": [
{
"translatedText": "nibble"
}
]
}
}
Как получить значение переменной translatedText ?

Всем спасибо заранее за ответ.

Еще вопрос...

Вывод переменной JSON в макросе PHP_SCRIPT]]> 32 Подгрузка контактных данных при парсинге Sat, 12 Dec 2020 05:15:45 +0000 https://forum.sbfactory.ru/threads/podgruzka-kontaktnyx-dannyx-pri-parsinge.9148/ https://forum.sbfactory.ru/threads/podgruzka-kontaktnyx-dannyx-pri-parsinge.9148/ invalid@example.com (Ruslan_si) Ruslan_si https://archiprofi.ru/bitrix/compon...r/yuriy-zubenko/";s:7:"USER_ID";s:5:"31630";}

хотя в браузере открывается https://prnt.sc/w02v75
[​IMG]

не удается загрузить страничку и задать границы парсинга,...

Подгрузка контактных данных при парсинге]]> 2 [GETMORECYCLECONTENT] пустой результат (с иероглифами в URL запроса) Thu, 17 Sep 2020 15:41:42 +0000 https://forum.sbfactory.ru/threads/getmorecyclecontent-pustoj-rezultat-s-ieroglifami-v-url-zaprosa.8965/ https://forum.sbfactory.ru/threads/getmorecyclecontent-pustoj-rezultat-s-ieroglifami-v-url-zaprosa.8965/ invalid@example.com (mobi) mobi 2 Как спарсить эти картинки ? (подгружаются скриптом в табах) Thu, 25 Jun 2020 07:04:09 +0000 https://forum.sbfactory.ru/threads/kak-sparsit-ehti-kartinki-podgruzhajutsja-skriptom-v-tabax.8740/ https://forum.sbfactory.ru/threads/kak-sparsit-ehti-kartinki-podgruzhajutsja-skriptom-v-tabax.8740/ invalid@example.com (jeck2020) jeck2020 http://kinozal.tv/details.php?id=796370

Интересуют конкретно картинки из вкладки "скриншоты". Спасибо.]]> 2