Автоматизация парсинга

Загрузка ссылок перед парсингом по FTP

invalid@example.com (Subrain) — Thu, 14 Dec 2023 20:14:33 +0000

Здравствуйте!
Сейчас ссылки перед парсингом загружаются с расшаренной папки.
Если бы они загружались с FTP было бы замечательно.
Есть такой функционал в планах?
Заранее спасибо.

Как удалить лишние HTML Теги при парсинге CD_AUTO

invalid@example.com (0619225) — Thu, 13 Jul 2023 00:27:14 +0000

При парсинге макросом CD_AUTO, выдирает все теги, только местами оставляет

.
Как сделать чтобы разметку базовую оставлял – H1, Н2, Н3,

Сайт и парсер на разных серверах. Такое возможно?

invalid@example.com (smmshik) — Wed, 01 Mar 2023 12:40:36 +0000

Здравствуйте!

Возникла такая необходимость, парсить сразу в MYSQL.
Парсер стоит на операционной системе Windows Server.
Cайт, который необходимо наполнять, на операционной системе Ubuntu.

Можно ли каким-то образом добавлять записи в базу данных с одного сервера на другой посредством SQL запросов? Какие есть варианты?
Если да, то каким должен быть пошаговый план действий (поверхностно)?

Буду очень признателен за ответ!

Как быстро найти нужный код?

invalid@example.com (webbb) — Thu, 13 Oct 2022 22:56:12 +0000

Ищу на сайте в коде h1
Если много лишнего кода, как быстро найти нужный?

парсинг ссылок если в границе парсинга определенный параметр

invalid@example.com (Farkhadov) — Wed, 27 Jul 2022 07:15:16 +0000

Доброго времени суток!

Я при помощи сканера сайта получаю нужные мне ссылки (с сайта yeniemlak.az) на объекты недвижимости.. их около 39000 но мне нужно парсить только те ссылки которые от владельцев недвижимости.. можно ли настроить парсинг полученных ссылок по границе парсинга? или есть какой другой способ

я планирую сканить данных сайт каждую неделю на наличии новых ссылков и мне нужно чтобы сканер игнорировал те ссылки которые я сканировал ранее… решение которое пришло в голову.....

парсинг ссылок если в границе парсинга определенный параметр

замена значений по 2 столбцам

invalid@example.com (Andrey2884) — Wed, 15 Jun 2022 06:23:37 +0000

Добрый день. Есть такая задача, есть общая таблица
количество поставщик
1 10
10 20
20 10
Как прописать макрос, что бы он обнулил значения в столбце количество относительно определенного поставщика

Парсинг XML с параметрами param name в CSV

invalid@example.com (dvovik) — Sat, 12 Feb 2022 12:22:30 +0000

Нужно спарсить XML-документ, чтоб параметры были в отдельных столбцах.
Исходник: https://genesis-aqua.com/genesis-aqua-GA_UA.xml

Если использую макрос [XMLELEMENTSTOCSV] , то все параметры в одном столбце.
Через [DYNAMICVALUES] хочу сделать вывод характеристик "param name" в отдельных столбцах.

Как настроить шаблон вывода повторяющихся границ парсинга param name внутри повторяющихся для макроса...

Парсинг XML с параметрами param name в CSV

Как создать многоступенчатый парсинг?

invalid@example.com (Avem) — Thu, 14 Oct 2021 21:50:32 +0000

Здравствуйте.

Я продолжаю изучать CD X1 и этот огромный функционал... Хотел спросить поверхностный вопрос. На пример если у меня для парсинга нужно выполнить несколько шагов последовательно то можно ли все эти шаги в одном проекте выполнить или надо создавать новый проект для каждого шага и их выполнять в ручную?

Например в моем конкретном случае мне надо спарсить эл адреса бизнесов. Я спарсил список ID потом из этого списка ID нужно взять значение ячейки и подставить его в ссылку и...

Как создать многоступенчатый парсинг?

Множество аккаунтов

invalid@example.com (dexperanto) — Mon, 19 Jul 2021 15:24:08 +0000

Здравствуйте.
Хочу через парсер сделать софт для комментариев на ютубе.
Как реализовать авторизацию через множество аккаунтов по очереди?
К примеру, парсер берёт текущую ссылку, авторизируется в аккаунте 1, либо под кукисами, открывает в Wbapp хром и оставляет коммент под видео. Дальше переходит к следующей ссылке, берёт аккаунт 2 и оставляет коммент.
Такое вообще возможно сделать с нашим любимым CD?

Добавление заданных текстовых значений

invalid@example.com (Vlad_M) — Mon, 22 Mar 2021 01:32:15 +0000

Здравствуйте, возможно ли выводить столбцы с заданными значениями при условии [DOCNAME]site.com.csv[/DOCNAME]

к примеру есть столбцы город и название компании если [DOCNAME]site.com.csv[/DOCNAME] такой то вывести в первом столбце Город а во втором столбце Компания

Как зациклить планировщик?

invalid@example.com (webhit) — Thu, 28 Jan 2021 06:48:20 +0000

Здравствуйте,
есть планировщик в котором добавлено порядка 20 заданий. Нужно , что бы после окончания выполнения всех задач в списке планировщика они запускались сразу заново автоматически.
Указывать временной интервал нет смысла, потому что длительность парсинга всегда разная, причем разница может быть в несколько часов.
Как можно решить это?

Как автоматически запустить парсинг во вкладке "Контент" после сбора ссылок

invalid@example.com (nikoshot) — Fri, 16 Oct 2020 18:39:09 +0000

Есть проект где сначала парсятся ссылки из карты сайта а потом можно запустить сам парсер во вкладке контент...
В планировщике ни как не смогу разобраться что бы сначала спарсить ссылки а потом запустить сканер во владке контент.. Можно выбрать ли бо то ли бо то...
http://joxi.ru/12M4XlKck1Gwjm
Как верно сделать что бы сначала спарсились ссылки с карты а потом запустить парсинг во вкладке контент?
-------------------------
Потому что если я добавляю второй (тот же проект) то он...

Как автоматически запустить парсинг во вкладке "Контент" после сбора ссылок

Проверка телефонного номера на регистрацию в мессенджерах

invalid@example.com (Denorion) — Sat, 19 Sep 2020 09:27:36 +0000

Добрый день!
Можно ли как то проверить базу собранных телефонов на наличие мессенджеров?
Телеграм, вотсап.
???

Автоматическое добавление не загруженных ссылок в список снова

invalid@example.com (Maxxx) — Tue, 02 Jun 2020 09:54:51 +0000

Скажите, есть ли возможность в программе добавления ссылок, которые не удалось спарсить из лога снова в список на парсинг. Чтобы это происходило автоматом, в конец списка добавлялись они. И может ли программа останавливать (ставить на паузу) парсинг при появлении нескольких таких ошибок? Или хотя бы сигнализровать как-то об этом?

Например, если сервер там на минуту прилег) Или чтобы сменить свой динамический айпи перезагрузкой роутера.

Выполнение шаблона после парсинга

invalid@example.com (TeslaCo) — Thu, 16 Apr 2020 05:34:30 +0000

Здравствуйте, подскажите пожалуйста, как выполнить определенный шаблон после всего объема парсинга, в конце?

Посмотреть вложение 8114

тоже самое что и это, но только выполнить код шаблона вывода вместо php скрипта.
Или, подскажите, как в полях на скриншоте выполнить php скрипт, но с передачей параметров?

Проблема с планировщиком и инструментом разделения больших файлов

invalid@example.com (kadishev1997) — Tue, 12 Nov 2019 09:35:13 +0000

Здравствуйте!

При запуске проекта через планировщик при использовании инструмента разделения больших файлов не обрабатывает проект (не разбивает и не добавляет элементы в список ссылок). При чем, связано это только с одним проектом. Остальные мои проекты (которые отрабатывают разбивку XML\YML) запускаются через планировщик спокойно. Попытался создать его по новой, прописал все те же самые параметры, но все так же не грузит его через планировщик.

При том же условии, запуск проекта вручную...

Проблема с планировщиком и инструментом разделения больших файлов

Как парсить отсканированные ссылки сразу в CSV файл?

invalid@example.com (Nissa) — Mon, 26 Aug 2019 11:06:11 +0000

Как парсить отсканированные ссылки сразу в CSV файл?

Планировщик заданий и сканер сайтов

invalid@example.com (Subrain) — Sat, 27 Jul 2019 23:51:41 +0000

Здравствуйте!
Подскажите, плиз.
Настроил планировщик, но программа запускает сначала Сканер сайтов.
Как сделать, чтобы запускался сразу Парсинг сайтов? Т.е. отключить сканер сайтов.
Заранее спасибо.

Не могу отключить планировщик

invalid@example.com (cyoshi) — Fri, 26 Apr 2019 11:07:04 +0000

Добрый день.
У меня какая то странная ситуация. настроил планировщик на одном из проектов.
планировщик берет количество проектов из папки.
теперь при попытке копирования проекта и его открытии он у меня перепрыгивает на первый в папке или выдает ошибку что нет проектов для старта. (удалил все проекты чтобы не мешало работать)

подскажите пожалуйста как правильно выключить планировщик.

Посмотреть вложение 6664 Посмотреть вложение 6665

Авто подставление имени при парсиге в CSV

invalid@example.com (ulta) — Thu, 25 Apr 2019 00:15:47 +0000

Всем привет!
Ребята возник у меня вопрос как мне сделать чтоб при поиск замене или возможно как то по другому, на выходе получать файл такого плана http://prntscr.com/ng8t06
Сейчас у меня выходит вот так http://prntscr.com/ng9fq0
Делаю по уроку от автора