Предложения по улучшению программы

Здравствуйте!
А есть ли возможность загрузить сразу свой CSV файл и программа сразу поймет что и куда?
Я просто новенький, прошу прощение за тупость если что!
(я пожалел что купил на самом деле) Ничего не понимаю. Вроде вижу штука реально мощьная и функциональная. Но проще выучить Питон или PHP чем разобраться в ней.
Где уроки для чайников? У вас все уроки запутанные писец как. Прям бук расхерачить хочется.

 

Пришлите пож стоимость.

 

Доброго дня!
Есть 2 момента в программе, на которые обращаю внимание во время использования:
1. Синхронность выполнения макросов дополнительных запросов (когда на парсинг одной ссылки уходит более 1-го запроса) -- при установлении N-го числа потоков парсинга -- они исполняются параллельно и контекст выполнения на ядре процессора переключается на ожидании HTTP-ответа. Но при использовании нескольких макросов дополнительных заросов (PHP_SCRIPT/GETMORECONTENT), то вся следующая линейка запросов исполняется последовательно. Учитывая, что имеется сложившаяся последовательность выполнения макросов, можно внедрить конкурентное переключение контекста выполнения на ядре процессора (на манер asyncio в python).
2. Динамические границы парсинга -- как воздуха не хватает возможности указать контент в динамических границах -- как пример -- динамические границы внутри повторяющихся границ -- указание того факта, что динамические границы должны строиться внутри повторяющихся границ.

 

Добрый день.

Просьба добавить макрос [GENERATE2], выполняющийся после [MATH] и макросов условий ([IF1] и [CHECKENTRY])

 

В этой жизни все познается логикой и усидчивостью, так что не надо на разраба тут гнать, он и так предоставил Вам такой мощный инструмент за крайне скромную сумму (я знаю о чем говорю, окупает себя после первой заявки от клиента на парсинг). Уроки составлены крайне корректно и в точку по типовым вещам, которые встречаются в работе.
Я тоже много чего не понимал в начале (года три-четыре назад), но осознанный и терпеливый подход к изучению через практику мне помог освоиться в функционале, чего и желаю Вам!

 

Добрый день!
Было бы очень удобно, если бы в настройках макроса DOWNLOADFILE при включенном чекбоксе "вставлять макрос <DOWNLOADFILE> в атрибут HREF каждого HTML-тега A" была бы возможность задавать расширение для файлов, которые необходимо скачивать (pdf или doc, например), либо возможность игнорировать html-ссылки и скачивать только файлы.

 

Здравствуйте!
В WBAppCEF - в макросе [GETREQUESTHEADERS] хотелось бы видеть возможность указывать те заголовки, которые не нужно передавать в headers.

В частности, это Accept-Encoding: gzip, deflate, br (очень часто он не корректно работает с сайтами, где нужна авторизация через WBAppCEF, а получать параметры нужно).

Да, конечно можно указать все параметры, которые необходимы, но бывает так, что некоторые параметры появляются новые (например у Aliexpress), за которыми не уследишь, а менять их тогда приходится каждый день

 

Добрый день!
Уже в который раз натыкаюсь на невозможность, обновления Cookies во время запроса при парсинге.
Если раньше это не особо нужно было, то сейчас уже каждый 2-й сайт который не хочет, что бы его парсили, при каждом запросе обновляет параметры Cookies.
Но я не нашел, как получить Cookies которые сервер вернул при запросе, без отдельного запроса типа [GETRESPONSE(GET_COOKIE)]<CD_DOCURL!>[/GETRESPONSE].
При использовании такой конструкции слетает авторизация, потому, что кука предыдущего запроса, не была отправлена на сервер, и сервер понимает, что его парсят.
На сегодня уже имею штук 15 сайтов которые так делают, из тех заказов которые получил.
Прошу Автора добавить возможность работы с поведением Cookies в окне HTTP-HEADERS например.
И если Автор сможет, то добавить возможность раскладывать куку на внутренние значения key:value, для обновления не всей куки, а только той части которую сервер обновил, в противном случае, так же слетает авторизация, по почине того, что кука не обновляется, а перезаписываться ответом от сервера [SETCOOKIES][GETRESPONSE(GET_COOKIE)]<CD_DOCURL!>[/GETRESPONSE][/SETCOOKIES], а в нем только обновление куки. Из за этого часть запросов улетают в редирект на начальную страницу, вместо загрузки запрошенной или как писал ранее слетает авторизация.

P.S. Прошу автора обратить на это сообщение внимание, потому как данную функцию реализовать при помощи Вашей программы невозможно, либо не описано ни в одном доступном источнике информации.
P.P.S. Программа приобреталась для работы, а в связи с вышеуказанной проблемой, теряются заказы на работу, что не есть гуд. Все остальные функции, ну или большинство пока удается реализовать при помощи PHP.
P.P.P.S. Заранее благодарен, за положительное решение данной проблемы.

 

Все можно, если очень захотеть!
Нашел я как сделать правда только через WEBACEF. Мало того есть сия функция и в документации (Ссылки недоступны для гостей), пишу специально для тех кто как я ( в танке ).
Принципиально все просто:
[WAIT]:1000
[GETREQUESTHEADERS]:all||| часть url по которой идентифицируем наш запрос в котором брать headers
[WAIT]:1000 - это обязательно ( иначе половина запросов не передаются .... )
[REFRESH] - обновляем страницу
[WAIT]:3000 ждем обновления, обычно 3-5 сек ( но есть сайты и по 10-15)
[GETREQUESTHEADERS_APPLY] - - передаем все в ContendDownloader

Вот и все.
Всем удачных парсингов !!!!

Создателю РЕСПЕКТ !

 

здравствуйте Сергей. Хотел сделать предложение дополнить функцию перерыва между запросами не фиксированным значением а переменным. Например хотелось бы там где в программе задается пауза между запросами указать например от 6000 до 25000 мс и чтобы в случайном порядке менялась задержка для симуляции реального посетителя. Надеусь изложил четко

 

Всегда было:

 

Здравствуйте.
Что ожидать клиентам ? Обновлений нет уже с марта. Поддержки на форуме от root тоже нету. Хотя бы иметь возможность пользоваться тем что есть. И то ладно.

 

Всех приветствую !
Макрс [TEXTEND] не работает в конструкциях (reuters.com/markets/*/*/[TEXTEND] или reuters.com/markets/*/[TEXTEND]):
Набор ссылок:
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

Ничего не фильтруется возвращаются все ссылки.

Просьба проверить и исправить.

 

Приветствую !
Обнаружилась проблема парсинга JSON формата.
В проекте первые 9 ссылок, HANDLEJSON не парсит (хотя LIST внутри работает ), при этом с 10 по 12 ссылки этот же скрипт парсит 100% нормально.
На самом деле в проекте более 1 млн ссылок и всеони прекрасно отрабатываются скриптом, и порядка сотни вот такие как первые 9 шт. Я не смог понять причину по которой, HANDELJSON не смог разобрать данный JSON.
Сам JSON вырезан правильно, внутри полностью корректен и проверен как разными программами так вручную.
Есть большое подозрение, что это ЖУК(БАГ)!

Если есть возможность глянуть хоть одним глазком, был бы премного благодарен!

П.С. Может кто еще сталкивался с таким?

 

Здравствуйте
с редакторе CSV в "удалении лишних файлов из папки" хотелось бы чтоб был выбор удалять из этой папки или копировать в новую, а эту папку не трогать
нужно для того чтоб по папкам раскидать фото

 

Добрый день!
Подскажите, пожалуйста, есть ли вариант сделать переключатель шрифта на старый в инструменте задания границ парсинга? (ну или любой другой)
Просто после последнего обновления шрифт поменялся на более узкий, и просто вырвиглазно как-то искать границы в нем (1920x1080 win10)

Заранее большое спасибо!

 

Здравствуйте.

Действительно, с этим шрифтом как-то странно плавает размер межсимвольных интервалов.

Сделаю выбор шрифтов ночью.

Пока увеличьте его размер здесь.



Также пользуйтесь функцией подсветки HTML.

 

Сделал другой шрифт. Все доступные пересмотрел.

Обновите программу через главное меню - файл - центр обновлений.

 

Добрый день. Выпустите, пожалуйста, обновление для тех у кого нет активной подписки. Сейчас шрифт в задании границ в разнобой Ссылки недоступны для гостей хотя не понятно почему т.к. обновления не было.
Если скачать последнюю версию через браузер, то качается версия 11.1.1711179 за октябрь прошлого года! Хотя на сайте написано, что без подписки обновление "примерно раз в 1-5 месяцев".
Прошлая моя подписка, прошла практически впустую т.к. с марта по ноябрь этого года не было никаких обновлений и новостей. Надеюсь на понимание, спасибо.