Предложения по улучшению программы

Было бы круто, если можно было парсить сайты .onion, вообще теоретически это возможно?

 

Возможно
А что, интересного в парсинге .onion сайтов, они все практически копии обычных сайтов?

 

[MATH]<CD_GRAN_3!>/<CD_GRAN_7!>[/MATH]
Результат: {FALSE}/830
Где 830 значение <CD_GRAN_7!>
<CD_GRAN_3!> значение тоже число
Так и не разобрался)

 

Добрый день!
Сделайте поддержку PHP внутри CFILTER или возможность вставки через PARAM или через FILE
И еще отображение в логе тоже.
Все очень очень надо!)
Спасибо!

 

PARAM очень удобно было бы! Сейчас в CFILTER только текстовые строки, кторые нужно вручную вписывать поддерживаются. Гибкости совсем нет. Фильтровать результаты исходя из полученной ссылки не получается - все ссылки под один фильтр попадают. И получается, что либо там не отфильтровали либо там перефильтровали. Каждая ссылка может нести в себе через PARAM все необходимые данные.

Если говорить о PARAM - то там данные идут в строке, как в массиве [PARAM]:123|||321|||455
Можно было бы фильтровать или по самим значениям [PARAM(1)], [PARAM(2)], [PARAM(3)] или писать в первое значение все стоп слова через разделитель, например через запятую - [PARAM(1)] = стопслово1, стопслово2, стопслово3 ... А, например в [PARAM(2)] записывать наоборот ключевые слова = ключ1, ключ2, ключ3... и при вставке в CFILTER как то разнести их построчно. При помощи REPLACE или если сам CFILTER это сможет поддерживать. Использовать эти данные можно для фильтрации по заданным границам (заголовки, URL и прочее) и только если фильр прошел - проваливаться дальше в глубину при помощи GETMORECONTENT.

Так очень гибко можно фильтровать ссылки не создавая отдельных проектов.

 

http://forum.sbfactory.ru/threads/param-v-povtorjajuschixsja-granicax-parsinga.8581/#post-50294

 

Приветствую. В прокси-чекере было бы неплохо добавить параметр фильтрации прокси - время ответа прокси с возможностью самостоятельно указывать Максимально допустимое время в миллисекундах.

 

упс ) неожиданно

 

Можно ли добавить в настройку DYNAMICVALUES (shift+ctrl+) возможность выбора, какие теги оставлять, а какие удалять, по аналогии с htm-to-txt.

 

Добрый день
Возможно ли в редакторе csv осуществить следующее:
1. Объединение столбцов с одинаковыми названиями
2. В функцию поиска-замены добавить возможность обработки всей таблицы.

 

В настройках:
Настройки > Опции программы
можно выбрать совместимые браузеры IE (от IE7 до IE11)

Хотелось бы такую же совместимость CEF Chrome не только для нового хрома, но и для 49, это последний устанавливаемый Crome на XP SP3 (для других старых хромов совместимость не нужна, только для Chrome 49).

Сам CD последней версии отлично работает на XP (хоть и указана минимально 7-ка), а CEF получается не фурычит, хотелось бы поддержки.

 

Поясните, в чем надобность работы на устревшей XP системе? Поставить Win7 (и то, даже на них уже перестанет обновления приходить примерно через год) или Win10, которые стабильно себя ведут с CD.
Я думаю, что некоторые компоненты CD и Chrome 49 попросту не будут поддерживаться, ввиду обновлений от самого Chrome. При условии, что на момент написания этого поста последнияя версия Хрома 81, было много изменений. И поддержки, вероятнее всего не будет

 

Надобность в том, что железо очень старое (13 лет), будет новое...

А кто игнорировал?

Если не помните, то требования были иные: http://forum.sbfactory.ru/threads/pomosch-v-parsinge-opredelennogo-sajta.2/page-9#post-1320

И покупалась прога очень давно. А брать новое железо, ставить новую систему под обновленные требования, пока не готов.

А это не вопрос, вроде бы ветка предложений, а не вопросов.

 

Предлагаю при генерации ссылок при нажатии кнопку "использовать ТОЛЬКО значения {key}" - удалять остальные ключи в ссылке.

Сейчас, если генерирую ссылку, записываю так-

Код:

site.ru?search={key}{key2}

На выходе получаю такой список

Код:

site.ru?search=Текст1 {key2}
site.ru?search=Текст2 {key2}
site.ru?search=Текст3 {key2}

Возможно, удобней, если будет на выходе без {key2} и {num}

 

Добрый день!
Еще раз затрону тему [PARAM] - столкнулся с неудобствами и путанницее при передаче значений PARAM в php и обратно. Сейчас нет привязки к ключу. Только к порядковому номеру.

Можно вызвать [PARAM(4)], но нельзя вызвать [PARAM(key)].

Приходится запоминать, какой параметр в по какому порядковому номеру вызывается. И в php приходитсямастерить ссылки в строгом порядке. Что бы параметры шли один за другим.

Если бы была возможность записывать PARAM в ссылку в виде ассоциативного ряда - это значительно упрости ло бы работу. Параметры в таком случае могут быть расположены, как попало и не надо запоминать порядковый номер параметра.

Link.ru[PARAM]:[key]первый параметр с ключем key|||[keyword]другой параметр с ключем keyword|||этот параметр без ключа и может быть вызван только по порядковому номеру|||[last]и еще один параметр с ключем last

Спасибо!


И еще один другой момент - для браузера хром есть расширение fingerprint defender. Возможно есть другие расщирения.
Это расширение подменяет отпечаток системы и при использовани прокси - становится достаточно проблематично вычислить одну и ту же машину.
Я так понимаю, даже без использования прокси это сильно затрудняет решение о блокировке, т.к. на одном ip могут висеть много пользователей. В частности это касается мобильного интернета, где с одной вышки могут сидет тысячи людей. (я не спец в сетях - вполне вероятно там все не так работает и на одной вышке может быть столько же ip, сколько и пользователей).

Эта мысль на в порядке размышления и я точно не знаю, какой эффект может дать такое расширение или любое другое, или самописное расширение...

Знаю, только, что у браузера на движке хромиум есть возможность устанавливать расширения - и возможно такого рода расширение даст хорошие результаты при работе со сложными сайтами.

Я сейчас авито изучаю и пока, то что я понял:
1. получить полные данные получается только через хром, через другие библиотеки данные подгружаются не все.
2. можно использовать прокси, но нужно искать быстрые прокси и они постоянно отваливаются. На медленных прокси не получается никакого преимущества в скорости. СТраницы у авито очень объемные.
3. Сейчас получается 5-6 секунд на страницу, что не медленно, но и не быстро. Хотелось бы до 2-3 секунд скинуть., но если уменьшать задержки при текущих настройках - то выпадает в страницы блокировки.

Возможно с такой надстройкой - стало бы возможным снизить задержки, что бы прийти к 2-3 секундам на страницу. Потестировать бы каким нибудь образом.

Можно ли как то самостоятельно установить такую надстройку для теста? или может быть вы сможете выпустить тестовый пакет с этой или подобной надстройкой?
Дайте комментарий на этот счет.
И спасибо за мощную программу!

 

Например ?
Вы через браузер парсите авито ?

 

Ни разу не попадался сайт в котором нужно подменять отпечатки конкретно при парсинге, обычно такое решение требуется для написания различных ботов, авторегеров, постеров, спамеров и т.д.