Предложения по улучшению программы

Идея хорошая, подумаем над реализацией, спасибо!

 

Предложение здравое. Мне тоже пригодилась бы такая функция.

 

Если будете реализовывать, учитывайте, пожалуйста, случай не ответа по запросу GETMORECONTENT. Макрос востребованный. У меня более 1000 запросов делается им, с 12 страниц. То есть я быстрее им бан словлю, поэтому важно за ним следить.

Кстати, предлагал функционал планировщика расширить. Не планируете ничего добавлять?
Вроде не я один такой

Не хватает следующего:

- Запускать парсинг по дням.
Тут думаю все понятно. В чем преимущества писал…

- Автозапуск планировщика
Подразумевает, что при открытии программы, планировщик запуститься и начнет выполнят проекты. Удобно, если ярлык программы кинуть в автозапуск системы.

- Сворачивать в трей
Программа сворачивается в трей при запуске планировщика.
Чтоб окно не выпрыгивало, если из автозапуска системы CD запускается.

Кинул ярлык в автозапуск, и пускай работает все в автономном режиме. Ты только спарсенные документы смотри. Красота

Вот пример:

 

Есть шанс сделать возможность не скачивать картинки при парсинге, а только переименовывать их для записи в csv?проверять наличие по двум параметрам - имя файла и/или размер. Реально напрягает каждый раз скачивать несколько тысяч (пол гига) не изменившихся картинок. Парсинг идет для проверки наличия товара и смены цены. Те качать только то, что уже качали и получится. Из-за большого трафа постоянно банят. Да и граб идет пару часов. А надо 2-3 раз в неделю.

Нажать галку 'не скачивать' не катит - имена файлов не те.

 

Шаблон вывода
If "《cd_span_14》" EQ "abcdf" AND《cd_span_3》EQ "33" then《cd_span_15》else "нет"


Те если 14 шаблон равен abcdf и 3 равен 33, то выдаем 15 шаблон, а иначе "нет".

Реально нехватает.особенно если значение не рядом и через глобальную поиск-замену не сделать.

Например кривой каталог или когда часть товаров нужно перекинуть в другую категорию.
И все это делать регулярно.

Считайте это глобальная поиск-замена .

 

Если кому надо получить такую функцию раньше, чем выйдет официальный апдейт, обратитесь ко мне в Skype smartbyte_support.
Спасибо!

 

Огромное спасибо за нововведения версии 7.47, очень порадовали Перемешивание линков и удаление дубликатов оно было реально очень нужно. Еще бы в сканер сайтов в список очереди функцию рандомизации строк, а в список найденных ссылок возможность удаления дублей.

Еще есть предложения по сканеру сайтов. Но они из разряда "разработчикам виднее", принесут ли они пользу. Поскольку предложения ниже несут своей целью, чтобы Content Downloader за один запуск без перезагрузок смог собрать максимальное количество полезной информации. Я сам точно не знаю за счет чего расходуется память при работе сканера сайта - у меня он собирает где-то 1 - 1,5 миллиона ссылок до того, как заканчивается оперативка. Среди собранных ссылок есть нужные, но большинство нет. В итоге сканер приходится время от времени вручную перезапускать.

Предложения такие:
1) Сделать опцию в сканере сайтов "сохранять только ссылки с уникальных доменов" - по идее должно сильно уменьшить объем хранимой собраной информации в памяти, если эта опция необходима
2) В фильтрах уже есть чекбокс "только с данного сайта". Если первый пункт все таки нельзя реализовать (или не целесообразно) - тогда полезным может оказаться обратное действие "собирать только внешние ссылки с сайта". Если уникальных доменов в списке очереди - тысячи и ссылки с них собирать не надо такая функция была бы полезной. Понятно, что можно из исходного списка сторонним софтом выделить только домены и добавить их в "не добавлять ссылки, содержащие" - но это лишнее действие, и еще не известно на сколько может дать лишнюю нагрузку на процессор.

В любом случае, еще раз спасибо за то, что Вы делаете

 

Пожалуйста! Также спасибо за полезные предложения и добрые слова.
Учли!

 

Доброе время суток!
Сделал для себя большие иконки Content Downloader.
Да и разработчику в помощь Если пригодятся, то:
Ссылки недоступны для гостей

 

Спасибо большое! Неплохо, перезалил установщик!
Только вот 16*16 мне моя больше нравилась, скажите пожалуйста, какой программой вы пользуетесь для редактирования файлов ico? Чтобы мне заменить в нем именно размер 16*16.
Спасибо!

 

Пользуюсь Axialis IconWorkshop.

Чтобы заменить размер 16*16. Придется делать в таком порядке:
1. открыть ваш значок
2. удалить все значки в списке (слева), кроме 16*16
3. в конт.меню этого списка выбрать "добавить несколько графических форматов из файлов..." и выбрать исходник в формате PNG (прилагается по ссылке)
4. в конт.меню появившейгося значка выбираем "добавить несколько форматов из этого изображения"
5. отмечаем форматы, которые нам нужны и добавляем их
6. удаляем исходный значок (который больше 256*256)
7. сохраняем

Как понял у вашего значка контур толще, и он кажется более четким в меньших разрешениях. Сделал второй вариант и немного ужал его по высоте.
Ссылки недоступны для гостей

С тонким контуром лучше Заменил только на 16*16 вашим.
Ссылки недоступны для гостей

 

Заметил следующее.
Есть проект, с включённой опцией "Приостановить парсинг при бане: возобновить через 5 сек., если 11 граница окажется пустой"
(Сразу оговорюсь, что только с такими настройками мне удалось загружать данные, в случае неправильного ответа сайта).

1) Если этот проект запустить в Планировщике, то он останавливается и не возобновляется.
Знаю, что можно выйти из положения включив "цикличность" в Планировщике, но тогда сайт будет скачиваться, пока не остановишь Планировщик. В общем, Цикл, для другово.
Поэтому такие проекты никогда не запускал планировщиком. Обычно стопорятся.

2) Если проект запустить без Планировщика, то Content Downloader будет пытаться загрузить "битые/несуществующие ссылки" пока его не остановишь.

3) Всплывающие окно, что программе не удалось загрузить ссылку, мешает работе за компьютером.

Что предлагаю:
- Убрать всплывающее окно. Зачем оно, если для этого есть лог?
- Научить Планировщик возобновлять парсинг через указанное время согласно опции "Приостановить парсинг при бане на 5 сек..."
- Ограничить кол-во возобновлений парсинга, как это сделано в опции "Пытаться повторно загружать документы" (после неудавшейся попытки загрузки ссылки, она помещается в конец списка, и если второй раз не отвечает, то удаляется).
А еще лучше чтобы пользователь смог указывать кол-во попыток, после которых ссылка удаляется. Но это пожалуй сложно в реализации, т.к. программе придется вести список не загрузившихся ссылок с кол-во попыток по каждой.

По опыту понял, что с момента сбора ссылок, некоторые из них успевают "умереть" и парсить по ним нечего. Поэтому бесконечные попытки не нужны, а вот ограничить их, будет весьма полезно.

 

Было бы замечательно добавить возможность запретить компьютеру переходить в спящий режим во время парсинга страниц и работы сканера сайтов

 

AlexSmv, да конечно полезная штука но что мешает настроить электропитание? и запретить компу выключаться?

 

Здравствуйте.
Добавьте пожалуйста в Поиск-Замену возможность делать замену в определённых столбцах. А то сейчас как я понял по всем столбам идёт поиск замена.
У меня такая ситуация. Есть товары: товар 1, товар 2,...товар N. Каждый товар имеет свою наценку на упаковку, которая не заложена в стоимость товара. Решил я так: создать дополнительный столбец с этими товарами, и заменить на сумму упаковки при помощи функции Поиск=Замены. А она на весь документ работает.
Хорошо бы если бы программа ещё и суммировала стоимость упаковки с ценой товара....

 

Здравствуйте.
Для поиск-замены в отдельных участках кода используйте макрос шаблона вывода REPLACE

 

Что я не понял как программа будет определять в каком столбце надо заменят данные, а в каком нет. Вот что у меня получилось на основании ранее работающего правила: [REPLACE(/{skip}ТОВАР1|/100{skip})][/REPLACE]

 

Если можно добавьте сообщение с предложением сохранить проект при закрытии программы, если он был не сохранен.

 

Пару предложения по поводу редактора CSV файлов
1) Добавить возможность удалять конкретную строку вручную
2) Добавить сортировку и фильтры содержимого в столбце

И еще хотелось бы кнопку html-to-txt в окне задания повторяющихся границ парсинга