Предложения по улучшению программы

то, что вы говорите вообще не в той степи... мне надо чтобы менялись/добавлялись HTTP-заголовки при обращении программы к серверу на котором лежит сайт, который я хочу спарсить (о чем я и написал в первом своем сообщении)

Пример:
я хочу чтобы серверу передавался заголовок Referer: Ссылки недоступны для гостей, таким образом сервер "подумает", что я нашел данную страничку в гугл и перешел по ссылке из выдачи гугл (в некоторых случаях это необходимо, чтобы выдавалась нужная информация)

 

Вышел функционал. Как его использовать написано в файле changelog.txt, в папке программы.
Привожу текст здесь:

Сам файл с ссылками формируется в папке, в которую парсится контент.

 

Поставлено в очередь

 

хотел бы реанимировать рассмотрение предложений по улучшению программы изложенных вот здесь -

http://forum.sbfactory.ru/showpost.php?p=1530&postcount=269

если и не всех - то хотя бы первого.
в идеале - первого и четвертого.

с уважением

 

Просто позарез нужна функция "Сохранение структуры папок" в Массовой загрузке файлов.
Т.е. если я залил список файлов на закачку в таком виде:

sait.ru/papka/a/1/1/1.jpg
sait.ru/papka/a/1/2/1.jpg
sait.ru/papka/b/1/1/1.jpg
sait.ru/papka/b/1/2/1.jpg

При загрузке должны загрузится файлы со всеми папками

sait.ru
-papka
--a
---1
---2
----1.jpg

и т.д.

Для чего это нужно?
- Самое главное для уменьшения нагрузки на сервер. Если держать в одной папке несколько тысяч файлов, то это вызывает тормоза. ни говоря уже о том. что такую папку тяжело открыть. На сайтах донорах уже об этом позаботились.

 

Все предложения выполняются поочередно, исходя из приоритета основных задач программы, затем те, что относятся к основным задачам как вспомогательные или дополняющие, и так далее.

 

kagorec, речь об инструменте массовой загрузки файлов и об сохранении структуры папок в её первоначальном виде.

Вот использует человек картинки напрямую с сайта донора, а донор перекрыл доступ.
То можно спарсить все файлы с той же структурой и будет достаточно поменять адрес домена на свой.
Или просто парсю я с сайта 500к картинок. раскидаю я наобум по 500 в каждую папку, как потом к ним ссылки прописать?

 

Идея понятно, автору будет передано ваше предложение. Какое решение будет принято, сообщит автор.

 

Будет готово до 9 апреля 21:00 по Московскому времени.
Спасибо!

 

меня интересует, будет ли все это реализовано вообще. в приниципе.
я не о времени спрашиваю, и уж, тем более, не прошу все бросить, и заняться моим вопросом.

 

О вас не забыли, все предложения сортируются, складываются в "ящик заданий", а вот решаться будут по мере совпадения интересов главного направления программы

 

Спасибо, всё отлично работает! )
Я весь инет перерыл, реально никто с таким объёмом не справился, все загрузчики давились на 10к ссылок, а CD 200k проглатил
Можно в описании программы добавить:
CD - менеджер загрузки файлов с поддержкой многопоточности и сохранением структуры папок файлов из адреса url ссылки.
В отличии от популярных качалок поддерживает списки файлов на закачку в несколько сотен тысяч строк.

 

А можно сделать, чтобы в скрипт можно было отправить через какой прокси открылась страница?

Чтобы можно было точно догрузить то, что не удается собрать программой, а не брать случайный.

Еще было бы неплохо, если бы появилась возможность импортировать прокси из файла и чистить лист на ходу от нерабочих.

 

А можно сделать чтобы если не удаётся загрузить страницу, то пробовал еще несколько раз? Чтобы не парсить по кругу одно и тоже из-за забаненых прокси.

 

На планировщика такое не поставишь(
А то что можно скопировать я не видел раньше, спс) в крайнем случае можно автохоткеем это делать

 

Это как?

 

Ссылки недоступны для гостей
можно написать на нём макрос, мышка будет сама двигаться и нажмать куда надо. Только задержки просчитать. Не так оперативно как могло бы, но хоть какая-то автоматизация

 

Сколько таких программ пробовал, всегда был не рад результатам. Эту не знаю, но если уровень непредсказуемости большой, то пользуешься на свой страх и риск. Существукет опасность, что влезет не туда куда надо