DOWNLOADFILE бан по ip

Добавлены прокси

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

все скачивается и сохраняется как и было задумано НО ловлю бан по ip, бан именно по моему ip, а не по ip одного из прокси. Бан ловится только при загрузке файлов, при этом если запустить CD он нормально скачивает обычные странички, но файлы естественно не скачивает.

лог:



видно что прокси используются, но все равно банится мой ip, если убрать DOWNLOADFILE то все нормально.

Единственное что приходит в голову - прокси используются для страниц, а вот файлы грузятся без прокси, как сделать что бы и файлы грузились через прокси?

 

Да, со всеми ссылками.

1 поток с паузой 3 секунды работает нормально, но мне бы хотелось спарсить сайт быстрее чем за 3 месяца.

Главный вопрос: то что DOWNLOADFILE не использует прокси это так и задумано?

 

Здравствуйте.

Макрос DOWNLOADFILE использует прокси.

Простите, но не знаю, в чем проблема у вас. Возможно, "плохие" прокси.

С уважением к вам, Сергей.

 

Это может быть связано с тем что в DOWNLOADFILE передается не прямая ссылка на файл, а ссылка на страницу с которой идет редирект на файл?

 

Прокси разные пробовал, даже только с максимальной секретностью, всеравно при загрузке файлов бан моего ip/

 

Проблема так и не решена.
Пробовал:
Использовать только Socks прокси,
Использовать только прокси с высокой анонимностью (Удалённый сервер не знает ваш IP, и у него нет прямых доказательств, что вы используете прокси (заголовков из семейства прокси-информации).)

Итог один - бан моего ip, CD перестает загружать файлы, и при этом продолжает нормально грузить текстовые страницы (повторюсь - если убрать DOWNLOADFILE то бана нет)

Бана нет только если парсить в 1 поток с задержкой 3сек. но при таком раскладе общее время загрузки 321 день...

 

User-Agent вписал побольше, но это ситуацию не изменило, проблема-то в том что несмотря на использование прокси (см. выше - пробовал только полностью анонимные) каким-то образом , при использовании DOWNLOADFILE, палится мой ip.

Kreol, а вот это уже интересней, если подставить прямую ссылку в DOWNLOADFILE то, похоже, все нормально.

Остается получить прямую ссылку, казалось бы...

Страница

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

на ней ссылка на файл

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

с нее идет редирект на

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

попробовал так:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

и так

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

в ответ:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

при открытии в браузере этой ссылки:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

как видим, сервер английским по белому говорит что 302 Moved Temporarily и посылает на Location:
куки все передаю, реферер не обязателен, проверял.

Вопрос: почему в этой ситуации может не срабатывать GETREDIRECT

 

Передайте cookies в окно ctrl+h и макрос DOWNLOADFILE Должен грузить. Проект прилагаю.

 

Вы о чем???
Фай грузится, проблемы в этом не было никогда.

1 проблема: несмотря на использование прокси палится и банится мой ip
Опытным путем установлено что мой ip банится только если использовать DOWNLOADFILE и передавать туда не прямую ссылку на файл а страницу с редиректом.

На решение этого я забил и попытался в DOWNLOADFILE передавать прямую ссылку на файл, отсюда
2 проблема, не срабатывает GETREDIRECT (подробности описаны выше).

 

PHP_SCRIPT все исправил