PROXY для Content Downloader, используя Tor

Здраствуйте

Всем известный сервис TOR (Ссылки недоступны для гостей) предоставляющий анонимность в интернете при использовании tcp протокола, на его основе также можно использовать прокси для Content Downloader. Если кратко - бесплатное решение использования прокси (с выбором стран) для большинства интернет программ.

Инструкция:
1. Скачиваем Ссылки недоступны для гостей (русский язык Посмотреть вложение AdvOR-Russian.zip распоковать в папку)
2. Содержимое архива распаковываем в любую папку (можно в папку отдельную на рабочем столе)
3. Запускаем Content Downloader, и чтобы указать в парсере прокси нажмите сочетание клавишь ctrl+r, в окно добавьте 127.0.0.1:9050 (см. внизу скриншот пункты 1,2,3)
4. Потом запускаем AdvOR.exe где чуть ниже жмем кнопку Connect. Всё, переходим в CD и парсим что надо не опасаясь бана!



Лайфхак: вы можете одновременно запустить несколько адворов, но в настройках у каждого должен быть индивидуальный порт.

Примечание: Надо понимать что скорость немного меньше будет поскольку через прокси, зато не страшны баны.

ВАЖНО: Уважаемые пользователи из Казахстана и Беларуси, обратите внимание что в вашей стране негативное отношение к Tor сети, поэтому возможно данный способ окажется не рабочим. Подробнее geektimes.ru/post/283392/

 

...В первом посте аж два раза отметил что настройки прокси в CD не надо указывать!

В cd жмем F8 и добавляем к списку адресов пару сайтов показывающих ваш ip адрес (2ip.ru и т.д.). Переходим в указание границ парсинга и видим что при просмотре этих сайтов показывает уже другой ip - значит рабоет!
Если с сайтами все идет нормально то с Google отдельный разговор, попробовал выдачу напарсить - блокирует.

 

С гоогле невсегда дела обстоят хорошо, если через тор идет парсинг то попадаются иногда забаненные подсети.
Было замечено что если список ссылок в CD имеет правильный вид то уже в AdvTor по неясным причинам становится ссылка битой (не разобрался еще где там настроить чтоб символы в адресе не трогало)

PHP:

0:26:20] [proxy] Connection request for www.google.com:80 .
[00:26:20] [notice] [Content Downloader.exe PID: 1392, ID: 220] Downloading from /sorry/?continue=http://www.google.ru/search%3Fclient%3Dopera%26rls%3Dru%26q%3D%25D0%25BC%25D0%25BE%25D0%25B1%25D0%25B8%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D0%25B9%2520%25D1%2582%25D0%25B5%25D0%25BB%25D0%25B5%25D1%2584%25D0%25BE%25D0%25BD%2520samsung%2520s5610%26sourceid%3Dopera%26ie%3Dutf-8%26oe%3Dutf-8%26start%3D130
[00:26:20] [notice] [Content Downloader.exe PID: 1392, ID: 268] Downloading from http://www.google.com/sorry/www.google.ru/search?client=opera&rls=ru&q=?????????%20???????%20samsung%20s5610&sourceid=opera&ie=utf-8&oe=utf-8&start=120
[00:26:23] [notice] [Content Downloader.exe PID: 1392, ID: 250] Downloading from http://www.google.ru/www.google.ru/search?client=opera&rls=ru&q=????????%20???%20?????????%20?????????%20samsung&sourceid=opera&ie=utf-8&oe=utf-8&start=10
[00:26:24] [notice] [Content Downloader.exe PID: 1392, ID: 220] Downloading from http://www.google.com/sorry/www.google.ru/search?client=opera&rls=ru&q=?????????%20???????%20samsung%20s5610&sourceid=opera&ie=utf-8&oe=utf-8&start=130

Лог из AdvTor, русские буквы стали вопросами и т.д.
-
Причину выявил методом "тыка")) - не парсило выдачу изза настроек проекта,
потомучто использоватась конструкция url?q={get}&|{get} в фильтре (поиск-замена) в итоге при сборе выдачи во вкладке "Ссылки" часто получались битые ссылки поисковика с запросом

 

Ну вот и google покорен (на очереди yandex и bing) благодаря AdvOR, файл проекта и скрины настроек прикладываю к посту. Проверил работу через тор сеть - парсит на ура с гоогле снипеты и выдачу. Единственный ньюанс который неизбежен - попадаются нерабочие/забанненые сети
Скриншот результата парсинга гоогле выдачи в 5 потоков (если потоков 10 то падает тор)



такие же результаты приблизиельно и при парсинге снипетов.

Настройки AdvOR стандартные, только сменен период продолжительности цепочки на 30 секунд
и "Заголовки HTTP"



Прикладываю к посту готовый проект, где по выбору отметить:
["повторяющееся границы 1" - парсинг снипетов], ["повторяющееся границы 2" - парсинг выдачи]

 

Именно через адвор и надо было парсить, скорость хорошая, потоки можно указать 50 (CD)