Предложения по улучшению программы

Добавьте пожалуйте в парсер Гугл картинок функциональность обычного парсера, в первую очередь интересует
1) автоматический бекап отпарсенных ссылок
2) возможность сохранение списка ключевых слов для найденных и не найденных картинок (не всегда по ключевому слову находятся картинки)
3) Добавить возможность задавать ключевые слова в формате [Название файла]|[ключевое слово], чтобы спаршенные файлы картинки переименовывались в соответвии с указанным названием
4) возможность скопировать в буфер отдельнный урл из списка

 

Нужно больше потоков для парсинга ссылок. Ссылки форума парсятся по 3-4 часа. Ужас простааааааааааааааааааааааааа.

 

Просьба добавить в функционал программы сохранение не только незагруженных ссылок, но
"Результирующий документ оказался пустым" из лога.

 

Хотелось бы чтобы программа работала с динамичными URL, то есть обрабатывала редирект, например есть URL: site.ru/1234/ но он при следующем запросе доступен только на site.ru/3548/ со старого URL происходит редирект на новый URL.

Эта проблема касается популярного web.archive.org

 

вы уверены что не ошибаетесь? программа нормально отрабатывает редирект. напишите в личку конкретный пример проблемы - может, и решим.

 

предложение по новым функциям

предложение по новым функциям
1. сделать функцию "случайное перемешивание ссылок" на вкладке контент, что бы спарсеные статьи были в случайном порядке.

2. сделать замешивание абзацев или предложений, которые брать с других спарсеваемых статей, текст брать тут же из потока, это повысит уникализацию текста.

 

Аналогичная проблема, приходится с помощью повторяющихся границ макросом GETMORECONTENT получать номера телефонов. Т.к. в повторяющихся границах нельзя задать паузу (граница повторяется несколько сотен раз, в границу вложен макрос GETMORECONTENT, который проходит по ссылки и получает номер телефона) то я ловлю бан.

Большая просьба автору добавить такую возможность, думаю в реализации не очень трудоемка.

Если, кто находил выход, поделитесь пожалуйста опытом.

 

Вкладка "контент" - группа "другое" - "пауза"
Ставьте паузу там, она распространяется и на GETMOREGONTENT

 

Спасибо! Еще поставил в опциях GETMOREGONTENT "в 1 поток".
Ситуация исправилась, но возникли следующие вопросы:

1) Распространяется пауза на момент загрузки страницы и запросом макроса GETMOREGONTENT? Есть опасения, что бан ловится в эти моменты.

2) Есть ли опция для GETMOREGONTENT "приостановить парсинг и возобновить через Х секунд" в случае не загрузки страницы макросом, как это сделано для границ парсинга? Или как это можно сделать, когда GETMOREGONTENT находится в повторяющихся границах. Ссылки не всегда грузятся, и надо в случае не ответа на запрос, повторить его.

 

Там все грамотно, пауза выполняется перед каждым запросом GETMORECONTENT.
Попробуйте сделать паузу еще больше.
Какой сайт парсите? Может вам лучше сокс прокси использовать и не греть голову?

 

Прокси использовал, не удобно как-то, проверять их надо, медленные, не быстрее чем в один поток со своего адреса парсить получается. Правда платные не пробовал. Но пока нет необходимости, выставил GETMOREGONTENT "в 1 поток" с паузой, пока не банят. Проблема в другом.

Сервер сайта наверное загружен и страницы грузятся с задержками (или это защита такая), а иногда вообще не получается их загрузить. Поэтому макросом GETMOREGONTENT не всегда с первого раза получается спарсить все данные.

Если с одним сайтом я вышел из положения используя "Приостановить парсинг при бане ... если ... граница окажется пустой" + "пытаться повторно загружать документы".

А в этом случае приходится использовать GETMOREGONTENT, так как телефоны находятся по другим ссылкам. Это влечет проекты с пропущенными телефонами.
Поэтому сейчас делаю в два прохода. Первым проектом собираю все ссылки, а вторым по этим ссылкам парсю телефоны, потом объединяю. Довольно рутинное занятие.

Очень хочется для макроса GETMOREGONTENT, что-то вроде "пытаться повторно загружать в случае, если граница окажется пустой". Только кол-во повторов надо ограничить, а то проект "зациклится".

Возможно это в реализации?

Кстати, тут есть прям хорошее место для этой опции

 

предлагаю внести что-нить по типу исполняемого скрипта, например при парсинге выполнять код php//
т.е. можно былоб брать номер телефона, который выдан картинкой /например как на авито/ передать картинку на лету в антигейт и принять обратно уже готовый циферный номер

 

Ссылки недоступны для гостей

 

Спасибо! Учтено!

 

kagorec ошибаетесь. Парсю городской сайт. Если меня не банят, а сайт тормозит последнее время и страницы не в 100% случаев загружаются, это даже при серфинге в браузере проявляется, то как мне помогут прокси? Если я что-то недопонимаю, объясните пожалуйста.

За совет большое спасибо, IFNIL отлично справляется с задачей!
Я хоть и просматривал все макросы, но про решение с IFNIL даже и не вспомнил.
Оказывается нужная мне опция была в программе. Круто, действительно гибкий инструмент.
Спасибо за труды разработчику!

Кстати, коль все так говорят про прокси, я что подумал. У меня динамический ip (да и не только у меня). А что, если программу научить перезагружать интернет соединение, в случае бана или запускать например бат-фаил выполняющий его перезагрузку.
Забанили (или когда одна из границ оказалась пустой) парсинг приостановился на Х секунд, CD перезагрузил интернет соединение, полулучил новый ip, парсит дальше.

Грубо можно прикинуть, что парсить например 200 ссылок в 50 потоков без пауз + несколько секунд на перезагрузку соединения, получится быстрее, чем парсить в один поток с паузой в 1 или более секунд.

Жизнеспособный вариант вроде б. Как думаете?