помощь в парсинге определенного сайта

Конечно неправ

Чтобы получить картинки средних размеров, надо задать такие вот настроки.

Ссылки недоступны для гостей - Ссылки недоступны для гостей

Чтобы получить картинки больших размеров, надо задать в окошке "настройки повторяющихся границ", в поле "прописывать в начало", вот такой код http://kuz.ua/modules/pages/pictures/

С описанием, придётся повозиться

 

Подскажите пожалуйста как задать границы парсинга телефонных номеров на бибика.ру, там номера скрыты и в коде мне трудно разобраться.

 

спасибо попробую повозиться может выйдет
кстати прога суперовая я бы купил вечный ключ если есть такой

 

Сейчас условия изменились на сайте-доноре. Там телефон можно получить только в виде картинки.

 

Ключ и так вечный, то есть вам предоставляется пожизненная возможность получать обновления.

 

Выражаю огромную благодарность службе поддержки в лице Valiks и cagorec, которые вникли в особенности моей задачи и как могли старались мне помочь. Решение для одной из трёх было найдено, а две оставшихся остались технически за пределами программной реализации. Это распознавание изображений. Разработчик программы Root вернул часть средств за что ему также большое спасибо. Заявленные функции программа отрабатывает.

 

Нет предела совершенству, будем дерзать, и со временем появится в Content Downloader-е опция распознавания текста из картинок.

 

Доброго времени суток. Подскажите как парсить данный сайт Ссылки недоступны для гостей
Нужно получить:

Но каждый url вывода объявлений имеет Ссылки недоступны для гостей. И как с этого чуда парсить я не пойму.

 

Собираете ссылки страниц с объявлениями в программе Content Downloader

затем переходите во вкладку "Задание границ парсинга" (Ссылки недоступны для гостей подробности) и выбираете "Повторяющиеся границы". Для сбора текста объявлений вам одной границы должно хватить. Но там телефон спрятан скриптом, под него надо копать. Стучитесь в Скайп, приступим к поиску

 

Парсю бибику, задаю запрос Ссылки недоступны для гостей
получаю выдачу сайта в виде 7733 а/м на 258 стр, т.е. должен собрать сканером сайтов порядка 7700 ссылок. Реально получается порядка 1500 даже без фильтрации. В чём подвох? Проект в аттаче.

 

Неправильные настройки

В приложении решение. 258 страниц, по 30 ссылок в каждой = 7740 в результате

 

Спасибо. Решение попробовал. Собирает ссылки с первых 51 страницы. Остальные 207 страниц проходит вхолостую. Найдено ссылок 1529.

Второе решение тоже пробовал. Результат тот же. Обновил версию ПО, ничего не изменилось. Может быть видео приложить?

 

Это точно.

Мы просто одновременно ответ писать началм, но, получилось хорошо, оба решения одинаково качественно дают спарсить ссылки

 

Используйте прокси, или задайте паузу между запросами побольше. Надо искать оптимальное время, чтобы на банило
Если первый вариант используете, ставьте 1 поток

 

Странно ...
1 поток ставлю, паузу довёл до 5 сек (5000мсек) уже, не банит (т.е. при и после сканирования открываю страницы сайта без проблем), а вот ссылок больше чем 1529 насобирать не удаётся.

 

В лицо узнаёт, наверное? Попробую чуть позже, скажу как решать.
Попробуйте передать куки перед парсингом, может поможет. А другое решение я поищу, как освобожусь

 

Сайт довольно-таки замороченный. Если он очень нужен, то чтобы спарсить ссылки с него, придётся потратить кое-какое время. Действительно, через определённое количество страниц, прекращается сбор ссылок, если задавать диапазон.

Однако, если парсить ссылки через "сканер сайтов" такого не происходит, парсится много тысяч ссылок. И тут зависит уже что вам и для чего нужно. Одноразово, на постоянку новинки или что-то ещё.

По большому счёту, я не вижу целесообразности в парсинге, скажем объявлений, устаревших несколько лет назад, но, что вам надо вы решаете. Если парсить только новое, то тут вполне хватит дозволенного. А если всё-всё-всё, тогда просто надо не спеша спарсить сначала все ссылки через сканер, потом сделать из них выборку. Всё равно объявления, опубликованные пару лет назад, никуда не денутся, и вам без разницы, когда вы получите с них данные, сегодня или через день-два.

 

В том то и дело что сканер сайтов перестаёт собирать ссылки начиная с 52-й страницы выдачи.

Да какие там пару лет?
Я задаю диапазон в 2 недели и получаю порядка 8 тыс объявлений. Если бы нужно было обработать несколько сотен то вручную бы сделал. Дело в том что реально нужны именно тысячи. И эти тысячи ссылок исправно собираются сканером сайтов с авито.ру и авто.ру, а вот на бибике почему-то происходит затык.