Как мне потестить демо версию ЕСЛИ ...

Как я могу оценить Вашу софтину? Если половино функционала не рабочая. К примеру при сборе ссылок вылетает такое

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Игнорировать данное сообщение. Это ошибка демо-версии.

 

))) смешно - от слова игнорировать! Так ссылки то в этот момент не собираются как быть?

 

вот и немогу нормальный парсер себе подобрать был у ... там тоже обещают золотые горы, а по итогу не парсит их парсер те сайты которые мне нужны!

 

С сайта

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Сканер соберет нужные ссылки.

 

К тому же на этом сайте есть карта сайта:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Вот, я вам собрал ссылки с этого сайта. Если будут еще вопросы - пожалуйста, обращайтесь.

 

Спасибки за ссылки! НО у меня не выходит собрать ссылки с сайта

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

! Что я делаю не так? Когда пытаюсь открыть данный сайт в браузере парсера открывается только футер сайта, Другие сайты я уже более мене научился парсить )))) еще на тех видосах где у Сергея комп гудит как пылесос! А с этим сайтом почемуто не могу, загоняю ссылку на главную страницу, пробовал пропарсить все ссылки он мне выдает одну ссылку на ОКНОСАЙТ!

PS да! Где можно посмотреть все сочетания клавиш которые работают в программе? А то я смотрел видос обучающий, как магазин колесный парсят, там автор картинку взял и открыл в новом окне - а я все кнопки перетыЧИЛ на правой кнопке мыши меню парсера, как открыть картинку во всплывающем онке я так и непонял!

В целом прога супер - автору РЕСПЕКТ , я очень доволен! Немного с настройками сложновато, но это на первый взгляд.

 

Здравствуйте.

Прикрепил файл проекта (в программе: меню - файл загрузить проект).

Инструмент парсинга xml-карт ссылок вызывается нажатием на кнопку MAP во вкладке "ссылки".

Этот сайт выводит данные скриптами, придется включить IE (DOM) в окне ctrl+h (смотрите прикрепленный проект).

Сочетания клавиш я не выписывал. При наведении курсора на кнопку во всплывающих подсказках отображаются горячие клавиши (если они назначены для этой кнопки).

Для открытия картинок в окне предпросмотра результатов парсинга контента попробуйте сделать двойной клик по ним.

Отдельное спасибо за добрые слова!

С уважением к вам, Сергей.

 

Доброго времени суток, Сергей!
Мое "тупое" упорство и настойчивость все же дает свои плоды. )))
Просто дело даже не в том, чтобы Вы мне сказали как это сделать, я просто хочу понять и разобраться, а сайт [

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

как ни странно очень подходит как пример.
Я хочу спарсить всю инфу по недвижимости с этого сайта и закинуть ее в csv файл, если парсить полностью сайт по категории /catalogue/ то парсер спиливает все ссылки с данного сайта, туда попадают все объявления и потом невозможно отделить новостройки от вторички. В ручную это делать не очень хочеЦа!
Я сразу понял что сайт как то странно выдает инфу (по скриптам), я могу конечно спарсить всю инфу и ЗЕНКОЙ, но Зенка может только собирать инфу и ссылки из заданых категорий, а Content Downloader именно ковыряет сайт, ковыряет и находит все ссылки и работает более шустрее, но и Зенка немного для другого сделана.
С помощью Content Downloader мне все же удалось спарсить ссылки из категории новостройки но ссылки получились вида: http://"+домен+"/catalogue/........ с помощью поиск замена я все отфильтровал и склеил ссылки. Дальше мне нужно спарсить всю инфу по квартирам из каждой ссылки, но если открыть к примеру ссылку

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

(из категории новостройки) и нажать на ссылку квартиры, то инфа о квартире выдается во всплывающем окне. Но эта информация урезанная, ниже во всплывающем окне есть ссылка на более точную информацию по данной квартире и если перейти по этой ссылке, то можно уже спарсить нужную инфу.
Как заставить парсер выпилить все ссылки с этих всплывающих окон, чтобы в последующем, можно было спарсить информацию по всем квартирам определенного дома из категории новостройки.

 

Здравствуйте еще раз.

Скачиваем доработанный инсталлятор и переустанавливаем программу:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

После чего открываем прикрепленный к этому сообщению проект (в программе: меню - файл - загрузить проект, только прежде сохраните свой).

Нажимаем ctrl+f1, ждем завершения выполнения списка событий в появившемся окне WBApp.

В итоге мы получаем код WEB-документа + в конец добавляется код со ссылками на подробные описания квартир (который мы можем парсить повторяющимися границами парсинга):

Примечание: Для выполнения списка событий WBApp требуется тип лицензии ULTIMATE (если у вас не такой, то вы можете перейти на него Ссылки недоступны для гостей).

Спасибо за обращение!

С уважением к вам, Сергей.

 

ULTIMATE - У меня есть такой! Спасибки! Гляну что получится.

 

Отлично. Тогда проблем быть не должно. Проект работает - проверено!

 

Сергей огромное Вам спасибо! Проект проверил все работает. Я понял как все работает, принцип сбора получился аналогичный как и у меня в Зенке! Тоесть, сбор происходит через браузер с подгрузкой скрипта и обхода для сбора ссылок. Вот теперь изучаю макросы, пробую, вроде получается все помаленьку, уже и глаза не так разбегаются и подсказки уже видеть начал. )))) Ваша прога это реально бомба, мне очень понравилась, очень рад что нашел именно Вас и купил вашу прогу! Много фишек и безграничная кладезь возможностей, которые скрыты в вашей проге, редактор csv вообще отменный, я уже оценил его возможности! Вот осталось только освоить макросы. Но как я понял это не сложно , нужно просто понять, что и как, это как я поначалу не мог понять разницу между обычной границей парсинга, повторяющейся и динамической!
Вам огромное спасибо за замечательную программу, помощь нам не читателям и доброе и сдержанное отношение при вопросах на одну и туже тему, поднимаемую в 1000500й раз!

 

Здравствуйте.

Пожалуйста. И вам большое спасибо на добром слове!

Будем рады вас видеть снова.

С уважением к вам, Сергей.

 

Сергей! Здравствуйте еще раз!
Сейчас как в уроке парсил ссылки (пробовал так сказать) с яндекс маркета - ТАК ОНИ МЕНЯ и забанили! Я просмотрел и зарядил им в 10 потоков, пробую пробую всего 200 ссылок спарсил и потом только сообщения о капче! ))) Яндекс жостко банит? С маилру попробовал, только выставил в 1 поток и пауза 2 секунды и тогда нормально, спилил 200 ссылок, а яндекс, чтото так и не отпускает! Загружает через программу страницу скапчей, а через браузер пробовал, там у меня нормально загружается. Яндекс можети палить, что я его сылки спилить пытаюсь софтом? Или нет?
Яндекс отпустит попозже или теперь только через прокси? )))

 

Здравствуйте.

Яндекс должен разбанить примерно через 15 минут (насколько я помню).

Думаю, можно подобрать паузу (при условии одного потока), чтобы капча не вылетала. Думаю, это 10000-15000 (от 10 до 15 секунд, если указать именно так, то будет выбрано случайное значение времени в заданном интервале).

Если такая скорость парсинга будет неприемлема, то необходимо будет использовать качественные и ЕЩЕ НЕ ЗАБАНЕННЫЕ Яндексом SOCKS-прокси (именно SOCKS).

Если с прокси не получится или не захотите "связываться с ними", то можно использовать антикапчу Ссылки недоступны для гостей

Почему у вас в программе капча, а в браузере нет: В программе и в браузере используются разные Cookies. Если вы вставите cookies из браузера в соответствующее поле в окне ctrl+h, то каптчу Яндекс выдавать не должен. Также можно вручную вводить текст каптчи и предавать cookies в Content Downloader (нажмите на кнопку с изображением ключика во вкладке контент).

 

Сергей, а когда я парсю сайт в 10 потоков, это получается как с 10 компов в раз?
Это наверное палево? На сайтах наверное стоит софт который палит много подключений?
Если парсить через прокси в 10 потоков, то каждый поток будет через разные прокси или все 10 потоков через 1 прокси пойдут?
Просто если сайт банит прокси меняешь и дальше погнал?
Банят наверное по ip ?
Интересно бан потом отпускает через какоето время или это навсегда?

 

Зависит от сайта. Большинство сайтов спокойно парсятся в 20 потоков и ничего плохого не делается.

При парсинге через прокси каждый поток использует новый прокси (смена происходит автоматически).

Чаще всего бан по IP (помогает переподключение интернета (если IP динамический)).

Перманентного бана ("навсегда") у сайтов я не встречал. Обычно банять на 15 минут, бывает и на неделю.

С уважением к вам, Сергей.

 

а у меня cookies в Content Downloader вообще непрописаны! А как кукисы из браузера взять?

Во! А до ключика я еще не добрался, только сейчас увидел эту замечательную фишку и КУКИСЫ тут внизу походу мои! Вообще супер- Я просто балдею от этой софтины! Как мне все запомнить ))))