Только что проверил,- всё работает без каких-либо прокси, user-agent MSIE 8.0, пауза 5000 мс, забираю поисковые ссылки без проблем, не банит, но даёт 175 ссылок получить не больше, потом выводит каптчу. А вот если проставить нормальные прокси, парсит без проблем. 3000 ссылок, без паузы Попробуйте, всё-таки использовать нормальные, платные прокси.
не могу карту сайта загрузить, эту Ссылки недоступны для гостей хотя в браузере открывается нормально...
В "дополнительно" укажите "user-agent" как Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) И откроет весь список как прикинитесь поисковиком)) Заметьте что в ../sitemap.xml иногда устарелые записи тоесть не все, лучше собирать во вкладке "ссылки" по диапазону страниц
Почему то не получается загрузить код странички вконтакте, хотя сайт отображается во встроеном браузере. Я другие сайты проверил код загружаются нормально, эта проблема только с вконтактом... Ссылки недоступны для гостей
Появилось сообщение о нехватки памяти при работе сканера сайтов. Нажимал кнопку периодически "Сделать бекап" - толку ноль, ничего не сохранилось. Памяти достаточно. Обидно столько времени в пустую потерять..
Подгрузка страницы идёт динамически. В реальности там многостраничная страница, если поизучаете подгрузку через предложенные плагины, увидите, что подгружается много страниц. Вам остаётся найти диапазон и загрузить их все. Замечание: Не загружайте изображения таких огромнывх размеров, в "полный рост", ставьте "Увеличение по клику", кому надо будет,- увеличит. В следующий раз изображения огромных размеров будут удаляться без предупреждения.
В ОС Windows понятия "достаточно памяти" не существует. Эта зараза работает так, как ей вздумается, то есть непредсказуемо. Если нажимать кнопку в режиме, когда существует "нахватка памяти", конечно, результата не будет. Это "нехватка" начинается задолго до того, как на экране появятся видимые признаки Оптимизируйте свой Windows, отключайте torrent программы и другие сильно нагружающие комп программы во время работы. Увеличьте размер файла подкачки. Если аппетиты большие, то есть нужны большие объёмы для скачивания, придётся поковыряться. Но, опыт многих сотен людей показывает, что рациональнее и гораздо быстрее скачивать с огромных сайтов методов правильной настройки категорий. То есть парсите ссылки на категории, затем создаёте несколько проектов под эти категории, и запускаете планировщик. Экономия и по времени, но более всего по качеству огромная. Каждый инструмент хорош для разных вариантов работы. К сожалению, существуют сайты, которые имеют реально пару сотен или тысяч страниц, а при сканировании, выдают миллионы страниц мусора. Стоит ли заморачиваться с такими сайтами? Не проще ли попытаться понять структуру, выбрать нужное и спарсить потихоньку?
дело было в кукисах, я во встроеном браузере авторизовался неделю назад и код загружался, а щас потом перестал загружатся, я снова кукисы передал и теперь код отображается! Ссылки недоступны для гостей
Ну вот, а грешили на программу. Кстати, картинки надо брать из радикала, ту, по которая красным обозначена Ссылки недоступны для гостей Кусок обозначенный красным желательно вырезать, чтобы не подгружалась страница с тупой рекламой Радикала. Code: http://radikal.ru/F/s018.radikal.ru/i503/1208/d9/b4f96506f123.png.html
Закрывается программа при попытке запуска планировщика Доброго времени суток. Падает программа при запуске планировщика. Windows 7 Максимальная - 32-х битная. На ярлык - запуск под администратором, совместимость с win xp sp 3. В планировщике добавляю проект (в нем стоит галочка в сборщике ссыок "запускать парсинг контента) и выбираю пункт "запустить сканер сайтов". После попытки планировщика запустить парсинг контента система падает. Ссылки недоступны для гостей
Говорил с автором, предложение такое,- запустить программу без режима совместимости с win xp sp, но с правами администратора. Должно помочь, обычно Windows 7 проблем не создаёт
есть сайт доступен только по https протоколу, я авторизовался кукис передал, но исходный код не отображается, что же делать
cookies стандартным способом не всегда передаются поностью инога приходится через сниферы (в мозилле адон http fox) смотреть
встроенный браузер собственно, все сказано в заголовке поста. уже много раз сталкивался с тем, что встроенный в программу браузер временами тупит просто ЧУДОВИЩНО. и в режиме добавления ссылок по Ф6, и при назначении границ парсинга. не знаю, от чего это зависит - иногда все более-менее хорошо (хотя браузер и на легких страницах не отличается быстрой соображалкой), на некоторых же страницах полоса прокрутки работает с лагами до 10 секунд и больше (!!). специально проверял - "чистый" Интернет-эксплорер справляется с этими страницами без проблем. может, пора как-то оптимизировать этого встроенного в программу калеку? другого названия он, к сожалению, пока не заслуживает.
может проблема не в программе, всё таки пока данные долетят до сервера и обратно они проходят семь уровней, вот модель OSI Ссылки недоступны для гостей CD програмное обеспечение то есть седьмой уровень, после него ещё шесть может быть проблема в одном из них
Не могу авторизоваться на liveinternet, а точнее авторизация в окне браузере программы проходит, но когда смотрю страницу, вижу форму входа. Раньше всё было нормально. Что делаю: добавляю в проект страницу из liveinternet, например "по поисковым фразам" кликаю пройти авторизацию, открывается страница со входом, ввожу пароль. авторизуюсь и передаю куки. Далее из проекта кликаю по этой ссылки или пытаюсь задать границы, то вижу страницу с авторизацией. посмотрите, что там не так. ps: Да и куки там какие-то странные формируются. Обычно длинная строка, а на liveinternet короткая. Может в этом дело...
Если в парсинг идет 10001 урл, а настройка максимального количества элементов в логе 10000 - то в логе останется ОДИН урл. После того, как лог очистился - перестают считаться красные незагруженные урлы.
В настройке повторяющихся границ парсинга нажатие правой кнопки ведет к вставке границы из левого списка. Правый список не играет никакой роли.
