При автоматическом парсинге по некоторых сcылках не парсятся данные.

При автоматическом парсинге по некоторых сcылках не парсятся данные.
Ссылки недоступны для гостей
При ручном просмотре этих ссылок в парсере все данные присутствуют.
Ссылки недоступны для гостей
С чем это может быть связано?

 

Здравствуйте.

Попробуйте поставить 1 поток во вкладке "Контент" и парсить.

 

Уже делал, ставил в 1 поток, увеличил интервал, все равно не парсит в автомате, а в ручном режиме все данные есть
Как вариант попробую отключить перевод яшки, может через него торможения

 

В таких случаях нужно прикладывать проект. Мы гаданием НЕ занимаемся.

 

Можна в личку? Єто комерческий проєкт, не хочется на всеобщее смотрение выставлять. Если это связано с моим не пониманием каких то процессов, готов оплатить.

 

Спасибо , пересмотрел вроде нет.
Ссылки недоступны для гостей
Плюс я сформировал список ссылок скоторых не парсятся данные, запустил еще раз их они частично спарсили данные.

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Проблема оказалась в списке User Agent в окне настроек HTTP-запросов (ctrl+h). Зачем-то туда добавляют множество записей и при парсинге UserAgent меняется (вот с некоторыми UserAgent сайт не отдает нужный ответ).

 

Благадарю, рута
проблема была
"Нажать ctrl+h и в поле UserAgent оставить только Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0)"
а че они юзер агентов по банили?
Я просто где то читал рекомендации чтоб агенов было несколько. Вот и пользуюсь этим списком, раньше проблем не было. Еще раз большое спасбо

 

Пожалуйста...

А так же у вас часть UserAgent была в одинарных кавычках (думаю, это и портило).

PS: Помните, где вы прочитали эту рекомендацию? (нужно отредактировать)

 

А вы можете мне помочь на платной основе? Уважаемый Рут, подсказал какой юзер агент использовать, ровно через сутки он умер...
Как бы парсер сделан, ссылки собраны, не могу пройти блокировку

 

Напрочь умер? Не может юзер агент умереть. Попробуйте прокси.