Сайт с кирилическими урлами

Всем привет! Пробую спарсить сайт на котором есть урлы на кирилице. В итоге собираются ссылки кракозябрами, по которым нет возможности перейти, отдает 404 ошибку. Кодировка стоит AUTO остальные тоже перепробовал, ничего не помогло.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

попробуйте этот проект. У меня нормально всё сканирует.

 

Да спасибо на нем работает. Галку тоже ставил преобразовывать ссылки из URl кодировки, но не пошло.

 

Здравствуйте.

Выберите нужную кодировку тут

 

Спасибо. Про эту настройку не знал.

 

А у меня возникла такая трабла:

При парсинге сайта на ВП, при парсинге статей выходит кракозябра.

Ссылки недоступны для гостей

Кодировку менял, ничего не вышло.

 

так покажи пациента под хайдом

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 5 постов.**

 

С браузера заходит. Сканером сразу останавливает, ставил даже 1 поток.

 

Ага, там кеширование интересное плюс сервак облачный. Но смысл в том, что он кодировку не кушает, хотя браузер это делает. Плюс ссылки с сайтмапа не дергает, т.к. они расположены деревом по 1 карте на каждый месяц. Короче интересный случай.
Идея была спарсить ссылки на все статьи и ключи в таблицу.