Как собирать ссылки с кирилических доменов?

Добрый день!
Не удается собрать ссылки к товарам.
В сканере сайтов добавил страницы с которых брать ссылки на товары, но ссылки сканер не выдает.
В чем может быть проблема? Проект вложил.

 

Не нашел более подходящей темы - поэтому пишу здесь.
Сканер сайтов собрал ссылки. Среди них есть трех видов:
1. с латинскими символами - парсятся без проблем
2. с символами вот такого вида (тоже парсятся нормально, они корректно преобразовываются в кириллическую ссылку): Ссылки недоступны для гостей
3. с такими символами (НЕ ПАРСЯТСЯ): Ссылки недоступны для гостей
Как мне побороть эту ситуацию? Пробовал парсить через DOM (без выполнения каких-либо цепочек событий), но это не помогло. Если вставляю такую ссылку просто в браузер (не в CD) - она тоже не открывается. Если обрезать до вида Ссылки недоступны для гостей - браузер открывает, дописывая кириллицу в конец ссылки. Предпросмотр парсинга не дает результатов с обрезанной ссылки - в окне с кодом текст страницы 404, а в окне браузера - нормальная страничка с данными. Поэтому использую DOM.
Прилагаю проект в надежде на помощь знающих людей.

P.S. Пока закончил пост - решил попробовать обрезать в екселе ссылки до цифр в конце. Вставлял в ексель как данные из txt - и он самостоятельно преобразовал все иероглифы в кириллицу. В общем списке получились ссылки из латиницы; из кириллицы; из букв с %. В таком виде парсится все отлично (даже без DOM). Так что вдруг кому пригодится - берите на вооружение. Может есть и другое решение от знающих людей - это только к лучшему

 

Во-первых, здравствуйте!

Если вы не нашли тему, вам нужно создать новую, а не писать в других, не подходящих по смыслу!

Нам не нужно изучать ваши проекты и искать там подобные ссылки.

Если вы хотите получить помощь, ВАМ НУЖНО указать ссылку, где расположен проблемный URL и тогда мы посмотрим, в чем проблема. Разве так сложно.

 

Здравствуйте !!

Как по мне - тема подходящая, вопрос о кириллице в ссылках сюда подходит. Если у администрации другое мнение - я не буду переживать из-за переноса или удаления моего вопроса.

В тексте моего сообщения как раз и была указана проблемная ссылка - она под номером 3. Если НЕ СЛОЖНО - подскажите, как решать подобные проблемы. В прикрепленном проекте я уже вставил все корректные ссылки (про их получения я написал в П.С.) - и он весь парсится. Получу ли я ответ на мой вопрос - не критично, свою задачу я выполнил. Просто подозреваю, что существует более удобный способ борьбы с кодировками урлов, и узнать это было бы полезным не только мне.

Заранее спасибо за помощь!
И всегда спасибо за внимание к вопросам пользователей.

 

Я проблемы с вашим проектом вообще не вижу. Смотрите скриншот выше. Кириллица в собранных ссылках выглядит корректно! Как вы получали ссылки с битой кодировкой - для меня загадка.