Сортировка при парсинге

Вопрос, имеется список из 200 к примеру урлов, высталяю парсить в 1 поток, урлы сохраняются по порядку которому я их загрузил, выставляю парсить в 5 потоков, порядок урлов сбивается, как парсить в несколько колличество потоков, но чтобы список урлов не сбивался?

 

не выйдет, только в один поток, такая же была проблема.

 

Это очень плохо конечно.

 

А смысл тогда ставить много потоков, если элементы будут друг-друга ждать... Это нормальный побочный эффект многопоточности!

 

Ну как смысл? Есть 2 варианта, берем парсим к примеру первые 5 урлов и также их добавляем в файл, после следующие, второй вариант сделать какую то метку для сортировки по умолчанию.

 

sanitarn, потоки могут обрабатываться с разной скоростью, и поэтому данная реализация будет тормозить процесс парсинга из за того что будет очередь ожидания

 

Это понятно, по этой причине и сбивается очередность, ведь можно как то ID присобачить чтобы после в экспорте можно было отсортировать?

 

ID в итоге тоже будут вперемешку, делай в один поток, я так и делаю, парсинг работает 2 часа, но в итоге все ставит на свои места.

 

ID имеет число, свойственно стоит отсортировать по ID и ничего не будет вперемешку. Так как вы работаете, не вариант, ждать по 4 часа, хотя я нашел другой костыль, формула в Экселе для стравнения, но это другая песня.

 

Взял на заметку, спасибо!

 

Вам спасибо, раз взяли на заметку

 

а как быть если я вставил 800 ссылок, они спарсились, но в экселе все наверное по алфавиту...а мне не нужно по алфавиту мне нужен тот порядок который в списке урлов...

 

в том то и дело что я добавил ссылки, а поток и стоял один и при парсинге отображалась надпись : количество потоков :1