Парсинг в несколько потоков (нарушение порядка)

Тема в разделе "Решение различных задач по парсингу", создана пользователем belinovichav, 18 авг 2019.

  1. belinovichav

    belinovichav New Member Пользователи

    Регистрация:
    15 авг 2019
    Сообщения:
    1
    Город:
    Тагил
    Добрый лень. Делаю парсинг Авито. У меня есть 20тыс ссылок, которые расположены по порядку. Мне нужно получить информацию в файле точно в таком же порядке. Если я запускаю парсинг в 10 потоков, то некоторые ссылки обрабатываются быстрее других и результат записывается в файл раньше. То есть результат перемешивается и уже не получается точно сопоставить ссылку и результат. Есть ли возможность в программе записывать результат именно в том порядке, в котором идут ссылки? Если нет, то подскажите, пожалуйста, как в коде прописать, чтобы вместе с результатом парсинга в файл в соседний столбик записывалась исходная ссылка. Это хотя бы даст возможность потом расположить результаты в том порядке, в котором шел список ссылок (средствами excel)
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Пробуйте в [PARAM] указывать номер строки
     
  3. aresa

    aresa Well-Known Member Пользователи

    Регистрация:
    17 окт 2015
    Сообщения:
    180
    Здравствуйте!
    1) первый вариант парсить в один поток.
    2) второй вариант - макрос
    <CD_DOCURL!> - вставка url адреса страницы, с которой производится парсинг
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Суть многопоточности терялась бы, если бы потоки ждали друг друга. Если нужно сохранять порядок, нужно парсить в 1 поток.
     
    kagorec нравится это.

Поделиться этой страницей