Function pullTownDataSync

main.js:362–384

(countryPath, offset)

function pullTownDataSync(countryPath, offset) {
    offset = offset || 0
    let data = fs.readFileSync(countryPath);
    let jsonData = JSON.parse(data);
    jsonData.slice(offset).forEach(function(element, index) {
        let urls = [];
        let url = element.url.replace('www.stats.gov.cn', IP);
        log.debug("正在请求 => " + element.name + " => "+ element.url);
        if (url){
            requestSync({
                url: url,
                encoding: null
            }, function(error, response, body) {
                //空的文件内容必须是 []
                urls = JSON.parse(fs.readFileSync(TownPath) || []);
                urls = urls.concat(parseTown(iconv.decode(body, 'gb2312'), absolutePath(element.url)));
                fs.writeFileSync(TownPath, JSON.stringify(urls));
                log.debug('foreach ==> ', offset + index);
            });
            sleep(500);
        }
    });
}

//由于数据量很大，统计局的服务器在接受大量连接时会莫名 hang 住，所以通过输出 index，不断计算偏移量，方便下一次计算
//第一次从 0 开始，假如输出 index 是 3000，则下一次爬取时偏移量应该是 3001，可以通过 sleep 适当控制爬取的速度，sleep 是直接让 nodejs event loop 停住