Method RebuildAllIndex

models/ElasticSearchModel.go:294–327

重建索引【全量】 采用批量重建索引的方式进行 每次操作100条数据

()

//采用批量重建索引的方式进行
//每次操作100条数据
func (this *ElasticSearchClient) RebuildAllIndex() {
	helper.ConfigMap.Store("indexing", true)
	defer helper.ConfigMap.Store("indexing", false)
	//假设有10个亿的文档...
	pageSize := 1000
	maxPage := int(1e7)
	for page := 1; page < maxPage; page++ {
		if infos, rows, err := NewDocument().GetDocInfoForElasticSearch(page, pageSize, 0); err != nil || rows == 0 {
			if err != nil && err != orm.ErrNoRows {
				helper.Logger.Error(err.Error())
			}
			page = maxPage
		} else {
			var ids []int
			for _, info := range infos {
				ids = append(ids, info.Id)
			}
			timeStart := time.Now().Unix()
			if data, err := NewDocument().GetDocForElasticSearch(ids...); err != nil {
				helper.Logger.Error("批量生成索引失败：" + err.Error())
			} else {
				if err := this.BuildIndexByBuck(data); err != nil {
					helper.Logger.Error("批量生成索引失败：" + err.Error())
				}
			}
			timeEnd := time.Now().Unix()
			//如果生成/更新索引耗时超过默认超时时间的一半，则休眠一小段时间，避免由于生成索引导致服务器负载过高，从而影响整站服务
			if spend := timeEnd - timeStart; spend > int64(this.Timeout)/2 {
				time.Sleep(time.Duration(spend) * time.Second)
			}
		}

	}
}

//根据id查询文档，并创建索引
func (this *ElasticSearchClient) BuildIndexById(id int) (err error) {