Method optimize_lancedb

rust-core/src/services/embedding_service.rs:780–822

优化 LanceDB 存储：compact 碎片整理 + prune 旧版本清理 # 功能 1. **Compact**: 物理合并且删除已标记为删除的行，回收磁盘空间 2. **Prune**: 清理旧的版本文件 # 何时调用 - `vectorize_directory()` 批量处理完成后自动调用 - 当 `pending_delete_count` 达到阈值时自动调用

(&self)

    /// - `vectorize_directory()` 批量处理完成后自动调用
    /// - 当 `pending_delete_count` 达到阈值时自动调用
    pub async fn optimize_lancedb(&self) -> anyhow::Result<()> {
        info!("Starting LanceDB storage optimization (compact + prune)");

        let table = self.connection.open_table(&self.table_name).execute().await
            .map_err(|e| anyhow::anyhow!("Failed to open LanceDB table for optimization: {e}"))?;

        // ── Step 1: Compact ──
        // 合并小文件碎片，物理删除被标记为已删除的行
        let compact_options = CompactionOptions {
            target_rows_per_fragment: 1024 * 1024,  // ~1M 行每文件
            max_rows_per_group: 1024,                // 1K 行每组
            materialize_deletions: true,             // 强制物理删除软删除的行
            materialize_deletions_threshold: 0.1,    // 10% 删除阈值作为后备
            num_threads: 4,                          // 4 线程并行
        };

        let _compact_stats = table
            .optimize(OptimizeAction::Compact {
                options: compact_options,
                remap_options: None,
            })
            .await
            .map_err(|e| anyhow::anyhow!("LanceDB compact failed: {e}"))?;

        info!("LanceDB compact completed");

        // ── Step 2: Prune ──
        // 清理 compact 后遗留的旧版本文件
        let _prune_stats = table
            .optimize(OptimizeAction::Prune {
                older_than: TimeDelta::zero(),   // 立即清理所有非最新版本
                delete_unverified: Some(false),        // 安全：只删除已验证的版本
            })
            .await
            .map_err(|e| anyhow::anyhow!("LanceDB prune failed: {e}"))?;

        info!("LanceDB prune completed");

        // 重置 pending 删除计数
        self.pending_delete_count.store(0, Ordering::Relaxed);

        Ok(())
    }

    /// Search for code blocks using semantic search
    pub async fn search(&self, query: &str, limit: usize) -> Result<Vec<SearchResult>, anyhow::Error> {