KL 散度(Kullback-Leibler Divergence) 衡量两个概率分布 P 和 Q 之间的差异。 公式: D_KL(P || Q) = sum(P(x) * (log P(x) - log Q(x))) 常用于知识蒸馏、DPO 训练等场景。 Args: p_logits: 分布 P 的 logits [batch_size, num_classes] q_logits: 分布 Q 的 logits [batch_size, num_classes] Returns: kl_
(p_logits, q_logits)
source not stored for this graph (policy: none)
nothing calls this directly
no test coverage detected