本文揭示了词嵌入空间中词频非均匀性的重要性，提出了一种新的 Zi-20241105055418

本文揭示了词嵌入空间中词频非均匀性的重要性，提出了一种新的 Zipfian Whitening 方法，通过将词频融入 PCA 白化过程，显著提升了 NLP 任务性能，并从理论和实证两方面对该方法的有效性进行了深入分析，并对现有方法的有效性给出了统一的解释，其核心在于强调低频词的重要性，这与直觉相反，却极具启发性。