AI 百科搜索 /

核心概念

TF–IDF

用文档内词频和跨文档逆频率共同确定词项权重的一族稀疏文本表示。

更新：Term Frequency–Inverse Document Frequency

是什么

TF–IDF（term frequency–inverse document frequency）提高在当前文档中较多、在整个文档集中较少见的词项权重。它不是单一公式：TF可用原始计数、对数或二值，IDF可平滑，向量还可做长度归一化。经典比较研究明确列出了多种组合。[1, pp. 516–518 and Tables 1–2]

一个明确版本

第14章教学例采用

tf⁡(t,d)=nt,d,idf⁡(t)=ln⁡Ndf⁡(t),wt,d=tf⁡(t,d)idf⁡(t).\operatorname{tf}(t,d)=n_{t,d},\qquad \operatorname{idf}(t)=\ln\frac{N}{\operatorname{df}(t)},\qquad w_{t,d}=\operatorname{tf}(t,d)\operatorname{idf}(t).

这是原始计数、自然对数、无平滑版本；别的实现不能直接混用数值。词序被忽略，字面不同的同义词不共享坐标。零向量不能做L2归一化，余弦也未定义。

在本书中

见第14章三文档猫狗鱼完整手算。

本页参考来源

  1. Salton G, Buckley C. Term-weighting approaches in automatic text retrieval [J]. Information Processing & Management, 24(5), 513–523. Information Processing & Management, 1988. 定位：pp. 513–520, especially pp. 516–518 and Tables 1–2. DOI；稳定来源（访问 ）。

相关概念