TF-IDF - История изменений

Patarakin в 14:23, 10 декабря 2025

2025-12-10T14:23:57Z

← Предыдущая версия		Версия от 17:23, 10 декабря 2025
Строка 1:		Строка 1:
	{{Понятие		{{Понятие
	\|Description=TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции. Мера TF-IDF часто используется в задачах анализа текстов и информационного поиска, например, как один из критериев релевантности документа поисковому запросу, при расчёте меры близости документов при кластеризации.		\|Description=TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции. Мера TF-IDF часто используется в задачах анализа текстов и информационного поиска, например, как один из критериев релевантности документа поисковому запросу, при расчёте меры близости документов при кластеризации.
	\|Field_of_knowledge=Лингвистика		\|Field_of_knowledge=Лингвистика, Статистика
	\|Environment=Semantic MediaWiki, R		\|Environment=Semantic MediaWiki, R
	}}		}}

Patarakin в 12:21, 18 августа 2025

2025-08-18T12:21:30Z

← Предыдущая версия		Версия от 15:21, 18 августа 2025
Строка 14:		Строка 14:
	Учёт IDF уменьшает вес широкоупотребительных слов. Для каждого уникального слова в пределах конкретной коллекции документов существует только одно значение IDF.		Учёт IDF уменьшает вес широкоупотребительных слов. Для каждого уникального слова в пределах конкретной коллекции документов существует только одно значение IDF.

	: <math> \mathrm{idf}(t, D) = \log \frac{\|D\|}{\|\{\,d_i \in D \mid t \in d_{i}\, \}\|}</math> ,~~<ref>~~В некоторых вариантах формулы не используется логарифмирование.</ref>		: <math> \mathrm{idf}(t, D) = \log \frac{\|D\|}{\|\{\,d_i \in D \mid t \in d_{i}\, \}\|}</math> ,В некоторых вариантах формулы не используется логарифмирование.</ref>

	где		где

Patarakin: Новая страница: «{{Понятие |Description=TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употр...»

2025-08-18T12:20:59Z

Новая страница: «{{Понятие |Description=TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употр...»

Новая страница

{{Понятие
|Description=TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции. Мера TF-IDF часто используется в задачах анализа текстов и информационного поиска, например, как один из критериев релевантности документа поисковому запросу, при расчёте меры близости документов при кластеризации.
|Field_of_knowledge=Лингвистика
|Environment=Semantic MediaWiki, R
}}
'''TF''' (''term frequency'' — частота слова) — отношение числа вхождений некоторого слова к общему числу слов документа. Таким образом, оценивается важность слова <math> t_{i} </math> в пределах отдельного документа.

: <math> \mathrm{tf}(t,d) = \frac{n_t}{\sum_k n_k}</math> ,

где <math>n_t</math> есть число вхождений слова <math>t</math> в документ, а в знаменателе — общее число слов в данном документе.

'''IDF''' (''inverse document frequency'' — обратная частота документа) — инверсия частоты, с которой некоторое слово встречается в документах коллекции.

Учёт IDF уменьшает вес широкоупотребительных слов. Для каждого уникального слова в пределах конкретной коллекции документов существует только одно значение IDF.

: <math> \mathrm{idf}(t, D) = \log \frac{|D|}{|\{\,d_i \in D \mid t \in d_{i}\, \}|}</math> ,<ref>В некоторых вариантах формулы не используется логарифмирование.</ref>

где

* |D| — число документов в коллекции;
* <math>|\{\,d_i \in D \mid t \in d_{i}\, \}|</math> — число документов из коллекции <math>D</math>, в которых встречается <math> t </math> (когда <math> n_{t} \neq 0</math>).
Выбор основания логарифма в формуле не имеет значения, поскольку изменение основания приводит к изменению веса каждого слова на постоянный множитель, что не влияет на соотношение весов.

Таким образом, мера TF-IDF является произведением двух сомножителей:

: <math>\operatorname{tf-idf}(t,d,D) = \operatorname{tf}(t,d) \times \operatorname{idf}(t, D)</math>

Большой вес в TF-IDF получат слова с высокой [[частота (статистика)|частотой]] в пределах конкретного документа и с низкой частотой употреблений в других документах.