Весовые коэффициенты

До сих пор рассматривались отдельно взятый документ, не принимая во внимание, что он входит в базу данных наряду со множеством других документов. Если все документы одной и той же тематики или направления представить в виде одного, очень большого документа, то и к такому составному документу также применимы законы Зипфа.

Использование составного документа позволяет повысить качество выборки значащих слов (или их рейтинг) путем введения нового понятия инверсная частота термина, которая характеризует вес или значимость термина. Под термином может пониматься не только отдельное слово, но и единое по смыслу словосочетание

Инверсная частота термина i определяется выражением

, (1.1)

Где n ‑ общее число рассмотренных документов,

m – количество документов, содержащих данный термин.

Использование инверсной частоты позволяет снизить опасность попадания малозначащих терминов в состав выборки. С учетом инверсной частоты вес или значимость термина в каждом документе определится выражением

, (1.2)

где z — вес или значимость термина в некотором документе;

f— частота повторения термина в рассматриваемом документе;

i — инверсная частота этого термина в группе документов;

s— количество значащих слов в рассматриваемом документе.

Кстати, вес или значимость одного и того же термина в различных документах обычно существенно отличается друг от друга.

Роль инверсной частоты в приведенной формуле состоит в том, чтобы уменьшить вес слов и устойчивых словосочетаний, которые выполняют вспомогательные функции в документе, обеспечивая стиль и определенный характер повествования. Для случайных слов и сочетаний мала частота повторения терминов f, а для стоп-слов и вспомогательных понятий стремится к нулю инверсная частота i. Таким образом, вес или значимость термина z позволяет выделить именно ключевые слова и сочетания. Этот же параметр позволяет также ранжировать значащие слова, т. е. построить их последовательность в порядке значимости.