МОДИФИЦИРОВАННЫЙ МЕТОД ПЕРЕКРЕСТНОЙ ОЦЕНКИ ШИРИНЫ ОКНА ЯДЕРНОЙ ФУНКЦИИ РОЗЕНБЛАТТА-ПАРЗЕНА

THE MODIFIED CROSS-VALIDATION METHOD OF THE ROZENBLATT-PARZEN KERNEL FUNCTION WINDOW WIDTH

Sergey Bardasov

Candidate of Science, assistant professor of Tyumen State University,

Russia, Tyumen

АННОТАЦИЯ

Рассматривается модифицированный метод непараметрической оценки плотности вероятностей. Применяется перекрестная ядерная оценка на основе максимума функции правдоподобия. Каждое ядро создает плотность в точке где оно находится с фиксированной шириной окна и оцениваемой шириной окна в других точках. Необходимо, чтобы эти два значения полосы пропускания стали равными. В результате получим ненулевое значение ширины окна. В отличие от обычного метода плотность в данной точке создают все ядра, включая ядро расположенное в этой точке.

ABSTRACT

A modified method of nonparametric probability density estimation is considered. The maximum likelihood cross-validation kernel estimator is applied. Each kernel creates density in a point where it is with the fixed window width and the estimated window width in other points. It is necessary that these two values of a bandwidth became equal. As a result we will receive not zero optimal value of a window width. Unlike an ordinary method density in this point is created by all kernels, including the kernel located in this point.

Ключевые слова: непараметрическая оценка функции плотности распределения; кросс-валидация на основе функции правдоподобия; ядерное сглаживание.

Keywords: nonparametric density estimation; likelihood cross-validation; kernel smoothing.

Рассмотрим одномерное непрерывное распределение. Пусть  – выборочные данные, использующиеся для непараметрической оценки функции плотности вероятностей. Как известно, выборочная функция распределения имеет вид:

.                                            (1)

Здесь  – индикаторная функция.

Функция плотности вероятностей  есть производная от функции распределения , и может быть представлена следующим образом:

Розенблатт [4] предложил следующую эмпирическую оценку функции плотности:

                              (2)

Это относительное число наблюдений в интервале , деленное на длину интервала . На основе формулы (2) популярна оценка методом ядерных функций:

                               (3)

Здесь,  – ядерная функция (kernel function),  – положительное число, которое называют шириной окна (window width) или полосой пропускания. Обычно ядро задается как унимодальная симметричная около нуля функция плотности. В этом случае оно удовлетворяет условиям:

                             (4)

Параметр   определяет степень сглаживания оценки плотности . Обычно вводят следующее обозначение . Это позволяет записать

                                (5)

Обычно ядро  задают в виде симметричной одномодальной функции плотности вероятностей. Это гарантирует, что  также будет плотностью.

Часто используют гауссовское ядро

и ядро Епанечникова

.

Параметр  определяет распространение ядра. Ядерная оценка построена на ядрах, заданных в каждом наблюдении. Оценка функции плотности  в точке  является средним значением  ядерных ординат в этой точке. Ядро можно представлять как распространение "массы вероятности" величиной  связанной с каждой точкой данных в окрестностях этих точек. Объединение вкладов от каждой точки означает, что в областях, где имеется много наблюдений ядерная оценка должна принять большее значение. Выбор величины параметра сглаживания  имеет критическое значение.

Таким образом, задача оценки функции плотности сводится к нахождению оптимального значения параметра . Для этого нужно задать критерий оптимальности. Рассмотрим оценку , основанную на логарифмической функции правдоподобия. Метод предложили в работах [2] и [3].  В данном случае оценка плотности будет близка к истинной плотности распределения вероятности в смысле расстояния Кульбака-Лейблера.

Функция правдоподобия в случае ядерной оценки плотности имеет вид:

.

Естественно было бы выбрать значение , которое максимизирует логарифмическую функцию правдоподобия:

.              (6)

Однако данная функция неограниченно растет при , что соответствует дискретной выборке, а ядерная функция переходит в - функцию Дирака. Следовательно, мы не получим оценки непрерывной функции плотности.          Тогда для оценки  в формуле (6) полагают, что каждое ядро создает плотность во всех точках за исключением той, в которой находится его центр, т.е.

.              (7)

Известно, что ядер ограниченным носителем, оценка (7) является состоятельной [1].

Таким образом, не делается никаких априорных предположений о виде закона распределения, т.е. оценка функции плотности распределения вероятностей является непараметрической. Оценка параметра  согласно формуле (7) зависит от выборочных данных и легко реализуется с помощью компьютера.

Однако возможно построить такой метод перекрестной оценки (cross-validation) ширины окна ядерной функции, при котором ядро, расположенное в некоторой точке создает плотность также и в ней, а не только в других точках. Пусть ядро, расположенное в некоторой точке  создает в ней плотность с фиксированным значением . Например, можно использовать значение ширины окна, полученное при обычной перекрестной оценке (7). В остальных точках это ядро создает плотность с шириной окна, максимизирующей логарифмическую функцию правдоподобия. В этом случае параметр  не будет стремиться к нулю. Таким образом, получим:

.          (8)

Наконец, необходимо найти такое значение , что оптимальное значение ширины окна ядерной функции, полученное согласно критерию (8) совпадет с этим значением, т.е. . Тогда получим, что каждое ядро создает плотность в той точке где оно расположено, а также во всех остальных с одним и тем же значением параметра, которое является оптимальным согласно критерию (8).

По крайней мере, в некоторых случаях такое значение ширины окна ядерной функции может быть определено в результате нижеследующего итерационного метода. Сначала определим оптимальное значение параметра по критерию (7), т.е. выполним обычную перекрестную оценку. На последующих шагах применяем критерий (8), за  принимаем значение параметра, полученное на предыдущем шаге. Процедуру повторяем до тех пор, пока разность между значениями параметра на двух соседних шагах не станет меньше заранее заданной величины.

Например, была смоделирована выборка из ста значений случайной величины, распределенной по закону стандартного нормального распределения. Для оценки использовалось гауссовское ядро. По критерию (7) на первом шаге было получено оптимальное значение  На втором шаге было положено . В результате вычислений по критерию (8) получим значение . Затем подставим в формулу (8) новое значение . На следующеи шаге получили . Снова повторив изложенную здесь процедуру, на следующем шаге получим значение  (с точностью до 0,0001). 

Список литературы:

1. Chow, Y.-S., Geman S., Wu L.-D. Consistent cross-validated density estimation // The Annals of Statistics. 1983 Vol. 11, No. 1, P. 25-38
2. Duin, R. P. W.  On the choice of smoothing parameters of Parzen estimators of probability density functions. IEEE Transactions on Computers, C-25, P. 1175-1179.
3. Habbema, J. D. F., Hermans, J., and Van den Broek, K. A stepwise discrimination analysis program using density estimation. Compstat 1974: Proceedings in Computational Statistics. Physica Verlag, Vienna.
4. Rosenblatt, M. Remarks on some nonparametric estimates of a density function // Annals of Mathematical Statistics. - 1956. - Vol. 27. - P. 832-837.