DEFINITION OF THE DIFFERENTIAL ENTROPY OF A RANDOM VALUE GIVEN BY A TRUNCATED DISTRIBUTION
DOI:
https://doi.org/10.26906/SUNZ.2018.5.069Keywords:
entropy, truncated distribution, exponential distribution, gamma function, incomplete gamma functionAbstract
The problem of determining the differential entropy of a random variable given by a truncated distribution is formulated. The solutions of this problem are obtained for truncation intervals of the following types: [a, b], [0, a], [a, + ]. The solution of the problem for the exponential distribution is given. It is shown that for an exponential distribution whose domain of definition is bounded only on the left, the entropy value calculated to the right of the truncation point does not depend on the location of this point on the numerical axis and is equal to the entropy calculated along the entire domain of definition. A method of numerical integration of an integral with an infinite upper limit is given, which makes it possible to reduce the problem to numerical integration in finite limits. A numerical analysis of the solutions is obtained. The concept of the truncation coefficient which equal to the ratio of the entropy of a random variable of a truncated distribution to the entropy of a random variable determined on the whole range of its possible values is introduced. Its values are calculated for the exponential distribution. The relationship between obtained solutions for the exponential distribution and incomplete gamma function is shown.Downloads
References
Вентцель Е.С. Теория вероятностей. / Е.С. Вентцель. – Москва: Изд. НАУКА, 1969.- 576 с.
Michlowicz J.V. Handbook of DIFFERENTIAL ENTROPY. / J.V. Michlowicz, J.M. Nichols, F. Bucholtz.- NtwYork.: A. CHAPMAN & HALL, 2014. -220 p.
Тихов М.С. Эконометрические модели с цензурированными данными / М.С. Тихов, Т.С. Бородина. – Нижний Новгород: Нижегородский госуниверситет, 2012. – 552 с.
Анализ надёжности технических систем по цензурированным выборкам / В.М. Скрипкин, А.Е. Назин, Ю.Г. Приходько, Ю.Н. Благовещенский. – Москва: Радио и связь, 1998. – 184 с.
Abdushukurov, A.A. (1987), ‘’ Estimation of probability density and intensity function of the Koziol – Green model of random cencoring’’, Sankhya, Ser.A. 1987, v.4, p.150-168.
Nelson, W. (1972), “Theory and appiications for hazard plotting for censored failure data”, Technometrics, 1972, v.14, p. 945-965.
Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. – Москва: Большая Российская энциклопедия, 2004. – 910с.
Евангелие / Москва: Благовест, 2014. – 464 с.
Кавчук С.В. Сборник примеров и задач по теории информации. Руководство для практических занятий на базе Mathcad 6.0 Plus./ С.В. Кавчук - Таганрог: Изд-во ТРТУ, 2002. - 64 с.
Хальд А. Математическая статистика с техническими приложениями / А.Хальд. – Москва: Иностр. лит., 1956. – 595 с.
Шор Я.Б. Статистические методы анализа и контроля качества и надежности / Я.Б. Шор- Москва: Сов.радио, 1962. – 527 с.
Калиткин Н.Н. Численные методы / Н.Н. Калиткин. – Санкт-Петербург: БхВ, 2011. – 592 с.
Справочник по специальным функциям с формулами, графиками и математическими таблицами / Под ред. М. Абрамовица и И. Стигана - Москва: Наука, 1979.-832 с.
Прудников А.П. Интегралы и ряды / А.П. Прудников, Ю.А. Брычков, О.И. Маричев - Москва: Наука, 1981. – 798 с.
