Часть 1. Фундамент прикладной статистики

1.2.3. Суть вероятностно-статистических методов принятия решений

Как подходы, идеи и результаты теории вероятностей и математической статистики используются при принятии решений?

Базой является вероятностная модель реального явления или процесса, т.е. математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания неопределенностей, которые необходимо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»). Иногда случайность вносится в ситуацию сознательно, например, при жеребьевке, случайном отборе единиц для контроля, проведении лотерей или опросов потребителей.

Теория вероятностей позволяет по одним вероятностям рассчитать другие, интересующие исследователя. Например, по вероятности выпадения герба можно рассчитать вероятность того, что при 10 бросаниях монет выпадет не менее 3 гербов. Подобный расчет опирается на вероятностную модель, согласно которой бросания монет описываются схемой независимых испытаний, кроме того, выпадения герба и решетки равновозможны, а потому вероятность каждого из этих событий равна ½. Более сложной является модель, в которой вместо бросания монеты рассматривается проверка качества единицы продукции. Соответствующая вероятностная модель опирается на предположение о том, что контроль качества различных единиц продукции описывается схемой независимых испытаний. В отличие от модели с бросанием монет необходимо ввести новый параметр – вероятность р того, что единица продукции является дефектной. Модель будет полностью описана, если принять, что все единицы продукции имеют одинаковую вероятность оказаться дефектными. Если последнее предположение неверно, то число параметров модели возрастает. Например, можно принять, что каждая единица продукции имеет свою вероятность оказаться дефектной.

Обсудим модель контроля качества с общей для всех единиц продукции вероятностью дефектности р . Чтобы при анализе модели «дойти до числа», необходимо заменить р на некоторое конкретное значение. Для этого необходимо выйти из рамок вероятностной модели и обратиться к данным, полученным при контроле качества. Математическая статистика решает обратную задачу по отношению к теории вероятностей. Ее цель – на основе результатов наблюдений (измерений, анализов, испытаний, опытов) получить выводы о вероятностях, лежащих в основе вероятностной модели. Например, на основе частоты появления дефектных изделий при контроле можно сделать выводы о вероятности дефектности (см. теорему Бернулли выше). На основе неравенства Чебышева делались выводы о соответствии частоты появления дефектных изделий гипотезе о том, что вероятность дефектности принимает определенное значение.

Таким образом, применение математической статистики опирается на вероятностную модель явления или процесса. Используются два параллельных ряда понятий – относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики являются оценками теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», относятся к миру идей (по древнегреческому философу Платону), недоступны для непосредственного измерения. Исследователи располагают лишь выборочными данными, с помощью которых они стараются установить интересующие их свойства теоретической вероятностной модели.

Зачем же нужна вероятностная модель? Дело в том, что только с ее помощью можно перенести свойства, установленные по результатам анализа конкретной выборки, на другие выборки, а также на всю так называемую генеральную совокупность. Термин «генеральная совокупность» используется, когда речь идет о большой, но конечной совокупности изучаемых единиц. Например, о совокупности всех жителей России или совокупности всех потребителей растворимого кофе в Москве. Цель маркетинговых или социологических опросов состоит в том, чтобы утверждения, полученные по выборке из сотен или тысяч человек, перенести на генеральные совокупности в несколько миллионов человек. При контроле качества в роли генеральной совокупности выступает партия продукции.

Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.

Конечно, можно обрабатывать выборочные данные, не используя ту или иную вероятностную модель. Например, можно рассчитывать выборочное среднее арифметическое, подсчитывать частоту выполнения тех или иных условий и т.п. Однако результаты расчетов будут относиться только к конкретной выборке, перенос полученных с их помощью выводов на какую-либо иную совокупность некорректен. Иногда подобную деятельность называют «анализ данных». По сравнению с вероятностно-статистическими методами анализ данных имеет ограниченную познавательную ценность.

Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик – вот суть вероятностно-статистических методов принятия решений.

Подчеркнем, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий, один из которых соответствует вероятностным моделям, а второй – выборочным данным. К сожалению, в ряде литературных источников, обычно устаревших либо написанных в рецептурном духе, не делается различия между выборочными и теоретическими характеристиками, что приводит читателей к недоумениям и ошибкам при практическом использовании статистических методов.

Что такое «математическая статистика»

Под математической статистикой понимают «раздел математики, посвященный математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использование их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надежность выводов, получаемых в каждой задаче на основании имеющегося статистического материала». При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

По типу решаемых задач математическая статистика обычно делится на три раздела: описание данных, оценивание и проверка гипотез.

По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

• - одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом;
• - многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором);
• - статистика случайных процессов и временных рядов, где результат наблюдения - функция;
• - статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Исторически первой появились некоторые области статистики объектов нечисловой природы (в частности, задачи оценивания доли брака и проверки гипотез о ней) и одномерная статистика. Математический аппарат для них проще, поэтому на их примере обычно демонстрируют основные идеи математической статистики.

Лишь те методы обработки данных, т.е. математической статистики, являются доказательными, которые опираются на вероятностные модели соответствующих реальных явлений и процессов. Речь идет о моделях поведения потребителей, возникновения рисков, функционирования технологического оборудования, получения результатов эксперимента, течения заболевания и т.п. Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Соответствие вероятностной модели реальности, т.е. ее адекватность, обосновывают, в частности, с помощью статистических методов проверки гипотез.

Невероятностные методы обработки данных являются поисковыми, их можно использовать лишь при предварительном анализе данных, так как они не дают возможности оценить точность и надежность выводов, полученных на основании ограниченного статистического материала.

Вероятностные и статистические методы применимы всюду, где удается построить и обосновать вероятностную модель явления или процесса. Их применение обязательно, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции).

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвященного статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью ее методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приемочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надежности и др.

Широко применяются такие прикладные вероятностно-статистические дисциплины, как теория надежности и теория массового обслуживания. Содержание первой из них ясно из названия, вторая занимается изучением систем типа телефонной станции, на которую в случайные моменты времени поступают вызовы - требования абонентов, набирающих номера на своих телефонных аппаратах. Длительность обслуживания этих требований, т.е. длительность разговоров, также моделируется случайными величинами. Большой вклад в развитие этих дисциплин внесли член-корреспондент АН СССР А.Я. Хинчин (1894-1959), академик АН УССР Б.В.Гнеденко (1912-1995) и другие отечественные ученые.

В соответствии с тремя основными возможностями - принятие решения в условиях полной определенности, риска и неопределенности - методы и алгоритмы принятия решения можно разделить на три основных вида: аналитические, статистические и основанные на нечеткой формализации. В каждом конкретном случае метод принятия решения выбирается, исходя из поставленной задачи, доступных исходных данных, имеющихся моделей задачи, среды принятия решения, процесса принятия решения, требуемой точности решения, личных предпочтений аналитика.

В некоторых информационных системах процесс выбора алгоритма может быть автоматизирован:

В соответствующей автоматизированной системе заложена возможность использования множества разнотипных алгоритмов (библиотека алгоритмов);

Система в диалоговом режиме предлагает пользователю ответить на ряд вопросов об основных характеристиках рассматриваемой задачи;

По результатам ответов пользователя система предлагает наиболее подходящий (в соответствии с заданными в ней критериями) алгоритм из библиотеки.

2.3.1 Вероятностно-статистические методы принятия решения

Вероятностно-статистические методы принятия решения (МПР) используются в том случае, когда эффективность принимаемых решений зависит от факторов, представляющих собой случайные величины, для которых известны законы распределения вероятностей и другие статистические характеристики. При этом каждое решение может привести к одному из множества возможных исходов, причем каждый исход имеет определенную вероятность появления, которая может быть рассчитана. Показатели, характеризующие проблемную ситуацию, также описываются с помощью вероятностных характеристик.При таких ЗПР ЛПР всегда рискует получить не тот результат, на который ориентируется, выбирая оптимальное решение на основе осредненных статистических характеристик случайных факторов, то есть решение принимается в условиях риска.

На практике вероятностные и статистических методы часто применяются, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции). Однако при этом в каждой конкретной ситуации следует предварительно оценить принципиальную возможность получения достаточно достоверных вероятностных и статистических данных.

При использовании идей и результатов теории вероятностей и математической статистики при принятии решений базой является математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания случайности, которую необходимо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»).

Суть вероятностно-статистических методов принятия решений состоит в использовании вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик .

Подчеркнем, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий – относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики являются оценками теоретических характеристик.

К преимуществам использования этих методов относится возможность учета различных сценариев развития событий и их вероятностей. Недостатком этих методов является то, что используемые в расчетах значения вероятностей развития сценариев обычно практически очень трудно получить.

Применение конкретного вероятностно-статистического метода принятия решений состоит из трех этапов:

Переход от экономической, управленческой, технологической реальности к абстрактной математико-статистической схеме, т.е. построение вероятностной модели системы управления, технологического процесса, процедуры принятия решений, в частности по результатам статистического контроля, и т.п.

Проведение расчетов и получение выводов чисто математическими средствами в рамках вероятностной модели;

Интерпретация математико-статистических выводов применительно к реальной ситуации и принятие соответствующего решения (например, о соответствии или несоответствии качества продукции установленным требованиям, необходимости наладки технологического процесса и т.п.), в частности, заключения (о доле дефектных единиц продукции в партии, о конкретном виде законов распределения контролируемых параметров технологического процесса и др.).

Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Адекватность вероятностной модели обосновывают, в частности, с помощью статистических методов проверки гипотез.

Математическая статистика по типу решаемых задач обычно делится на три раздела: описание данных, оценивание и проверка гипотез. По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:

Одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом;

Многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором);

Статистика случайных процессов и временных рядов, где результат наблюдения – функция;

Статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.

Пример, когда целесообразно использовать вероятностно-статистические модели.

При контроле качества любой продукции для принятии решения о том соответствует ли выпускаемая партия продукции установленным требованиям, из нее отбирается выборка. По результатам контроля выборки делается заключение о всей партии. В этом случае очень важно избежать субъективизма при формировании выборки, т.е необходимо, чтобы каждая единица продукции в контролируемой партии имела одинаковую вероятность быть отобранной в выборку. Выбор на основании жребия в такой ситуации не является достаточно объективным. Поэтому в производственных условиях отбор единиц продукции в выборку обычно осуществляют не с помощью жребия, а по специальным таблицам случайных чисел или с помощью компьютерных датчиков случайных чисел.

При статистическом регулировании технологических процессов на основе методов математической статистики разрабатываются правила и планы статистического контроля процессов, направленные на своевременное обнаружение разладки технологических процессов и принятия мер к их наладке и предотвращению выпуска продукции, не соответствующей установленным требованиям. Эти меры нацелены на сокращение издержек производства и потерь от поставки некачественных единиц продукции. При статистическом приемочном контроле на основе методов математической статистики разрабатываются планы контроля качества путем анализа выборок из партий продукции. Сложность заключается в том, чтобы уметь правильно строить вероятностно-статистические модели принятия решений, на основе которых можно ответить на поставленные выше вопросы. В математической статистике для этого разработаны вероятностные модели и методы проверки гипотез3.

Кроме того, в ряде управленческих, производственных, экономических, народнохозяйственных ситуаций возникают задачи другого типа – задачи оценки характеристик и параметров распределений вероятностей.

Или при статистическом анализе точности и стабильности технологических процессов надлежит оценить такие показатели качества, как среднее значение контролируемого параметра и степень его разброса в рассматриваемом процессе. Согласно теории вероятностей в качестве среднего значения случайной величины целесообразно использовать ее математическое ожидание, а в качестве статистической характеристики разброса – дисперсию, среднее квадратическое отклонение или коэффициент вариации. Отсюда возникает вопрос: как оценить эти статистические характеристики по выборочным данным и с какой точностью это удается сделать? Аналогичных примеров в литературе много. Все они показывают, как теория вероятностей и математическая статистика могут быть использованы в производственном менеджменте при принятии решений в области статистического управления качеством продукции.

В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвященного статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью ее методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приемочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надежности и др.

В производственном менеджменте, в частности, при оптимизации качества продукции и обеспечения соответствия требованиям стандартов особенно важно применять статистические методы на начальном этапе жизненного цикла продукции, т.е. на этапе научно-исследовательской подготовки опытно-конструкторских разработок (разработка перспективных требований к продукции, аванпроекта, технического задания на опытно-конструкторскую разработку). Это объясняется ограниченностью информации, доступной на начальном этапе жизненного цикла продукции, и необходимостью прогнозирования технических возможностей и экономической ситуации на будущее.

Наиболее распространенными вероятностно-статистическими методами являются регрессионный анализ, факторный анализ, дисперсионный анализ, статистические методы оценки риска, метод сценариев и т.д. Все большее значение приобретает область статистических методов, посвященная анализу статистических данных нечисловой природы, т.е. результатов измерений по качественным и разнотипным признакам. Одно из основных применений статистики объектов нечисловой природы - теория и практика экспертных оценок, связанные с теорией статистических решений и проблемами голосования.

Роль человека при решении задач методами теории статистических решений заключается в постановке задачи, т. е. в приведении реальной задачи к соответствующей типовой, в определении вероятностей событий на основе статистических данных, а также в утверждении получаемого оптимального решения.

Рассматриваемая группа методов является наиболее важной в социологических исследованиях, данные методы применяются практически в каждом социологическом исследовании, которое можно считать действительно научным. Они направлены в основном на выявление в эмпирической информации статистических закономерностей, т.е. закономерностей, выполняющихся "в среднем". Собственно, социология и занимается изучением "среднего человека". Кроме того, еще одна важная цель применения вероятностных и статистических методов в социологии – оценка надежности выборки. Насколько велика уверенность, что выборка дает более-менее точные результаты и какова погрешность статистических выводов?

Главный объект изучения при применении вероятностных и статистических методов – случайные величины . Принятие случайной величиной некоторого значения является случайным событием – событием, которое при осуществлении данных условий может как произойти, так и не произойти. Например, если социолог проводит опросы в сфере политических предпочтений на улице города, то событие "очередной респондент оказался сторонником партии власти" является случайным, если ничего в респонденте заранее не выдавало его политических предпочтений. Если же социолог опросил респондента у здания Областной Думы, то событие уже не случайное. Случайное событие характеризуется вероятностью его наступления. В отличие от классических задач на игральные кости и карточные комбинации, изучаемых в рамках курса теории вероятностей, в социологических исследованиях вычислить вероятность не так просто.

Важнейшей базой для эмпирической оценки вероятности является стремление частоты к вероятности , если под частотой понимать отношение, сколько раз произошло событие к тому, сколько раз оно теоретически могло бы произойти. Например, если среди 500 случайно отобранных на улицах города респондентов 220 оказались сторонниками партии власти, то частота появления таких респондентов составляет 0,44. В случае репрезентативной выборки достаточно большого размера мы получим примерную вероятность события или примерную долю людей, обладающих заданным признаком. В нашем примере при удачно подобранной выборке получим, что примерно 44% горожан – сторонники партии власти. Разумеется, поскольку опрошены не все горожане, а некоторые в процессе опроса могли солгать, то имеется некоторая погрешность.

Рассмотрим некоторые задачи, возникающие при статистическом анализе эмпирических данных.

Оценка распределения величины

Если некоторый признак можно выразить количественно (например, политическую активность гражданина как величину, показывающую, сколько раз за последние пять лет он участвовал в выборах различного уровня), то может быть поставлена задача оценить закон распределения этого признака как случайной величины. Другими словами, закон распределения показывает, какие значения величина принимает чаще, а какие реже, и насколько чаще/реже. Чаще всего как в технике и природе, так и в обществе встречается нормальный закон распределения . Его формула и свойства изложены в любом учебнике по статистике, а на рис. 10.1 приведен вид графика – это "колоколообразная" кривая, которая может быть более "вытянута" вверх или более "размазана" по оси значений случайной величины. Суть нормального закона в том, что чаще всего случайная величина принимает значения близ некоторого "центрального" значения, называемого математическим ожиданием , а чем дальше от него, тем реже туда "попадает" величина.

Примеров распределений, которые с небольшой погрешностью можно принять за нормальные, много. Еще в XIX в. бельгийский ученый А. Кетле и англичанин Ф. Гальтон доказали, что распределение частот встречаемости любого демографического или антропометрического показателя (продолжительности жизни, роста, возраста вступления в брак и т.д.) характеризуется "колоколообразным" распределением. Тот же Ф. Гальтон и его последователи доказали, что и психологические осооенности, например, способности, подчиняются нормальному закону .

Рис. 10.1.

Пример

Самый яркий пример нормального распределения в социологии касается социальной активности людей. Согласно закону нормального распределения получается, что социально-активных людей в обществе обычно около 5–7%. Все эти социально- активные люди ходят на митинги, конференции, семинары и т.д. Примерно такое же количество вообще отстраняются от участия в социальной жизни. Основная масса людей (80–90%) вроде бы равнодушна к политике и общественной жизни, однако отслеживает те процессы, которые ей интересны, хотя в целом относится к политике и обществу отстраненно, значительной активности не проявляет. Такие люди пропускают большинство политических событий, но время от времени смотрят новости по телевидению или в Интернете. Также они ходят голосовать на наиболее важные выборы, особенно если им "грозят кнутом" или "поощряют пряником". Члены этих 80–90% с общественно-политической точки зрения почти бесполезны поодиночке, но центрам социологических исследований эти люди вполне интересны, так как их очень много, и их предпочтения нельзя игнорировать. То же касается и околонаучных организаций, выполняющих исследования по заказам политических деятелей или торговых корпораций. И мнение "серой массы" по ключевым вопросам, связанным с прогнозированием поведения многих тысяч и миллионов людей на выборах, а также при острых политических событиях, при расколе обществе и конфликтах разных политических сил, этим центрам не безразлично.

Разумеется, нс все величины распределены по нормальному распределению. Кроме него, наиболее важными в математической статистике являются биномиальное и показательное распределения, распределения Фишера-Снедекора, "Хи-квадрат", Стьюдента .

Оценка связи признаков

Простейший случай – когда требуется просто установить наличие/отсутствие связи. Наиболее популярным в этом вопросе является метод "Хи-квадрат". Данный метод ориентирован на работу с категориальными данными. Например, такими явно выступают пол, семейное положение. Некоторые данные на первый взгляд кажутся числовыми, но могут "превратиться" в категориальные путем разбиения интервала значений на несколько малых интервалов. Например, стаж работы на заводе можно разбить на категории "менее одного года", "от одного до трех лет", "от трех до шести лет" и "более шести лет".

Пусть у параметра X имеется п возможных значений: {х1,..., х г1}, а у параметра Y– т возможных значений: (у1,..., у т}, q ij – наблюдаемая частота появления пары (x i, у j), т.е. количество обнаруженных появлений такой пары. Вычисляем теоретические частоты, т.е. сколько раз должна была появиться каждая пара значений для абсолютно нс связанных между собой величин:

На основе наблюдаемых и теоретических частот вычисляем значение

Также требуется вычислить количество степеней свободы по формуле

где m , n – количество сведенных в таблицу категорий. Кроме того, выбираем уровень значимости . Чем более высокую надежность мы хотим получить, тем ниже уровень значимости следует брать. Как правило, выбирается значение 0,05, которое означает, что мы можем доверять результатам с вероятностью 0,95. Далее в справочных таблицах находим по количеству степеней свободы и уровню значимости критическое значение . Если , то параметры X и Y считаются независимыми. Если , то параметры X и Y – зависимые. Если, то опасно делать вывод о зависимости либо независимости параметров. В последнем случае целесообразно провести дополнительные исследования.

Заметим также, что критерий "Хи-квадрат" с очень высокой уверенностью можно использовать, лишь когда все теоретические частоты не ниже заданного порога, которым обычно считается равным 5. Пусть v – минимальная теоретическая частота. При v > 5 можно уверенно использовать критерий "Хи-квадрат". При v < 5 использование критерия становится нежелательным. При v ≥ 5 вопрос остается открытым, требуется дополнительное исследование о применимости критерия "Хи-квадрат".

Приведем пример применения метода "Хи-квадрат". Пусть, например, в некотором городе проведен опрос среди молодых болельщиков местных футбольных команд и получены следующие результаты (табл. 10.1).

Выдвинем гипотезу о независимости футбольных предпочтений молодежи города N от пола респондента на стандартном уровне значимости 0,05. Вычисляем теоретические частоты (табл. 10.2).

Таблица 10.1

Результаты опроса болельщиков

Таблица 10.2

Теоретические частоты предпочтений

Например, теоретическая частота для юношей-болельщиков Звезды получена как

аналогично – другие теоретические частоты. Далее вычисляем значение "Хи-квадрат":

Определяем количество степеней свободы . Для и уровня значимости 0,05 ищем критическое значение:

Поскольку , причем превосходство существенное, практически наверняка можно говорить, что футбольные предпочтения юношей и девушек города N сильно различаются, за исключением случая нерепрезентативной выборки, например, если исследователь не стал получать выборку из разных районов города, ограничившись опросом респондентов в своем квартале.

Более сложная ситуация – когда нужно количественно оценить силу связи. В этом случае часто применяются методы корреляционного анализа. Данные методы обычно рассматриваются в углубленных курсах математической статистики.

Аппроксимация зависимостей по точечным данным

Пусть имеется набор точек – эмпирических данных (X i, Yi), i = 1, ..., п. Требуется аппроксимировать реальную зависимость параметра у от параметра х, а также выработать правило вычисления значения у, когда х находится между двумя "узлами" Хi.

Существуют два принципиально разных подхода к решению поставленной задачи. Первый заключается в том, что среди функций заданного семейства (например, полиномов) выбирается функция, график которой проходит через имеющиеся точки. Второй подход не "принуждает" график функции проходить через точки. Наиболее популярный в социологии и ряде других наук метод – метод наименьших квадратов – относится ко второй группе методов.

Суть метода наименьших квадратов состоит в следующем. Дано некоторое семейство функций у (х, а 1, ..., а т) с m неопределенными коэффициентами. Требуется подобрать неопределенные коэффициенты за счет решения оптимизационной задачи

Минимальное значение функции d может выступать в качестве меры точности приближения. Если данное значение слишком велико, следует выбрать иной класс функций у либо расширить используемый класс. Например, если класс "полиномы степени не выше 3" не дал приемлемой точности, берем класс "полиномы степени не выше 4" или даже "полиномы степени не выше 5".

Чаще всего метод используют для семейства "полиномы степени не выше N":

Например, при N = 1 это семейство линейных функций, при N = 2 – семейство линейных и квадратичных функций, при N = 3 – семейство линейных, квадратичных и кубических функций. Пусть

Тогда коэффициенты линейной функции (N = 1) ищутся как решение системы линейных уравнений

Коэффициенты функции вида а 0 + а 1х + а 2х 2 (N = 2) ищутся как решение системы

Желающие применить этот метод для произвольного значения N могут сделать это, увидев закономерность, по которой составлены приведенные системы уравнений.

Приведем пример применения метода наименьших квадратов. Пусть численность некоторой политической партии менялась следующим образом:

Можно заметить, что изменения численности партии за разные годы не сильно отличаются, что позволяет нам аппроксимировать зависимость линейной функцией. Чтобы было проще вычислять, вместо переменной х – года – введем переменную t = х – 2010, т.е. первый год учета численности возьмем как "нулевой". Вычисляем М 1; М 2:

Теперь вычисляем М", М*:

Коэффициенты a 0, a 1 функции у = a 0t + а 1 вычисляются как решение системы уравнений

Решая данную систему, например, по правилу Крамера или методом подстановки, получаем: а 0 = 11,12; а 1 = 3,03. Таким образом, получаем приближение

которое позволяет не только оперировать одной функцией вместо набора эмпирических точек, но и вычислять значения функции, выходящие за границы исходных данных, – "предсказывать будущее".

Также заметим, что метод наименьших квадратов можно использовать не только для полиномов, но и для других семейств функций, например, для логарифмов и экспонент:

Степень достоверности модели, построенной на основе метода наименьших квадратов, может быть определена на основе меры "R-квадрат", или коэффициента детерминации. Он вычисляется как

Здесь . Чем ближе R 2 к 1, тем адекватнее модель.

Выявление выбросов

Выбросом ряда данных называется аномальное значение, резко выделяющееся в общей выборке или общем ряде. Например, пусть процент граждан страны, положительно относящихся к некоторому политику, составлял в 2008–2013 гг. соответственно 15, 16, 12, 30, 14 и 12%. Легко заметить, что одно из значений резко отличается от всех остальных. В 2011 г. рейтинг политика почему-то резко превысил обычные значения, державшиеся в пределах 12–16%. Наличие выбросов может быть обусловлено разными причинами:

• 1) ошибки измерения;
• 2) необычная природа входных данных (например, когда анализируется средний процент голосов, полученных политиком; это значение на избирательном участке в военной части может существенно отличаться от среднего значения по городу);
• 3) следствие закона (резко отличающиеся от остальных величины могут быть обусловлены математическим законом – например, в случае нормального распределения в выборку может попасть объект со значением, резко отличным от среднего);
• 4) катаклизмы (например, в период короткого, но острого политического противостояния уровень политической активности населения может резко измениться, как это произошло в ходе "цветных революций" 2000– 2005 гг. и "арабской весны" 2011 г.);
• 5) управляющие воздействия (например, если в год накануне исследования политик принял очень популярное решение, то в этот год его рейтинг может оказаться значительно выше, чем в другие годы).

Многие методы анализа данных неустойчивы к выбросам, поэтому для их эффективного применения нужно очистить данные от выбросов. Яркий пример неустойчивого метода – упомянутый выше метод наименьших квадратов. Простейший метод поиска выбросов основан на так называемом межквартильном расстоянии. Определяем диапазон

где Q m – значение т- го квартиля. Если некоторый член ряда не попадает в диапазон, то он расценивается как выброс.

Поясним на примере. Смысл квартилей состоит в том, что они делят ряд на четыре равные или примерно равные группы: первый квартиль "отделяет" левую четверть ряда, отсортированного по возрастанию, третий квартиль – правую четверть ряда, второй квартиль проходит посередине. Поясним, как искать Q 1, и Q 3. Пусть в отсортированном по возрастанию числовом ряду п значений. Если п + 1 делится на 4 без остатка, то Q k суть k (п + 1)/4-й член ряда. Например, дан ряд: 1, 2, 5, 6, 7, 8, 10, 11, 13, 15, 20, здесь количество членов п = 11. Тогда (п + 1)/4 = 3, т.е. первый квартиль Q 1 = 5 – третий член ряда; 3(п + 1)/4 = 9, т.е. третий квартиль Q:i= 13 – девятый член ряда.

Немного сложнее случай, когда п + 1 не кратно 4. Например, дан ряд 2, 3, 5, 6, 7, 8, 9, 30, 32, 100, где число членов п = 10. Тогда (п + 1)/4 = 2,75 -

позиция между вторым членом ряда (v2 = 3) и третьим членом ряда (v3= 5). Тогда берем величину 0,75v2 + 0,25v3 = 0,75 3 + 0,25 5 = 3,5 – это и будет Q 1. 3(п + 1)/4 = 8,25 – позиция между восьмым членом ряда (v8= 30) и девятым членом ряда (v9=32). Берем величину 0,25v8 + 0,75v9 = 0,25 30 + + 0,75 32 = 31,5 – это и будет Q 3. Существуют и другие варианты вычисления Q 1 и Q 3, но рекомендуется использовать изложенный здесь вариант.

• Строго говоря, на практике обычно встречается "приближенно" нормальный закон – поскольку нормальный закон определяется для непрерывной величины на всей действительной оси, многие реальные величины не могут строго удовлетворять свойствам нормально распределенных величин.
• Наследов А. Д. Математические методы психологического исследования. Анализ и интерпретация данных: учеб, пособие. СПб.: Речь, 2004. С. 49–51.
• О важнейших распределениях случайных величин см., например: Орлов А. И. Математика случая: вероятность и статистика – основные факты: учеб. пособие. М.: МЗ-Пресс, 2004.

Статистические методы

Статисти́ческие ме́тоды - методы анализа статистических данных. Выделяют методы прикладной статистики , которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.

Классификация статистических методов

Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.

Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):

а) разработка и исследование методов общего назначения, без учета специфики области применения;

б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;

в) применение статистических методов и моделей для статистического анализа конкретных данных.

Прикладная статистика

Описание вида данных и механизма их порождения - начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.

Мы не считаем возможным противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно проанализировать на основе тех или иных вероятностно-статистических моделей. Отметим, что возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.

В простейшей ситуации статистические данные - это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.

При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат - числа, а часть - качественные (категоризованные) данные, то говорим о векторе разнотипных данных.

Одним элементом выборки, то есть одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, то есть его изменение во времени, - электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций.

Элементами выборки могут быть и иные математические объекты. Например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы - образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т. д.

Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных - числовые и нечисловые. Соответственно прикладная статистика разбивается на две части - числовую статистику и нечисловую статистику.

Числовые статистические данные - это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки - это (классические) законы больших чисел и центральные предельные теоремы.

Нечисловые статистические данные - это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т. д. (см. ).

В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т. н. цензурированные данные, состоящие из набора чисел - продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.

Обычно отдельно рассматривают статистические методы анализа данных первых трех типов. Это ограничение вызвано тем отмеченным выше обстоятельством, что математический аппарат для анализа данных нечисловой природы - существенно иной, чем для данных в виде чисел, векторов и функций.

Вероятностно-статистическое моделирование

При применении статистических методов в конкретных областях знаний и отраслях народного хозяйства получаем научно-практические дисциплины типа «статистические методы в промышленности», «статистические методы в медицине» и др. С этой точки зрения эконометрика - это «статистические методы в экономике». Эти дисциплины группы б) обычно опираются на вероятностно-статистические модели, построенные в соответствии с особенностями области применения. Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. Так, видна близость постановок задач и применяемых для их решения статистических методов в таких областях, как научные медицинские исследования, конкретные социологические исследования и маркетинговые исследования, или, короче, в медицине , социологии и маркетинге . Они часто объединяются вместе под названием «выборочные исследования».

Отличие выборочных исследований от экспертных проявляется, прежде всего, в числе обследованных объектов или субъектов - в выборочных исследованиях речь обычно идет о сотнях, а в экспертных - о десятках. Зато технологии экспертных исследований гораздо изощреннее. Еще более выражена специфика в демографических или логистических моделях, при обработке нарративной (текстовой, летописной) информации или при изучении взаимовлияния факторов.

Вопросы надежности и безопасности технических устройств и технологий, теории массового обслуживания подробно рассмотрены, в большом количестве научных работ.

Статистический анализ конкретных данных

Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин. Их можно рассматривать как примеры практического применения статистических методов. Но не меньше оснований относить их к соответствующей области деятельности человека.

Например, результаты опроса потребителей растворимого кофе естественно отнести к маркетингу (что и делают, читая лекции по маркетинговым исследованиям). Исследование динамики роста цен с помощью индексов инфляции, рассчитанных по независимо собранной информации, представляет интерес прежде всего с точки зрения экономики и управления народным хозяйством (как на макроуровне, так и на уровне отдельных организаций).

Перспективы развития

Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования.

Литература

2. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.

3. Крамер Г. Математические методы статистики. - М.: Мир, 1948 (1-е изд.), 1975 (2-е изд.). - 648 с.

4. Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

5. Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. Изд. 3-е, стереотипное. - М.: Наука, 1969. - 512 с.

6. Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. - 3-е изд. - М.: «Диалектика» , 2007. - С. 912. - ISBN 0-471-17082-8

Смотри также

Wikimedia Foundation . 2010 .

• Yat-Kha
• Амальгама (значения)

Смотреть что такое "Статистические методы" в других словарях:

СТАТИСТИЧЕСКИЕ МЕТОДЫ - СТАТИСТИЧЕСКИЕ МЕТОДЫ научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово “статистика” (от игал. stato государство) имеет общий корень со словом “государство”. Первоначально оно… … Философская энциклопедия

СТАТИСТИЧЕСКИЕ МЕТОДЫ – - научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово «статистика» (от итал. stato – государство) имеет общий корень со словом «государство». Первоначально оно относилось к науке управления и … Философская энциклопедия

Статистические методы - (в экологии и биоценологии) методы вариационной статистики, позволяющие исследовать целое (напр., фитоценоз, популяцию, продуктивность) по его частным совокупностям (напр., по данным, полученным на учетных площадках) и оценить степень точности… … Экологический словарь

статистические методы - (в психологии) (от лат. status состояние) нек рые методы прикладной математической статистики, используемые в психологии в основном для обработки экспериментальных результатов. Основная цель применения С. м. повышение обоснованности выводов в… … Большая психологическая энциклопедия

Статистические методы - 20.2. Статистические методы Конкретные статистические методы, используемые для организации, регулирования и проверки деятельности, включают, но не ограничиваются следующими: а) планированием экспериментов и факторный анализ; b) анализ дисперсии и … Словарь-справочник терминов нормативно-технической документации

СТАТИСТИЧЕСКИЕ МЕТОДЫ - методы исследования количеств. стороны массовых обществ. явлений и процессов. С. м. дают возможность в цифровом выражении характеризовать происходящие изменения в обществ. процессах, изучать разл. формы социально экономич. закономерностей, смену… … Сельско-хозяйственный энциклопедический словарь

СТАТИСТИЧЕСКИЕ МЕТОДЫ - некоторые методы прикладной математической статистики, используемые для обработки экспериментальных результатов. Ряд статистических методов был разработан специально для проверки качества психологических тестов, для применения в профессиональном… … Профессиональное образование. Словарь

СТАТИСТИЧЕСКИЕ МЕТОДЫ - (в инженерной психологии) (от лат. status состояние) некоторые методы прикладной статистики, используемые в инженерной психологии для обработки экспериментальных результатов. Основная цель применения С. м. повышение обоснованности выводов в… … Энциклопедический словарь по психологии и педагогике