Методы практических принятий решений
Методы практических принятий решений2.2.6. Современное состояние прикладной статистики (типовые практические задачи и методы их решения)
=== Скачать файл ===
Орлов Теория принятия решений Учебное пособие. Вероятностно-статистические методы описания неопределенностей в теории принятия решений. Статистические данные и прикладная статистика. Под прикладной статистикой понимают часть математической статистики, посвященную методам обработки реальных статистических данных, а также соответствующее математическое и программное обеспечение. Таким образом, чисто математические задачи не включают в прикладную статистику. Под статистическими данными понимают числовые или нечисловые значения контролируемых параметров признаков исследуемых объектов, которые получены в результате наблюдений измерений, анализов, испытаний, опытов и т. Способы получения статистических данных и объемы выборок устанавливают, исходя из постановок конкретной прикладной задачи на основе методов математической теории планирования эксперимента. Деление прикладной статистики на направления соответственно виду обрабатываемых результатов наблюдений то есть на статистику случайных величин, многомерный статистический анализ, статистику временных рядов и статистику объектов нечисловой природы обсуждалось выше. Результаты наблюдений x 1 , x 2 ,…, x n , где x i — результат наблюдения i — ой единицы выборки, или результаты наблюдений для нескольких выборок, обрабатывают с помощью методов прикладной статистики, соответствующих поставленной задаче. Используют, как правило, аналитические методы, т. В отдельных случаях допустимо применение графических методов визуального анализа. Количество разработанных к настоящему времени методов обработки данных весьма велико. Они описаны в сотнях тысяч книг и статей, а также в стандартах и других нормативно-технических и инструктивно-методических документах. Многие методы прикладной статистики требуют проведения трудоемких расчетов, поэтому для их реализации необходимо использовать компьютеры. Программы расчетов на ЭВМ должны соответствовать современному научному уровню. Однако для единичных расчетов при отсутствии соответствующего программного обеспечения успешно используют микрокалькуляторы. Задачи статистического анализа точности и стабильности технологических процессов и качества продукции. Статистические методы используют, в частности, для анализа точности и стабильности технологических процессов и качества продукции. Цель - подготовка решений, обеспечивающих эффективное функционирование технологических единиц и повышение качества и конкурентоспособности выпускаемой продукции. Статистические методы следует применять во всех случаях, когда по результатам ограниченного числа наблюдений требуется установить причины улучшения или ухудшения точности и стабильности технологического оборудования. Под точностью технологического процесса понимают свойство технологического процесса, обусловливающее близость действительных и номинальных значений параметров производимой продукции. Под стабильностью технологического процесса понимают свойство технологического процесса, обусловливающее постоянство распределений вероятностей для его параметров в течение некоторого интервала времени без вмешательства извне. Целями применения статистических методов анализа точности и стабильности технологических процессов и качества продукции на стадиях разработки, производства и эксплуатации потребления продукции являются, в частности:. Для достижения перечисленных выше целей применяют различные методы описания данных, оценивания и проверки гипотез. Приведем примеры постановок задач. Задачи одномерной статистики статистики случайных величин. Сравнение математических ожиданий проводят в тех случаях, когда необходимо установить соответствие показателей качества изготовленной продукции и эталонного образца. Это — задача проверки гипотезы:. В зависимости от формулировки вероятностной модели ситуации и альтернативной гипотезы сравнение математических ожиданий проводят либо параметрическими, либо непараметрическими методами. Сравнение дисперсий проводят тогда, когда требуется установить отличие рассеивания показателя качества от номинального. Для этого проверяют гипотезу:. Ряд иных постановок задач одномерной статистики приведен ниже. Не меньшее значение, чем задачи проверки гипотез, имеют задачи оценивания параметров. Они, как и задачи проверки гипотез, в зависимости от используемой вероятностной модели ситуации делятся на параметрические и непараметрические. В современной математической статистике разработан ряд общих методов определения оценок и доверительных границ — метод моментов, метод максимального правдоподобия, метод одношаговых оценок, метод устойчивых робастных оценок, метод несмещенных оценок и др. Кратко рассмотрим первые три из них. Теоретические основы различных методов оценивания и полученные с их помощью конкретные правила определения оценок и доверительных границ для тех или иных параметрических семейств распределений рассмотрены в специальной литературе, включены в нормативно-техническую и инструктивно-методическую документацию. Метод моментов основан на использовании выражений для моментов рассматриваемых случайных величин через параметры их функций распределения. Оценки метода моментов получают, подставляя выборочные моменты вместо теоретических в функции, выражающие параметры через моменты. В методе максимального правдоподобия, разработанном в основном Р. Оценки максимального правдоподобия, как правило, эффективны или асимптотически эффективны и имеют меньшую дисперсию, чем оценки метода моментов. В отдельных случаях формулы для них выписываются явно нормальное распределение, экспоненциальное распределение без сдвига. Однако чаще для их нахождения необходимо численно решать систему трансцендентных уравнений распределения Вейбулла-Гнеденко, гамма. В подобных случаях целесообразно использовать не оценки максимального правдоподобия, а другие виды оценок, прежде всего одношаговые оценки. При достаточно больших объемах выборок они имеют столь же хорошие свойства, как и оценки максимального правдоподобия. Одношаговые оценки вычисляют по явным формулам \\\\\\\\\\\\[14\\\\\\\\\\\\]. В непараметрических задачах оценивания принимают вероятностную модель, в которой результаты наблюдений x 1 , x 2 ,…, x n рассматривают как реализации n независимых случайных величин с функцией распределения F x общего вида. От F x требуют лишь выполнения некоторых условий типа непрерывности, существования математического ожидания и дисперсии и т. Подобные условия не являются столь жесткими, как условие принадлежности к определенному параметрическому семейству. В непараметрической постановке оценивают либо характеристики случайной величины математическое ожидание, дисперсию, коэффициент вариации , либо ее функцию распределения, плотность и т. С помощью центральной предельной теоремы определяют асимптотические доверительные границы. Практически асимптотические доверительные границы дают достаточную точность при n порядка Второй пример непараметрического оценивания — оценивание функции распределения. По теореме Гливенко эмпирическая функция распределения F n x является состоятельной оценкой функции распределения F x. Если F x — непрерывная функция, то на основе теоремы Колмогорова доверительные границы для функции распределения F x задают в виде. При обработке реальных данных возникает вопрос — соответствуют ли эти данные принятой вероятностной модели? Такие гипотезы называют гипотезами согласия, а критерии их проверки — критериями согласия. Таким образом, квантили отличаются примерно в 1,5 раза. При первичной обработке статистических данных важной задачей является исключение результатов наблюдений, полученных в результате грубых погрешностей и промахов. Например, при просмотре данных о весе в килограммах новорожденных детей наряду с числами 3,, 2,, 4, может встретиться число 35, Ясно, что это промах, и получено ошибочное число при ошибочной записи — запятая сдвинута на один знак, в результате результат наблюдения ошибочно увеличен в 10 раз. Статистические методы исключения резко выделяющихся результатов наблюдений основаны на предположении, что подобные результаты наблюдений имеют распределения, резко отличающиеся от изучаемых, а потому их следует исключить из выборки. Простейшая вероятностная модель такова. Тогда с вероятностью, близкой к 1 точнее, стремящейся к 1 при росте объема выборки ,. Критическая область имеет вид. Если функция распределения результатов наблюдений F x известна, то критическое значение d находят из соотношения 2. Если F x известна с точностью до параметров, например, известно, что F x — нормальная функция распределения, то также разработаны правила проверки рассматриваемой гипотезы \\\\\\\\\\\\[8\\\\\\\\\\\\]. Однако часто вид функции распределения результатов наблюдений известен не абсолютно точно и не с точностью до параметров, а лишь с некоторой погрешностью. Тогда соотношение 2 становится практически бесполезным, поскольку малая погрешность в определении F x , как можно показать, приводит к большой погрешности при определении критического значения d из условия 2 , а при фиксированном d уровень значимости критерия может существенно отличаться от номинального \\\\\\\\\\\\[2\\\\\\\\\\\\]. Правило отбраковки, основанное на критическом значении d , вычисленном по формуле 6 , использует минимальную информацию о функции распределения F x и поэтому исключает лишь результаты наблюдений, весьма далеко отстоящие от основной массы. Другими словами, значение d 1 , заданное соотношением 1 , обычно много меньше, чем значение d 2 , заданное соотношением 6. Перейдем к многомерному статистическому анализу. Его применяют при решении следующих задач:. При этом результат наблюдений — вектор значений фиксированного числа количественных и иногда качественных признаков, измеренных у объекта. Напомним, что количественный признак — признак наблюдаемой единицы, который можно непосредственно выразить числом и единицей измерения. Количественный признак противопоставляется качественному - признаку наблюдаемой единицы, определяемому отнесением к одной из двух или более условных категорий если имеется ровно две категории, то признак называется альтернативным. Статистический анализ качественных признаков — часть статистики объектов нечисловой природы. Количественные признаки делятся на признаки, измеренные в шкалах интервалов, отношений, разностей, абсолютной. А качественные — на признаки, измеренные в шкале наименований и порядковой шкале. Методы обработки данных должны быть согласованы со шкалами, в которых измерены рассматриваемые признаки см. Целями исследования зависимости между признаками являются доказательство наличия связи между признаками и изучение этой связи. Для доказательства наличия связи между двумя случайными величинами Х и У применяют корреляционный анализ. Если совместное распределение Х и У является нормальным, то статистические выводы основывают на выборочном коэффициенте линейной корреляции, в остальных случаях используют коэффициенты ранговой корреляции Кендалла и Спирмена, а для качественных признаков — критерий хи-квадрат. Регрессионный анализ применяют для изучения функциональной зависимости количественного признака У от количественных признаков x 1 , x 2 , … , x k. Эту зависимость называют регрессионной или, кратко, регрессией. Основная задача регрессионного анализа состоит в оценке неизвестных параметров а и b , задающих линейную зависимость y от x. Для решения этой задачи применяют разработанный еще К. Гауссом в г. Теория регрессионного анализа описана и расчетные формулы даны в специальной литературе \\\\\\\\\\\\[2, 16, 17\\\\\\\\\\\\]. В этой теории разработаны методы точечного и интервального оценивания параметров, задающих функциональную зависимость, а также непараметрические методы оценивания этой зависимости, методы проверки различных гипотез, связанных с регрессионными зависимостями. Выбор планов эксперимента, то есть точек x i , в которых будут проводиться эксперименты по наблюдению y i — предмет теории планирования эксперимента \\\\\\\\\\\\[18\\\\\\\\\\\\]. Дисперсионный анализ применяют для изучения влияния качественных признаков на количественную переменную. Хорошо разработаны и непараметрические постановки \\\\\\\\\\\\[19\\\\\\\\\\\\]. Проверка однородности качества продукции, то есть отсутствия влияния номера станка на качество продукции, сводится к проверке гипотезы. В дисперсионном анализе разработаны методы проверки подобных гипотез. Теория дисперсионного анализа и расчетные формулы рассмотрены в специальной литературе \\\\\\\\\\\\[20\\\\\\\\\\\\]. Гипотезу Н 0 проверяют против альтернативной гипотезы Н 1 , согласно которой хотя бы одно из указанных равенств не выполнено. Таким образом, первое слагаемое в правой части формулы 7 отражает внутригрупповую дисперсию. Область прикладной статистики, связанную с разложениями дисперсии типа формулы 7 , называют дисперсионным анализом. Такой выбор критической области определяется тем, что при Н 1 величина F безгранично увеличивается при росте объема выборок n. Разработаны непараметрические методы решения классических задач дисперсионного анализа \\\\\\\\\\\\[19\\\\\\\\\\\\], в частности, проверки гипотезы Н 0. Следующий тип задач многомерного статистического анализа — задачи классификации. Они согласно \\\\\\\\\\\\[2, 20\\\\\\\\\\\\] делятся на три принципиально различных вида — дискриминантный анализ, кластер-анализ, задачи группировки. Задача дискриминантного анализа состоит в нахождении правила отнесения наблюдаемого объекта к одному из ранее описанных классов. При этом объекты описывают в математической модели с помощью векторов, координаты которых — результаты наблюдения ряда признаков у каждого объекта. Классы описывают либо непосредственно в математических терминах, либо с помощью обучающих выборок. Обучающая выборка — это выборка, для каждого элемента которой указано, к какому классу он относится. Рассмотрим пример применения дискриминантного анализа для принятия решений в технической диагностике. Пусть по результатам измерения ряда параметров продукции необходимо установить наличие или отсутствие дефектов. В этом случае для элементов обучающей выборки указаны дефекты, обнаруженные в ходе дополнительного исследования, например, проведенного после определенного периода эксплуатации. Дискриминантный анализ позволяет сократить объем контроля, а также предсказать будущее поведение продукции. Дискриминантный анализ сходен с регрессионным — первый позволяет предсказывать значение качественного признака, а второй — количественного. В статистике объектов нечисловой природы разработана математическая схема, частными случаями которой являются регрессионный и дискриминантный анализы \\\\\\\\\\\\[21\\\\\\\\\\\\]. Кластерный анализ применяют, когда по статистическим данным необходимо разделить элементы выборки на группы. В отличие от дискриминантного анализа в кластер-анализе классы не заданы, а формируются в процессе обработки статистических данных. Например, кластер-анализ может быть применен для разбиения совокупности марок стали или марок холодильников на группы сходных между собой. Другой вид кластер-анализа — разбиение признаков на группы близких между собой. Показателем близости признаков может служить выборочный коэффициент корреляции. Цель кластер-анализа признаков может состоять в уменьшении числа контролируемых параметров, что позволяет существенно сократить затраты на контроль. Для этого из группы тесно связанных между собой признаков у которых коэффициент корреляции близок к 1 — своему максимальному значению измеряют значение одного, а значения остальных рассчитывают с помощью регрессионного анализа. Примером является группировка студентов по учебным группам. В технике решением задачи группировки часто является параметрический ряд — возможные типоразмеры группируются согласно элементам параметрического ряда. В литературе, нормативно-технических и инструктивно-методических документах по прикладной статистике также иногда используется группировка результатов наблюдений например, при построении гистограмм. Задачи классификации решают не только в многомерном статистическом анализе, но и тогда, когда результатами наблюдений являются числа, функции или объекты нечисловой природы. Так, многие алгоритмы кластер-анализа используют только расстояния между объектами. Поэтому их можно применять и для классификации объектов нечисловой природы, лишь бы были заданы расстояния между ними. Простейшая задача классификации такова: В одномерной статистике эта задача сводится к проверке гипотезы однородности \\\\\\\\\\\\[2\\\\\\\\\\\\]. Третий раздел многомерного статистического анализа — задачи снижения размерности сжатия информации. Цель их решения состоит в определении набора производных показателей, полученных преобразованием исходных признаков, такого, что число производных показателей значительно меньше числа исходных признаков, но они содержат возможно большую часть информации, имеющейся в исходных статистических данных. Задачи снижения размерности решают с помощью методов многомерного шкалирования, главных компонент, факторного анализа и др. Это дает возможность в буквальном смысле слова увидеть, как объекты соотносятся между собой. Согласно основной идее метода наименьших квадратов находят точки на плоскости так, чтобы величина. Есть и многие другие постановки задач снижения размерности и визуализации данных. Статистика случайных процессов и временных рядов. Методы статистики случайных процессов и временных рядов применяют для постановки и решения, в частности, следующих задач:. При внедрении статистического регулирования технологического процесса необходимо проверить, что в налаженном состоянии математическое ожидание контролируемого параметра не меняется со временем. Если подобное изменение будет обнаружено, то необходимо установить подналадочное устройство. Следящие системы, например, входящие в состав автоматизированной системы управления технологическим процессом, должны выделять полезный сигнал на фоне шумов. Это — задача оценивания полезного сигнала , в то время как в примере 1 речь шла о задаче проверки гипотезы. Статистика объектов нечисловой природы. Методы статистики объектов нечисловой природы применяют всегда, когда результаты наблюдений являются объектами нечисловой природы. Например, сообщениями о годности или дефектности единиц продукции. Информацией о сортности единиц продукции. Разбиениями единиц продукции на группы соответственно значения контролируемых параметров. Упорядочениями единиц продукции по качеству или инвестиционных проектов по предпочтительности. Фотографиями поверхности изделия, пораженной коррозией, и т. Они используются в различных вероятностно-статистических методах принятия решений. В частности, в задачах управления качеством продукции, а также, например, в медицине и социологии, как для описания результатов приборных измерений, так и для анализа экспертных оценок. Для описания данных, являющихся объектами нечисловой природы, применяют, в частности, таблицы сопряженности, а в качестве средних величин — решения оптимизационных задач \\\\\\\\\\\\[2\\\\\\\\\\\\]. В качестве выборочных средних для измерений в порядковой шкале используют медиану и моду, а в шкале наименований — только моду. О методах классификации нечисловых данных говорилось выше. Для решения параметрических задач оценивания используют оптимизационный подход, метод одношаговых оценок, метод максимального правдоподобия, метод устойчивых оценок. Для решения непараметрических задач оценивания наряду с оптимизационными подходами к оцениванию характеристик используют непараметрические оценки распределения случайного элемента, плотности распределения, функции, выражающей зависимость \\\\\\\\\\\\[2\\\\\\\\\\\\]. Пирсоном для проверки гипотезы однородности другими словами, совпадения распределений, соответствующих двум независимым выборкам. Рассматриваются две выборки объемов n 1 и n 2 , состоящие из результатов наблюдений качественного признака, имеющего k градаций. Для проверки гипотезы однородности распределений, соответствующих двум независимым выборкам,. Установлено \\\\\\\\\\\\[9, 11\\\\\\\\\\\\], что статистика Х 2 при больших объемах выборок n 1 и n 2 имеет асимптотическое распределение хи-квадрат с k — 1 степенью свободы. Проверим, можно ли считать распределения примеси серы в плавках стали этих двух заводов одинаковыми. Расчет по данным табл. Выше дано краткое описание содержания прикладной статистики на современном этапе. Подробное изложение конкретных методов содержится в специальной литературе. Некоторые постановки задач прикладной статистики, используемые в вероятностно-статистических методах принятия решений. Чтобы дать представление о богатом содержании теории рассматриваемых методов, приведем краткий перечень основных типов постановок задач в соответствии с описанной выше классификацией областей прикладной статистики. Приближение эмпирических распределений с помощью распределений из системы Пирсона и других систем…. Правила определения оценок и доверительных границ для параметров устойчивого распределения. Правила определения оценок и доверительных границ для параметров логистического распределения. Правила определения оценок и доверительных границ для параметров экспоненциального распределения и смеси экспоненциальных распределений… и так далее для различных семейств распределений. Непараметрическое точечное и доверительное оценивание основных характеристик распределения — математического ожидания, дисперсии, среднего квадратического отклонения, коэффициента вариации, квантилей, прежде всего медианы. Проверка равенства математических ожиданий и дисперсий для двух нормальных совокупностей. Проверка равенства математического ожидания нормального распределения определенному значению. Проверка равенства параметров двух экспоненциальных совокупностей… и так далее — проверка утверждений о параметрах для различных семейств распределений. Непараметрическая проверка равенства математических ожиданий для двух совокупностей. Непараметрическая проверка равенства математических ожиданий и дисперсий для двух совокупностей. Непараметрическая проверка равенства математического ожидания определенному значению. Проверка гипотезы согласия с равномерным распределением по критерию омега-квадрат Крамера-Мизеса-Смирнова. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова при известной дисперсии. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова при известном математическом ожидании. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа Колмогорова оба параметра неизвестны. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат при известной дисперсии. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат при известном математическом ожидании. Проверка гипотезы согласия с нормальным семейством распределений по критерию типа омега-квадрат оба параметра неизвестны. Проверка гипотезы согласия с экспоненциальным семейством распределений по критерию типа омега-квадрат… и так далее для различных семейств распределений, тех или иных предположениях о параметрах, всевозможных критериев. Проверка гипотезы симметрии функции распределения относительно 0 с помощью критерия типа омега-квадрат Орлова. Расчет выборочных характеристик вектора средних, ковариационной и корреляционной матриц и др. Оценивание размерности и структуры модели в регрессионном анализе в нормальной модели. Непараметрическая регрессия на основе непараметрических оценок многомерной плотности. Проверка гипотез об отличии коэффициентов при предикторах от 0 в линейной регрессии при справедливости нормальной модели. Проверка гипотезы о равенстве математических ожиданий нормальных совокупностей дисперсионный анализ. Проверка гипотез об отличии коэффициентов при предикторах от 0 в линейной регрессии непараметрическая постановка. Проверка гипотезы о совпадении двух линий регрессии непараметрическая постановка … и т. Здесь остановимся, поскольку продолжение предполагало бы знакомство со многими достаточно сложными методами, о которых нет упоминаний в этой книге. Приведенный выше перечень ряда основных типов постановок задач, используемых в вероятностно-статистических методах принятия решений, дает первоначальное представление об объеме арсенала разработанных к настоящему времени интеллектуальных инструментов в рассматриваемой области. Вероятность и математическая статистика: Большая Российская энциклопедия, Наука, 1-е изд. Курс теории вероятностей и математической статистики для технических приложений. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. О нецелесообразности использования итеративных процедур нахождения оценок максимального правдоподобия. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. Финансы и статистика, Многомерный статистический анализ и временные ряды. Некоторые неклассические постановки в регрессионном анализе и теории классификации. Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. Почему закон больших чисел и центральная предельная теорема занимают центральное место в вероятностно-статистических методах принятия решений? Чем многомерный статистический анализ отличается от статистики объектов нечисловой природы? Имеются три одинаковые с виду ящика. В первом а белых шаров и b черных; во втором c белых и d черных; в третьем только белые шары. Некто подходит наугад к одному из ящиков и вынимает из нее один шар. Найдите вероятность того, что этот шар белый. Пассажир может воспользоваться трамваями двух маршрутов, следующих с интервалами Т 1 и Т 2 соответственно. Пассажир может прийти на остановку в некоторый произвольный момент времени. Два стрелка, независимо один от другого, делают по два выстрела каждый по своей мишени. Вероятность попадания в мишень при одном выстреле для первого стрелка p 1 , для второго p 2. Выигравшим соревнование считается тот стрелок, в мишени которого будет больше пробоин. Найти вероятность того, что выиграет первый стрелок. Полная колода карт 52 листа делится наугад на две равные пачки по 26 листов. Найти вероятности следующих событий: Случайная величина X принимает значения 0 и 1, а случайная величина Y - значения -1 , 0 и 1. Преимущества одношаговых оценок по сравнению с оценками метода максимального правдоподобия. Аксиоматическое введение метрик и их использование в статистике объектов нечисловой природы. Законы больших чисел в пространствах произвольной природы, в том числе в дискретных пространствах. Ru Библиотека Исследования Форумы. Квантили порядка р для D n.
Сколько стоит яйцо человека в рублях
Мопед альфа 110 кубов технические характеристики
10 городов россии где лучше всего жить
Байк центр альметьевск каталог товаров
Заточка фрез по металлу своими руками