Энтропия как математическая абстракция

  • автор:

Энтропия как математическая абстракция

Completing the CAPTCHA proves you are a human and gives you temporary access to the web property.

What can I do to prevent this in the future?

If you are on a personal connection, like at home, you can run an anti-virus scan on your device to make sure it is not infected with malware.

If you are at an office or shared network, you can ask the network administrator to run a scan across the network looking for misconfigured or infected devices.

Another way to prevent getting this page in the future is to use Privacy Pass. You may need to download version 2.0 now from the Chrome Web Store.

Cloudflare Ray ID: 6dfff8adfff724b0 • Your IP : 88.135.219.175 • Performance & security by Cloudflare

Реферат: Энтропия

Предметомработы является энтропия и информация. Целью данной работы является изучениеэнтропии, информации и применения данных понятий к рискам. Поставленная цельставит решение следующих задач: рассмотрения понятия энтропии, статистическогосмысла данного понятия, энтропии как меры степени неопределенности, понятия обинформации, теоремы Шеннона о кодировании при наличии помех, использованияэнтропии в прогнозировании и применения энтропии к рискам.

Данная темаактуальна, так как трудно найти понятия более общие для всех наук (не толькоестественных) и, вместе с тем, иногда носящих оттенок загадочности, чемэнтропия и информация. Отчасти это связано с самими названиями. Если бы незвучное название “энтропия” осталась бы с момента первого рождения всего лишь“интегралом Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разныхобластях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус,первым же положил начало применению введенного им для, казалось быузкоспециальных термодинамических целей понятия к глобальным космологическимпроблемам (тепловая смерть Вселенной). С тех пор энтропия многократнофигурировала в оставшихся навсегда знаменитыми спорах. В настоящее времяуниверсальный характер этого понятия общепризнан и она плодотворно используетсяво многих областях.

Термин“информация” замечателен тем, что, существующему с давних пор бытовому понятию,К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смыслэтого термина уже научного. Это приводило и приводит ко многим недоразумениям/ Даннуютему опишем с помощью следующих методов: синтеза, анализа, индукции, дедукции,сравнения и расчетного метода.

Работа изложена на 26 страници состоит из четырех параграфов. В работе 1 таблица и 7 примеров.

/>§1. Понятие энтропии. Статистическийсмысл понятия энтропии. Энтропия как мера степени неопределенности

Энтропия (от греч. entropia — поворот,превращение) — мера неупорядоченности больших систем. Впервые понятие«энтропия» введено в XIX в. в результате анализа работы тепловыхмашин, где энтропия характеризует ту часть энергии, которая рассеивается впространстве, не совершая полезной работы (отсюда определение: энтропия — мераобесценивания энергии). Затем было установлено, что энтропия характеризуетвероятность определенного состояния любой физической системы среди множествавозможных ее состояний. В закрытых физических системах все самопроизвольныепроцессы направлены к достижению более вероятных состояний, т. е. к максимумуэнтропии. В равновесном состоянии, когда этот максимум достигается, никакиенаправленные процессы невозможны. Отсюда возникла гипотеза о тепловой смертиВселенной. Однако распространение на всю Вселенную законов, установленных длязакрытых систем, не имеет убедительных научных оснований. В XX в. понятие" энтропия " оказалось плодотворным для исследования биосистем, атакже процессов передачи и обработки информации. Эволюция в целом и развитиекаждого организма происходит благодаря тому, что биосистемы, будучи открытыми,питаются энергией из окружающего мира. Но при этом биопроцессы протекают такимобразом, что связанные с ними «производство энтропии » минимально.Это служит важным руководящим принципом и при разработке современныхтехнологических процессов, при проектировании технических систем.Количественная мера информации формально совпадает с «отрицательноопределенной » энтропией. Но глубокое понимание соответствия энтропии физической и информационной остается одной из кардинальных недостаточноисследованных проблем современной науки. Ее решение послужит одним из важныхфакторов становления нового научно-технического мышления.

Энтропия широко применяется и в других областях науки: в статистической физике как меравероятности осуществления какого-либо макроскопического состояния; в теорииинформации как мера неопределенности какого-либо опыта (испытания), которыйможет иметь разные исходы. Эти трактовки имеют глубокую внутреннюю связь.Например, на основе представлений об информационной энтропии можно вывести всеважнейшие положения статистической физики.

Теория информациивозникла для описания передачи и приёма сообщений в процессе деятельностичеловека. Во всех её задачах присутствуют понятия передатчика и приёмника,сигнала-сообщения, событий и их вероятностей. Существование цели передачиинформации в теории информации выражается тем, что вводится понятие известногозаданного события. Для него может быть определена вероятность р0 наступления до приёма сообщения и р1 после приёма.

В силу определенияинформации как устранённой неопределённости в достижении цели строгая (то естьматематическая) формализация понятия об информации требует выразитьматематическим соотношением, что есть неопределённость в достижении цели.

Существованиенеопределённости связано с участием вероятностей в осуществлении событий.Устранение неопределённости есть увеличение вероятности наступления того, чтозадано как цель. Поэтому вероятности должны участвовать в математическойформулировке величины устранённой неопределённости.

Первая удачная попыткареализовать определение информации на такой основе осуществлена в 1928 г. Л. Хартли. Пусть возможно в данных условиях n вариантов некоторого результата.Целью является один из них. Хартли предложил характеризовать неопределённостьлогарифмом числа n. То есть log n являетсяколичественной мерой неопределённости. Выбор основания логарифма связан спонятием об алфавитах для описания информации. Этот выбор существенен дляэкономичности кодирования в технических устройствах или живых системах(сокращения потоков импульсов или аналоговых сигналов), но не меняет самогоколичества информации как устранённой неопределённости за счёт того, что передлогарифмом вводится безразмерный множитель, выражаемый модулем перехода междуоснованиями логарифмов. От него зависят названия единиц информации.

При математическомописании неопределённости (например способом Хартли) в случае равновероятныхрезультатов можно перейти от их числа n к обратной величине- вероятности р одного из них. В терминах связи конкретноговорят о вероятности переданного сообщения р0 уприёмника до приёма сообщения. Устранение неопределённости выражается тем, чтовероятность переданного сообщения у приёмника после приёма сигнала возрастает истановится р1. Тогда количественная мера s полученной информации (устранённой неопределённости)выражается логарифмом отношения вероятностей:

Оно равноправно поотношению к любому конкретному сообщению и имеет разную величину в зависимостиот величин р0 и р1 для него. В частном случае, когда при передаче полностью отсутствуюшумы и сбои, искажающие сигнал, вероятность р0 равна единице.

Недостаток этогоопределения в том, что оно справедливо в приближении равновероятности всехисходов. Это выполняется далеко не всегда. В пределе в этом определении невероятномуисходу приравнивается неизбежный. В 1948 г. это исправил К. Шеннон, который определил в качестве меры неопределённости выражение:

есть вероятностиотдельных исходов. Он предложил называть эту величину «энтропией», непоясняя связей и различий этого термина с общеизвестой энтропией в физике. Знакминус в предыдущей формуле отражает тот факт, что вероятности всегда меньшеединицы, а энтропия знакопостоянная функция, для которой привычно заданположительный знак. Определение Шеннона сокращённо зависывают в виде:

подразумевая какочевидное, что признаки (аргументы), по отношению к которым определены событияи их вероятности, могут быть существенно разными, а в эта формула (суммированиев ней) справедлива только для однородных признаков.

§2. Понятие об информации. Измерение информации

Понятиеинформации (informatio — разъяснение, осведомление, изложение) является однимиз основных, ключевых понятий не только в информатике (в информологии — областизнаний, изучающей проявление информации, её представление, измерение и т.д.),но и в математике, в физике и др. Понятие “информация” — плохо формализуемое иструктурируемое понятие. В силу его всеобщности, объёмности, расплывчатости оночасто понимается неточно и неполно не только обучаемыми. Как правило, этопонятие в курсе информатики не определяется, принимается как исходное базовоепонятие, неопределяемый терм.

Информациятрактуется по разному, например, как:

• любаясущность, которая вызывает изменения в некоторой информационно-логической(инфологической — состоящей из данных, знаний, абстракций и т.д.) моделисистемы (математика, системный анализ);

• сообщения,полученные системой от внешнего мира в процессе адаптивного управления,приспособления (теория управления, кибернетика);

• отрицаниеэнтропии, отражение меры хаоса в системе (термодинамика);

• связи,устраняющие неопределённость в системе (теория информации);

• вероятностьвыбора в системе (теория вероятностей);

• отражениеразнообразия в системе (физиология, биокибернетика);

• отражениематерии, атрибут сознания, “интеллекта” системы (философия).

Но существуетболее полное понятие. Информация — это некоторая последовательность (налицоупорядоченность) сведений, знаний, которые актуализируемы (получаемы, передаваемы,преобразуемы, сжимаемы или регистрируемы) с помощью некоторых знаков(символьного, образного, жестового, звукового, сенсомоторного типа). Этоприращение, развитие, актуализация знаний, возникающее в процессецелеполагающей интеллектуальной деятельности человека. Никакая информация,никакое знание не появляется сразу — этому предшествует этап накопления,осмысления, систематизации опытных данных, взглядов. Знание — продукт такогопроцесса. Мышление — необходимый атрибут такого процесса.

Информацияможет существовать в пассивной (не актуализированной) и активной(актуализированной) форме.

Пример.Информация актуализируется сообщениями, при этом формы облачения информации всообщения различны, например, для живых существ — сигналы, жесты, для техническихустройств — сигналы. Информация передаваемая от одного человека другому, можетпередаваться символами (письмо), жестами (сигнальщик на боевом корабле),звуками (диктор), геометрическими фигурами (чертёжник), художественнымиобразами (балерина). Информация передающаяся животными может быть переданазвуками (лай, вой, писк), ситуационным поведением (образами). Информация втехнических устройствах, автоматах может быть передана электрическими,магнитными, световыми импульсами, как это происходит в ЭВМ.

Информация вфилософском аспекте бывает, в основном: мировоззренческая; эстетическая;религиозная; научная; бытовая; техническая; экономическая; технологическая.

Все это (счеловеком) составляет ноосферу общества — более высокое состояние биосферы,возникшее в результате эволюции, структурирования, упорядочивания игармонизации связей в природе и обществе под воздействием целеполагающейдеятельности человечества. Это понятие введено впервые В. И. Вернадским вкачестве отражения эволюции общества и природы т.е. системы, в рамках которойпотенциально может быть реализовано гармоническое, устойчивое развитие(эволюция) систем “Общество” и “Природа”, а также постепенное слияние,интеграция и гармонизация наук о природе, познании и об обществе. Без этогоневозможно построение информационного общества.

Информацияможет оказаться и вредной, влияющей негативно на сознание, например,воспитывающей восприятие мира от безразличного или же некритического — донегативного, «обозлённого», неадекватного. Информационный поток — достаточно сильный раздражитель.

Пример.Негативной информацией — раздражителем может быть информация о крахекоммерческого банка, о резком росте (спаде) валютного курса, об измененииналоговой политики и др.

Информация несуществует без других типов ресурсов — энергии, вещества, организации, как иони не могут существовать без информации. Любые взаимодействия систем(подсистем) — взаимодействия всегда материальноэнерго-информационные. Выявление(структурирование, упорядочивание, установление отношений), формализация(описание формальными средствами, языками), изучение (разработка моделей,методов, алгоритмов), применение (разработка и актуализация технологий) этихвзаимодействий и составляет основную задачу информатики — как науки, какчеловеческой деятельности.

Еслиотвлечься от конкретного смыслового содержания информации и рассматриватьсообщения информации как последовательности знаков, сигналов, то их можнопредставлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах,терабайтах и петабайтах.

Информацияможет пониматься и интерпретироваться по разному. Вследствие этого имеютсяразличные подходы к определению методов измерения информации, меры количестваинформации. Раздел информатики (теории информации) изучающий методы измеренияинформации называется информметрией.

Количествоинформации — числовая величина, адекватно характеризующая актуализируемуюинформацию по разнообразию, сложности, структурированности, определённости,выбору (вероятности) состояний отображаемой системы.

Если рассматриваетсясистема, которая может принимать одно из n возможных состояний, тоактуальна задача оценки такого выбора, исхода. Такой оценкой может стать мераинформации (или события). Мера — это некоторая непрерывная действительнаянеотрицательная функция, определённая на множестве событий и являющаясяаддитивной т.е. мера конечного объединения событий (множеств) равна сумме меркаждого события.

1. Мера Р.Хартли. Пустьимеется N состояний системы S или N опытов с различными, равновозможнымипоследовательными состояниями системы. Если каждое состояние системызакодировать, например, двоичными кодами определённой длины d, то эту длинунеобходимо выбрать так, чтобы число всех различных комбинаций было бы неменьше, чем N. Наименьшее число, при котором это возможно или мера разнообразиямножества состояний системы задаётся формулой Р. Хартли: H=k log а N,где k — коэффициент пропорциональности (масштабирования, в зависимости отвыбранной единицы измерения меры), а — основание системы меры.

Еслиизмерение ведётся в экспоненциальной системе, то k=1, H=lnN (нат); еслиизмерение — в двоичной системе, то k=1/ln2, H=log2N (бит); еслиизмерение — в десятичной системе, то k=1/ln10, H=lgN (дит).

Пример. Чтобыузнать положение точки в системе из двух клеток т.е. получить некоторуюинформацию, необходимо задать 1 вопрос («Левая или правая клетка?»).Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит(I=log2 2). Для системы из четырех клеток необходимо задать 2аналогичных вопроса, а информация равна 2 битам (I=log24). Еслисистема имеет n различных состояний, то максимальное количество информацииравно I=log2 n.

По Хартли,для того, чтобы мера информации имела практическую ценность — она должна бытьтакова, чтобы отражала количество информации пропорционально числу выборов.

Пример.Имеются 192 монеты из которых одна фальшивая. Определим сколько взвешиванийнужно произвести, чтобы определить ее. Если положить на весы равное количествомонет, то получим 2 возможности (мы сейчас отвлекаемся от того, что в случаефальшивой монеты таких состояний будет два — состояния независимы): а) леваячашка ниже; б) правая чашка ниже. Таким образом, каждое взвешивание даетколичество информации I=log22=1 и, следовательно, для определенияфальшивой монеты нужно сделать не менее k взвешиваний, где k удовлетворяетусловию log22k³ log2192. Отсюда, k=7. Следовательно,нам необходимо сделать не менее 7 взвешиваний (достаточно семи).

ФормулаХартли отвлечена от семантических и качественных, индивидуальных свойстврассматриваемой системы (качества информации, содержащейся в системе, впроявлениях системы с помощью рассматриваемых N состояний системы). Этоосновная положительная сторона этой формулы. Но имеется и основнаяотрицательная сторона: формула не учитывает различимость и различностьрассматриваемых N состояний системы.

Уменьшение(увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразиясостояний N системы.

Обратное, какэто следует из формулы Хартли (основание логарифма берётся больше 1), — такжеверно.

2.Мера К.Шеннона. ФормулаШеннона дает оценку информации независимо, отвлеченно от ее смысла:

n I = —å pi log2 pi, i=1

где n — числосостояний системы; рi — вероятность (или относительная частота)перехода системы в i-ое состояние, причем сумма всех pi равна 1.

Если всесостояния равновероятны (т.е. рi=1 /n), то I=log2n.

К. Шеннономдоказана теорема о единственности меры количества информации. Для случаяравномерного закона распределения плотности вероятности мера Шеннона совпадаетс мерой Хартли. Справедливость и достаточная универсальность формул Хартли иШеннона подтверждается и данными нейропсихологии.

Пример. Времяt реакции испытуемого на выбор предмета из имеющихся N предметов линейнозависит от log2N: t=200+180log2N (мс). По аналогичному законуизменяется и время передачи информации в живом организме. В частности, один изопытов по определению психофизиологических реакций человека состоял в том, чтоперед испытуемым большое количество раз зажигалась одна из n лампочек, которуюон должен указать. Оказалось, что среднее время, необходимое для правильногоответа испытуемого, пропорционально не числу n лампочек, а именно величине Iопределяемой по формуле Шеннона, где pi — вероятность зажечьлампочку номер i.

Сообщение онаступлении события с меньшей вероятностью несёт в себе больше информации, чемсообщение о наступлении события с большей вероятностью. Сообщение о наступлениидостоверно наступающего события несёт в себе нулевую информацию (и это вполнеясно, — событие всё равно произойдёт когда-либо).

Если вформуле Шеннона обозначить fi = —n log2 pi, то получим,что I можно понимать как среднеарифметическое величин fi .

Отсюда, fiможно интерпретировать как информационное содержание символа алфавита синдексом i и величиной pi вероятности появления этого символа всообщении, передающем информацию.

Основнымиположительными сторонами формулы Шеннона является её отвлечённость отсемантических и качественных, индивидуальных свойств системы, а также то, что вотличие от формулы Хартли она учитывает различность, разновероятность состояний- формула имеет статистический характер (учитывает структуру сообщений),делающий эту формулу удобной для практических вычислений. Основныеотрицательные стороны формулы Шеннона: она не различает состояния (с одинаковойвероятностью достижения, например), не может оценивать состояния сложных иоткрытых систем и применима лишь для замкнутых систем, отвлекаясь от смыслаинформации.

Увеличение(уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии(организованности) системы. При этом энтропия может являться меройдезорганизации систем от полного хаоса (S=Smax) и полной информационнойнеопределённости (I=Imin) до полного порядка (S=Smin) и полной информационнойопределённости (I=Imax) в системе.

Пример. Чемближе движущийся объект к нам, тем полнее информация обрабатываемая нашимиорганами чувств, тем чётче и более структурирован (упорядочен) объект. Чембольше информации мы имеем о компьютерной технике, тем меньше психологическийбарьер перед ним (согласно основному соотношению между энтропией иинформацией).

3.Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропиисистемы с недостатком информации о её внутренней структуре (не восполняемымпринципиально, а не нерегистрируемым). При этом число состояний определяет, посуществу, степень неполноты наших сведений о системе.

Пусть данатермодинамическая система (процесс) S, а Н0, Н1 — термодинамические энтропии системы S в начальном (равновесном) и конечномсостояниях термодинамического процесса, соответственно. Тогда термодинамическаямера информации (негэнтропия) определяется формулой:

Эта формулауниверсальна для любых термодинамических систем. Уменьшение Н(Н0, Н1)свидетельствует о приближении термодинамической системы S к состояниистатического равновесия (при данных доступных ей ресурсах), а увеличение — обудалении.

Поставимнекоторый вопрос о состоянии некоторой термодинамической системы. Пусть доначала процесса можно дать p1 равновероятных ответов на этот вопрос(ни один из которых не является предпочтительным другому), а после окончанияпроцесса — p2 ответов. Изменение информации при этом:

D I =k ln(p1 / p2) = k (ln p1 — ln p2 ).

Если p1> p2 (DI >0) — прирост информации, т.е. сведения осистеме стали более определёнными, а при p10 — более низкой организации).

Термодинамическаямера (энтропия) применима к системам, находящимся в тепловом равновесии. Длясистем, далёких от теплового равновесия, например, живых биосистем, мера — энтропия — менее подходящая.

4.Энергоинформационная (квантово-механическая) мера. Энергия (ресурс) и информация(структура) — две фундаментальные характеристики систем реального мира,связывающие их вещественные, пространственные, временные характеристики. Сейчасактуально говорить о биоэнергоинформационных мерах, отражающих механизмвзаимосвязей биофизикоинформационных и вещественно-энергетических процессов всистеме, в ноосфере.

3. Теорема Шеннона о кодировании при наличии помех

Рассмотрим первуютеорему Шеннона. Первая теорема Шеннона о передаче информации, котораяназывается также основной теоремой о кодировании при отсутствии помех,формулируется следующим образом: при отсутствии помех передачи всегдавозможен такой вариант кодирования сообщения, при котором среднее число знаковкода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близкок отношению средних информаций на знак первичного и вторичного алфавитов.

Используяпонятие избыточности кода, можно дать более короткую формулировку теоремы: приотсутствии помех передачи всегда возможен такой вариант кодирования сообщения,при котором избыточность кода будет сколь угодно близкой к нулю.

Данныеутверждения являются теоремами и, следовательно, должны доказываться, однакодоказательства мы опустим. Для нас важно, что теорема открывает принципиальнуювозможность оптимального кодирования. Однако необходимо сознавать, что из самойтеоремы никоим образом не следует, как такое кодирование осуществить практически– для этого должны привлекаться какие-то дополнительные соображения, что истанет предметом нашего последующего обсуждения.

Далее восновном ограничим себя ситуацией, когда M = 2, т.е. для представления кодов влинии связи используется лишь два типа сигналов – с практической точки зренияэто наиболее просто реализуемый вариант (например, существование напряжения впроводе (будем называть это импульсом) или его отсутствие (пауза); наличие илиотсутствие отверстия на перфокарте или намагниченной области на дискете);подобное кодирование называется двоичным. Знаки двоичного алфавита принятообозначать «0» и «1», но нужно воспринимать их как буквы, ане цифры. Удобство двоичных кодов и в том, что при равных длительностях и вероятностяхкаждый элементарный сигнал (0 или 1) несет в себе 1 бит информации (log2M= 1); тогда из (1), теоремы Шеннона:

и перваятеорема Шеннона получает следующую интерпретацию: при отсутствии помех передачисредняя длина двоичного кода может быть сколь угодно близкой к среднейинформации, приходящейся на знак первичного алфавита.

Применениеформулы (2) для двоичного кодирования дает:

Определениеколичества переданной информации при двоичном кодировании сводится к простомуподсчету числа импульсов (единиц) и пауз (нулей). При этом возникает проблемавыделения из потока сигналов (последовательности импульсов и пауз) отдельныхкодов. Приемное устройство фиксирует интенсивность и длительность сигналов.Элементарные сигналы (0 и 1) могут иметь одинаковые или разные длительности. Ихколичество в коде (длина кодовой цепочки), который ставится в соответствиезнаку первичного алфавита, также может быть одинаковым (в этом случае кодназывается равномерным) или разным (неравномерный код). Наконец, коды могутстроиться для каждого знака исходного алфавита (алфавитное кодирование) или дляих комбинаций (кодирование блоков, слов). В результате при кодировании(алфавитном и словесном) возможны следующие варианты сочетаний: />

Варианты сочетаний длительности элементарных сигналов Кодировка первичных символов (слов) Ситуация одинаковые равномерная (1) одинаковые неравномерная (2) разные равномерная (3) разные неравномерная (4)

В случаеиспользования неравномерного кодирования или сигналов разной длительности(ситуации (2), (3) и (4)) для отделения кода одного знака от другого между ниминеобходимо передавать специальный сигнал – временной разделитель (признак концазнака) или применять такие коды, которые оказываются уникальными, т.е. несовпадающимис частями других кодов. При равномерном кодировании одинаковыми по длительностисигналами (ситуация (1)) передачи специального разделителя не требуется,поскольку отделение одного кода от другого производится по общей длительности,которая для всех кодов оказывается одинаковой (или одинаковому числу бит прихранении).

Длительностьдвоичного элементарного импульса (/>) показывает, сколько временитребуется для передачи 1 бит информации. Очевидно, для передачи информации, всреднем приходящейся на знак первичного алфавита, необходимо время />. Такимобразом, задачу оптимизации кодирования можно сформулировать в иных терминах:построить такую систему кодирования, чтобы суммарная длительность кодов припередаче (или суммарное число кодов при хранении) данного сообщения была бынаименьшей.

§4. Пример использования энтропии в прогнозировании и еезначение для прогнозирования. Применение к рискам

Прогнозирование— частный вид моделирования как основы по­знания и управления.

Рольпрогнозирования в управлении страной, отраслью, регио­ном, предприятиемочевидна. Необходимы учет СТЗП-факторов (социальных, технологических,экономических, политических), факторов конкурентного окружения инаучно-технического про­гресса, а также прогнозирование расходов и доходовпредприятий и общества в целом (в соответствии с жизненным циклом продукции —во времени и по 11-ти стадиям международного стандарта ИСО 9004). Проблемывнедрения и практического использования мате­матических методовэконометрического прогнозирования связаны прежде всего с отсутствием в нашейстране достаточно обширного опыта подобных исследований, поскольку в течениедесятилетий планированию отдавался приоритет перед прогнозированием.

Вконкретных задачах прогнозирования необходимо провести классификацию рисков,поставить задачу оценивания конкретного риска, провести структуризацию риска.Риски необходимо учи­тывать при прогнозировании экономических последствий прини­маемыхрешений, поведения потребителей и конкурентного окружения, внешнеэкономическихусловий и макроэкономического развития России, экологического состоянияокружающей среды, безопасности технологий, экологической опасности промышленныхи иных объектов.

Большоечисло рисков связано с природными явлениями. Их можно объединить под именем«экологические». К ним относятся, в частности риски, связанные снеопределенностью ряда природных явлений. Типичным примером является погода, откоторой зависят урожайность (а потому и цены на сельскохозяйственные товары),расходы на отопление и уборку улиц, доходы от туризма и др. Особое значениеимеют риски, связанные с недостаточными знаниями о природе (например,неизвестен точный объем полезных иско­паемых в том или ином месторождении, апотому нельзя точ­но предсказать развитие добывающей промышленности и объем на­логовыхпоступлений от ее предприятий). Нельзя забывать о рисках экологических бедствий;и катастроф типа ураганов, смерчей, земле­трясений, цунами, селей и др.

Внастоящее время при компьютерном и математическом модели­ровании для описаниянеопределенностей все чаще используют такой метод, как энтропия. Некоторыевиды неопределенностей связаны с безразличными к организации силами —природными (погодные условия) или обще­ственными (смена правительства).

Разнооб­разныеформальные методы оценки рисков и управления ими во многих случаях (реально вовсех нетривиальных ситуациях) не мо­гут дать однозначных рекомендаций. В концепроцесса принятия решения — всегда человек, менеджер, на котором лежит ответст­венностьза принятое решение.

Поэтомупроцедуры энтропии естественно при­менять не только на конечном, но и на всехостальных этапах анали­за рассматриваемого организацией проекта, используя приэтом весь арсенал теории и практики энтропии.

Рассмотрим использования энтропии на примере прогноза погоды.

Пустьдля некоторого пункта вероят­ность того, что 15 июня будет идти дождь, равна0,4, а вероятность того, что дождя не будет, равна 0,6. Пусть далее для этогоже пункта вероятность дождя 15 октября равна 0,8, а вероятность отсутствиядождя в этот день — всего 0,2. Предположим, что определенный метод прогнозапогоды 15 июня оказывается правильным в 3/5 всех тех слу­чаев, в которыхпредсказывается дождь, и в 4/5 тех случаев, в которых предсказываетсяотсутствие осадков; в приме­нении же к погоде 15 октября этот метод оказываетсяправильным в 9/10 тех случаев, в которых предсказывается дождь, и в половинеслучаев, в которых предсказывается отсутствие дождя (сравнительно большойпроцент оши­бок в последнем случае естественно объясняется тем, чтопредсказывается маловероятное событие, предугадать ко­торое довольно трудно).Спрашивается, в какой из двух указанных дней прогноз дает нам больше информациио ре­альной погоде?

Обозначимчерез β1 и β2 опыты, состоящие в определе­ниипогоды в рассматриваемом пункте 15 июня и 15 октяб­ря. Мы считаем, что этиопыты имеют всего по два исхода — В (дождь) и /> (отсутствие осадков);соответствующие таблицы вероятностей имеют вид:

Следовательно,энтропии опытов β1 и β2 равны

Н(β1 ) = -0,4 log 0,4 — 0,6 log 0,6 /> 0,97бита,

Н(β2) = — 0,8 log 0,8 — 0,2 log 0,2 />0,72 бита.

Пустьтеперь α1 и α2 — предсказания погоды на 15 июняи на 15 октября. Опыты α1 и α2 также имеют подва исхода: А (предсказание дождя) и /> (предсказаниесухой погоды); при этом пары опытов (α1, β1) и (α2,β2) ха­рактеризуются следующимитаблицами условных вероят­ностей:

(/>). Эти таблицы позволяютопределить также и неизвестные нам вероятности р1(А) и р1(/>), р2(А) ир2(/>) исходов А и /> опытов α1и α2. По формуле полной ве­роятности имеем для опыта β1

Таккак р1(/>)= 1 — р1(А),р2(/>)= 1 — р2(А),то от­сюда получаем

р1(А)=р1(/>)= 0,5, р2(А) = 0,75, р2(/>) =0,25.

Подсчитаемтеперь энтропии НА(β1), />(вбитах):

НА(β1)=-0,6• log 0,6 — 0,4 • log 0,4 /> 0,97,

/>= — 0,2• log 0,2 – 0,8• log0,8 />0,72

/>= — 0,9 • log 0,9 — 0,1• log 0,1/> 0,47,

/> = — 0,5 • log 0,5 — 0,5• log 0,5= 1.

Такимобразом, информация, содержа­щаяся в прогнозе погоды на 15 июня (опыт α1)о реальной погоде в этот день (об опыте β2), равна

I(α1, β1) = Н(β1) — />/>0,97 -0,84 = 0,13 бит,

чтонесколько больше, чем информация о реальной погоде 15 октября (об опыте β2),содержащаяся в прогнозе погоды на этот день (в опыте α2):

I(α2, β2) = Н(β2) — />/>0,72 — 0,60 = 0,12 бит.

Этотрезультат позволяет считать прогноз погоды па 15 нюня более ценным, чем прогнозна 15 октября, не­смотря на то, что последний прогноз чаще оказы­ваетсяправильным: действительно, в силу формулы полной вероятности, для прогнозапогоды на 15 нюня вероятность оказаться правильным равна

в товремя как для прогноза погоды на 15 октября эта ве­роятность равна

р2(А)/>+ р2(/>)/>= 0,75 • 0,9 + 0,25 • 0,5 =0,8.

Энтропия как физическаяпеременная первично возникла из задач описания тепловых процессов. Впоследствииона стала широко использоваться во всех областях науки.

Информация — это знание, которое используется для развития, совершенствования системы и еёвзаимодействий с окружающей средой.

Информациясама развивается вслед за развитием системы. Новые формы, принципы, подсистемы,взаимосвязи и отношения вызывают изменения в информации, ее содержании, формахполучения, переработки, передачи и использования. Благодаря потокам информациисистема осуществляет целесообразное взаимодействие с окружающей средой, т.е.управляет или управляема. Своевременная и оперативная информация можетпозволить стабилизировать систему, адаптироваться, восстанавливаться принарушениях структуры и/или подсистем. От степени информированности системы, отвзаимодействия системы и среды зависит развитие и устойчивость системы.

В современноммире все большее значение в управлении организацией отдается прогнозированию.Любая организация в процессе своей деятельности сталкивается с различными рисками,которые в большей или меньшей степени влияют на ее состояние. Многочислелныпримеры ситуаций, связанных с социаль­ными, технологическими, экономическими,политическими, эколо­гическими и другими рисками. Именно в таких ситуацияхобычно и необходимо прогнозирование. Известны различные виды критериев,используемых в теории принятия решений в условиях неопределен­ности (риска).Из-за противоречивости решений, получаемых по различным критериям, очевиднанеобходимость применения энтропии.

Списокиспользуемой литературы

1. Дмитриев В.Н.Прикладная теория информации. М: Высшая школа,1989.

2. КолмогоровА.Н. Теория информации и теория алгоритмов.М: Наука,1987.

3. КолмогоровА.Н. Три подхода копределению понятия “количество информации” // Проблемы передачи информации.1965. Т.1. №1.

4. ПоплавскийР.П. Депон Максвеллаи соотношения между информацией и энтропией // УФН. 1979. Т. 128. Вып. 1.

5. ХартлиР. Передачаинформации// Теория информации и ее приложения. М.: Физматгиз. 1959.

6. ШамбадальП. Развитие и приложенияпонятия энтропии. М.: Наука, 1967 .

7. ЯгломА.М., Яглом И.М.Вероятность и информация. М.: Наука, 1973.

ЭНТРОПИЯ

— теоретико-информационная мера степени неопределенности случайной величины. Если — дискретная случайная величина, определенная на нек-ром вероятностном пространстве и принимающая значения x1, x2, . . . с распределением вероятностей то Э. определяется формулой

(при этом считается, что 0 log 0=0). Основанием логарифма может служить любое положительное число, но обычно рассматривают логарифмы по основанию 2 или е, что соответствует выбору бит или нат (натуральная единица) в качестве единицы измерения.
Если и — две дискретные случайные величины, принимающие значения х 1, х2, . и y1, y2, . с распределениями вероятностей <pk, k=1, 2, . . .> и <qj, j=1, 2, . . .> соответственно, и <pk|j, k=l, 2, . . .> — условное распределение при условии, что j=1, 2, . . ., то (средней) условной Э. величины относительно наз. величина

Пусть — стационарный процесс с дискретным временем и дискретным пространством значений такой, что Тогда Э.(точнее, средней Э. на символ) такого стационарного процесса наз. предел

где — Э. случайной величины Известно, что предел в правой части (3) всегда существует и имеет место равенство

где — условная Э.относительно Э. стационарных процессов находит важные применения в теории динамич. систем.
Если и v — две меры на нек-ром измеримом пространстве причем мера абсолютно непрерывна относительно v и — соответствующая производная Радона — Никодима, то Э. меры относительно меры v наз. интеграл

Частным случаем Э. меры по мере является дифференциальная энтропия.
Из многих возможных обобщений понятия Э. для теории информации одним ил самых важных является следующее. Пусть и — две случайные величины, принимающие значения в нек-рых измеримых пространствах и соответственно. Пусть заданы распределение случайной величины и класс Wдопустимых совместных распределений пары в множестве всех вероятностных мер в произведении Тогда W-энтропией (или Э. при заданном условии сообщений точности воспроизведения W )наз. величина

где — информации количество в относительно а нижняя грань берется по всем парам случайных величин таким, что совместное распределение

пары принадлежит W, а имеет распределение Класс W совместных распределений часто задают с помощью нек-рой неотрицательной измеримой действительнозначной функции — меры искажения следующим образом:

где — нек-рое фиксированное число. В этом случае величину, определяемую равенством (6), где Wзадается (7), называют -энтропией (или скоростью как функцией искажения) и обозначают Напр., если — гауссовский случайный вектор с независимыми компонентами, k=1,2, . п, а функция имеет вид

то может быть найдена по формуле
где определяется из уравнения
Если — дискретная случайная величина, пространства и совпадают, а функция имеет вид

то -Э. при равна обычной Э., определяемой в (1), т. е.

Лит.:[1]Шеннон К., Математическая теория связи, в сб.: Работы по теории информации и кибернетике, пер. с англ., М., 196З, с. 243-332; [2] Галл агер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [3] Berger Т., Rate distortion theory, Englewood Cliffs (N. J.), 1971; [4] Биллингeлeй И., Эргодическая теория и информация, пер. с англ., М., 1969.
Р. Л. Добрушин, В. В. Прелов.

Смотреть что такое ЭНТРОПИЯ в других словарях:

ЭНТРОПИЯ

см. Термохимия и Теплота.

ЭНТРОПИЯ

(от греч. entropía — поворот, превращение) понятие, впервые введенное в термодинамике (См. Термодинамика) для определения меры необратимого расс. смотреть

ЭНТРОПИЯ

энтропия 1. ж. Физическая величина, характеризующая тепловое состояние тела или системы тел и возможные изменения этих состояний. 2. ж. Мера, степень неопределенности ситуации (в теории информации).<br><br><br>. смотреть

ЭНТРОПИЯ

энтропия ж. физ., мед.entropy

ЭНТРОПИЯ

энтропия беспорядок, разлад Словарь русских синонимов. энтропия сущ., кол-во синонимов: 2 • беспорядок (127) • разлад (58) Словарь синонимов ASIS.В.Н. Тришин.2013. . Синонимы: беспорядок, разлад. смотреть

ЭНТРОПИЯ

Энтропия — см. Термохимия и Теплота.

ЭНТРОПИЯ

(от греч. entropia — поворот, превращение), понятие, впервые введённое в термодинамике для определения меры необратимого рассеяния . смотреть

ЭНТРОПИЯ

ф-ция состояния Sтермодинамич. системы, изменение к-рой dS для бесконечно малого обратимого изменения состояния системы равно отношению кол-ва теплоты. смотреть

ЭНТРОПИЯ

[εν (эн) — в; τροπή (ςропэ) — превращение] — одно из наиболее абстрактных научных понятий, имеющее фундаментальное значение. 1. В классической термодинамике Э-— это понятие, введенное Клаузисом в середине XIX в. и представляющее собой термодинамическую функцию состояния системы (S), элементарное изменение которой в равновесном процессе равно отношению, а в неравновесном — больше отношения бесконечно малого количества сообщенной системе теплоты к абс. температуре (по Кельвину) системы, т. е. <i><img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/ded7ca22-263c-4fa6-9b87-0957effc9406" width="64" height="41" align="center" img-responsive" title="ЭНТРОПИЯ фото №1" alt="ЭНТРОПИЯ фото №1"></i> а для конечных изменений <img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/e2560711-dd2c-4d7c-89fb-0e0162b7a906" width="69" height="41" align="center" img-responsive" title="ЭНТРОПИЯ фото №2" alt="ЭНТРОПИЯ фото №2"> Если система изолированная (замкнутая), в т. ч. адиабатная, то ее Э. может либо сохраняться постоянной (при протекании в ней лишь равновесных процессов), либо увеличиваться (при наличии в системе неравновесных процессов), но не уменьшаться, т. е. ∆S ≥ Q, представляющее собой выражение второго закона термодинамики, справедливое для изолированных систем. Поскольку все реальные процессы являются необратимыми, этот закон определяет их направленность, которая обусловлена всеобщей тенденцией к выравниванию энергетических потенциалов: системы, не получающие дополнительной энергии извне, спонтанно эволюционируют в направлении к энергетически наиболее “благоприятному” состоянию термодинамического равновесия, при катером Э. достигает максимального значения. В частности, в изолированной системе тепло может .переходить только от горячего тела к холодному, а не наоборот (вплоть до достижения состояния температурного баланса).Это приводит к энергетической ∆еградации”— уменьшению количества энергии, способного произвести работу вследствие перехода в др. виды энергии. В связи с этим Клаузисом и Кельвином была выдвинута теория “тепловой смерти” Вселенной. Впоследствии второй закон термодинамики был обобщен для др. видов энергии: закон уменьшения разности потенциалов в замкнутой электрической цепи, правило Ле-Шателье в химии и др. В неизолированных системах изменение Э. в ходе как равновесных, так и неравновесных процессов может быть и положительным и отрицательным (так, охлаждение и кристаллизация расплава сопровождаются уменьшением его Э.). Величину изменения Э. при реакции легко определить, если известны Э. всех участвующих в реакции веществ. <p>2. В статистической термодинамике Э.—понятие, отражающее степень беспорядка в расположении и движении большого количества однородных элементов (молекул, атомов, ионов и др.) в изолированной системе, которому было дано статистическое истолкование в конце XIX в. в результате работ Максвелла, Гиббса, Больцмана и Планка и которое может быть определено известной формулой Больцмана — Планка: <i>S =</i> k·lnP,<i></i> где <i>k</i> = 1,38·10<sup>-16</sup> эрг/градус (постоянная Больцмана), <img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/c49dbd60-30b5-4821-a863-3950ec38207e" width="12" height="22" align="center" img-responsive" title="ЭНТРОПИЯ фото №3" alt="ЭНТРОПИЯ фото №3">Р<i> —</i> число различных (равновероятностных) микросостояний изолированной системы, которое иначе называют термодинамической вероятностью (Планк), числом элементарных комплексий (Бриллюэн) или статистическим весом (в отечественной лит.). Опыт показывает, что эволюция распределения энергии между элементами изолированной системы приводит к возрастанию числа Р: наиболее вероятным является такое распределение, при котором Р максимально (следовательно, и Э. также максимальна), оно соответствует энергетически “благоприятному” состоянию. Статистическое истолкование Э. со всей ясностью вскрыло вероятностный характер второго закона термодинамики; от него возможны отклонения (флуктуации), но чем больше величина флуктуации, тем меньше ее вероятность. На этой основе стала возможной, в частности, критика теории “тепловой смерти”, так как в пространственно-временных масштабах Вселенной возможны любые флуктуации (Больцман, Винер и др.).</p> <p>3. В теории информации Э.— мера неопределенности исхода случайного эксперимента, введенная Шенноном. Если эксперимент имеет <i>п</i> разл. исходов с соответствующими <i>вероятностями p<sub>1</sub>,</i> р<sub>2</sub> . . . <i>р<sub>n</sub>,</i> то Э. есть <img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/740db836-42f4-46ad-9458-9ae0f956be9b" width="122" height="45" align="center" img-responsive" title="ЭНТРОПИЯ фото №4" alt="ЭНТРОПИЯ фото №4"><i></i> Чаще всего Э. выражают через двоичные логарифмы. Единицей Э. служит бит. Э.— непрерывная, неотрицательная функция <i>p<sub>i</sub>, . . ., р<sub>n</sub>. Н</i> = 0, если любое <i>p<sub>i</sub> =</i> 1<i>,</i> a <i>p<sub>i</sub> = . </i> = <i>р<sub>i-1</sub> = p<sub>i+1</sub></i> =<i> . </i> = <i>р<sub>n</sub>=</i> 0, т. е. когда эксперимент не случаен и не содер. никакой неопределенности. Э. максимальна при данном п, когда все возможные значения случайной величины равновероятны, т. е. при <i>p<sub>i</sub> = . </i> = <i>р<sub>n</sub> =</i> <i><img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/e57ea852-e4ff-4e78-9634-a57954183d45" width="17" height="21" align="center" img-responsive" title="ЭНТРОПИЯ фото №5" alt="ЭНТРОПИЯ фото №5">;</i> в этом случае H = log <i>n</i>. Для непрерывной случайной величины .X аналогичным образом вводится так называемая дифференциальная Э. в виде: <img src="https://words-storage.s3.eu-central-1.amazonaws.com/production/article_images/5a61b9882685b2000e2d9412/c352f93e-630d-4f94-884b-2615a4b336b0" width="162" height="49" align="center" img-responsive" title="ЭНТРОПИЯ фото №6" alt="ЭНТРОПИЯ фото №6"> где<i>f(x)</i>—плотность вероятности <i>X.</i> Меры связи или устойчивости геол. характеристик, основанные на свойствах Э., чрезвычайно удобны, особенно при изучении качественных и полуколичественных наблюдений (напр., результатов полуколичественных спектральных анализов).</p> <p>4. Проблема взаимоотношений между понятиями термодинамической и шенноновской Э. до сих пор служит предметом оживленной дискуссии. Крайние точки зрения, каждая из которых имеет множество авторитетных сторонников, представлены Бриллюэном (1960) и Пирсом (1967): первый считает, что эти величины представляют по существу одно и то же (негэнтропийный принцип информации), второй настойчиво подчеркивает, что оба понятия совершенно различны, а тождественность их математических выражений является случайной и ей не следует придавать какого-либо существенного значения. Существует и принципиально иное представление (Виньковецкий, 1968, 1970), согласно которому вероятности, рассматриваемые в термодинамике и в теории информации, относятся к “событиям” разных классов —, соответственно, энергетическим и структурным. Согласно этому представлению, для достаточно полной характеристики изолированной (замкнутой) системы следует рассматривать 2 разл. Э.— энергетическую (Э. э.) и структурную (Э. с.): перераспределение энергии приводит к возрастанию Э. э. (второй закон термодинамики), но наряду и сопряженно с этим происходит усложнение структур — уменьшение Э. с. в соответствии с законом возрастания сложности. Величины Э. э. и Э. с. являются взаимно сопряженными, но не аддитивными. В свете этой концепции понятия Э. в термодинамике и в теории информации совершенно различны, но тождественность их математического выражения (изоморфизм) — факт фундаментального общенаучного значения. См. <i>Замкнутая система, Вселенная, Система, Изоморфизм. Я. В. Виньковецкий, В. И. Лебедев, Т. С. Лельчук, В. А. Рудник.</i><br></p><p itemprop="source">Геологический словарь: в 2-х томах. — М.: Недра</span>.<span itemprop="author">Под редакцией К. Н. Паффенгольца и др.</span>.<span itemprop="source-date">1978</span>.</em></p><b>Синонимы</b>: <div разлад </div><br><br>. смотреть

ЭНТРОПИЯ

метрическая динамической системы — один из важнейших инвариантов в эргодической теории. Основным является понятие Э. h(S)эндоморфизма S (см. Метричес. смотреть

Добавить комментарий

Ваш адрес email не будет опубликован.