Энтропия и скрытая информация
До настоящего момента энтропия образно описывалась как мера беспорядка, и более количественно, как число перегруппировок компонент системы, не меняющих её совокупных макроскопических свойств. Выше это прозвучало неявно, но теперь можно сказать определённо, что энтропию можно осмыслить как измерение информационного разрыва между теми данными, которые у нас есть (общими макроскопическими свойствами), и теми данными, которых нет (конкретным устройством системы на микроскопическом уровне). Энтропия является мерой дополнительной информации, скрытой в деталях микроскопического устройства системы, которые, будь к ним доступ, позволили бы выделить эту микроуровневую конфигурацию системы на фоне всех макропроявлений.
В качестве иллюстрации представим, что Оскар навёл порядок в своей комнате, но не хватило времени убрать серебряные доллары, выигранные им в покер на прошлой неделе — тысяча монет так и осталась лежать разбросанной по полу. Даже если Оскар соберёт их потом в кучку, его взгляду предстанет хаотичный набор монет, часть из которых лежит вверх решкой, а часть вверх орлом. Если случайным образом поменять орлы на решки, а решки на орлы, то Оскар ничего не заметит — это свидетельствует о том, что тысяча собранных в кучку серебряных долларов обладает высокой энтропией. Этот пример настолько простой, что энтропию можно явно подсчитать. Для двух монет имеются четыре возможные конфигурации: (орёл, орёл), (орёл, решка), (решка, орёл), и (решка, решка) — две возможности для первого доллара умножаются на две для второго. Для трёх монет есть восемь возможных конфигураций — (орёл, орёл, орёл), (орёл, орёл, решка), (орёл, решка, орёл), (решка, орёл, орёл), (орёл, решка, решка), (решка, орёл, решка), (решка, решка, орёл), (решка, решка, решка) — возникающих из двух возможностей для первой монеты, помноженных на две для второй и помноженных на две для третьей. Для тысячи монет число возможностей вычисляется аналогично: множитель 2 для каждой монеты, и получаем число 21000, равное 10715086071862673209484250490600018105614048117055336074437503883703510511249361224931983788156958581275946729175531468251871452856923140435984577574698574803934567774824230985421074605062371141877954182153046474983581941267398767559165543946077062914571196477686542167660429831652624386837205668069376. Подавляющее большинство конфигураций орёл-решка не будут обладать особыми свойствами, поэтому они никак не будут выделены среди прочих. Однако некоторые будут выделены , если, скажем, все 1000 монет будут лежать кверху орлом или решкой, или если 999 монет будут лежать кверху орлом, или 999 кверху решкой. Но число таких необычных конфигураций настолько мало по сравнению с гигантским числом всех возможностей, что исключив их из подсчёта, вы вряд ли обнаружите какую-то разницу.[31]
Из нашей предыдущих обсуждений следует, что число 21000 задаёт энтропию монет. Для определённых целей этот вывод вполне достаточен. Однако для установления более глубокой связи между энтропией и информацией необходимо уточнить картину, описанную выше. Энтропия системы связана с числом неразличимых перегруппировок её компонентов, но, строго говоря, не равна ему. Эта взаимосвязь выражается с помощью математической операции, называемой логарифмом ; не пугайтесь, если логарифм навевает дурные воспоминания о школьных уроках математики. В нашем примере с монетами это просто означает, что в качестве энтропии надо взять показатель полученного нами числа конфигураций, то есть энтропия определяется как 1000, а не 21000.
Преимущество использования логарифма в том, что он позволяет работать с более обозримыми числами, но есть и более важная причина. Представьте, что я спрашиваю вас, сколько информации вам понадобится для описания одной частной конфигурации орёл-решка в наборе из 1000 монет. Простейший ответ состоит в составлении списка — орёл, орёл, решка, орёл, решка, решка..., который описывает расположение каждой из 1000 монет. Конечно же, отвечу я, это даст мне полную информацию об этой конфигурации, но вопрос состоял не в этом. Я спрашивал, сколько информации содержится в этом списке.
Тут вы начнёте раздумывать. Чем на самом деле является информация и для чего она нужна? Вы даёте прямой и простой ответ. Информация отвечает на вопросы. Годы исследований по физике, математике и компьютерным технологиям сделали этот ответ точным. Эти исследования установили, что наиболее полезная мера содержания информации — это число различных «да или нет» вопросов, на которые у этой информации есть ответ . В примере с монетами есть 1000 таких вопросов: орёл у первого доллара? Да. Орёл для второго доллара? Да. Орёл для третьего доллара? Нет. Орёл для четвёртого доллара? Нет. И так далее. Элемент данных, который может содержать ответ на «да или нет» вопрос, называется битом — привычный для компьютерного века термин, являющийся сокращением от английского выражения binary digit, двоичный символ, означающий 0 или 1, о котором можно думать как о численном представлении ответов да или нет . Таким образом, конфигурации орёл-решка из 1000 монет содержат 1000 бит информации. Эквивалентным образом, если вы встанете на макроскопическую точку зрения Оскара и сосредоточитесь только на случайном расположении всех монет в целом, не обращая внимания на «микроскопические» детали орёл или решка, то информация, «скрытая» в этих монетах, составляет 1000 бит.
Отметим, что значение энтропии и количество скрытой информации равны. И это не случайно. Число возможных выпадений орёл-решка равно числу возможных ответов на 1000 вопросов — (да, да, нет, нет, да...) или (да, нет, да, да, нет...) или (нет, да, нет, нет, нет...) и так далее, а именно 21000. При определении энтропии как логарифма числа таких конфигураций — 1000 в нашем случае — энтропия равна числу «да или нет» вопросов для любой из таких последовательностей ответов.
Мы рассмотрели частный пример с 1000 монетами, но установленная связь между энтропией и информацией имеет совершенно общий характер. Микроскопические детали любой системы содержат информацию, которая скрыта только при рассмотрении макроскопических, совокупных свойств. Например, вы знаете температуру, давление и объём контейнера с паром, но известно ли вам, ударялась ли молекула H2O о верхний правый угол этого контейнера? А может быть другая молекула только что ударилась о нижний левый край? Так же как с разбросанными монетами, энтропия системы равна числу «да или нет» вопросов, ответы на которые содержатся в её микроскопическом состоянии, и поэтому энтропия является мерой, скрытой в системе информации .{106}