信息论基础.txt

信息论与股票分析

信息论
1、教学目标：

教学目标：掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法，还要掌握抗干扰二源编码的原理和方法，要求能够基本上实现应用。最后要掌握古典密码体制的基本加密和破解方法，并能够从信息论的角度加以理解。

2、教学内容共分7章：

第一章 概论，从通信的基本模型出发，讨论信息论的研究范围和方法。

第二章 信源及信源熵，研究信息测度、信源熵和熵速率等信息论基本概念。

第三章 无失真信源编码，介绍理想通信系统的编码定理，实现的可能性与方法。

第四章 限失真信源编码，研究在允许一定程度的失真条件下的信源编码定理和失真测度。

第五章 信道及信道容量，介绍信道模型和信道分类标准，并针对离散信道进行深入研究。

第六章 信道编码，介绍信道编码定理，研究几种有代表性的信道编码。

第七章 网络信息安全与密码学，以古典密码学为入口，介绍经典加密/解密方法，数字签名技术及网络安全的概念和相关的分析方法。

第1章                     绪论
教学内容：

1、信息的基本概念

2、信息论的起源、发展及研究内容

3、编码理论概述

现在的科学发展日新月异：生命科学、计算机技术、通信技术等等，这其中也包括我们将要学习的信息论技术。信息论起源于通信技术，但是现在已经超越了通信技术的应用领域，成为许多新兴学科共同的理论基础。基本理论起源于上世纪40年代，信源熵的定义、量化、信源、信道编码理论等等。这使得现代通信既高效，又具有高度的保密性。同时在军事、经济、管理等方方面面得到应用。今天信息论已经不再是抽象、陌生的学科，而已经成为应用广泛，日益受到欢迎的一门基础理论课。许多高校的电子、网络学科都开设了信息论课程。

什么是信息论?

它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：

1)信源的描述，信息的定量度量、分析与计算。

2)信道的描述，信道传输的定量度量、分析与计算。

3)信源、信道与通信系统之间的统计匹配，以及通信系统的优化。

——Shannon的三个编码定理。

信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉

信息论这门课呢，要求比较深的数学理论作为基础，我们这门课作为面向工科学生，所以我们尽量减少复杂理论的推倒，着重介绍物理概念，但是作为一门高等院校学习的课程，所以还是需要数学和其他相关课程的知识，（初等数学呢，比如平面几何、排列组合等；高等数学：微分、积分、倒数/偏倒数、极值等等。工程数学上面呢，主要用到了概率论和数理统计：概率、条件概率、概率密度、全概率公式、方差、数学期望、高斯分布等。数字电路方面：二进制数和运算规律、移位寄存器方面的知识），这些是学好信息论的基础。最好先准备一下。

下面我们开始上课，首先介绍一下本节课要学习的内容：

本章先用通俗的语言指出信息如同物质、能量，均为宇宙的组成要素，其次讨论信息的分类方法，最后介绍通信系统的基本模型，并讨论信息论研究的目的和范畴。这章的内容呢是要大家先有一个感性的认识，为以后的理论分析打下基础。

1.1信息的概念
信息是宇宙中除物质和能量外的第三要素。

（我们都学过艾因斯坦的质能转换公式E=mc2，展示了宇宙间存在物质和能量，并且可以相互转换的关系，那么宇宙中除了物质和能量以外，有没有其他的东西呢，那么，研究表明：还有第三个要素，这第三个要素就是信息。物质、能量、信息这三者都极为重要，如果没有物质，那么宇宙就会变得虚无缥缈，如果没有能量，宇宙就会失去演化的动力，而如果没有信息的话，宇宙就会变得杂乱无章、不可理喻。可见信息的重要性决不亚于物质和能量。）  

研究表明我们的宇宙是一次大爆炸的产物，爆炸产生了物质、能量，与此同时也产生了信息。所以说信息存在的历史和物质、能量一样久远。也就是说有150亿年的历史。

但是人们对于信息的了解却比对物质和能量呢，晚了许多。就是到了现代发达的社会，信息还是没有一个完整、严格的定义。这反而激起了人类的好奇心，信息到底是什么？

实际上世界上信息的例子是非常多的，比如说（蜜蜂的舞蹈、树枝上果子的颜色、动物中的灵长目，比如（猴子、猩猩）都具有颜色分辨的能力，而狗就没有。听课、看电视、盲人—盲文。非生命—原始化石，硬盘—程序，分子---光谱特性，信息无处不在，看不见，摸不着）。

信息的特性：

1、  信息与物质、能量同属于宇宙

2、  信息源于宇宙世界、用于生命世界（光盘—生命的介入）

3、  信息具有伴随物质和能量的普遍性

4、  信息具有可度量性（信息论，结论，定量的概念，标准，科技的先手）

5、  信息具有可创造性（能量不能创造—文艺、影视、歌曲）

6、  信息具有无耗性（甲-乙）

7、  信息具有可传递性（信源-信苏）

8、  信息具有可存储性（硬盘）

9、  信息具有不增性（加工、压缩、放大—但是不会增大，最多不变或减少）

10、信息具有相对性（信息的价值对精神世界说的，所以具有相对性）

11、信息具有实效性（信息的价值随时间而改变—股票—明天涨，昨天涨）

12、信息具有催化性（化学-催化剂，资金、材料、生产率--社会财富，促进反映，本身不减少）

13、信息具有可加工性（信息可以压缩、抗干扰、加密，从而有效、坚强、保密，但是内涵未变，面饭---面包）

14、信息具有排序性（消除不确定，系统无序--有序，作家写文章，汉字---小说—思想）

15、信息具有理想性（运动—摩擦，匀速永远运动，即使信道存在噪声，信源也可以完成高速、准确的传输信息）

16、信息的体积无限小（分子-原子-电子）分割无穷-信息无穷

17、信息具有独立性（可以独立于物质和能量）

18、信息具有无限（无限的信息量可以寄于有限的物质）

科学家（乡农）：可选择的自由度---信息，1948，概率论，给出了度量方法和计算公式，1949创立了信息论。为那1950：（信息论与社会）。我国学者：信息就是事务运动的状态和方式（哲学化），语法信息（宪法），语义信息（具体含义—民法、刑法），语用信息（对观测者的作用效果—主关价值：法庭审判），全信息定义困难。

国际上下了100多种信息定义。学习信息论的魅力所在。

1.2信息的分类
通过对信息概念、特征和性质的讨论，使我们对信息有了定性的认识。但要全面、准确地掌握信息的概念，必须对信息有定量的认识。这就要求首先能够确切地描述信息，即对信息进行分类。

    信息分类有许多不同的准则和方法。

    按照信息的性质，可以分成语法信息、语义信息和语用信息。（层次）

    按照信息的地位，可以分成客观信息和主观信息。

    按照信息的作用，可以分成有用信息、无用信息和干扰信息。

    按照信息的逻辑意义，可以分成真实信息、虚假信息和不定信息。

    按照信息的传递方向，可以分成前馈信息和反馈信息。

    按照信息的生成领域，可以分成宇宙信息、自然信息、社会信息和思维信息。

    按照信息的应用部门，可以分成工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息和管理信息等。

    按照信息的来源，可以分成语声信息、图像信息、文字信息、数据信息、计算信息等。

    按照信息载体的性质，可以分成语声信息、图像信息、文字信息、电磁信息、光学信息和生物信息等。

按照携带信息的信号的性质，还可以分成连续信息、离散信息和半连续信息等。（时域性质）。

符号数（二元、多元）。

从应用、来源、载体等多角度来分析并分类，分类非常复杂。分析问题（利用信息论）

--宇宙150亿年历史，人类少的多。人们知道以前的宇宙是什么样子—一个点。天文观测：星系间距离在加大--类似于炸弹爆炸。反推—星系靠拢；收缩。宇宙的产生信息留在那里。

1.3信息论研究的目的和范畴
1、通信系统基本模型

手势—烽火—电话—网络，抽象通信系统如下：（邮政—电信）

模型组成：

 

 

 

 

信道
 
噪声

 
 
图 1.3.1  通信系统模型
 



信源：产生消息和消息序列的源，它可以是人、生物、机器或其他事物。（0、1）

编码器：对信号变换和处理。编码器可分信源编码器、信道编码器、保密编码器三种。

信道：信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介（电缆、波导、光纤、无线电波）。存储信号（延迟线）

噪声源：人为或天然的干扰和噪声。归纳为一个噪声源（加性噪声--随机性—概率统计）

译码器：反变换，恢复信源消息。编码器可分信源译码器、信道译码器、保密译码器三种。

信宿：消息传送的对象。（机器、人）（合法、非法）

通信的方式：单工、半双工（双向分时）、全双工、广播（一—多）、网络（多-多）

信息传输质量：消息传输的有效性、可靠性、保密性、认证性

1、有效性：信源编码（压缩冗余） 

2、可靠性：信道编码

3、保密性：保密编码 

4、认证性

所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。

而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。以后会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。    

所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

所谓认证性是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。

有效性、可靠性、保密性、认证性和经济性构成了现代通信系统对信息传输的全面要求，其中前四项正是本书要研究的主要内容。

2、信息论的研究范畴

广义  信息论
 
工  程信息论
 
基础  信息论
 
 

 

 

 

 

 

 

 

 



1)基础信息论

主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。

2)工程信息论

以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：

信源编、译码理论及其设计构造方法；

信道编、译码理论及其设计构造方法；

最佳调制与解调理论与实现；

最佳检测、估值与最佳接收理论与实现；

最佳信息处理理论、方法与算法；

……

3)广义信息论：

核心问题是拓广，有三重含义：

首先是在信息含义的拓广，以语言信息为例：

 

语法信息
 
语义信息
 
语用信息
 
乡农信息
 
 

 

 

 

 

 

 

 

 

 

 



其次是在描述方法上的拓广：

从定量到定性；

从客观到主观；

从概率到模糊；

从统计到单个实发。

最后是用途上的拓广：

从通信领域拓广至相邻自然科学领域；

从自然科学领域拓广至社会科学领域。