【论文阅读笔记】A Mathematical Theory of Communication
本篇博客针对这篇论文，做翻译笔记，以及相关概念学习笔记
找到有关的阅读笔记&资料也放在这里做备用参考
Introduction
近来关于调制（modulation）方法的多样化发展，如PCM和PPM（将带宽转化为信噪比），使得人们对通信理论有了更大的兴趣。这个理论基础被包含在Nyquist和Hartley在这项主题的重要paper中。在本论文中，我们将其理论扩展为一系列新的因素，特别是噪声在信道中的影响、以及可能由原始消息的统计结构和最终目的地的性质所导致的节省物(savings)（？暂时不知道省了啥）
PPM： Pulse Position Modulation，脉冲位置调制：如果调制信号只使载波脉冲系列中每一个脉冲产生的时间发生改变，而不改变其形状和幅度，且每一个脉冲产生时间的变化量比例于调制信号电压的幅度，与调制信号的频率无关，这种调制称为脉冲位置调制，简称脉位调制。
相当于对脉冲的波形
y=a*sin(bx)来说，取任意区间，而a、b不变PCM： Pulse Code Modulation，脉冲编码调制 ：脉冲编码调制是把模拟信号变换为数字信号的一种调制方式，其最大的特点是把连续输入的模拟信号变换为在时域和振幅上都离散的量，然后将其转化为代码形式传输，一种将模拟信号经过抽样、量化和编码变换成数字信号的编码方式
抽样是将时间上连续的模拟信号变为时间上离散的抽样信号的过程；量化是把抽样信号变为幅度离散的数字信号；编码则是将量化后的数字信号(多进制)表示为二进制码组输出的过程。从调制的角度来看，PCM编码过程可以认为是一种特殊的调制方式，即用模拟信号去改变脉冲载波序列的有无，所以PCM称为脉冲编码调制。
PCM、PPM、PWM三个都属于脉冲调制技术，应用领域不同。PCM:脉冲编码调制，以约定好的二进制码流传递信息，可以时分复用； PPM：脉冲位置调制，以不同时刻出现的脉冲位置传递信息，可以时分复用；PWM：脉冲宽度调制，以脉冲占空比传递信息，不可以时分复用；PWM以及其变种SPWM广泛用于电机调频调速控制。PPM和PCM都用于遥控设备无线传输上，PCM属于数字调制，需要利用高速AD和DA；PPM利用积分器和滤波器，属于模拟调制
通讯的基本问题是在一端准确或近似重现从另一端选择的消息。通常消息都会有语义，（应该指语义）即与一些物理实体系统或概念实体系统相关联的东西。通信的语义层面与具体的工程问题是无关。通信重要层面是实际信息是一种从一个可能的集合里选择所得到的信息。这个系统必须是被设计为对每个可能的选择进行操作，而不仅仅是处理实际选择的系统，因为信息在设计时是未知的。
这里提及到了信息论中信息的概念：
信息：指各个事物运动的状态及状态变化的方式，是抽象的意识或知识。
而信息的基本概念在于他的不确定性，任何已确定的事物都不含有信息。信息是能使认识主题对某一事物的未执行或不确定性减少的有用知识。
因而在该段中，通信系统需要为信息的每个可能进行操作的设计，
假如在消息集合中的元素个数是有限的，那么当一个消息从集合中被选中时（所有的选择是等可能的），这个元素的数目或者其对应的单调函数可以被看作一种信息生成的量度。正如Hartley所指出，对数函数是最自然（合适）的选择。尽管当我们考虑消息的统计学影响时以及当我们有一系列连续范围的消息时，这个定义需要得到相当广泛的推广，我们将在所有情况下使用对数函数进行本质上的度量
涉及到了信息熵的概念
这里利用如何去测量信息的多少去侧面定义信息
上述使用对数函数更方便的原因如下
1.对数函数实际上非常好用。关于工程的重要参数（例如时间、带宽、时延等等）在取对数的情况下趋向于不同的线性关系。举个例子，在一个组中添加一个中继可以使中继的可能状态数加倍，然而在取以2为底的对数的情况下只加了1。将时间加倍有可能使消息数量成平方的增长，但在取对数的情况下仅仅是乘以2倍，等等。
2.合适的方法能够使数据让我们有更加直观的感受。我们通过与普通标准的线性比较直观地测量实体（这与Nyquist的一篇论文密切相关）。例如我们认为，两副扑克的信息存储容量是一副扑克的两倍，两个相同的信道传输的信息的容量应该是一个信道容量的两倍。
3.这在数学上更加合适。许多限制性的操作在取对数后很简单，但可能在数量级上令人难以想象
讲述了为什么在通信领域采用对数函数进行衡量
对数函数底数的选择应该和测量信息的单位的选择相符合。二进制数字，或者更简单地称之为bit，会使用底数为2的对数函数。一个具有两个稳定位置的设备，如继电器或触发器电路，可以存储一位信息。N个这样的设备能存储N bit信息（所有可能的状态为2^N，然后取对数的N = Log2(2^N) ）。十进制的数字可能会使用以10为底的对数函数。正如 Log2(M) = Log10(M) / Log10(2) = 3.32Log10(M) ，一个十进制数字大约为10/3 bits。台式机上的数字轮有10个位置，因此有一个可以存储一个数字容量。在涉及积分和微分的分析工作中，底数e是非常有用的，由此产生的信息单位称之为自然单位(natural units)。把底数为a的对数转换成底数为b的对数只需要将其乘以logb(a)。
大概是在讲对数底数不同和信息度量单位的关系，讲述了不同底的对数的不同展现
如上图（Fig.1 ），我们展示了一个通信系统的模型图。这包括5个重要的部分：
-
一个给接收终端产生用于通信消息的信息源。消息可能有多种表现：
(a)类似用电报传输的一串字母；
(b)一个关于时间的函数，例如在无线电或电话中；
(c)一个关于时间和其他变量一起的函数，例如黑白电视——信息可以看作是一个时间和坐标点复合的函数f(x,y,t)，函数值表示(x,y)点在时间t的光强；
(d)两个或以上的关于时间的函数，如f(t)、g(t)、h(t)在三维声音传输系统的情况，或者是在系统打算在多路复用中使用多个信道；
(e)多个复合函数，如彩色电视中的变量信息由三个部分组成，在三维连续体中定义的函数r(x,y,t)、g(x,y,t)、b(x,y,t)，我们也可以把这三个函数看作是在该区域定义的向量场的组成部分，类似地，几个黑白电视信号源将产生由若干个三元函数组成的信息；
(f)以上多种情况的组合，比如有声音的彩色电视。
-
一个负责将消息转变为能够在信道上传输的合适的信号的发射器。
在电话技术中，发射器将声压转化为相应的电流。在电报中，我们有一种编码操作，使信息在信道上变为一系列的点、破折号和空格（莫尔斯电码）。在多路PCM系统中，不同的语音信号要经过采样、压缩、量化编码，然后才能正确的交错之后，产生信号。
-
信道仅仅是用来传输从发射器到接收器的信号的介质。信道可能是一根电线，同轴电缆，无线电频率、光束等。
-
接收器用来做和发送器相反的操作，即从信号中重建信息。
-
信宿是消息要发送的人或系统。
我们希望考虑在通信系统中一些一般性的问题。解决这一问题的首要需求是将其所涉及的各个元素表示为数学实体，即把物理上的各个部分理想化。我们可以粗略地将通信系统分为三个主要部分：离散的、连续的以及混合的。我们所说的离散系统指信息和信号都是离散符号序列的系统，典型的例子就是电报——信息是一系列字母，而信号是一串的点杠以及空格。一个连续系统指的是信息和信号都是可以表示为连续函数的系统，比如电视。一个混合系统指的是离散和连续变量都有的系统，比如语音的PCM传输。
我们首先考虑的是离散型的系统。这种情况不仅在通信系统理论，而且还在计算机系统理论，电话交换和其他领域所应用。此外，离散型系统为连续型和混合型情况奠定了基础，这将在论文的后半部分得以展现。
讲了通信系统的大概模型，虽然在《信息论与编码》一书中给出了更加详细的模型，不过大体上是相似的，然后简要的介绍了通信系统模型中各部分的作用。
然后将通信系统分为三类，并在论文正文中应该会详细的进行介绍。
Part Ⅰ Discrete Noiseless System
电传打字机（Teletype）和电报（Telegraphy）是传输离散信息信道的最简单的两个例子。总的来说，一个离散信道是一种可以将一个序列的符号（从有限集合里选择的确定符号S1，S2，...，Sn）从一端传至另外一端的系统。每个符号Si在一个确定时间ti （每个Si的ti不一定相同）内是确定的。这里不要求所有符号序列都能在系统中传输，可以仅仅允许某些确定的符号序列传输，这些就是在信道中可能的信号。因此在电报中，符号是点(.)和杠(-)，点包括一个单位时间的闭合和一个单位时间的开放，杠包括三个时间的闭合和一个时间的开放，一个字母空间包括三个单位时间的开放，一个单词包括6个单位时间的开放。（这边按个人理解来说，用1表示闭合，0表示开放，则点为10，杠为1110，字母间隔为000，单词间隔为000000，单位时间的开放应该是等价于间隔符）其次，我们可能会对允许的符号序列进行一定的限制，为了在两个符号之间没有空间（假如两个符号相邻，就会被认为是一个单词）。那么现在问题来了，我们该如何衡量这样的信道容量呢？
这里主要讲了离散信道的定义（当然是考虑无噪声的情况下），并且拿电报传输信道中的内容拿来举例（应该就是摩斯电码），然后抛出疑问，怎么去衡量信道容量
在电传打字机的例子下，所有的信号的持续时间相同，并且允许32个符号中的任意序列，那么信道容量是十分容易计算的。每个符号有着5bit的信息，当系统每秒传输n个符号时，显而易见的，信道容量是 5n bit/s 。但是这并不代表着电传打字机的信道会一直以这个速率传输信息——5n bit/s 是信道最大可能的传输速率，实际速率能否达到这个最大值取决于为信道提供信息的来源（信源），这会在接下来的文章中讲到。