【概述】

计算学习理论（Computational Learning Theory）是研究关于通过计算来进行学习的理论，即机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计

计算学习理论中最基本的就是概率近似正确（Probably Approximately Correct，PAC）学习理论，其给出了一个抽象地刻画机器学习能力的框架，基于这个框架能够对很多重要问题进行理论探讨，例如研究某任务在什么样的条件下可习得较好的模型、某算法在什么样的条件下可进行有效的学习、需要多少训练样本才能得到较好的模型等

【概述】

条件随机场（Conditional Random Field）是给定随机变量 $X$ 的条件下，随机变量 $Y$ 的马尔可夫随机场

这里仅介绍定义在线性链上的特殊的条件随机场，即线性随机场（Linear Chain Conditional Random Field），其在机器学习中常用于标注问题

【TCP/IP 模型】

ARPA 在研究 ARPAnet 时提出了 TCP/IP 模型，其由于得到广泛应用而成为事实上的国际标准

TCP/IP 模型从低到高依次为：网络接口层、网际层、传输层、应用层

【概述】

国际标准化组织 ISO 提出的网络体系结构模型称为开放系统互连参考模型（OSI/RM），通常简称为 OSI 参考模型，其有七层，从下到上依次为物理层、数据链路层、网络层、传输层、会话层、表示层、应用层

对于前三层来说，统称为通信子网，其是为了联网而附加的通信设备，用于完成数据的传输功能；对于高三层来说，统称为资源子网，其相当于计算机系统，完成数据的处理功能；传输层承上启下，将通信子网与资源子网连接起来

【概述】

对于隐马尔可夫模型的预测问题，即：已知模型 $\lambda=(A,B,\pi)$ 和观测序列 $O=(o_1,o_2,\cdots,o_T)$，求对给定观测序列条件概率 $P(I|O)$ 最大的状态序列 $I=(i_1,i_2,\cdots,i_T)$

有两种预测算法：

【概述】

对于隐马尔可夫模型的学习问题，即：已知观测序列 $O=(o_1,o_2,\cdots,o_T)$，估计模型 $\lambda(A,B,\pi)$ 的参数，使得在该模型下观测序列概率 $P(O|\lambda)$ 最大，该问题本质上是无监督学习中的概率估计问题

根据训练数据包括观测序列和对应的状态序列，还是只有观测序列，可以分别由极大似然估计和 EM 算法来实现

【概述】

对于隐马尔可夫模型的概率计算问题，即：给定隐马尔可夫模型 $\lambda=(A,B,\pi)$ 和观测序列 $O=(o_1,o_2,\cdots,o_T)$，计算在模型 $\lambda$ 下观测序列 $O$ 出现的概率 $P(O|\lambda)$

有以下两种概率计算方法：

【概述】

隐马尔可夫模型（Hidden Markov Model，HMM）是由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由每个状态生成一个观测，由此产生观测的随机序列的过程

其中，随机生成的不可观测的状态随机序列被称为状态序列（State Sequence），每个状态生成一个观测，由此产生观测的随机序列被称为观测序列（Observation Sequence）

【计算机网络的层次结构】

体系结构

计算机网络各层及其协议的集合称为计算机网络的体系结构（Architecture），其是计算机网络中层次、各层协议、各层接口的集合，是网络及其所完成功能的精确定义

【速率】

速率（Speed），又称数据率或者比特率，是指连接到计算机网络上的主机在数字信道上传送数据的速率

其单位为比特/秒（b/s，bps）