概率与数理统计 记要

Posion

1.  自然界的客观现象，即在一定的条件下所产生的结果，分为两类：确定性的和不确定性的。

        确定性结果还可以分为必然性结果和不可能性结果。

        不确定性结果包括三类：

            随机性结果（所有可能的结果已知、但每次试验的具体结果未知）、

            模糊性结果（它的具体属性不确定）、

            粗糙性结果（含灰性结果和未确知性结果，它们都属于：部分已知、部分未知）。

2.   随机性是指具有“非此即彼”性的事件，它用“概率”这个实数来度量；模糊性是指具有“亦此亦彼”性的事件，它用“隶属度”来度量。

3.  模糊性和粗糙性：皆与事物本身无关，它是由于人们不能完全把握事物的真实状态和数量关系，造成纯主观上的认识的不确定性，也就是说，它是主观的，不是客观的。

4.   解决有确定性结果的定量分析工具是经典数学理论（如：算术、代数、几何、函数、微积分、微分方程…等），而解决不确定性结果的定量分析工具是非典数学（如：集合论、概率论、统计学、信息论、模糊数学、灰色系统理论、未确知数学…）。

5.  “集合论”是现代数学的基础。按集合元素的性质可将其分为三类：经典集（随机集）；模糊集；粗糙集。

6.   从整体上来说，经典数学理论解决的是影响客观规律的主要因素，而概率与统计学…等数学工具所解决的是影响客观规律的次要因素。概率与数理统计的延伸就是信息学。

7.  任何一个集合，它所包含的元素都是确定的——即对任何一个元素来说，它或者属于这个给定的集合，或者不属于，两者只能择其一，绝没有第三种可能。

8.  表示集合的方法有两种：穷举法和描述法。穷举法即列出集合中的所有元素；描述法即用集合元素所特有的公共属性来确定这个集合，具有这个属性的元素属于这个集合，不具有这个属性的元素不属于这个集合，其表示方法为：在大括号内先写上这个集合的元素的一般形式，再划一条竖线，在竖线的右边再写上这个集合元素的公共属性。

--- -------------------------------------------------------------------------------------------------------------

10.  随机现象：结果具有不确定性，但在大量的重复试验中，其结果又具有统计规律性的现象。

18.  两种特殊的事件：

①    必然事件Ω——每次试验必然发生的事件。其概率=1，如：样本空间；

②    不可能事件Φ——每次试验一定不发生的事件。它是样本空间的一个空子集。

19.  任何两个及两个以上的事件之间的关系（集合关系，可用文氏图来描述）只有两种关系：相容（即它们的交集不为空集）、互不相容（也叫互斥事件，即它们的交集为空集）。

20.  互不相容事件（互斥事件）即没有交集的两个事件，指两个事件不能同时发生的事件，非此即彼事件，A∩B=Φ。对立事件（逆事件、否定事件）是一个特殊的互不相容事件，即两个事件不能同时发生、又不能同时不发生，A∩B=Φ且A∪B=Ω（一个事件本身的对立事件是通过在原事件的上方加一横来标记）。

21.  相容事件即有交集的两个事件，这种相交关系只能有两种情况：

①    完全相交：A中的样本点一定属于B，即B完全包含了A。记为：A∈B

（特别地：Φ∈X∈Ω，X为任何事件）。

②    部分相交：事件的积—事件A与事件B同时发生的事件，记为：A∩B＝AB

         （当A与B为互不相容事件时，A∩B=Φ）

22.  相互独立事件，是从概率方面来描述两两事件之间的关系：若P(AB)=P(A)×P(B)成立，则乘它们为相互独立事件。即一个事件的发生对另一个事件发生的概率没有影响。这是根据条件概率的定义：P(AB)=P(A|B)×P(B)= P(A)×P(B|A) 衍生而来。

   -----------------------------------------------------------------------------------------------------------------

26.  随机事件的概率（Probability）——某个事件可能发生的程度。不可能事件(如：空集)的概率为0（但概率为零的事件不一定是不可能事件），必然事件(如：样本空间)的概率为1（但概率为1的事件不一定是必然事件）。

29.  根据随机事件发生条件的不同，随机事件的概率可分为：古典概率（等可能概率）、几何概率、条件概率、全概率、先验概率、后验概率、伯努利概率…。

30.  概率的计算一般是从多个已知的单一事件(简单事件)的概率来计算出某个未知的组合事件(复杂事件)的概率。

32.  随机变量X的分布函数是指：随机变量之概率的分布函数，而不是指随机变量本身的分布规律。而且，对连续型随机变量而言，它也不是指随机变量X取某个值时的概率，而是指随机变量X的取值落在某个区间里的概率。

34.  随机变量“根据可能取值的情况”分为两类：离散性随机变量、连续型随机变量。

35.  离散性随机变量X的分布律是以P(X=xk)＝pk ，k=0,1,2,3,…或它的表格形式来描述的；而连续型随机变量X的分布律是以它的概率密度函数来描述，但这个密度函数不是唯一的。

41.  随机变量的分布函数使用“概率”这个“数”完整地描述了随机变量的统计规律。但有一些随机变量的概率分布是很难确定的，也有一些随机变量不需要全面地考察它的分布函数，只需要知道它在数值上的某些“特征”——此时，我们可以用随机变量的“数字特征”来描述它的统计规律。

42.  随机变量的数字特征（与随机变量的概率值有关），常用的只有两类：数学期望（Expect，即随机变量X所有取值的平均值或均值）；方差（Deviation，用于描述随机变量与其平均值的偏离程度，它是描述随机变量X取值的分散程度的一个量。均方差即标准差，它等于方差的平方根值。其它的如：协方差、相关系数、矩…都是用于描述多维随机变量且与方差相类似的数字特征。方差实际上也是一个平均数）。

43.  概率论中的两类极限定理：大数定律——从理论上证明了：只有在相同的条件下进行大量地重复试验时，随机事件发生的频率将具有一个稳定的值——概率值。中心极限定理——从理论上证明了：在客观世界中所遇到的许多随机变量往往是服从正态分布的或是近似地服从正态分布的

-----------------------------------------------------------------------------------------------------------------

44.  数理统计是应用概率论作为工具，研究如何有效地对“带有随机性影响的数据”进行收集、整理、分析、推断的学科。它目前已发展成两类：

①    描述统计学——研究对随机现象进行观测、试验的方法，以取得有代表性的

观测值。它即是所谓的“抽样方法学”。

②    推断统计学——研究对已取得的观测值进行整理、分析，并作出推断、决策，

即从样本的统计量以推断出“总体”的规律性。

45.  数理统计的基本概念：总体（母体）——研究对象的全体；个体——组成总体的每个元素；总体分布——实际中，我们所关心的不是每一个个体的种种的具体的特征，而是其中的某项或某几项的数量指标（一个数量指标用一个大写字母来表示）。这里的某项指标的全部可能取值的集合即所谓的“总体分布”，它完全描述了我们所关心的某个具体的数量指标；样本观察值——观察试验所得的每个观察值。一般进行的是分组观察（每组成员的个数即容量n），因此，一般的说法是“容量为n的样本观察值”；组的成员即个体（这里的“个体”与最前面所说的“个体”在概念上有所不同，它是某个数量指标的个体，即样本点）。

46.  凡样本必有容量，容量即每个样本内的样本观测值的个数（=样本容量=样本的维数），一组样本观测值是从总体中抽出的若干个个体，一般记为：(X1，X2，…，Xn)。一个样本即一个n维随机向量。它的每一组的取值即成为一个样本点（多维空间的点）。样本点的全体即为样本空间。总体与样本是数理统计中的两个基本概念。

47.  随机抽样观察：每次从总体中抽出若干个个体进行观察或实验的方法。其目的是为了对总体的分布进行各种推断，因此，抽取的样本直接或间接地关系到对总体分布的正确推断。

48.  样本是在数理统计中进行分析和推断的出发点。组成简单随机样本的条件为：

①    每个样本必须具有代表性，即样本的每个分量与样本的总体具有相同的分布；

②    每个样本必须具有独立性，即样本（n维随机向量）之间是相互独立的。

49.  实际上，我们不能直接利用样本来进行推断总体的统计规律。因此，需要对样本进行一番“加工”和“提炼”，以便将分散于样本中的信息集中起来。这种由样本经过“加工”和“提炼”后得到的数据即为统计量——对总体而言，它也是一个随机变量。如：

①    样本矩[url=]——包括两类： [/url]r阶样本原点矩（当r=1时为样本均值）、

   r阶样本中心矩（当r=2时为样本方差S2）；

②    顺序统计量——将样本的样本观察值按从小到大重新构成的一个新样本；

③    样本极差——样本中的最大值减去最小值。

50.  “统计量”是用来描述单个样本的（如：样本均值、样本方差…等），而“数字特征”是用来描述总体的（如：数学期望或方差…等）。

51.  数理统计是从一个或多个已知样本的统计量所构成的一维随机变量去推算出总体的概率分布规律或数字特征。它的特点是从样本到总体。

52.  统计模型按总体X的分布函数是否已知，简单地分为两类：参数模型、非参数模型。

53.  样本之统计量的分布叫抽样分布。常用的抽样分布有三种：χ2分布、t分布、F分布。

*************************************************************************************

     概率论及相关领域的经典著作:

R. B. Ash, Real analysis and probability.

P. Billingsley, Convergence of Probability Measures.

K. L. Chung, A Course in Probability Theory.  

K. L. Chung, Introduction to Stochastic Integration.

Chung Kailai(钟开来), Elementary Probability Theory

R. Durrett, Probability: Theory and Examples.

M. Ledoux and M. Talagrand, Probability in Banach spaces: isoperimetry and processes.

转自：http://blog.sina.com.cn/s/blog_548f1a050100mzkg.html