发布于

第十二章 随机过程及其统计描述

P 300 – 316 正文
P 317 – 318 习题

1. 随机过程的概念

随机过程的研究对象是随时间演变的随机现象, 对于这种现象, 不能用随机变量或者多维随机变量来合理的表达, 而需要用一族(无限多个)随机变量来描述.

随机过程
设 T 是一无限实数集, 将依赖于参数 t \in T的一族(无限多个)随机变量称为随机过程, 记为 \lbrace X(t), t \in T \rbrace.
每一个 t \in T, X(t)是一随机变量, T 叫做参数集.
常把 t 看做时间, 称 X(t) 为时刻 t 时过程的状态. 而 X(t_1)=x(实数)说成是 t=t_1时过程处于状态 x.
对于一切 t \in T, X(t) 所有可能取的一切值的全体称为随机过程的状态空间.

对随机过程XXX进行一次试验(即在T上进行一次全程观测), 其结果是t的函数, 称它为随机过程的一个样本函数或样本曲线.

伯努利过程 或 伯努利随机序列
抛掷一颗筛子, 设 X_n 是第 n 次(n\ge1)抛掷的点数, 对于 n = 1, 2,\cdots 的不同值, X_n 是不同的随机变量, 因而 \lbrace X_n, ,n \ge 1\rbrace构成一随机过程, 称为 伯努利过程 或 伯努利随机序列

2. 随机过程的统计描述

2.1 随机过程的分布函数族

一维分布函数
一维分布函数族

n维分布函数族
有限维分布函数族

2.2 随机过程的数字特征

均值函数

集平均 或 统计平均 (需和14章中的时间平均区分)

均方差函数 和 方差函数

标准差函数

自相关函数, 简称相关函数.

自相关函数和自协方差函数是刻画随机过程自身在两个不同时刻的状态之间统计依赖关机的数字特征.

发布于

第八章 假设检验

P 178 ~ 218 正文
P 218 ~ 223 习题

1. 假设检验

显著性水平

检验统计量
原假设/零假设

备择假设

拒绝域 临界点

显著性校验

双边备择假设 双边假设检验

处理参数的假设检验步骤如下:
1.
2.
3.
4.
5.

2. 正态总体均值的假设检验

2.1 单个总体$均值\niu$的检验

2.2 两个正态总体均差值的检验(t检验)

2.3 基于成对数据的检验(t检验)

3. 正态总体方差的假设检验

3.1 单个总体的情况

3.2 两个总体的情况

4. 置信区间和假设检验之间的关系

5. 样本容量的选取

6. 分布拟合检验

6.1 单个分布的 \Chi^2 拟合检验法

6.2 分布族的 \Chi^2拟合检验

6.3 偏度, 峰度 检验

7. 秩和检验

发布于

第七章 参数估计

P 149 ~ 172 正文
P 172 ~ 177 习题

1. 点估计

1.1 距估计

1.2 最大似然估计

最大似然估计的不变性
设 \theta 的函数 u=u(\theta), \theta 具有单值反函数 \theta = \theta(u). 又假设 \theta\hat是 X的概率分布中参数 \theta 的最大似然估计, 则CONT是CONT的最大似然估计, 这一性质称为最大似然估计的不变性.

对数似然方程或对数似然方程组除了一些简单的情况外, 往往没有有限函数形式的解, 这就需要用数值方法求近似值.
常用的算法是牛顿-拉弗森(Newton-Raphson)算法, 对对数似然方程组有时也用拟牛顿法.

2. 基于截尾样本的最大似然估计

假设将随机抽取的 n 个产品在时间 t=0 时同时投入试验, 试验进行到事先规定的截尾时间 t_0 停止.

定时截尾寿命试验
如试验截止时共有 m 个产品失效, 它们的失效时间分别为 CONT, 此时 m 是一个随机变量, 所得的样本 CONT 称为定时截尾样本.

定数截尾寿命试验

3. 估计量的评选标准

3.1 无偏性

3.2 有效性

3.3 相合性

4. 区间估计

置信区间
置信水平

5. 正态总体均值和方差的区间估计

5.1 单个总体 N(\miu,\sigma^2) 的情况

5.2 两个总体 N(\miu_1,\sigma_1^2),N(\miu_2,\sigma_2^2) 的情况

6. (0-1)分布参数的区间估计

7. 单侧置信区间

发布于

第六章 样本及抽样分布

P 128 ~ 147 正文
P 147 ~ 148 习题

1. 随机样本

总体 : 试验的全部可能的观察值称为总体.
个体 : 每一个可能观察值称为个体.
总体中所包含的个体的个数称为总体的容量.
容量为有限的称为有限总体, 容量为无限的称为无限总体.

总体中的每一个个体是随机试验的一个观察值, 因此它是某一随机变量X的值, 这样一个总体对应于一个随机变量X.
X的分布函数和数字特征称为总体的分布函数和数字特征.

通过总体中抽取的一部分个体, 根据获得的数据来对总体分布作出推断.
被抽出的部分个体叫做总体的一个样本.

从总体抽取一个个体, 就是对总体X进行一次观察并记录其结果. 在相同条件下对总体X进行n次重复的, 独立的观察, 将n次观察结果按次序记为X_1,X_2,cdots,X_n. 由于X_1,X_2,cdots,X_n是对随机变量X官产的结果, 且各次观察都是在相同的条件下独立进行的, 所以有理由认为X_1,X_2,cdots,X_n是相互独立的, 且都是与X具有相同分布的随机变量. 这样得到的X_1,X_2,cdots,X_n称为来自总体X的一个简单随机样本,n称为这个样本的容量.

当n次观察一经完成, 我们就得到一组实数x_1,x_2,cdots,x_n, 它们依次是随机变量X_1,X_2,cdots,X_n的观察值, 称为样本值.

Tips :
x_1,x_2,cdots,x_n 和x_1,x_2,cdots,x_n不一样. x_1,x_2,cdots,x_n是观察值,是具体的数值, 而x_1,x_2,cdots,x_n是独立同分布的随机变量.
随机样本指的是一系列独立同分布的随机变量, 样本值指的是经过n次观察, 这些变量经过观察得到的值.

定义:
设X是具有分布函数F的随机变量, 若 X_1,X_2,cdots,X_n 是具有同一分布函数F的, 相互独立的随机变量, 则称 X_1,X_2,cdots,X_n 为从分布函数F(或总体F, 或总体X)得到的容量为n的简单随机样本, 简称样本, 它们的观察值称为样本值, 又称为X的n个独立的观察值.

由定义得 :
若 X_1,X_2,cdots,X_n 为F的一个样本, 则 X_1,X_2,cdots,X_n 相互独立, 且它们的分布函数都是F, 所以 ( X_1,X_2,cdots,X_n ) 的分布函数为 F^*(x_1, x_2, cdots, x_n) = sum_{i=1}^{n}F(x_i)

若X具有概率密度f, 则 X_1,X_2,cdots,X_n 的概率密度为 f^*(x_1, x_2, cdots, x_n) = sum_{i=1}^{n}f(x_i)

2. 直方图和箱形图

略

3. 抽样分布

经验分布函数 : 设 X_1,X_2,cdots,X_n 是总体F的一个样本, 用S(x), -infi < x < infi 表示 X_1,X_2,cdots,X_n 中不大于x的随机变量的个数. 定义经验分布函数 F_n(x) 为: F_n(x) = 1n S(x), -infi < x < infi

3.1 chi^2 分布(卡方分布)

设 X_1,X_2,cdots,X_n 是来自总体N(0,1)的样本, 则称统计量 chi^2 = X_1^2 + X_2^2 + cdots + X_n^2 服从自由度为n的chi^2分布, 记为chi^2text{textasciitilde}chi^2(n).
此处, 自由度是指上述等式右端包含的独立变量的个数.

chi^2(n)分布的概率密度为 f(y) =

chi^2分布的可加性
设chi_1^2text{textasciitilde}chi^2(n_1),chi_2^2text{textasciitilde}chi^2(n_2), 并且chi_1^2,chi_2^2相互独立, 则有 chi_1^2 + chi_2^2 text{textasciitilde} chi^2(n_1 + n_2)

chi^2分布的分位点
对于给定的正数a, 0<a<1, 称满足条件 P lbrace chi^2 > chi_a^2(n) rbrace = int_{chi_a^2(n)}^infty f(y)dy = alpha的点 chi_alpha^2(n)为chi^2(n)分布的上alpha分位点.

3.2 t分布

设Xtext{textasciitilde}N(0,1),Ytext{textasciitilde}chi^2(n),且$$

3.3 F分布

3.4 正态总体的样本均值和样本方差的分布

定理一
定理二
定理三
定理四

发布于

第五章 大数定律及中心极限定理

P 119 ~ 126 正文
P 126 ~ 127 习题

大数定律 是叙述随机变量序列的前一些项的算数平均值在某种条件下收敛到这些项的均值的算数平均值.
中心极限定理 是确定在什么条件下, 大量随机变量之和的分布逼近于正态分布.

1. 大数定律

弱大数定理 (辛钦大数定理)

英文名称 : Wiener-khinchin law of large Numbers

定义

设 X_1, X_2, \cdots 是相互独立, 服从同一分布的随机变量序列, 且具有数学期望 E(X_k) = \mu (k=1,2,\cdots) , 作前 n 个变量的算数平均 \displaystyle \frac{1}{n}\sum_{k=1}^{n}X_k, 则对于任意 \epsilon >0 , 有 \displaystyle\lim_{n \rightarrow \infty}P \lbrace \vert \frac{1}{n}\sum_{k=1}^{n}X_k – \mu \vert < \epsilon \rbrace = 1.

辛钦大数定理的通俗理解是, 对于独立同分布且具有均值 \mu 的随机变量 X_1,\cdots,X_n, 当 n 很大时它们的算数平均很可能接近于 \mu.

辛钦大数定理的另一种解释是基于依概率收敛于某一值的概念.

序列依概率收敛
设 Y_1,Y_2,\cdots, Y_n,\cdots 是一个随机变量序列, a 是一个常数. 若对于任意正数 \epsilon, 有 \displaystyle\lim_{n \rightarrow \infty}P \lbrace \vert Y_n – a \vert < \epsilon \rbrace = 1 , 则称序列 Y_1,Y_2,\cdots,Y_n,\cdots 依概率收敛于 a, 记为 Y_n \xrightarrow{P} a

依概率收敛的序列有以下性质.
设 X_n \xrightarrow{P} a, Y_n \xrightarrow{P} b, 又设函数 g(x,y) 在点 (a,b)连续, 则 g(X_n,Y_n) \xrightarrow{P} g(a,b)

用依概率收敛的方式转述弱大数定理
设 X_1, X_2, \cdots 是相互独立, 服从同一分布的随机变量序列, 且具有数学期望 E(X_k) = \mu (k=1,2,\cdots), 则序列 \displaystyle\overline{X} = \frac{1}{n}\sum_{k=1}^{n}X_k 依概率收敛于 \mu, 即 \overline{X} \xrightarrow{P} \mu.

伯努利大数定理

定义

设 f_A 是 n 次独立重复试验中事件 A 发生的次数, p 是事件 A 在每次试验中发生的概率, 则对于任意正数 \epsilon>0, 有 \lim_{n \rightarrow \infty} P\lbrace \vert \frac{f_A}{n} – p \vert < \epsilon \rbrace = 1 或 \lim_{n \rightarrow \infty} P\lbrace \vert \frac{f_A}{n} – p \vert \ge \epsilon \rbrace = 0

2. 中心极限定理

独立同分布的中心极限定理

设随机变量 X_1, X_2, \cdots, X_n, \cdots 相互独立, 服从同一分布, 且具有数学期望和方差 E(X_k) = \mu, D(X_k) = \sigma^2>0(k=1,2,\cdots), 则随机变量之和\displaystyle\sum_{k=1}^{n}X_k的标准化变量 Y_n = \frac{\displaystyle\sum_{k=1}^{n}X_k – E(\displaystyle\sum_{k=1}^{n}X_k)}{\sqrt{D(\displaystyle\sum_{k=1}^{n}X_k)}} 的分布函数 F_n{x} 对于任意x满足xxx.

均值为 \mu, 方差为 \sigma^2 >0的独立同分布的随机变量 X_1, X_2, \cdots, X_n, \cdots 的算数平均 XXX, 当 n 充分大时近似地服从均值为 \mu, 方差为 XXX 的正态分布.

李雅普诺夫定理

英文名称 : Lyapunov
设随机变量 X 相互独立, 它们具有数学期望和方差.
记.
若存在证书, 使得,
则随机变量纸盒的标准化变量的分布函数对于任意x, 满足.

李雅普诺夫定理的作用在于 无论各个随机变量X服从什么分布, 只要满足该定理的条件, 那么它们的和在当n很大时, 就近似的服从正态分布. 这就是为什么正态随机变量在概率论中占有重要地位的一个基本原因.

棣莫夫 – 拉普拉斯定理

英文名称 : De Moivre-Laplace
该定理是独立同分布中心极限定理的特殊情况.
设随机变量 服从参数为n,p的二项分布, 则对于任意x, 有 xxx