简介

本博客模板包含了数学公式的解析和显示功能。数学公式的解析由 remark-math 和 rehype-katex 实现。 KaTeX 及其相关字体已包含在 _document.js 中，因此可以在任何页面上自由使用。 ¹

行内数学符号可以通过将术语用 $ 符号包围来包含。

数学代码块用 $$ 表示。

如果你想使用 $ 符号而不是数学公式，可以对其进行转义 (\$)，或指定 HTML 实体 (&dollar;) ²

行内或手动编号的脚注也受支持。点击上方的链接查看实际效果。

推导 OLS 估计量

使用矩阵符号，令 $n$ 表示观测值的数量， $k$ 表示回归变量的数量。

结果变量向量 $\mathbf{Y}$ 是一个 $n \times 1$ 矩阵，

\mathbf{Y} = \left[\begin{array}
  {c}
  y_1 \\
  . \\
  . \\
  . \\
  y_n
\end{array}\right]

\mathbf{Y} = \left[\begin{array} {c} y_1 \\ . \\ . \\ . \\ y_n \end{array}\right]

回归变量矩阵 $\mathbf{X}$ 是一个 $n \times k$ 矩阵（或者每一行是一个 $k \times 1$ 向量），

\mathbf{X} = \left[\begin{array}
  {ccccc}
  x_{11} & . & . & . & x_{1k} \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  x_{n1} & . & . & . & x_{nn}
\end{array}\right] =
\left[\begin{array}
  {c}
  \mathbf{x}'_1 \\
  . \\
  . \\
  . \\
  \mathbf{x}'_n
\end{array}\right]

\mathbf{X} = \left[\begin{array} {ccccc} x_{11} & . & . & . & x_{1k} \\ . & . & . & . & . \\ . & . & . & . & . \\ . & . & . & . & . \\ x_{n1} & . & . & . & x_{nn} \end{array}\right] = \left[\begin{array} {c} \mathbf{x}'_1 \\ . \\ . \\ . \\ \mathbf{x}'_n \end{array}\right]

误差项向量 $\mathbf{U}$ 也是一个 $n \times 1$ 矩阵。

有时使用向量符号可能更方便。为保持一致性，我将使用粗体小写 x 表示向量，大写字母表示矩阵。单个观测值用下标表示。

最小二乘法

起始：
$y_i = \mathbf{x}'_i \beta + u_i$

假设：

线性（如上所述）
$E(\mathbf{U}|\mathbf{X}) = 0$ （条件独立）
rank( $\mathbf{X}$ ) = $k$ （无多重共线性，即满秩）
$Var(\mathbf{U}|\mathbf{X}) = \sigma^2 I_n$ （同方差性）

目标：
找到使误差平方和最小的 $\beta$ ：

Q = \sum_{i=1}^{n}{u_i^2} = \sum_{i=1}^{n}{(y_i - \mathbf{x}'_i\beta)^2} = (Y-X\beta)'(Y-X\beta)

求解：
提示： $Q$ 是一个 $1 \times 1$ 标量，根据对称性 $\frac{\partial b'Ab}{\partial b} = 2Ab$ 。

对 $\beta$ 求矩阵导数：

\begin{aligned}
  \min Q           & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} +
  \beta'\mathbf{X}'\mathbf{X}\beta \\
                   & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\
  \text{[FOC]}~~~0 & =  - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta}                  \\
  \hat{\beta}      & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}                              \\
                   & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i
\end{aligned}

\begin{aligned} \min Q & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\ \text{[FOC]}~~~0 & = - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta} \\ \hat{\beta} & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y} \\ & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i \end{aligned}

Footnotes

有关支持的 TeX 函数的完整列表，请查看 KaTeX 文档 ↩
$10 和 $20。 ↩