1A 第4章

4. データの分析

Point 1A 4.0.1 中央値・最頻値
・データの値を小さい方から順に並べたとき、中央の位置にくる値を中央値(メジアン)という。
・データの大きさが偶数のとき中央に2つの値が並ぶが、その場合は2つの値の平均値を中央値とする。
・データにおいて最も登場回数の多い値を最頻値(モード)という。
Point 1A 4.0.2 四分位範囲・箱ひげ図
  1. データにおける範囲とは、データの最大値と最小値の差のこと。
  2. 四分位数とは、データを小さい方から順に並べたとき、4等分する位置にくる値のことをいい、小さい方から第1四分位数, 第2四分位数, 第3四分位数という。 これらを順に\(Q_{1}, Q_{2}, Q_{3}\)とすると、
    (a) \(Q_{1}=下位のデータの\)\(中央値\)
    (b) \(Q_{2}=\)\(中央値\)
    (c) \(Q_{3}=上位のデータの\)\(中央値\)
    (d) \(四分位範囲=\)\(Q_{3}-Q_{1}\)
    (e) \(四分位偏差=\)\(\dfrac{Q_{3}-Q_{1}}{2}\)
    ※正確にはデータの大きさを4で割ったときの余りによって\(Q_{1}, Q_{2}, Q_{3}\)がキリよく存在するか、2つの値の平均値となるか4通り考えられるが、右図と同様なので割愛
    データの大きさの偶奇による違い
    四分位数


  3. 5 数要約 (最小値, 第 1 四分位数, 中央値, 第 3 四分位数, 最大値) +平均値
    6つの要素をまとめた箱ひげ図を用いることもある。(平均値は表記が無いことも)
    ※\(「+」\)が平均値を表すのか第2四分位数(中央値)を表すのかとても忘れやすいので注意。平均値だけ後付け,四分位数は全て縦棒というイメージを持っておこう。
    箱ひげ図
Point 1A 4.0.3 外れ値の判定
外れ値の判定の中でも,四分位範囲を用いた判定法は下の通りである。

下限:\(Q_{1}-1.5\times (Q_{3}-Q_{1})\) 上限:\(Q_{3}+1.5\times (Q_{3}-Q_{1})\)

「四角のボックスの1.5倍分くらいは,ボックスから離れても許容しよう」という意味だと認識するとわかりやすい。
Point 1A 4.0.4 分散と標準偏差
変量\(x\)についての\(n\)個のデータ\(x_1, x_2, \cdots \cdots, x_n\)において\(\overline{x}\)を平均値とすると,
  1. 偏差 \(\cdots \cdots\) ★【重要】各データの平均値との差。\(x_{k}\)の平均値からの偏差は\(x_{k}-\overline{x}\)
  2. 分散 \(s^2\)\(\cdots \cdots\) ★【重要】偏差2乗平均値, すなわち,

    \[①\ s^2=\class{mathkuu}{\underline{\dfrac{1}{n}\{ \left(x_1-\overline{x}\right)^2+\left(x_2-\overline{x}\right)^2+\cdots \cdots+\left(x_n-\overline{x}\right)^2\} }} \quad \text{または} \quad ②\ s^2=\class{mathkuu}{\underline{\overline{x^2}-{\overline{x}}^2}}\]

    \(\left( (分散)=(\class{mathkuu}{\underline{2乗の平均}})-(\class{mathkuu}{\underline{平均の2乗}})\right)\) (※データの散らばりをみるため各データの偏差を足し合わせたいが、そのまま足すと正負で打ち消し合い0になるので絶対値的な役割で2乗していると考えよう。また,個数で割らないと,データ数が多ければ分散が大きいということになってしまう。)
  3. 標準偏差 \(\cdots \cdots\) \(\sqrt{\class{mathkuu}{\underline{分散}}}\)のことであり, \(s\)と表す。

    \[s=\class{mathkuu}{\underline{\sqrt{\dfrac{1}{n}\{ \left(x_1-\overline{x}\right)^2+\left(x_2-\overline{x}\right)^2+\cdots \cdots+\left(x_n-\overline{x}\right)^2\} }}}\] (身近なところで言うと, 偏差値が10上がるために必要な自分の得点)

    \(\left(\because 偏差値=\dfrac{偏差}{標準偏差}\times 10 + 50 (偏差は、自分の得点-平均値)\right)\)
Point 1A 4.0.5 共分散と相関係数
2つの変量 \(x, y\) について,
  1. 共分散 \(\cdots\) \(x, y\)それぞれの偏差平均値

    \[ s_{x y}=\class{mathkuu}{\underline{\dfrac{1}{n}\left\{\left(x_1-\overline{x}\right)\left(y_1-\overline{y}\right)+\left(x_2-\overline{x}\right) \left(y_2-\overline{y}\right)+\cdots \cdots+\left(x_n-\overline{x}\right)\left(y_n-\overline{y}\right)\right\}}} \quad \text{または} \quad s_{x y}=\class{mathkuu}{\underline{\overline{xy}-\overline{x}\cdot\overline{y}}} \]

    ※共分散が正→の相関関係がある, 共分散が負→の相関関係がある

    (\(\because\) 2変量とも平均より高い,もしくは低い傾向がある→各項プラスが多い,片方が平均より高くもう片方が平均より低い傾向がある→各項マイナスが多い

    ※\(yをxに置き換えれば,分散の公式たちと同じ!{s_{xy}}^2と書かないのは注意\)
  2. 相関係数 \(\cdots\) 共分散を\(xとy\)の標準偏差で割った値

    \[ r=\class{mathkuu}{\underline{\dfrac{s_{x y}}{s_x s_y}}}=\class{mathkuu}{\underline{\dfrac{( x と y の共分散)}{( x の標準偏差) \times( y の標準偏差)}}} \] (a) \(r\)のとりうる値の範囲は、\(\class{mathkuu}{\underline{-1\leqq r\leqq 1}}\)
    (b) \(r\)の値が\(1\)に近いとき、強いの相関関係がある。
    (c) \(r\)の値が\(0\)に近いとき、直線的な相関関係はない。
    (d) \(r\)の値が\(-1\)に近いとき、強いの相関関係がある。
Point 1A 4.0.6 変量の変換まとめ
※必ず意味を理解した上で覚える。

変量 \(x\) \(y\) \(u=a x+b\) \(v=c y+d\)
平均値 \(\overline{x}\) \(\overline{y}\) \(\overline{u}=\class{mathkuu}{\underline{a \overline{x}+b}}\) \(\overline{v}=c \overline{y}+d\)
分散 \(s_x^2\) \(s_y^2\) \(s_u^2=\class{mathkuu}{\underline{a^2 s_x^2}}\) \(s_v^2=c^2 s_y^2\)
標準偏差 \(s_x\) \(s_y\) \(s_u=\class{mathkuu}{\underline{|a| s_x}}\) \(s_v=|c| s_y\)
共分散 \(s_{x y}\)\(s_{u v}=\class{mathkuu}{\underline{a c s_{x y}}}\)
相関係数 \(r_{xy}\)\(\begin{cases}a c>0 \text { のとき } & r_{u v}=\class{mathkuu}{\underline{r_{x y}}}\\ a c<0 \text { のとき } & r_{u v}=\class{mathkuu}{\underline{-r_{x y}}}\end{cases}\)


・平均 \(\overline{u}\) と \(\overline{x}\) の関係 \[ \begin{aligned} \overline{u} & =\overline{a x+b}=\frac{\left(a x_1+b\right)+\left(a x_2+b\right)+\cdots+\left(a x_n+b\right)}{n} \\ & =\frac{a\left(x_1+x_2+\cdots+x_n\right)+n b}{n}=a \cdot \frac{x_1+x_2+\cdots+x_n}{n}+b=a \overline{x}+b \end{aligned} \]

・偏差の変化について \[ u_n-\overline{u}=\left(a x_n+b\right)-\overline{a x+b}=\left(a x_n+b\right)-(a \overline{x}+b)=a\left(x_n-\overline{x}\right) \] よって, 偏差 \(u_n-\overline{u}\) は元の偏差 \(x_n-\overline{x}\) の \(a\) 倍になり,\(b\) 加えた分は偏差に影響しない。

【イメージで確認】例えば,あるクラスの小テストで,先生が採点ミスに気づいて全員の得点に一律\(B\)点を加算したとしよう(\(u=x+B\),つまり\(a=1,\ b=B\)の場合)。
平均はどうなるか? → 全員が同じだけ底上げされるのだから,クラスの平均点も\(B\)点上がる。これは感覚的にも納得できるはずである(\(\overline{u}=\overline{x}+B\))。
分散(得点のばらつき具合)はどうなるか? → 全員一律に\(B\)点加わっても,1人1人の「平均点との差=偏差」自体は変わらない。だから散らばり具合(分散)はまったく変化しない。上の\(s_u^2=a^2s_x^2\)の式(\(a=1\)の場合)にも,定数\(b\)は登場していないことに注目しよう。「全員平等に加算される」ことは,データの散らばりには一切影響しないのである。


・分散 \(s_u{ }^2\) と \(s_x{ }^2\), および標準偏差 \(s_u\) と \(s_x\) の関係 \[ \begin{aligned} \hspace{-3mm}s_u^2 & =\frac{\left(u_1-\overline{u}\right)^2+\left(u_2-\overline{u}\right)^2+\cdots+\left(u_n-\overline{u}\right)^2}{n}=\frac{\left\{a\left(x_1-\overline{x}\right)\right\}^2+\left\{a\left(x_2-\overline{x}\right)\right\}^2+\cdots+\left\{a\left(x_n-\overline{x}\right)\right\}^2}{n} \\&=a^2 \cdot \frac{\left(x_1-\overline{x}\right)^2+\left(x_2-\overline{x}\right)^2+\cdots+\left(x_n-\overline{x}\right)^2}{n}=a^2 s_x{ }^2 \end{aligned} \] \[s_u=\sqrt{a^2 s_x^2}=|a| s_x \quad (標準偏差は常に正であるから,ルート外して絶対値つける。)\]

・共分散 \(S_{u v}\) と \(S_{x y}\) の関係 \[\begin{aligned} s_{u v} & =\frac{\left(u_1-\overline{u}\right)\left(v_1-\overline{v}\right)+\left(u_2-\overline{u}\right)\left(v_2-\overline{v}\right)+\cdots+\left(u_n-\overline{u}\right)\left(v_n-\overline{v}\right)}{n} \\ & =\frac{a\left(x_1-\overline{x}\right) \cdot c\left(y_1-\overline{y}\right)+a\left(x_2-\overline{x}\right) \cdot c\left(y_2-\overline{y}\right)+\cdots+a\left(x_n-\overline{x}\right) \cdot c\left(y_n-\overline{y}\right)}{n} \\ & =a c \cdot \frac{\left(x_1-\overline{x}\right)\left(y_1-\overline{y}\right)+\left(x_2-\overline{x}\right)\left(y_2-\overline{y}\right)+\cdots+\left(x_n-\overline{x}\right)\left(y_n-\overline{y}\right)}{n}=\color{red}{a c s_{x y}}\end{aligned}\]

・相関係数 \(r_{u v}\) と \(r_{x y}\) の関係 \[ r_{u v}=\frac{s_{u v}}{s_u s_v}=\frac{a c s_{x y}}{|a| s_x \cdot|c| s_y}=\frac{a c s_{x y}}{|a c| s_x s_y}=\frac{a c}{|a c|} r_{x y} \] \[つまり,場合分けすると a c>0 \text { のとき } r_{u v}=r_{x y},ac<0 \text { のとき } r_{u v}=-r_{x y}\]

つまり, 変量 \(u\) と \(v\) の相関係数 \(r_{u v}\) と元の相関係数 \(r_{x y}\) は絶対値が一致し,変量 \(x, y\) に定数を掛けたり足したりしても相関の強弱は変化しない。ただし, 変量 \(x, y\) の一方に負の数を掛けると相関の正負が逆転する。