カテゴリー:

  • 【簡単】確率分布関数がすぐ身につく方法

    【簡単】確率分布関数がすぐ身につく方法

    「正規分布、t分布、F分布がわからない」、「確率・期待値・標準偏差の計算になぜ積分があるのかがわからない」、「苦手な数学が多くて辛い」など困っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    【初心者向け】確率分布関数がすぐわかる方法【5分で理解できます】

    身近な関数から確率密度関数に慣れよう!

    • ➀確率密度関数が理解できる
    • ②確率、期待値、標準偏差の算出ができる
    • ③正規分布,t分布は難しい式になる理由がわかる

    本記事を読んでいるあなたは、確率分布関数をマスターしたいはずです。いくつかの確率分布関数がすぐわかる関連記事がありますので、関連記事も読んでください。

    ★品質管理・統計に頻出な分布関数をわかりやすく解説したページ



    ★理解が難しいポアソン分布がすぐ理解できるページ

    ★ばらつきはなぜ平方和で評価するか?統計学で最初に悩むポイントがすぐ解決できるページ

    [themoneytizer id=”105233-2″]

    さっそく見ていきましょう。

    ➀確率密度関数が理解できる

    難しい式ではなく、簡単な式で練習しましょう。

    まず、分布をイメージします。

    中央にピークが来る。
    左右対象で左右端は0。

    最も簡単な関数は2次関数ですね

    次に、分布関数を理解しやすい問いを作ります。「学校の試験の点数分布」としてみましょう。
    変数xを点数、変数yを生徒数として、分布関数を定義します。

    分布関数: y=-(x-50)^2+2500

    簡単な二次関数ですね。分布関数は、0点,100点の人は少なく、平均50点に近づくにつれて生徒数が増えているのがわかりますね。

    ②確率、期待値、標準偏差の算出ができる

    試験成績の分布を2次関数で用意したので、次の問いを見てみましょう。

    • (1)この試験の総受験者数は何人ですか?
    • (2)ある受験者が70点台の受験者である確率はいくらですか?
    • (3)この試験の平均点と点数の標準偏差は何点ですか?

    受験者数、平均点、標準偏差と調べたくなるデータですね。

    分布関数から算出するポイント

    求めたい値を図から求めよう。
    (1)この試験の総受験者数は何人ですか?

    (1)この試験の総受験者数は図のどこに相当するかというと、分布関数とy軸に囲まれた青色部の面積ですね。これはイメージしやすいですね/p>

    分布関数2b

    計算は分布関数y=-(x-50)^2+2500をx=0からx=100まで積分した定積分の値となりますね
    総受験者数=∫ -(x-50)^2+2500 dx=16万6667人となります。

    (2)ある受験者が70点台の受験者である確率はいくらですか?

    (2)ある受験者が70点台の受験者数は図どこに相当するかというと、分布関数、y軸とx=70から80に囲まれた青色部の面積ですね。これもイメージしやすいですね

    分布関数2c

    計算は分布関数y=-(x-50)^2+2500をx=70からx=80まで積分した定積分の値を(1)の総受験数で割った値となります
    総受験者数=∫ -(x-50)^2+2500 dx=1万7037人となります。確率は0.102となります。

    (3)この試験の平均点と点数の標準偏差は何点ですか?

    関数が簡単でも徐々に計算が難しくなってきますね。1つずつ解説します

    (3) 平均点、分散、標準偏差を求めるときに1つ細工をします。
    f(x)={-(x-50)^2+2500}/N (Nは総受験者数)とします。
    これはf(x)とy軸との面積をN→1に変えるためです。総面積は全確率1に合わせるためです。

    平均μ=E[X]=∫ xf(x)dx と公式から求めます。
    平均μ=E[X]=∫x{-(x-50)^2+2500}/N dx = 50点となります。

    次に分散です。公式 V[X]=E[X^2]-E[X]^2ですね。公式についてはここを参照ください。

    V[X]=∫ x^2 f(x)dx -E[X]^2=3000-2500=500
    よって標準偏差はs=√V=22.36点となります。

    簡単な関数を用いて確率分布関数から積分を活用して期待値(平均値)、分散、標準偏差を導出しました。

    ③正規分布,t分布は難しい式になる理由がわかる

    正規分布の詳細はここをご覧ください。指数関数の2乗型であり、t分布はΓ関数のオンパレードで手が出ません。エクセル頼みになってしまいますね

    でもなぜ、一般の確率分布関数は簡単な式で表現できないのでしょうか?
     頭のいい数学者が一般人を寄せ付けないためでしょうか?
     それなら一般に広がりませんよね。
    確率分布関数にノミネートされるには下の条件が必要と考えられます。

    • ➀区間[-∞、∞]で積分値∫f(x)dxが有限な値になること
    • ②左右対称性であること/li>
    • ③なめらかな曲線であること

    「➀区間[-∞、∞]で積分値∫f(x)dxが有限な値になる」には、指数関数 exp(-x)などの難解な関数が必要です。
    高校数学の数Ⅲ以上のレベルになり、一気に難しくなります。

    なお、∫ -(x-50)^2+2500 dxの区間[-∞、∞]で積分すると∞に発散しますね。

    「②左右対称性であること」はわかりやすいので解説は略します。

    「③なめらかな曲線であること」を解説します。例として、➀②を満たし、正規分布より簡単な関数を提案します。

    f(x) =exp(-|x|) です。
    絶対値はありますが、場合分けして外せば、微積分しても関数が変わらないexp(-x)なので、扱いやすい関数で有能です。

    でも正規分布関数は不定積分がないexp(-x^2)型です。計算が複雑にも関わらずよく使われるのはなぜでしょうか?

    f(x) =exp(-|x|)と正規分布関数f(x) =exp(-x^2)を図で比較するとその理由がよくわかります。

    分布関数2c

    左側は尖っていて、右側はなめらかですね
    自然現象や社会現象のヒストグラムを描くと多くの場合、「なめらか」な正規分布型に近づくのです。

    分布関数が難しい式になる理由

    • ➀区間[-∞、∞]で積分値∫f(x)dxが有限な値になること
    • ②左右対称性であること/li>
    • ③なめらかな曲線であること

    まとめ

    • ➀確率密度関数が理解できる
    • ②確率、期待値、標準偏差の算出ができる
    • ③正規分布,t分布は難しい式になる理由がわかる

    本記事を読んでいるあなたは、確率分布関数をマスターしたいはずです。いくつかの確率分布関数がすぐわかる関連記事がありますので、関連記事も読んでください。

    ★品質管理・統計に頻出な分布関数をわかりやすく解説したページ



    ★理解が難しいポアソン分布がすぐ理解できるページ

    ★ばらつきはなぜ平方和で評価するか?統計学で最初に悩むポイントがすぐ解決できるページ

  • なぜ、実験計画法は分散で検定するのかが5分でわかる【初心者向け】

    なぜ、実験計画法は分散で検定するのかが5分でわかる【初心者向け】

    「なぜ分散分析表を作ってF検定するのがわからない」、「F検定する時の「帰無仮説」と「対立仮説」は何か?がわからない」など困っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    なぜ、実験計画法は分散で検定するのかが5分でわかる

    分散分析とF検定を理解するポイント

    • ➀分散で検定する理由を理解する
    • ②帰無仮説と対立仮説を理解する
    • ③F検定のメリット・デメリットを知る
    [themoneytizer id=”105233-2″]

    【QC検定®1級合格】実験計画法問題集を販売します!

    QC検定®1級合格したい方におススメです。
    QC検定®1級、過去全回分の問題と実験計画法参考書を研究して、作り上げたオリジナル良問30題を1500円で提供します。ぜひご購入、学習して合格しましょう。

    究める!実験計画法 演習問題を販売します!

    実験計画法を究めた方におススメです。
    実験計画法をマスターしたい方に、必須な演習問題集(2500円)を作成しました。しっかり勉強して究めましょう。

    分散分析、F検定、検定する帰無仮説・対立仮説は何か?
    を疑問に思えるあなたは、センスがいいです。
    よくわからないけど計算方法や公式を暗記しながら、
    徐々に実験計画法の中身をマスターしていきましょう。

    この記事を読むあなたは、いくつか実験計画法の考え方がすぐに理解できず苦労していると思います。
    いくつか関連記事を紹介しますので、関連記事も読んでみてください。

    ★実験計画法のまとめトップページ。初心者から究めたい方までどうぞ!

    ★実験計画法から何が求まるのか?を解説したページ

    ★実験計画法はなんで分散分析するのか?、帰無仮説・対立仮説は何かが分かるように解説したページ。

    ★実験計画法のフィッシャー3原則がなぜ必要か?がすぐわかるページ。

    ★実験計画法のプーリングって何?がわかるページ

    ★実験計画法の交絡がわかるページ

    さっそく見ていきましょう。

    ➀分散で検定する理由を理解する

    最初に学ぶ検定は「平均差の検定」ですよね。本来は平均差の検定を使うべきです。
    でも、実験計画法では平均差の検定では不十分なため分散を使います。

    要因効果は母平均の差で検定

    例として、一元配置実験(水準数3)の因子Aを考えます。

    水準 データ
    A1 12 13 15 16
    A2 21 22 19 24
    A3 26 25 27 28

    データの取り方についてはをご覧下さい。

    因子Aの効果があるかを調べるとき、3つの仮説を立てて、母平均差を検定します。

    ・A1とA2の違いを調べる 帰無仮説:A1=A2、対立仮説:A1≠A2
    ・A1とA3の違いを調べる 帰無仮説:A1=A2、対立仮説:A1≠A2
    ・A2とA3の違いを調べる 帰無仮説:A1=A2、対立仮説:A1≠A2

    検定回数の増加が検出力の低下につながる

    上の場合では、3回検定が必要です。検定回数が増えると検定精度(検定力)が低下します。検定はある確率α(第1種の誤り)で誤判断します。αはよく5%としますね。

    検定回数がn回の場合は、検定結果が正しい確率は (1-α)^n (^は乗とします)です。
    検定回数が3回の場合は、(1-0.05)^3=84%となり、16%も誤判断します。

    調べたい水準数が多いと正しい判定でできなくなります。

    1回の検定で済ませるF検定(分散を使う理由)

    母平均差の検定では、
    A1-A2=0かつ、A2-A3=0かつ、A3-A1=0
    の3つの式を1つずつ3回検定します。検定回数が増えると検定力が低下します。

    ではどうするか?

    上の3つの式を1つの式で表現できれば、1回の検定で済むのです。

    なるほど!

    では、どうやって変形しますか? 高校数学の問題です。

    答えは、2乗和にすればよいのです。
    (A1-A2)^2+(A2-A3)^2+(A3-A1)^2=0
    を検定すればよいのです。

    2乗は必ず0以上になります。各2乗和の総和が0ならば、各2乗和はすべて0になりますね。
    つまり、
    (A1-A2)^2+(A2-A3)^2+(A3-A1)^2=0ならば、
    A1-A2=0かつ、A2-A3=0かつ、A3-A1=0
    です。

    また、2乗和の式をよくみると分散を求める式と同じです。
    データと平均の差を2乗して足す項が分散にもあります。

    これが、分散を検定に使う理由なのです。

    ②帰無仮説と対立仮説を理解する

    主効果、交互作用や反復の分散がそれぞれ0かどうかを調べればOKです。

    1.主効果
    帰無仮説: σA^2=0
    対立仮説: σA^2≠0

    2.交互作用
    帰無仮説: σA×B^2=0
    対立仮説: σA×B^2≠0

    3.反復
    帰無仮説: σR^2=0
    対立仮説: σR^2≠0
    などです。

    実験計画法の分散分析において、検定の帰無仮説と対立仮説は分散が0かどうかですが、なぜ分散で検定するのかを理解することが重要です。

    ③F検定のメリット・デメリットを知る

    F検定のメリット

    検定力が維持できる。
    1回の検定で済む。

    F検定のデメリット

    因子の有意性がわかるが、どの水準間で違いがあるのかはわからない。
    でも大した問題ではない。

    (A1-A2)^2+(A2-A3)^2+(A3-A1)^2=0 という式を書きましたね。
    右辺が0出ない場合は、左辺の()のどれかが0でないことがわかります。
    でも、どの()が0でないかはわかりません

    では、問題なのか?というと大した問題ではありません

    実験計画法では、主効果、交互作用などの因子において有意性を調べますが、
    各因子内の水準までは検定しません
    。なので、気にしなくてよいのです。

    メリットの効果が高く、デメリットの影響が無いため、
    分散分析とF検定をしているのです。

    まとめ

    • ➀分散で検定する理由を理解する
    • ②帰無仮説と対立仮説を理解する
    • ③F検定のメリット・デメリットを知る

    この記事を読むあなたは、いくつか実験計画法の考え方がすぐに理解できず苦労していると思います。
    いくつか関連記事を紹介しますので、関連記事も読んでみてください。

    ★実験計画法のまとめトップページ。初心者から究めたい方までどうぞ!

    ★実験計画法から何が求まるのか?を解説したページ

    ★実験計画法はなんで分散分析するのか?、帰無仮説・対立仮説は何かが分かるように解説したページ。

    ★実験計画法のフィッシャー3原則がなぜ必要か?がすぐわかるページ。

    ★実験計画法のプーリングって何?がわかるページ

    ★実験計画法の交絡がわかるページ

  • 【簡単】実験計画法のフィッシャー3原則がすぐわかる方法

    【簡単】実験計画法のフィッシャー3原則がすぐわかる方法

    「実験計画法のフィッシャーの3原則の意味がわからない」、「フィッシャーの3原則がなぜ必要なのかがわからない」と困っていませんか?

    こういう疑問に答えます。

    本記事のテーマ

    【初心者向け】フィッシャー3原則が説明できる【5分でマスターできる!】

    フィッシャーの3原則

    • ➀反復:効果と残差を分ける
    • ②無作為化:適正な残差平方和を求める
    • ③局所管理:適正な効果平方和を求める
    [themoneytizer id=”105233-2″]

    【QC検定®1級合格】実験計画法問題集を販売します!

    QC検定®1級合格したい方におススメです。
    QC検定®1級、過去全回分の問題と実験計画法参考書を研究して、作り上げたオリジナル良問30題を1500円で提供します。ぜひご購入、学習して合格しましょう。

    究める!実験計画法 演習問題を販売します!

    実験計画法を究めた方におススメです。
    実験計画法をマスターしたい方に、必須な演習問題集(2500円)を作成しました。しっかり勉強して究めましょう。

    実験計画法を勉強始めたばかりで、よくわからないことが多いですね。
    初心者の方がつまづきやすいポイントを関連記事にまとめています。

    ★実験計画法のまとめトップページ。初心者から究めたい方までどうぞ!

    ★実験計画法から何が求まるのか?を解説したページ

    ★実験計画法はなんで分散分析するのか?、帰無仮説・対立仮説は何かが分かるように解説したページ。

    ★実験計画法のプーリングって何?がわかるページ

    ★実験計画法の交絡がわかるページ

    フィッシャーの3原則についての記事に加えて、上の関連記事も一通り読んでおきましょう。理解が一気に深まります。

    フィッシャーの3原則は、「その原則が無いと何が困るのか?」を理解すれば
    簡単に理解できます。

    さっそく見ていきましょう。

    ➀反復:効果と残差を分ける

    例題

    反復が面倒なBさんは、反復無しの一元配置実験を実施しました。
    実験データは次のようになりました。因子Aの有意性が判断できるでしょうか?

    水準データ

    A1 12
    A2 15
    A3 19

    評価

    分散分析すると、残差eの自由度と平方和がともに0になります。
    因子Aの効果と残差eが分離できないことを意味します。
    実験からデータの変化は因子Aによるのか、誤差によるのかがわからないのです。

    平方和S 自由度φ
    A 24.67 2
    e 0 0
    T 24.67 24.67

    実験から因子効果と残差効果を分離させるためには、反復が必要です。

    再実験

    Bさんに反復して再実験してもらいましょう。

    水準 データ
    A1 12, 14, 16
    A2 15, 18, 21
    A3 19, 20, 21

    分散分析結果を見ると、因子効果と残差効果が分離できているのがわかります。

    平方和S 自由度φ
    A 56 2
    e 28 6
    T 84 8

    You Tubeにも解説していますので、ご覧ください。

    ②無作為化:適正な残差平方和を求める

    「無作為化」はより「ランダム」と言った方がわかりやすいですね。
    無作為化しないとどんな不都合が出るか見てみましょう。

    例題

    同じくBさんに別の実験をしてもらうと、次の結果が出ました。データを評価しましょう。
    水準 データ
    A1 39, 43, 44
    A2 46, 53, 63
    A3 69, 72, 75

    一見、問題が無さそうなデータですね。

    評価

    分散分析すると、F値が23.1と非常に高いことがわかります。特に、残差平方和Se=178は因子Aの平方和SA=1368と比べて非常に小さいです。
    つまり、実験データが良くありません。

    S φ V F
    A 1368 2 684 23.1
    e 178 6 29.67
    T 1546 8

    (S:平方和、φ:自由度、V:不偏分散(平均平方)、F:F値)

    Bさんに聞くと、次のように話してくれました。

    「実験準備が面倒なので、同じ水準でまとめて複数回実験を繰り返した後、他の水準に移って、その水準内で複数回実験を繰り返しました。似たようなデータ値になったので安心して実験しました。」

    同じ条件で実験を繰り返すと、心理的に似たようなデータ値になって安心したと思われますが、
    これでは適正な残差eを取り出せていません。 良い実験データとは言えません。

    無作為化しない場合、残差平方和が過小評価され、F値が高くなり、有意と結論づけやすくなります

    再実験

    Bさんに無作為化して再実験してもらいましょう。

    水準 データ
    A1 35, 45, 55
    A2 44, 53, 74
    A3 67, 75, 83

    Bさんは再実験で誤差が増えても大丈夫か?と心配してました。
    分散分析の結果を見てみましょう。

    S φ V F
    A 1368 2 684 5.11
    e 802 6 133.67
    T 2170 8

    (S:平方和、φ:自由度、V:不偏分散(平均平方)、F:F値)

    再実験の分散分析の結果、F値が5.11になり、有効な結果であると言えます。
    残差平方和Seが適正な値になりました。

    You Tubeにも解説していますので、ご覧ください。

    ③局所管理:適正な効果平方和を求める

    局所管理はなじみが無い用語です。簡単に言うと「似たもの同士そろえる」ことです。
    似た者同士そろえないとどんな不都合があるか見てみましょう。

    例題

    ある学習塾では「受講科目数が多いと学力向上効果が高い」ことを広告でアピールしており、4科目受講すると成績向上効果は抜群!らしいです。データが広告に載っていました。さて、本当に正しいのでしょうか?
    受講科目数A 生徒の偏差値
    2科目 38, 42, 46
    3科目 44, 46, 48
    4科目 69, 72, 75

    評価

    分散分析すると、F値が82.3と非常に高いことがわかります。特に、因子Aの平方和SA=1592は残差平方和Se=58と比べて非常に大きいです。

    これもデータが良くないことがわかります。このデータのどこが問題なのかがわかりますか?

    S φ V F
    A 1592 2 796 82.3
    e 58 6 9.67
    T 1650 8

    (S:平方和、φ:自由度、V:不偏分散(平均平方)、F:F値)

    問題なのは、4科目受講の生徒の偏差値が高すぎることです。
    4科目受講の生徒は、そもそも優秀で、塾の学習効果に関係なく成績が良い可能性があります。

    つまり、因子に関係のない別の要因の効果の方が大きいことが問題なのです。

    科目数に関係なく、塾通う前の成績が同じくらいの生徒で比較することが重要です。

    これが、局所管理のエッセンスです。つまり、「似た者同士」で比較しないと、他の効果によって「有意性がある」と誤判断します。

    再実験

    学習塾に、似たような学力の生徒で再度比較してもらい、次の結果が出ました。

    受講科目数A 生徒の偏差値
    2科目 38, 42, 46
    3科目 44, 46, 48
    4科目 45, 49, 50

    分散分析の結果、F検定 F=3.11 < 5.14=F(2,6,0.05)となり、有意性はありませんでした。
    つまり、「学習塾の効果は無い」という結果がわかりました。

    S φ V F
    A 56 2 28 3.11
    e 54 6 9
    T 110 8

    (S:平方和、φ:自由度、V:不偏分散(平均平方)、F:F値)

    事例からわかるように、「似た者同士」で比較しないと、他の効果によって「有意性がある」と誤判断する可能性があります。

    You Tubeでも、解説していますので、ご覧ください。

    以上、フィッシャーの3原則について解説しました。

    まとめ

    フィッシャーの3原則がなぜ必要かを説明しました。

    フィッシャーの3原則

    • ➀反復:効果と残差を分ける
    • ②無作為化:適正な残差平方和を求める
    • ③局所管理:適正な効果平方和を求める
    実験計画法を勉強始めたばかりで、よくわからないことが多いですね。
    初心者の方がつまづきやすいポイントを関連記事にまとめています。

    ★実験計画法のまとめトップページ。初心者から究めたい方までどうぞ!

    ★実験計画法から何が求まるのか?を解説したページ

    ★実験計画法はなんで分散分析するのか?、帰無仮説・対立仮説は何かが分かるように解説したページ。

    ★実験計画法のプーリングって何?がわかるページ

    ★実験計画法の交絡がわかるページ

error: Content is protected !!