pythonのprastクラスによる集計（７）　複数回答の集計・後編

　今回は複数回答の簡単な分析を取り上げます。

　扱うcsvファイルは前回と同じ。

　主な情報源として「新聞、雑誌、テレビ、ラジオ」の４つの選択肢を示し、
該当するものに○をつけてもらったケースです。

　選択肢を分解してクロス集計を行い、
それをカイ２乗検定やフィッシャーの直接確率検定にかけます。

　当Webページで紹介するスクリプトや素材データ一式は、
prast07.zip という圧縮ファイルに同梱しておきます。

《このページの目次》

• 1.　選択個数の確認
  • (1)　ma_selectメソッドの機能
  • (2)　サンプルスクリプト
  • (3)　無回答と全回答を対象外とする場合
• 2.　複数回答の選択肢を分解して集計
  • (1)　行ラベルの別名定義と欠損値の置き換え
  • (2)　年齢層と各選択肢とのクロス集計
• 3.　選択肢相互の関係をフィッシャー検定で検証
  • (1)　フィッシャーの直接確率検定
  • (2)　サンプルスクリプト

1.　選択個数の確認

　１人の回答者が複数回答の選択肢のうちで
何個に○をつけたかをチェックします。

　○を全くつけていないケースを無回答とするかどうか悩ましいところですが、
もし無回答として集計の対象外にするなら選択個数をチェックする必要があります。

　また、ほとんどの人が１つの選択肢しか選んでいないとすれば
「新聞を選んだ人は雑誌も選ぶ傾向がある」といった
選択肢相互の関連性を検証できないことになります。

　これも、やはり選択個数のチェックが必要です。

　さらに言うと、どれにも○をつけない回答者や全部に○をつけた回答者が
４割とか５割のような多数にのぼる場合、
選択肢の立て方が適切だったかどうか疑問になります。

　そうした情報を開示した上で分析しないと、
フェアな解説にならないだろうとおもいます。

　ということで、Prastクラスに ma_select() を設けて
選択個数を簡単に検出できるようにしました。

(1)　ma_selectメソッドの機能

　ma_select() は選択個数を記録した新しい列をDataFrameに追加します。

　data01.csv を読み込んだ DataFrame は６つの列から構成されますが、
ma_select() を適用すると７つ目の列が追加され、
その列には各回答者の選択個数(数値)が記録されます。

　今回のケースでは 0〜4 のどれかの数値が各回答者ごとに記録されます。

ma_select(clist, value=1, name="ma_select")

　引数の意味は次のとおり。

• clist: 複数回答の列ラベル(選択肢)をリストで指定。
• value: ○がついた選択肢に割り当てられている値。デフォルトは数値の 1
• name: 選択個数を記録する新設の列のラベル。デフォルトは ma_select(メソッド名と同じなので紛らわしいかも)

　ma_select() は、新設の列が追加された DataFrame を返します。

　Prastオブジェクトに内部的に保持されている DataFrame にも
新設の列が追加されます。

　なお、引数 name で指定した名前の列が既にある場合は
上書きになるので注意して下さい。

(2)　サンプルスクリプト

　ma_select() を適用して各人の選択個数を記録してから、
個数別に回答者数を数え上げるスクリプトを掲げます。

　まず、得られる表は次のとおり。

　どれにも○をつけなかった人が４人、
全部に○をつけた人が１人いることがわかります。

　以下、この表を出力するスクリプトです。

 # ma_select.py (coding: cp932)
 import pandas as pd
 from prast import Prast
 
 dtf = pd.read_csv("data01.csv")
 psx = Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 rng = ['newspaper', 'magazine', 'tv', 'ragio']
 ename = "ma_select"  # 新設する選択個数の列ラベル(英字)
 jname = u"選択個数"  # enameの別名(日本語)
psx.ma_select(rng, value=1, name=ename)
psx.put_columns("%s,%s" % (ename, jname))  # 列ラベルの別名を追加登録
dod = psx.count(ename)  # 選択個数別の集計
print(dod[jname])

　新設された選択個数の列は単一回答として扱えるので
count() を用いて度数と割合を集計しています。

(3)　無回答と全回答を対象外とする場合

　選択肢のどれにも○をつけていない回答者、および
選択肢全部に○をつけた回答者を集計の対象外とする方法を記します。

　Prastオブジェクトが内部的に保持しているDataFrameを得るのは get_dtf()
また、DataFrameをオブジェクトに記録するのは put_dtf() です。

　この両メソッドにはそれぞれ gd(), pd() という短縮名があります。

　これを使えば、選択個数0の人と個数4の人を対象外にするのは次のとおり。

　スクリプトの要所のみ掲載。

rng = ['newspaper', 'magazine', 'tv', 'ragio']
ename = "ma_select"  # 新設する選択個数の列ラベル(英字)
psx.ma_select(rng, value=1, name=ename)
dtf = psx.gd()
ser1 = dtf[ename] > 0  # True, FalseからなるSeriesその１
ser2 = dtf[ename] < len(rng)  # True, FalseからなるSeriesその２
dtf = dtf[ser1 & ser2]  # ser1, ser2 どちらもTrueのデータを抽出
psx.pd(dtf)  # PrastオブジェクトにDataFrameをセット

　上のようにすれば、選択個数が１以上・４未満の人だけからなるDataFrameが
Prastオブジェクトにセットされます。

　pandasの query() を使えば、もう少し簡略化した書き方が可能です。

psx.pd(psx.gd()
    .query("ma_select > 0 & ma_select < 4")
)

　これで選択個数１以上・４未満の人だけからなるDataFrameがセットされます。

　念のため query() を用いたスクリプトを掲げておきます。

 # ma_select02.py (coding: cp932)
 import pandas as pd
 from prast import Prast
 
 dtf = pd.read_csv("data01.csv")
 psx = Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 rng = ['newspaper', 'magazine', 'tv', 'ragio']
 ename = "ma_select"  # 新設する選択個数の列ラベル(英字)
 jname = u"選択個数"  # enameの別名(日本語)
psx.ma_select(rng, value=1, name=ename)
psx.put_columns("%s,%s" % (ename, jname))  # 列ラベルの別名を追加登録
all = len(rng)  # 選択肢の総個数
psx.pd(psx.gd()
    .query("{ename} > 0 & {ename} < {all}".format(**locals()))
)
dod = psx.count(ename)  # 選択個数別の集計
print(dod[jname])

　query() の引数のところで出てくる locals() は、
ローカル変数の名前と値の組を辞書として返してくれる関数です。

　"{ename} > 0 & {ename} < {all}".format(**locals()) というのは
結局、"ma_select > 0 & ma_select < 4" になります。

目次に戻る

2.　複数回答の選択肢を分解して集計

　複数回答の選択肢は、○をつけるかつけないかの２択を回答者に求めるもの
つまり、○, ×のどちらかで回答する１つの質問と解釈できます。

　そう考えるなら、下のような集計が可能です。

　これは「年齢層」と「新聞」という単一回答同士のクロス集計です。

　なので、カイ２乗検定で有意性を検証できます。

　以下、このようなクロス集計と統計的検定を行う手順を記します。

(1)　行ラベルの別名定義と欠損値の置き換え

　これまで data01_c.txt, data01_i.txt に触れずにきました。

　列ラベルの別名定義(data01_c.txt)は下のとおり。

group,年齢層
newspaper,新聞
magazine,雑誌
tv,テレビ
ragio,ラジオ

　また、行ラベルの別名定義(data01_i.txt)は次のとおり。

 group
 20,20代
 30,30代
 40,40代
 
 newspaper
 1,新聞○
 0,新聞×
 
magazine
1,雑誌○
0,雑誌×

tv
1,テレビ○
0,テレビ×

ragio
1,ラジオ○
0,ラジオ×

　この定義を使うには、newspaperなどの複数回答の列において
欠損値を数値の 0 に置き換える必要があります。

rng = ['newspaper', 'magazine', 'tv', 'ragio']
psx.fillna(rng, 0)

　上の２行で欠損値を数値の 0 に置き換えることができます。

(2)　年齢層と各選択肢とのクロス集計

　「年齢層」と１つの選択肢(「新聞」など)のクロス集計は、
Prastクラスの table() で行えます。ma_table() ではないので注意。

　選択肢が新聞、雑誌、テレビ、ラジオの４つなので
４つのクロス集計表を作成し、それぞれをカイ２乗検定にかけて
有意な関連性が検証されるかどうかチェックします。

　以下にそのスクリプトを掲げます。

 # ma_chisq.py (coding: cp932)
 import pandas as pd
 import prast as ps
 ps.set_encoding("cp932")  # python2用にencodingを設定
 
 dtf = pd.read_csv("data01.csv")
 psx = ps.Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 rng = psx.crange(2, 5)  # 複数回答の列ラベル群
 psx.fillna(rng, 0)  # 欠損値を数値0に
for col in rng:  # 各選択肢ごとに処理
    tod = psx.table("group", col)  # クロス集計
    jtbl = ps.join_table(tod['tbl2'], tod['pct1'])
    cod = ps.chisq_test(tod['tbl1'])  # カイ２乗検定
    if cod['p_value'] < 0.05:  # 有意性あり
        cod['name'] = tod['name']
        print((u"◇ {name}: 有意な関連あり\n" + \
            "chi2={chi2}, df={df}, p={p_value}").format(**cod))
        print(u"＊分割表")
        print(jtbl)
        print(u"＊調整済み残差")
        print(cod['stdres'])
    else:  # 有意性なし
        print(u"◇ %s: 互いに独立(p=%f)" % (tod['name'], cod['p_value']))
        print(u"＊分割表")
        print(jtbl)
    print('')

　実行してみると、「年齢層×新聞」では有意性が検出され、
他の組み合わせでは検出されません。

　30歳代は、新聞に○をつけた人が有意に多いことが確認できます。

　なお、これは乱数で生成したデータなので、実態とは関係ありません。

目次に戻る

3.　選択肢相互の関係をフィッシャー検定で検証

　新聞、雑誌、テレビ、ラジオの４つの選択肢から
２つを取り出す組み合わせは６通りあります。

　それぞれの組み合わせについてクロス集計をおこないます。

　その１つは次のとおり。

　「合計」の列と行を取り除くと、２×２のクロス表です。

　なのでフィッシャーの直接確率検定にかけてみます。

(1)　フィッシャーの直接確率検定

　pythonのscipyライブラリにフィッシャーの直接確率検定用のメソッドがあります。

import scipy.stats as stats
oddsratio, p_value = stats.fisher_exact(table, alternative='two-sided')

　第１引数の table は、２次元配列(または、それに類するもの)です。

　pythonの解説サイトには ２×２をあらわす配列を指定するよう書かれています。

　第２引数 alternative は対立仮設の指定で
two-sided, less, greater のいずれかを指定します。
デフォルトは two-sided (両側検定)

　戻り値は odds比、p値の２つ。

　一般に、p値が 0.05未満だと有意性が認められると判断します。

　odds比は、1に近いほど均一性が高い(差が少ない)ことになります。

　alternative は、通常、デフォルトの two-sided でいいとおもいますが、
「新聞を読む人は雑誌も読むケースが多いはず」という前提に立って
多いか否かを検証するなら片側検定の greater を指定します。

　両側検定は、多い｜少ないの両方の可能性を視野に入れて
「違いがあるか否か」を検証します。

(2)　サンプルスクリプト

　４つの選択肢のいずれにも○をつけていない人(４人)、および
４つ全部に○をつけている人(１人)は、
選択の特徴・傾向を検証できないのでここでは対象外とします。

　以下、スクリプトです。

 # ma_fisher.py (coding: cp932)
 import pandas as pd
 import scipy.stats as stats
 import prast as ps
 ps.set_encoding("cp932")  # python2用にencodingを設定
 
 dtf = pd.read_csv("data01.csv")
 psx = ps.Prast(dtf, "data01_c.txt", "data01_i.txt", "cp932")
 rng = psx.crange(2, 5)  # 複数回答の列ラベル群(選択肢群)
psx.fillna(rng, 0)  # 欠損値を数値0に
all = len(rng)  # 選択肢の総個数
psx.pd(psx.ma_select(rng)
    .query("ma_select > 0 & ma_select < @all")
)
num = 0
for i in range(all-1):
    col1 = rng[i]
    for j in range(i+1, all):
        col2 = rng[j]
        num = num + 1
        tod = psx.table(col1, col2)
        jtbl = ps.join_table(tod['tbl2'], tod['pct1'])
        oddsratio, p_value = stats.fisher_exact(tod['tbl1'])
        msg = u"有意差なし"
        if p_value < 0.05:
            msg = u"有意差あり"
        print("#%d  %s: %s" % (num, tod['name'], msg))
        print(u"odds比=%f, p値=%g" % (oddsratio, p_value))
        print(jtbl)
        print('')

　上記を実行してみると、６通りの組み合わせのうち有意性が検出されるのは
「テレビ／ラジオ」だけで、それに関する出力は下のとおり。

#6  テレビ/ラジオ: 有意差あり
odds比=0.141659, p値=4.2118e-05

　テレビを見る人はラジオを聴かない傾向が顕著であることがわかります。

　ラジオを聴く人はテレビを見ない傾向にあることもうかがえます。

　odds(オッズ)は競馬等でよく耳にしますが、単純化していうと
「当たりの確率」÷「外れの確率」で算出するようです。

　pythonのfisher検定のodds比算出方法は、もっと複雑かもしれませんが……

　上記のクロス集計表に即していうと、下のような計算です。

 a = 8.0 / 29.0  # １列目を縦にたどる
 b = 37.0 / 19.0  # ２列目
 odds = a / b
 print(odds)  # 0.14165890028
 
 x = 8.0 / 37.0  # １行目を横にたどる
 y = 29.0 / 19.0  # ２行目
 odds = x / y
 print(odds)  # 0.14165890028 (行と列を入れ替えて算出しても同じ)

　上の単純な計算での結果は、fisher_exact() のodds比とごく近い値です。

　というか、この場合は同じといっていいようにおもいます。

　複数回答の集計は、これで終了です。

　ここでは選択肢を分解して集計しましたが、
「前編」で作った集計表をコレスポンデンス分析などにかけた方が
全体像を見通しやすいかもしれません。

　ただ、分解方式は、単純な分 わかりやすいとはいえるとおもいます。

〜　以上　〜

Copyright (C) T. Yoshiizumi, 2018 All rights reserved.

• 第１回　度数と割合の表示
• 第２回　クロス集計
• 第３回　カイ２乗検定
• 第４回　分布のチェック
• 第５回　t検定
• 第６回　複数回答の集計・前編
• python関連記事
• トップページへ