python関連記事

　当サイトにおける python関連記事の一覧を列挙します。

1.　pythonのpandasによる簡単な統計処理

　pythonのpandas, scipy, numpyなどを使って、
簡単な統計処理を試みます。

　日本語MS-Windowsの環境下で、Excelファイルを素材にします。
文字コードは cp932 (Shift_JISの拡張版)を前提にします。

　こだわったのは次の２点。

日本語にこだわる
　MS-Windows環境下で、日本語を使う。
　たとえば、DataFrameの列ラベルを英語に変更したりはしない。
Excelにこだわる
　Excelファイルを素材データにし、処理結果は Excelファイルとして書き出す。
　周囲にExcel利用者が多いので(というより大半)、長いものには巻かれろ。

第１回　DataFrameへのmean，describeの適用(2017/10/29)
平均値を求める mean()、データの要約を得る describe() を利用。
第２回　数値のカテゴリ化とクロス集計(2017/11/04)
身長(数値)を「160～170」のようにカテゴリ化し、性別とのクロス集計を行う。
第３回　F検定，t検定その他(2017/11/13)
男女間で身長と体重に有意差があるかをみる。
第４回　データの抽出と日本語処理(2017/12/02)
DataFrameからデータ抽出する方法の確認(query, dplythonなど)
第５回　グラフ作成と相関の検証(2018/03/10)
身長と体重の間に相関がみられるかを確認。散布図も作成。

　統計解析ソフトRをpythonから利用する場合、
rpy2 とか pyper というライブラリを利用できます。

　ただ、マルチバイト文字の日本語を扱おうとすると苦労します。

　そこで、rpy2 を利用しつつ、日本語を扱いやすくするため
pyrcmd.py を作りました。

　また、統計処理した結果をmarkdown経由でhtmlなどに変換するのに
便利そうな関数をpyrcmd.pyに組み込みました。

　それについて解説しています。

　pythonで定番の単純な集計を行う目的で prast.py を自作しました。

　統計検定で物足りない点も補います。

　カイ二乗検定で残差関連の情報が取得できないとか、
平均値の差の検定(t検定)で片側検定を指定するオプションがないなどを補足。

　pandocで生成したdocxファイルを python-docx で加工処理します。

　Wordを起動することはありません。

　Windows以外の環境でも使えるとおもいます。

　html, pptx の出力にも対応。

　html出力時は、見出しの行に機械的にID属性を付加します。