論文を書く予定がある人は，まずはできるだけ論文を読みましょう

今回は，最近考えていることを共有したいと思って書きます。タイトルが言いたいことそのままなのですが。

論文には構造がある

論文には，構造があります。研究領域や学術雑誌によって，その構造自体は異なることもあります。最も典型的な形式としてIMRAD (Introduction, Method, Result, and Discussion)があります。私が専門としている心理学の学術雑誌では，ほとんどこの順序で出てきます。しかし，例えば神経科学分野では，結果が最初に述べられることになっているものもあります。このような構造があることで，研究者(とそうでない人)は，論文を短い時間で読めます。

論文には数多くの専門用語がある

論文は，原則として「掲載スペースが狭いので奪い合う」ことになっています。よって，冗長な表現や長い表現が避けられる傾向にあり，それを補うための数多くの専門用語が出てきます。例えば心理学の領域で出てくる「態度」，「制約」のような表現は，一般的にも使用できるものですが，それが指す内容は一般的な意味からだいぶ離れています。*1

論文には特有の言い回しがある

論文には，専門用語以外にも特有の言い回しがあります。例えば「傾向」。この言葉は，統計的仮説検定において，後少しで効果が有意になりそうなときに使います。心理学だったら，確率（ｐ値）が５%以上10%未満で出てくる表現です。また，統計的仮説検定では，帰無仮説が棄却できないときに，「〜でないとは言えない」といったまわりくどい表現が使われます。この表現は「〜である」と言い切ることと明確に区別されます。

読みながら自然に学ぶ論文のルール

上記のように，論文には，特有の構造，用語，言い回しが多数使われています。これらをマニュアル的に理解するのは，論文を書く上で非常に重要です。それに加えて，たくさんの論文を読んで，その特有の言い回しを早く身につけることが大事だと思います。なぜ，身につけたほうが良いかというと，それはもちろんそれがその世界のルールだからです。しかし実際にはそれ以上の意味があると思います。こういった書き方に沿った文章を読むと読み手に安心感が生まれると思います。論文の構造や言い回しが適切に使われている論文と，そういった言い回しがあり得ない表現になっている論文を比べたら，どちらをより信頼するでしょうか？せっかく自分の論文を読んでくれた読者にはぜひ内容を信頼してもらいたい。論文特有の構造や言い回しを適切に表現することが，それに貢献すると思います。

*1:一般的に態度とは，内面の状態を指すものだと思いますが，心理学的態度は，表面に表れている行動を含んでいます。また，認知的制約という用語は，制限という意味ではなく，偏りのような意味です

R言語でデータを分割してから，それぞれに同じ操作を繰り返す

今回はR言語の使い方のヒントを皆様と共有します。

データの分割はsplit関数

データを分割するには，split関数が便利です。split関数では２つの引数をとり，１つ目がデータオブジェクト，２つ目が分割するための基準となる変数を設定します。
以下の例を見てください。

sampleData <- data.frame(ID = c(1,1,1,2,2,2,3,3,3), performance = c(2,3,4, 3,4,5,4,5,6))

splitData <- split(sampleData, sampleData$ID)

このとき，splitDataの内容を見ると，分割されたデータのそれぞれがリスト内に保存されていることがわかります。

splitした後のデータへの操作

リストの中身を見るときには通常の　でインデックスをつかうのではなく，[]二重にカッコを使ってインデックスで指定します。
例えば分割したデータの最初の部分（IDが１の場合）だけを見るなら以下のようにします。

splitData[[1]]

for関数の引数のインデックスをこのリスト内の要素呼び出しに使えば，分割されたデータのそれぞれに，同じ操作を繰り返し使えます。例として，IDごとの平均値を計算して，偏差の変数を作ってみます。

for (i in 1: length(splitData)){
    #平均を計算
    averagePerformance <- mean(splitData[[i]]$performance)
    splitData[[i]]$deviation <- splitData[[i]]$performance - averagePerformance 
}

このようにすると，IDごとに異なる平均値で偏差が計算できます。

分割したデータをもとに戻す

分割したデータに操作を加えたら，最後はもとのデータに戻しましょう。このときunsplit関数を用います。
分割の基準の変数をそのままもう一度使うのがコツです。

unsplitData <- unsplit(splitData, sampleData$ID)

このようにすると，subset関数で部分データを作らなくても，分割データに対して次々に操作を加えられます。

数式は（そんなに）怖くない（３）

本日は，数式怖くないシリーズ３つめの話題です。共分散を取り上げます。

共分散とは

共分散とは２つの変数の変動（または連動）する様子を１つの値に要約したものです。ある変数の値が高くなるときに，他の変数も同じように値が高くなるのか，逆に低くなるのか，それとも連動しないのかを知ることができます。

共分散を求める式

共分散の計算式を眺めてみましょう。

全体として眺めてみると，分数になっていて，１番目からｎ番目までについて何かを計算したら，すべて足し合わせて，要素数のｎで割るという式になっています。要素を全部足して，要素数で割るのは平均ですね。これもなにかの全体的な傾向を真ん中あたりの値で示すという意味がありそうです。

分子を眺めてみると，２つの計算結果の掛け算になっています。カッコの中を見ると，各要素の値から全体の平均が引かれていることがわかります。個々までの計算を表す言葉をまとめれば，割り算，足し算，掛け算，引き算しか出てきていません。つまり，やろうと思えば紙とペンで手計算もできそうです*1。

次に，分子の部分に注目してみます。分子は２つの式の掛け算でできていて，それぞれは，各要素から平均値を引いた値です。ここで大事なのは，この値が正負両方の可能性があることです。要素の値が平均値より大きければ，引き算の結果が正になり，平均値より小さければ引き算の結果は負になります。それで，この結果を掛けているので，考えられるのは次の４つのパターンです。

• 正の値　x 　正の値　＝　正の値
• 正の値　ｘ　負の値　＝　負の値
• 負の値　ｘ　正の値　＝　負の値
• 負の値　ｘ　負の値　＝　正の値

つまり，両者の正負が一致していれば，掛け算の結果が正，不一致なら掛け算の結果が負になります。共分散は全体として，この傾向を要約したものと考えられるので，全体的に平均からの差の方向性が一致している要素が多いか，差の方向が逆になっている要素が多いかを示していることになります。

最後に，この式は，各要素の値をどんな単位で扱うかによって，共分散自体の大きさが変化してしまうことを指摘しておきます。

グラフから考える共分散の意味

今度は，グラフを使って考えてみます。先程から，平均値を引いた引き算の結果と読んでいるものは，もう少し難しい言葉でいうと偏差と言います。２つの変数の偏差の正負組み合わせをグラフで考えると以下のようになります。このグラフは，各変数の平均値の位置で線が引かれて，４つの領域が作られています。まず，偏差の正負が同じ場合は，グラフ上，データの値が，右上の領域または左下の領域にあることになります。

偏差（要素と平均の差）の正負が２つの変数で同じ場合のデータプロット位置

一方，２つの変数の偏差の正負が異なるなら，グラフ上，データの値が左上か右下の領域にあります。

偏差（要素と平均値の差）の正負が２つの変数で異なる場合のデータプロット位置

つまり全体的な傾向として，偏差の正負が同じことが多いなら，共分散は正の値になり，グラフ上右肩上がりの傾向を持ちます。逆に，偏差の正負が異なることが多いなら，共分散は負の値になり，グラフ上右肩下がりの傾向を持ちます。このように考えると，共分散を計算することによって，グラフ上でのデータの直線的な傾向の様子を推論することができるようになります。

まとめ

今回は共分散を計算する式を取り上げました。基本的には四則演算しかしていないですし，値の取る意味がわかれば，グラフにデータをプロットするときの様子との対応関係もよく分かると思います。

*1:もちろん要素数が手計算でもなんとかなりそうな範囲に限ります

サンプル平均の期待値はサンプルサイズがいくつでも同じです

本日は，久々の投稿な上に，ちょっと込み入った話です。込み入っているけど，推測統計を理解するためにぜひ抑えておきたいポイントについて書きたいと思います。

サンプルの平均を母平均の推定に使う

推測統計学では，実際に持っているデータをデータを取った集団*1から持ってきた「サンプル」であるとみなします。だから，毎回毎回取ったデータが変わる可能性があります。大事なのは，今，手持ちのデータを利用して，もともとの集団全体の特徴を推定するところです。例えば，集団全体の平均（母平均）は，今持っているサンプルデータの平均として推定します*2。今あるデータから計算するしかないんだから仕方ないよね，という理解でも良いのかもしれません。でも，この方法はそんな妥協の産物というものでもなく，サンプルデータの平均値の期待値が母集団に一致することを根拠にできます*3。「サンプルデータの平均の期待値」というのが直感的ではないと思うので，これをちょっと掘り下げてみましょう*4。

数式で考える

これが平均を求める式ですね。要素数がｎ個のときに，そのすべての要素を足し合わせて，要素数で割れば良いです。この値の期待値を考えてみます。期待値とは，取りうる値とその確率をかけたものをすべて足し合わせたものです。

この式の分母は，要素数が決まれば定数になるので，確率を考える必要がありません。なので，E（）の外に出してみましょう。

ここでE()に入っている部分は，それぞれの要素を足し合わせたものです。それがわかりやすいように書き直します。

各要素の和の期待値は，各要素の期待値の和と考えても同じことなので，式を少し変えます。

ここで，ある要素の期待値を考えてみます。ある要素の期待値は，集団の中のすべての要素が等しい確率で出ると考えると，集団全体の平均値に等しくなります。これはでもでも同じです。これを考えると式が以下のようになります。

平均値がｎ個あって，それをｎで割っているので，結局はというのが，平均の期待値になるわけです。
ここで大事なポイントは，要素数nが何個であっても結局式の上で数値が変動する要素がないことです。

シミュレーションしてみる

一回一回のサンプルの値は必ずしも集団全体の平均に一致するとは限りません。でも，どんどんサンプルをとっていって，それまでのサンプルの平均をまとめて，その平均をとったらどうなるでしょうか？
まずは，１０万個の全体集団を作りましょう。rnorm関数を使うと自分で決めた平均と標準偏差を持つ正規分布からランダムに値を生成してくれます。

populationData <- rnorm(100000,0,1)

今回たまたま生成した１０万個のデータの平均値は0.001270158でした。では，この中から２個のデータをとってきて，サンプルを作ります。その平均値を次のように計算できます。

sampleData <- sample(populationData,2)
mean(sampleData)

これを１０００回ほど繰り返します。さらに，毎回，それまでの平均値のデータを利用して，「平均値の平均」を計算します。

SampleRes <- NULL
Res <- NULL
for ( i in 1:1000){
  
  sampleData <- sample(populationData,2)
  SampleRes <- append(SampleRes, values = mean(sampleData))
  Res <- append(Res, mean(SampleRes))
  
  
}

この結果を見てみましょう。まずは，サンプルを毎回取るごとの平均値はこのようになりました。

横軸は１回目から１０００回めまでの回数を表していて，縦軸がサンプルの平均値です。おおよそ−２から２の範囲で値がばらついているのがわかります。さらに，毎回平均を計算するごとに平均の平均を計算したら次のようになりました。

このグラフも横軸は１回目から１０００回目までの回数を表しています。これを見ると，徐々に０付近に値がよっていく様子がわかります。ちなみに１０００回めの平均の平均は0.0003681900でした。

では，１回のサンプルの要素数を１０にしてみたらどうなるでしょうか？各回のサンプル平均は以下のようになりました。

値が-1から1の間でばらついています。要素数２のときよりもばらつきが小さいように見えます。平均の平均を計算した結果は以下のようになりました。

やはり計算を重ねていくと０付近に値が寄っていきます。ちなみに１０００回目の「平均の平均」の値は-0.006140395でした。
このように，サンプルに含まれる要素数がいくつであろうと，もともとの集団全体の平均値に次第に近づいていくことがわかります。

まとめ

今回は，数式とシミュレーションという異なる方法を用いながら，サンプル平均の期待値が集団全体の平均になることを見てきました。

*1:母集団と言います。

*2:この場合，データを１点の値で推定するので点推定と言います。

*3:このような性質を普遍性を持つといいます

*4:ここまで書いた時点で掘り下げたからといってそれほどわかりやすくなるかと言えばそうでもない気がしています。

分析はプログラミングを利用したほうが良いのはなぜか？（初学者向け）

今回は，統計学やデータ分析の初学者の方に向けて，「なぜプログラミングを利用したほうが良いのか？」を考えてみます。

データ分析の方法

何らかの方法でデジタル化されたデータがあれば，それを使って，計算し，データの特徴を調べられます。数量で扱えるデータであれば，データの平均や散らばり，データの分布の形状などです。これらの計算は，手計算でもできます。でも，せっかくデジタルデータになっているので，計算用のアプリケーションを利用すると簡単に行えます。計算にアプリケーションを利用するのであれば以下の２つの方法が考えられます。

• マイクロソフトエクセルやリブレオフィス付属のCalcのような表計算アプリケーションを利用する。
• R，Pythonのようなプログラミング言語を利用する。

実際には，前者の表計算アプリケーションを利用する人が圧倒的に多いと思います。しかし，私はあえて後者のプログラミング言語を利用する方法をおすすめしたいと思います。でも，プログラミング言語を利用して，データの分析を行うにはちょっとしたコツと言うか，算数や数学の計算と異なる考え方をする必要があると思います。今回はそれを説明していきます。

具体例で，手計算，表計算アプリ，プログラミング言語による計算を比較

具体例があった方が話しやすいので，以下のような例を考えてみましょう。

Aさん，Bさん，Cさん，Dさん，Eさんの５人に一日の平均睡眠時間を尋ねたところ，それぞれ６時間，８時間，５時間，７時間，６時間という答えになりました。この５人全体としては，睡眠時間についてどんな傾向を持っているでしょうか？

こんな問題があったとして，真っ先に思いつくのは「グループ全体としての平均睡眠時間は〜時間です」だと思います。
たった５人の計算であれば，紙とペンで計算もできます。やってみましょう。

手計算の場合

平均を求める式を言葉で表すと，以下のようになります。
（Aさんの睡眠時間　＋　Bさんの睡眠時間　＋　Cさんの睡眠時間　＋　Dさんの睡眠時間　＋　Eさんの睡眠時間）　➗　人数　＝　グループの平均睡眠時間
データがあるので，数字に直しましょう。
( 6 + 8 + 5 + 7 + 6) ➗5　＝　6.4時間

これで良いと思います。この例だったらデータのサイズがわずか５人なので，計算の手間もそれほどではありません。でも，これがある学校の生徒１０００人の平均睡眠時間を計算する場合だったらどうでしょうか？そうなると手計算の手間がかかりすぎるので，以下で示すようなアプリケーションを利用するのが良いでしょう。

表計算アプリケーションの場合

では，表計算アプリケーションでも計算してみましょう。まず以下のように，データを表にしてみました。

このように表ができたら，セルの数を参照して平均を計算できます。以下のように，手計算と同じように参照しながら計算することができます。

しかし，表計算アプリケーションには，便利な関数（マイクロソフトエクセルならaverage関数）があり，データの個数を自分で入力しなくても計算可能です。

ここで上の２つの方法を比べてみましょう。上の方法は，手計算の場合とほぼ同じです。なので，エクセルに慣れていない人でも，すぐに意味がわかると思います。一方，下の方法は，average関数というエクセル特有の仕組みを使っているので，計算の中身がわからないです。ここが少し不安になるかもしれませんね。ただし，計算の際に参照している数字は同じであることが見て取れます。

Rを使った方法

では，プログラミングを利用する方法としてRで同じ計算をしてみましょう。Rを電卓のような感じで利用するのであれば，以下のようにコードを書くと良いでしょう。

(6 + 8 + 5 + 7 + 6) / 5

Rでもエクセルと同じような関数が用意されています。mean関数です。引数として，カッコの中に数字を入れるのも同じです。

mean(c(6, 8, 5, 7, 6))

Rのようなプログラミング言語で計算する場合，入力する数字や計算の結果をオブジェクトと呼ばれるものに保存できます。例えば以下のように書きます。

sleepTimeData <- c(6,8,5,7,6)

sleepTimeDataMean <- mean(sleepTimeData)

print(sleepTimeDataMean)

上記で，sleepTimeDataやsleeTimeDataMeanがオブジェクトです。名前は好きなものが使えます*1。この形にしてしまうとmean関数を利用する際に数字がぱっと見てわかる数字が一切ありません。この方法に慣れていない人は，ここで自分が何をしているのかわからなくなると思ってしまうかもしれません。落ち着いて，上の行を見れば具体的な数字が出てくるので，mean関数にどんな数字を使っているのかがわかります。

なぜプログラミングした方が良いのか？

なぜプログラマは，数字を記入せずに，ぱっと見ではわからない書き方をしているのでしょうか。次の例を考えてみましょう。

sleepTimeData <- c(6,8,5,7,6,4,9,10, 7, 8, 6, 6, 5, 9, 3, 7)

sleepTimeDataMean <- mean(sleepTimeData)

print(sleepTimeDataMean)

この例では，先の例に比べてたくさんの人の睡眠時間を使って平均を計算しています。ここ大事なのは，入力として使うオブジェクト（ここではsleepTimeData）の行だけ，数字が違うことです。残りの２行は先程の例と全く同じコードが書かれています。もしも，オブジェクトを使わずに計算すると以下のようになってしまいます。

(6 + 8 + 5 + 7 + 6 + 4 + 9 + 10 + 7 + 8 + 6 + 6 + 5 + 9 + 3 + 7) / 16

このように書くと，数字が変わるたびに計算式を毎回変更しなければいけないですね。そして，数字がいくつあるかも数えなければいけません。この例では，多いとは言っても比較的少ない数の数字の計算ですが，これが1000とか10000になると大変です。一方，オブジェクトを利用すれば，入力の段階でミスをしなければ，数字の数を数えることもなく，いつでも同じ計算用のコードを利用できるわけです。

実は，この他にもプログラミングを利用した方が良い理由があるのですが，それは別の記事になっているので，こちらを御覧ください。

webbeginner.hatenablog.com

まとめ

今回は，データ分析の方法として，数式で手計算する方法，表計算アプリケーションを利用する方法，プログラミンを利用する方法を比較してみました。その結果として，プログラミングを利用すると，一度作った計算手続きを他の計算にもうまく利用できることを示しました。今までプログラミングをしたことがなくて，難しそうと思っている人も，オブジェクトの利用の仕方を工夫しながらぜひ挑戦してみてください。

*1:命名は，中身がわかるようにした方が良いと思います。また，すでにRで使われている名前のオブエジェクトは避けたほうが良いです

Rをアップデートしたらjupyter notebookの設定もアップデート

これまでに２回ほどjupyter notebook(またはipython notebook)のインストールについて紹介しました。この度，Rのメジャーアップデートをしたので，その後の設定についてメモを共有します。

必要なパッケージのインストール

以下のページに載っているように，パッケージを再度インストールします。

qiita.com

install.packages(c('repr', 'IRdisplay', 'evaluate', 'crayon', 'pbdZMQ', 'devtools', 'uuid', 'digest'))
devtools::install_github('IRkernel/IRkernel')

ここまではRやRstudioのインターフェイスで実行します。

[重要] ターミナルからRの関数を実行

ターミナルでやらないといけない関数があります。

library(IRkernel)
installspec()

RやRStudioのインターフェイスから実行するとエラーが出て，うまくいきませんでした。ご注意ください。

盗用・剽窃はなぜいけないのか

今回は，最近，考えたことを書きます。

盗用と剽窃

例えば何か研究成果を発表するときに，他人の意見を自分の意見であるかのように述べること，他人のデータを自分のものであるかのように紹介すること。これらは盗用や剽窃と呼ばれます。学会，学校様々な場所で禁止されている行為です。私も禁止すべきだろうと思います。では，なぜ盗用がいけないのか？学会や学校が禁止しているからしない。それでも良いと思います。では，なぜ学会，学校は盗用・剽窃を禁止しているのでしょうか。
インターネット上でも多くの記事やブログで，盗用・剽窃が禁止される理由が考察されています。
剽窃はなぜダメか - ちしきよく。

このブログ記事では，「学問の発展に寄与しないから」「自分の身にならないから」という２点が指摘されています。その意見にも概ね賛成です。

今回は，上記では見られなかった理由を２つほど考えたのでメモ代わりに書きたいと思います。その２つは，どちらもコミュニティとして盗用・剽窃があるとどうなるのかを考えています。読みながら盗用・剽窃がある状況を想像してみてください。

学校が盗用・剽窃をなぜ禁止するのか？

学校（つまり教える側）が盗用・剽窃を禁止する理由の１つは評価の問題だと思います。レポートや論文で主張されている内容が，誰かの意見やデータであるとすれば，それを支えるだけの論拠を自分で持っていないことになります。それでは，レポートや論文の評価，つまり，単位を取得するだけの技能を身につけているのかを確かめることができません。評価（つまり技能習熟の保証）は学校の重要な機能の１つなので，このシステムが動かないのは大問題です。

知の共有にとってなぜ盗用と剽窃が良くないのか

次に，知の共有という観点から盗用・剽窃を考えてみましょう。例えばあなたが，論文やwikiなどなんらかの集合知につながる媒体（つまり研究フィールド）で気になる主張やデータを見つけたとします。詳しい話が聞きたければ，その人に直接質問すればよいわけです。これこそ科学コミュニケーションであり，学問の発展に役立ちます。つまり，主張を支える根拠やデータは，それがどこにあるかを示す目印が必要なのです。もしも自分で主張を支えるだけの根拠・データがなく，誰かの意見を無断でこっそり借りて主張をし，それが，引用という形で世に広まったら...。先程述べたような著者に直接質問するというコミュニケーションを通じた学問の発展が難しくなるでしょう。なぜなら，質問されてもその人はそれに答えられるかどうかわからない。つまり，確かな論拠やデータがどこにあるかわからなくなるからです。よって，研究フィールドにおける知の共有という観点から見れば，確実な論拠・データがどこにあるかわからなくさせるような盗用・剽窃はなんとしても避けたいのではないかと思います。

だから盗用・剽窃はやめましょう

今回は，学校や研究フィールドのようなコミュニティとしてなぜ盗用・剽窃を認めてはいけないのかを考えてみました。研究フィールドをまるごと破壊してしまう可能性もあるので，互いに気をつけたいところです。