第2章心理学の研究

Reliability and Validity信頼性と妥当性

Reliability and validity are two important considerations that must be made with any type of data collection. Reliability refers to the ability to consistently produce a given result. In the context of psychological research, this would mean that any instruments or tools used to collect data do so in consistent, reproducible ways. There are a number of different types of reliability. Some of these include inter-rater reliability (the degree to which two or more different observers agree on what has been observed), internal consistency (the degree to which different items on a survey that measure the same thing correlate with one another), and test-retest reliability (the degree to which the outcomes of a particular measure remain consistent over multiple administrations).

英語のヒント

信頼性と妥当性は、どのような種類のデータ収集においても考慮しなければならない二つの重要な点である。信頼性とは、ある結果を一貫して生み出せることを指す。心理学研究の文脈でいえば、データを集めるのに使われる道具や手段が、一貫した、再現可能なやり方でデータを集める、ということになる。信頼性にはさまざまな種類がある。その中には、評定者間信頼性（二人以上の異なる観察者が、観察されたことについてどの程度一致するか）、内的一貫性（調査の中で同じものを測定する異なる項目どうしが、どの程度互いに相関するか）、再検査信頼性（ある測定の結果が、複数回の実施を通じてどの程度一貫しているか）などがある。

Unfortunately, being consistent in measurement does not necessarily mean that you have measured something correctly. To illustrate this concept, consider a kitchen scale that would be used to measure the weight of cereal that you eat in the morning. If the scale is not properly calibrated, it may consistently under- or overestimate the amount of cereal that’s being measured. While the scale is highly reliable in producing consistent results (e.g., the same amount of cereal poured onto the scale produces the same reading each time), those results are incorrect. This is where validity comes into play. Validity refers to the extent to which a given instrument or tool accurately measures what it’s supposed to measure, and once again, there are a number of ways in which validity can be expressed. Ecological validity (the degree to which research results generalize to real-world applications), construct validity (the degree to which a given variable actually captures or measures what it is intended to measure), and face validity (the degree to which a given variable seems valid on the surface) are just a few types that researchers consider. While any valid measure is by necessity reliable, the reverse is not necessarily true. Researchers strive to use instruments that are both highly reliable and valid.

英語のヒント

残念ながら、測定が一貫しているからといって、必ずしも何かを正しく測定したことにはならない。この考え方を説明するために、朝食べるシリアルの重さを量るのに使う台所用のはかりを考えてみよう。はかりが正しく較正されていなければ、量っているシリアルの量を、一貫して少なく、あるいは多く見積もってしまうかもしれない。はかりは一貫した結果を出すという点では非常に信頼性が高い（たとえば、同じ量のシリアルをはかりに載せれば毎回同じ値を示す）が、その結果は正しくない。ここで妥当性が問題になる。妥当性とは、ある道具や手段が、測定するはずのものをどの程度正確に測定しているかを指す。そしてここでも、妥当性を表すやり方はいくつもある。生態学的妥当性（研究結果が現実世界での応用にどの程度一般化できるか）、構成概念妥当性（ある変数が、測定しようとしているものを実際にどの程度とらえ、測定しているか）、表面的妥当性（ある変数が、表面上どの程度妥当に見えるか）は、研究者が考慮する種類のほんの一部にすぎない。妥当な測定はどれも必然的に信頼性があるが、その逆は必ずしも成り立たない。研究者は、信頼性と妥当性がともに高い道具を用いるよう努めている。

Everyday Connection

日常とのつながり

How Valid Are the SAT and ACT?SATとACTはどれほど妥当か

Standardized tests like the SAT and ACT are supposed to measure an individual’s aptitude for a college education, but how reliable and valid are such tests? Research conducted by the College Board suggests that scores on the SAT have high predictive validity for first-year college students’ GPA (Kobrin, Patterson, Shaw, Mattern, & Barbuti, 2008). In this context, predictive validity refers to the test’s ability to effectively predict the GPA of college freshmen. Given that many institutions of higher education require the SAT or ACT for admission, this high degree of predictive validity might be comforting.

英語のヒント

SATやACTのような標準テストは、大学教育に対する個人の適性を測定するものとされているが、こうしたテストはどれほど信頼性があり、妥当なのだろうか。カレッジボードが行った研究は、SATの得点が大学1年生のGPAに対して高い予測的妥当性を持つことを示唆している（Kobrin, Patterson, Shaw, Mattern, & Barbuti, 2008）。この文脈での予測的妥当性とは、そのテストが大学1年生のGPAを効果的に予測できる力を指す。多くの高等教育機関が入学にSATやACTを求めていることを考えれば、この高い予測的妥当性は心強いものかもしれない。

However, the emphasis placed on SAT or ACT scores in college admissions is changing based on a number of factors. For one, some researchers assert that these tests are biased, and students from historically marginalized populations are at a disadvantage that unfairly reduces the likelihood of being admitted into a college (Santelices & Wilson, 2010). Additionally, some research has suggested that the predictive validity of these tests is grossly exaggerated in how well they are able to predict the GPA of first-year college students. In fact, it has been suggested that the SAT’s predictive validity may be overestimated by as much as 150% (Rothstein, 2004). Many institutions of higher education are beginning to consider de-emphasizing the significance of SAT scores in making admission decisions (Rimer, 2008).

英語のヒント

しかし、大学入試でSATやACTの得点に置かれる比重は、いくつもの要因によって変わりつつある。一つには、これらのテストにはバイアスがあり、歴史的に周縁化されてきた集団出身の学生は、大学に入学できる見込みを不当に下げる不利な立場に置かれている、と主張する研究者がいる（Santelices & Wilson, 2010）。さらに、これらのテストの予測的妥当性は、大学1年生のGPAをどれほどよく予測できるかという点で、ひどく誇張されていると示唆する研究もある。実際、SATの予測的妥当性は最大で150％も過大評価されているかもしれない、とも指摘されている（Rothstein, 2004）。多くの高等教育機関が、入学の判定においてSATの得点の重要性を引き下げることを検討しはじめている（Rimer, 2008）。

Recent examples of high profile cheating scandals both domestically and abroad have only increased the scrutiny being placed on these types of tests, and as of March 2019, more than 1000 institutions of higher education have either relaxed or eliminated the requirements for SAT or ACT testing for admissions (Strauss, 2019, March 19).

英語のヒント

国内外で最近起きた、世間の注目を集めた不正行為のスキャンダルは、この種のテストに向けられる厳しい目をいっそう強めてきた。そして2019年3月の時点で、1000を超える高等教育機関が、入学の際にSATやACTの受験を求める要件を緩和するか、廃止している（Strauss, 2019, March 19）。

Summaryまとめ

A correlation is described with a correlation coefficient, r, which ranges from -1 to 1. The correlation coefficient tells us about the nature (positive or negative) and the strength of the relationship between two or more variables. Correlations do not tell us anything about causation—regardless of how strong the relationship is between variables. In fact, the only way to demonstrate causation is by conducting an experiment. People often make the mistake of claiming that correlations exist when they really do not.

相関は相関係数rで表され、rは-1から1までの値をとる。相関係数は、二つ以上の変数のあいだの関係の性質（正か負か）と強さを教えてくれる。相関は、変数間の関係がどれほど強くても、因果については何も教えてくれない。実際、因果を示す唯一の方法は、実験を行うことである。人はしばしば、実際には存在しない相関を存在すると主張する誤りを犯す。

Researchers can test cause-and-effect hypotheses by conducting experiments. Ideally, experimental participants are randomly selected from the population of interest. Then, the participants are randomly assigned to their respective groups. Sometimes, the researcher and the participants are blind to group membership to prevent their expectations from influencing the results.

研究者は、実験を行うことで因果についての仮説を検証できる。理想的には、実験参加者は関心のある母集団から無作為に選ばれる。次に、参加者はそれぞれの群に無作為に割り当てられる。研究者と参加者の期待が結果に影響するのを防ぐために、研究者と参加者が、誰がどの群に属しているのかを知らされないこともある。

In ideal experimental design, the only difference between the experimental and control groups is whether participants are exposed to the experimental manipulation. Each group goes through all phases of the experiment, but each group will experience a different level of the independent variable: the experimental group is exposed to the experimental manipulation, and the control group is not exposed to the experimental manipulation. The researcher then measures the changes that are produced in the dependent variable in each group. Once data is collected from both groups, it is analyzed statistically to determine if there are meaningful differences between the groups.

理想的な実験計画では、実験群と統制群の唯一の違いは、参加者が実験操作を受けるかどうかである。どちらの群も実験のすべての段階を経るが、それぞれの群は独立変数の異なる水準を経験する。実験群は実験操作を受け、統制群は実験操作を受けない。研究者はそのあと、それぞれの群で従属変数に生じた変化を測定する。両方の群からデータが集まったら、群のあいだに意味のある違いがあるかどうかを判定するために、データを統計的に分析する。

Psychologists report their research findings in peer-reviewed journal articles. Research published in this format is checked by several other psychologists who serve as a filter separating ideas that are supported by evidence from ideas that are not. Replication has an important role in ensuring the legitimacy of published research. In the long run, only those findings that are capable of being replicated consistently will achieve consensus in the scientific community.

心理学者は、研究結果を査読付き学術論文として報告する。この形式で発表される研究は、ほかの何人かの心理学者によってチェックされる。その心理学者たちは、証拠に支えられた考えと、そうでない考えとをより分けるフィルターの役割を果たす。追試は、発表された研究の正当性を確かなものにするうえで重要な役割を担う。長い目で見れば、一貫して追試で再現できる研究結果だけが、科学界で合意を得ることになる。