第6章学習
6.3 Operant Conditioning6.3 オペラント条件づけ
Learning Objectives学習目標
By the end of this section, you will be able to:
この節を学び終えると、次のことができるようになる。
- Define operant conditioningオペラント条件づけを定義する
- Explain the difference between reinforcement and punishment強化と罰の違いを説明する
- Distinguish between reinforcement schedules強化スケジュールを区別する
The previous section of this chapter focused on the type of associative learning known as classical conditioning. Remember that in classical conditioning, something in the environment triggers a reflex automatically, and researchers train the organism to react to a different stimulus. Now we turn to the second type of associative learning, operant conditioning. In operant conditioning, organisms learn to associate a behavior and its consequence (Table 6.1). A pleasant consequence makes that behavior more likely to be repeated in the future. For example, Spirit, a dolphin at the National Aquarium in Baltimore, does a flip in the air when her trainer blows a whistle. The consequence is that she gets a fish.
英語のヒント
この章の前の節では、古典的条件づけとして知られる種類の連合学習を取り上げた。古典的条件づけでは、環境の中の何かが反射を自動的に引き起こし、研究者はその生物が別の刺激に反応するように訓練するのだった。ここからは、連合学習の第二の種類であるオペラント条件づけに目を向ける。オペラント条件づけでは、生物はある行動とその結果とを結びつけることを学習する(表6.1)。心地よい結果は、その行動が将来くり返される可能性を高める。たとえば、ボルティモアの国立水族館にいるイルカのスピリットは、トレーナーが笛を吹くと空中で宙返りをする。その結果として、スピリットは魚をもらえる。
Classical and Operant Conditioning Compared 古典的条件づけとオペラント条件づけの比較 |
||
|---|---|---|
Classical Conditioning 古典的条件づけ |
Operant Conditioning オペラント条件づけ |
|
Conditioning approach 条件づけの方法 |
An unconditioned stimulus (such as food) is paired with a neutral stimulus (such as a bell). The neutral stimulus eventually becomes the conditioned stimulus, which brings about the conditioned response (salivation). 無条件刺激(食物など)を中性刺激(ベルなど)と対にする。中性刺激はやがて条件刺激となり、条件反応(唾液分泌)を引き起こすようになる。 |
The target behavior is followed by reinforcement or punishment to either strengthen or weaken it, so that the learner is more likely to exhibit the desired behavior in the future. 標的行動の後に強化または罰を続けて、その行動を強めるか弱めるかする。それによって、学習者が将来、望ましい行動を示す可能性が高くなるようにする。 |
Stimulus timing 刺激のタイミング |
The stimulus occurs immediately before the response. 刺激は反応の直前に生じる。 |
The stimulus (either reinforcement or punishment) occurs soon after the response. 刺激(強化または罰)は反応のすぐ後に生じる。 |
Psychologist B. F. Skinner saw that classical conditioning is limited to existing behaviors that are reflexively elicited, and it doesn’t account for new behaviors such as riding a bike. He proposed a theory about how such behaviors come about. Skinner believed that behavior is motivated by the consequences we receive for the behavior: the reinforcements and punishments. His idea that learning is the result of consequences is based on the law of effect, which was first proposed by psychologist Edward Thorndike. According to the law of effect, behaviors that are followed by consequences that are satisfying to the organism are more likely to be repeated, and behaviors that are followed by unpleasant consequences are less likely to be repeated (Thorndike, 1911). Essentially, if an organism does something that brings about a desired result, the organism is more likely to do it again. If an organism does something that does not bring about a desired result, the organism is less likely to do it again. An example of the law of effect is in employment. One of the reasons (and often the main reason) we show up for work is because we get paid to do so. If we stop getting paid, we will likely stop showing up—even if we love our job.
英語のヒント
心理学者のB・F・スキナーは、古典的条件づけが扱えるのは反射的に引き起こされる既存の行動に限られ、自転車に乗るといった新しい行動は説明できないことに気づいた。彼は、そうした行動がどのようにして生じるのかについての理論を提唱した。スキナーは、行動は、その行動に対して私たちが受け取る結果、すなわち強化と罰によって動機づけられると考えた。学習は結果の産物であるというスキナーの考えは、心理学者エドワード・ソーンダイクが最初に提唱した効果の法則に基づいている。効果の法則によれば、生物にとって満足のいく結果が後に続く行動はくり返される可能性が高くなり、不快な結果が後に続く行動はくり返される可能性が低くなる(Thorndike, 1911)。要するに、生物が何かをして望んだ結果が得られれば、その生物はそれを再び行う可能性が高くなる。何かをしても望んだ結果が得られなければ、それを再び行う可能性は低くなる。効果の法則の一例は、仕事に見られる。私たちが職場に出勤する理由の一つ(そして多くの場合、主な理由)は、そうすることで給料がもらえるからである。給料がもらえなくなれば、たとえ仕事が大好きでも、私たちはおそらく出勤しなくなるだろう。
Working with Thorndike’s law of effect as his foundation, Skinner began conducting scientific experiments on animals (mainly rats and pigeons) to determine how organisms learn through operant conditioning (Skinner, 1938). He placed these animals inside an operant conditioning chamber, which has come to be known as a “Skinner box” (Figure 6.10). A Skinner box contains a lever (for rats) or disk (for pigeons) that the animal can press or peck for a food reward via the dispenser. Speakers and lights can be associated with certain behaviors. A recorder counts the number of responses made by the animal.
英語のヒント
スキナーは、ソーンダイクの効果の法則を土台として、生物がオペラント条件づけを通してどのように学習するのかを明らかにするため、動物(主にネズミとハト)を対象に科学的な実験を始めた(Skinner, 1938)。彼はこれらの動物をオペラント条件づけ箱に入れた。この箱は「スキナー箱」として知られるようになった(図6.10)。スキナー箱にはレバー(ネズミ用)または円盤(ハト用)が付いており、動物はそれを押したりつついたりすることで、給餌装置から報酬の餌を得られる。スピーカーやライトを特定の行動と結びつけることもできる。記録装置は、動物が行った反応の数を数える。

OpenStax, Rice University; Psychology 2e. (credit a: modification of work by "Silly rabbit"/Wikimedia Commons) · CC BY 4.0 · Source出典
Figure 6.10図 6.10
(a) B. F. Skinner developed operant conditioning for systematic study of how behaviors are strengthened or weakened according to their consequences. (b) In a Skinner box, a rat presses a lever in an operant conditioning chamber to receive a food reward. (credit a: modification of work by "Silly rabbit"/Wikimedia Commons)
(a)B・F・スキナーは、行動がその結果に応じてどのように強められたり弱められたりするかを体系的に研究するために、オペラント条件づけを開発した。(b)スキナー箱では、ネズミがオペラント条件づけ箱の中でレバーを押し、餌の報酬を受け取る。(出典a:"Silly rabbit"/Wikimedia Commonsの作品を改変)
In discussing operant conditioning, we use several everyday words—positive, negative, reinforcement, and punishment—in a specialized manner. In operant conditioning, positive and negative do not mean good and bad. Instead, positive means you are adding something, and negative means you are taking something away. Reinforcement means you are increasing a behavior, and punishment means you are decreasing a behavior. Reinforcement can be positive or negative, and punishment can also be positive or negative. All reinforcers (positive or negative) increase the likelihood of a behavioral response. All punishers (positive or negative) decrease the likelihood of a behavioral response. Now let’s combine these four terms: positive reinforcement, negative reinforcement, positive punishment, and negative punishment (Table 6.2).
英語のヒント
オペラント条件づけを論じるときは、日常的な言葉のいくつか、つまり正(ポジティブ)、負(ネガティブ)、強化、罰を、専門的な意味で用いる。オペラント条件づけでは、正と負は良い・悪いを意味しない。そうではなく、正とは何かを加えること、負とは何かを取り去ることを意味する。強化とは行動を増やすこと、罰とは行動を減らすことを意味する。強化は正のこともあれば負のこともあり、罰もまた正の場合と負の場合がある。すべての強化子(正でも負でも)は、行動反応が起こる可能性を高める。すべての罰子(正でも負でも)は、行動反応が起こる可能性を低くする。では、この四つの用語を組み合わせてみよう。正の強化、負の強化、正の罰、負の罰である(表6.2)。
Positive and Negative Reinforcement and Punishment 正と負の強化と罰 |
||
|---|---|---|
Reinforcement 強化 |
Punishment 罰 |
|
Positive 正 |
Something is added to increase the likelihood of a behavior. ある行動が起こる可能性を高めるために、何かが加えられる。 |
Something is added to decrease the likelihood of a behavior. ある行動が起こる可能性を低くするために、何かが加えられる。 |
Negative 負 |
Something is removed to increase the likelihood of a behavior. ある行動が起こる可能性を高めるために、何かが取り除かれる。 |
Something is removed to decrease the likelihood of a behavior. ある行動が起こる可能性を低くするために、何かが取り除かれる。 |