第6章学習
Reinforcement Schedules強化スケジュール
Remember, the best way to teach a person or animal a behavior is to use positive reinforcement. For example, Skinner used positive reinforcement to teach rats to press a lever in a Skinner box. At first, the rat might randomly hit the lever while exploring the box, and out would come a pellet of food. After eating the pellet, what do you think the hungry rat did next? It hit the lever again, and received another pellet of food. Each time the rat hit the lever, a pellet of food came out. When an organism receives a reinforcer each time it displays a behavior, it is called continuous reinforcement. This reinforcement schedule is the quickest way to teach someone a behavior, and it is especially effective in training a new behavior. Let’s look back at the dog that was learning to sit earlier in the chapter. Now, each time he sits, you give him a treat. Timing is important here: you will be most successful if you present the reinforcer immediately after he sits, so that he can make an association between the target behavior (sitting) and the consequence (getting a treat).
英語のヒント
人や動物に行動を教える最善の方法は、正の強化を用いることだったのを思い出そう。たとえばスキナーは、正の強化を用いて、ネズミにスキナー箱のレバーを押すことを教えた。最初、ネズミは箱の中を探索しているうちに、たまたまレバーを押すかもしれない。すると餌の粒が一つ出てくる。粒を食べたあと、空腹のネズミは次に何をしたと思うだろうか。ネズミはもう一度レバーを押し、また餌の粒を受け取った。ネズミがレバーを押すたびに、餌の粒が一つ出てきた。生物がある行動を示すたびに強化子を受け取る場合、これを連続強化という。この強化スケジュールは、誰かに行動を教える最も速い方法であり、新しい行動を訓練するときにはとくに効果的である。この章の前のほうで、お座りを学習していた犬を振り返ってみよう。今度は、犬が座るたびにおやつを与える。ここではタイミングが重要である。犬が座った直後に強化子を提示すれば、最もうまくいくだろう。そうすれば犬は、標的行動（座ること）と結果（おやつをもらうこと）を結びつけることができる。
Once a behavior is trained, researchers and trainers often turn to another type of reinforcement schedule—partial reinforcement. In partial reinforcement, also referred to as intermittent reinforcement, the person or animal does not get reinforced every time they perform the desired behavior. There are several different types of partial reinforcement schedules (Table 6.3). These schedules are described as either fixed or variable, and as either interval or ratio. Fixed refers to the number of responses between reinforcements, or the amount of time between reinforcements, which is set and unchanging. Variable refers to the number of responses or amount of time between reinforcements, which varies or changes. Interval means the schedule is based on the time between reinforcements, and ratio means the schedule is based on the number of responses between reinforcements.
英語のヒント
ある行動がいったん訓練されると、研究者や調教師は、別の種類の強化スケジュールである部分強化に切り替えることが多い。間欠強化とも呼ばれる部分強化では、人や動物は、望ましい行動をとるたびに強化されるわけではない。部分強化スケジュールには、いくつかの異なる種類がある（表6.3）。これらのスケジュールは、固定か変動か、そして間隔か比率かで表される。「固定」とは、強化と強化のあいだの反応の数、または強化と強化のあいだの時間の長さが、決まっていて変わらないことを指す。「変動」とは、強化と強化のあいだの反応の数や時間の長さが、変わる、つまり一定しないことを指す。「間隔」とは、スケジュールが強化と強化のあいだの時間に基づいていることを意味し、「比率」とは、スケジュールが強化と強化のあいだの反応の数に基づいていることを意味する。
Reinforcement Schedules 強化スケジュール |
|||
|---|---|---|---|
Reinforcement Schedule 強化スケジュール |
Description 説明 |
Result 結果 |
Example 例 |
Fixed interval 固定間隔 |
Reinforcement is delivered at predictable time intervals (e.g., after 5, 10, 15, and 20 minutes). 予測可能な時間間隔で強化が与えられる（例：5分後、10分後、15分後、20分後）。 |
Moderate response rate with significant pauses after reinforcement 反応率は中程度で、強化の後にはっきりした休止がある |
Hospital patient uses patient-controlled, doctor-timed pain relief 入院患者が、患者自身が操作し、医師が時間間隔を定めた鎮痛法を用いる |
Variable interval 変動間隔 |
Reinforcement is delivered at unpredictable time intervals (e.g., after 5, 7, 10, and 20 minutes). 予測できない時間間隔で強化が与えられる（例：5分後、7分後、10分後、20分後）。 |
Moderate yet steady response rate 反応率は中程度だが、安定している |
Checking social media ソーシャルメディアをチェックすること |
Fixed ratio 固定比率 |
Reinforcement is delivered after a predictable number of responses (e.g., after 2, 4, 6, and 8 responses). 予測可能な回数の反応の後に強化が与えられる（例：2回、4回、6回、8回の反応の後）。 |
High response rate with pauses after reinforcement 反応率は高く、強化の後に休止がある |
Piecework—factory worker getting paid for every x number of items manufactured 出来高払いの仕事：工場労働者が、製造した品物x個ごとに賃金を受け取る |
Variable ratio 変動比率 |
Reinforcement is delivered after an unpredictable number of responses (e.g., after 1, 4, 5, and 9 responses). 予測できない回数の反応の後に強化が与えられる（例：1回、4回、5回、9回の反応の後）。 |
High and steady response rate 反応率は高く、安定している |
Gambling ギャンブル |
Now let’s combine these four terms. A fixed interval reinforcement schedule is when behavior is rewarded after a set amount of time. For example, June undergoes major surgery in a hospital. During recovery, they are expected to experience pain and will require prescription medications for pain relief. June is given an IV drip with a patient-controlled painkiller. Their doctor sets a limit: one dose per hour. June pushes a button when pain becomes difficult, and they receive a dose of medication. Since the reward (pain relief) only occurs on a fixed interval, there is no point in exhibiting the behavior when it will not be rewarded.
英語のヒント
では、この四つの用語を組み合わせてみよう。固定間隔強化スケジュールとは、決まった時間がたった後に行動に報酬が与えられる場合をいう。たとえば、ジューンが病院で大きな手術を受けたとする。回復期間中、ジューンは痛みを感じることが予想され、痛みを和らげるために処方薬が必要になる。ジューンには、患者が自分で操作できる鎮痛薬の点滴が付けられる。担当医は上限を定める。1時間に1回分である。ジューンは痛みがつらくなるとボタンを押し、薬を1回分受け取る。報酬（痛みの緩和）は固定された間隔でしか生じないので、報酬が得られないときにその行動をとっても意味がない。
With a variable interval reinforcement schedule, the person or animal gets the reinforcement based on varying amounts of time, which are unpredictable. Say that Manuel is the manager at a fast-food restaurant. Every once in a while someone from the quality control division comes to Manuel’s restaurant. If the restaurant is clean and the service is fast, everyone on that shift earns a $20 bonus. Manuel never knows when the quality control person will show up, so he always tries to keep the restaurant clean and ensures that his employees provide prompt and courteous service. His productivity regarding prompt service and keeping a clean restaurant are steady because he wants his crew to earn the bonus.
英語のヒント
変動間隔強化スケジュールでは、人や動物は、変動する予測できない時間の長さに基づいて強化を受ける。マヌエルがファストフード店の店長だとしよう。品質管理部門の人が、ときどきマヌエルの店にやって来る。店が清潔で、サービスが速ければ、そのシフトに入っている全員が20ドルのボーナスをもらえる。マヌエルは品質管理の担当者がいつ現れるのか分からないので、いつも店を清潔に保とうとし、従業員が素早く丁寧なサービスを提供するよう気を配る。素早いサービスと店を清潔に保つことに関するマヌエルの生産性が安定しているのは、従業員たちにボーナスを得させたいと思っているからである。
With a fixed ratio reinforcement schedule, there are a set number of responses that must occur before the behavior is rewarded. Carla sells glasses at an eyeglass store, and she earns a commission every time she sells a pair of glasses. She always tries to sell people more pairs of glasses, including prescription sunglasses or a backup pair, so she can increase her commission. She does not care if the person really needs the prescription sunglasses, Carla just wants her bonus. The quality of what Carla sells does not matter because her commission is not based on quality; it’s only based on the number of pairs sold. This distinction in the quality of performance can help determine which reinforcement method is most appropriate for a particular situation. Fixed ratios are better suited to optimize the quantity of output, whereas a fixed interval, in which the reward is not quantity based, can lead to a higher quality of output.
英語のヒント
固定比率強化スケジュールでは、行動に報酬が与えられるまでに、決まった数の反応が起こらなければならない。カーラは眼鏡店で眼鏡を売っており、眼鏡を1本売るたびに歩合を受け取る。彼女は、度付きのサングラスや予備の眼鏡も含めて、いつも客にもっと多くの眼鏡を売ろうとする。そうすれば歩合を増やせるからである。客が本当に度付きのサングラスを必要としているかどうかは気にしない。カーラはただボーナスが欲しいのである。カーラの歩合は品質に基づいておらず、売れた本数だけに基づいているので、カーラが売るものの品質は問題にならない。仕事の質にかかわるこの違いは、特定の状況にどの強化方法が最も適しているかを判断する助けになりうる。固定比率は産出の量を最適化するのにより適しているのに対し、報酬が量に基づかない固定間隔は、より質の高い産出につながりうる。
In a variable ratio reinforcement schedule, the number of responses needed for a reward varies. This is the most powerful partial reinforcement schedule. An example of the variable ratio reinforcement schedule is gambling. Imagine that Sarah—generally a smart, thrifty woman—visits Las Vegas for the first time. She is not a gambler, but out of curiosity she puts a quarter into the slot machine, and then another, and another. Nothing happens. Two dollars in quarters later, her curiosity is fading, and she is just about to quit. But then, the machine lights up, bells go off, and Sarah gets 50 quarters back. That’s more like it! Sarah gets back to inserting quarters with renewed interest, and a few minutes later she has used up all her gains and is $10 in the hole. Now might be a sensible time to quit. And yet, she keeps putting money into the slot machine because she never knows when the next reinforcement is coming. She keeps thinking that with the next quarter she could win $50, or $100, or even more. Because the reinforcement schedule in most types of gambling has a variable ratio schedule, people keep trying and hoping that the next time they will win big. This is one of the reasons that gambling is so addictive—and so resistant to extinction.
英語のヒント
変動比率強化スケジュールでは、報酬を得るのに必要な反応の数が変動する。これは最も強力な部分強化スケジュールである。変動比率強化スケジュールの例としては、ギャンブルがある。ふだんは賢く倹約家の女性であるサラが、初めてラスベガスを訪れたと想像してみよう。サラはギャンブルをする人ではないが、好奇心からスロットマシンに25セント硬貨を1枚入れ、さらにもう1枚、またもう1枚と入れていく。何も起こらない。25セント硬貨で2ドル分つぎ込んだところで好奇心は薄れはじめ、サラはもうやめようとしている。ところがそのとき、マシンが光り、ベルが鳴り響き、サラは25セント硬貨を50枚受け取る。そうこなくては！サラは新たな興味をもって再び硬貨を入れはじめ、数分後には、もうけをすべて使い果たし、10ドルの赤字になっている。今こそやめるのが賢明なときかもしれない。それなのに、サラはスロットマシンにお金を入れ続ける。次の強化がいつ来るのか、まったく分からないからである。次の1枚で50ドル、100ドル、あるいはそれ以上が当たるかもしれないと考え続けるのである。たいていの種類のギャンブルの強化スケジュールは変動比率スケジュールなので、人々は次こそ大当たりするだろうと期待して挑戦し続ける。これが、ギャンブルにこれほど依存性があり、そしてこれほど消去されにくい理由の一つである。
In operant conditioning, extinction of a reinforced behavior occurs at some point after reinforcement stops, and the speed at which this happens depends on the reinforcement schedule. In a variable ratio schedule, the point of extinction comes very slowly, as described above. But in the other reinforcement schedules, extinction may come quickly. For example, if June presses the button for the pain relief medication before the allotted time the doctor has approved, no medication is administered. They are on a fixed interval reinforcement schedule (dosed hourly), so extinction occurs quickly when reinforcement doesn’t come at the expected time. Among the reinforcement schedules, variable ratio is the most productive and the most resistant to extinction. Fixed interval is the least productive and the easiest to extinguish (Figure 6.13).
英語のヒント
オペラント条件づけでは、強化された行動の消去は、強化が止まった後のある時点で起こり、それが起こる速さは強化スケジュールによって決まる。変動比率スケジュールでは、上で述べたように、消去に至る時点はとてもゆっくり訪れる。しかし、ほかの強化スケジュールでは、消去はすぐに起こるかもしれない。たとえば、ジューンが、医師の認めた割り当て時間より前に鎮痛薬のボタンを押しても、薬は投与されない。ジューンは固定間隔強化スケジュール（1時間ごとの投与）のもとにあるので、予想した時間に強化が来なければ、消去はすぐに起こる。強化スケジュールの中で、変動比率は最も生産的で、最も消去されにくい。固定間隔は最も生産的でなく、最も消去されやすい（図6.13）。
Figure 6.13図 6.13
The four reinforcement schedules yield different response patterns. The variable ratio schedule is unpredictable and yields high and steady response rates, with little if any pause after reinforcement (e.g., gambler). A fixed ratio schedule is predictable and produces a high response rate, with a short pause after reinforcement (e.g., eyeglass saleswoman). The variable interval schedule is unpredictable and produces a moderate, steady response rate (e.g., restaurant manager). The fixed interval schedule yields a scallop-shaped response pattern, reflecting a significant pause after reinforcement (e.g., surgery patient).
四つの強化スケジュールは、それぞれ異なる反応パターンを生む。変動比率スケジュールは予測できず、高く安定した反応率を生み、強化の後の休止はあってもごくわずかである（例：ギャンブラー）。固定比率スケジュールは予測可能で、高い反応率を生み、強化の後に短い休止がある（例：眼鏡店の販売員）。変動間隔スケジュールは予測できず、中程度で安定した反応率を生む（例：レストランの店長）。固定間隔スケジュールはホタテ貝の形（スキャロップ型）の反応パターンを生み、これは強化の後のはっきりした休止を反映している（例：手術を受けた患者）。