プリンキピア

第6章学習

Shapingシェイピング

In his operant conditioning experiments, Skinner often used an approach called shaping. Instead of rewarding only the target behavior, in shaping, we reward successive approximations of a target behavior. Why is shaping needed? Remember that in order for reinforcement to work, the organism must first display the behavior. Shaping is needed because it is extremely unlikely that an organism will display anything but the simplest of behaviors spontaneously. In shaping, behaviors are broken down into many small, achievable steps. The specific steps used in the process are the following:
英語のヒント
スキナーはオペラント条件づけの実験で、シェイピングと呼ばれる方法をよく用いた。シェイピングでは、標的行動だけに報酬を与えるのではなく、標的行動への逐次接近に報酬を与える。なぜシェイピングが必要なのだろうか。強化がうまく働くためには、まず生物がその行動をとらなければならないことを思い出そう。シェイピングが必要なのは、生物がごく単純な行動以外のものを自発的にとる可能性がきわめて低いからである。シェイピングでは、行動を、達成可能な多くの小さな段階に分解する。この過程で用いる具体的な段階は次のとおりである。
  1. Reinforce any response that resembles the desired behavior.
    望ましい行動に似た反応であれば、どんな反応でも強化する。
  2. Then reinforce the response that more closely resembles the desired behavior. You will no longer reinforce the previously reinforced response.
    次に、望ましい行動により近い反応を強化する。それまで強化していた反応は、もう強化しない。
  3. Next, begin to reinforce the response that even more closely resembles the desired behavior.
    続いて、望ましい行動にさらに近い反応を強化しはじめる。
  4. Continue to reinforce closer and closer approximations of the desired behavior.
    望ましい行動にだんだん近づいていく反応を、強化し続ける。
  5. Finally, only reinforce the desired behavior.
    最後に、望ましい行動だけを強化する。
Shaping is often used in teaching a complex behavior or chain of behaviors. Skinner used shaping to teach pigeons not only such relatively simple behaviors as pecking a disk in a Skinner box, but also many unusual and entertaining behaviors, such as turning in circles, walking in figure eights, and even playing ping pong; the technique is commonly used by animal trainers today. An important part of shaping is stimulus discrimination. Recall Pavlov’s dogs—he trained them to respond to the tone of a bell, and not to similar tones or sounds. This discrimination is also important in operant conditioning and in shaping behavior.
英語のヒント
シェイピングは、複雑な行動や行動の連鎖を教えるときによく用いられる。スキナーはシェイピングを使って、スキナー箱の中で円盤をつつくといった比較的単純な行動だけでなく、ぐるぐる回る、8の字を描いて歩く、さらには卓球をするといった、珍しくて見ていて楽しい行動の数々をハトに教えた。この技法は今日、動物の調教師によく用いられている。シェイピングの重要な部分の一つは、刺激弁別である。パヴロフの犬を思い出そう。パヴロフは、犬がベルの音には反応し、似た音色や物音には反応しないように訓練した。この弁別は、オペラント条件づけにおいても、行動をシェイピングするうえでも重要である。
It’s easy to see how shaping is effective in teaching behaviors to animals, but how does shaping work with humans? Let’s consider parents whose goal is to have their child learn to clean his room. They use shaping to help him master steps toward the goal. Instead of performing the entire task, they set up these steps and reinforce each step. First, he cleans up one toy. Second, he cleans up five toys. Third, he chooses whether to pick up ten toys or put his books and clothes away. Fourth, he cleans up everything except two toys. Finally, he cleans his entire room.
英語のヒント
シェイピングが動物に行動を教えるうえで効果的なのは分かりやすいが、人間ではシェイピングはどのように働くのだろうか。子どもに自分の部屋を片づけられるようになってほしいと考えている親を例に考えてみよう。親はシェイピングを使って、子どもがその目標に向かう段階を一つずつ身につけられるように手助けする。作業全体をやらせるのではなく、次のような段階を設け、段階ごとに強化する。第一に、おもちゃを1個片づける。第二に、おもちゃを5個片づける。第三に、おもちゃを10個拾い集めるか、本と服を片づけるかを自分で選ぶ。第四に、おもちゃ2個以外のすべてを片づける。最後に、部屋全体を片づける。

Primary and Secondary Reinforcers一次強化子と二次強化子

Rewards such as stickers, praise, money, toys, and more can be used to reinforce learning. Let’s go back to Skinner’s rats again. How did the rats learn to press the lever in the Skinner box? They were rewarded with food each time they pressed the lever. For animals, food would be an obvious reinforcer.
英語のヒント
シール、ほめ言葉、お金、おもちゃなどの報酬は、学習を強化するのに使うことができる。もう一度スキナーのネズミに戻ろう。ネズミたちは、どのようにしてスキナー箱のレバーを押すことを学んだのだろうか。ネズミはレバーを押すたびに、餌という報酬を与えられた。動物にとっては、食物が分かりやすい強化子になるだろう。
What would be a good reinforcer for humans? For your child cleaning the room, it was the promise of a toy. How about Sydney, the soccer player? If you gave Sydney a piece of candy every time Sydney scored a goal, you would be using a primary reinforcer. Primary reinforcers are reinforcers that have innate reinforcing qualities. These kinds of reinforcers are not learned. Water, food, sleep, shelter, sex, and touch, among others, are primary reinforcers. Pleasure is also a primary reinforcer. Organisms do not lose their drive for these things. For most people, jumping in a cool lake on a very hot day would be reinforcing and the cool lake would be innately reinforcing—the water would cool the person off (a physical need), as well as provide pleasure.
英語のヒント
人間にとって良い強化子とは何だろうか。部屋を片づける子どもの場合、それはおもちゃをもらえるという約束だった。では、サッカー選手のシドニーはどうだろうか。シドニーがゴールを決めるたびにあなたがキャンディーを1個あげるとしたら、あなたは一次強化子を用いていることになる。一次強化子とは、生得的な強化の性質を持つ強化子である。この種の強化子は学習されたものではない。水、食物、睡眠、住まい、性、身体の触れ合いなどが一次強化子である。快楽も一次強化子である。生物は、これらのものを求める動因を失わない。たいていの人にとって、とても暑い日に冷たい湖に飛び込むことは強化となるだろうし、冷たい湖は生得的に強化の働きを持つだろう。水は体を冷やし（身体的な欲求）、それとともに快楽も与えてくれるからである。
A secondary reinforcer has no inherent value and only has reinforcing qualities when linked with a primary reinforcer. Praise, linked to affection, is one example of a secondary reinforcer, as when you called out “Great shot!” every time Sydney made a goal. Another example, money, is only worth something when you can use it to buy other things—either things that satisfy basic needs (food, water, shelter—all primary reinforcers) or other secondary reinforcers. If you were on a remote island in the middle of the Pacific Ocean and you had stacks of money, the money would not be useful if you could not spend it. What about the stickers on the behavior chart? They are also secondary reinforcers.
英語のヒント
二次強化子は、それ自体に備わった価値を持たず、一次強化子と結びついたときにだけ強化する性質を持つ。愛情と結びついたほめ言葉は、二次強化子の一例である。シドニーがゴールを決めるたびに、あなたが「ナイスシュート！」と声をかけたような場合がそれに当たる。もう一つの例であるお金は、それを使ってほかのものを買えるときにだけ価値を持つ。ほかのものとは、基本的な欲求を満たすもの（食物、水、住まい。いずれも一次強化子）か、ほかの二次強化子のどちらかである。太平洋の真ん中の離れ小島にいて、札束を山ほど持っていたとしても、それを使えなければお金は役に立たないだろう。行動表に貼るシールはどうだろうか。これもまた二次強化子である。
Sometimes, instead of stickers on a sticker chart, a token is used. Tokens, which are also secondary reinforcers, can then be traded in for rewards and prizes. Entire behavior management systems, known as token economies, are built around the use of these kinds of token reinforcers. Token economies have been found to be very effective at modifying behavior in a variety of settings such as schools, prisons, and mental hospitals. For example, a study by Adibsereshki and Abkenar (2014) found that use of a token economy increased appropriate social behaviors and reduced inappropriate behaviors in a group of eight grade students. Similar studies show demonstrable gains on behavior and academic achievement for groups ranging from first grade to high school, and representing a wide array of abilities and disabilities. For example, during studies involving younger students, when children in the study exhibited appropriate behavior (not hitting or pinching), they received a “quiet hands” token. When they hit or pinched, they lost a token. The children could then exchange specified amounts of tokens for minutes of playtime.
英語のヒント
シール表のシールの代わりに、トークンが使われることもある。トークンもまた二次強化子であり、あとで報酬や賞品と交換できる。トークン・エコノミーとして知られる行動管理システムは、その全体がこの種のトークン強化子の使用を軸に組み立てられている。トークン・エコノミーは、学校、刑務所、精神科病院など、さまざまな場面で行動を修正するのにとても効果的であることが分かっている。たとえば、アディブセレシュキとアブケナール（2014）の研究では、8年生の生徒の集団で、トークン・エコノミーを用いたことによって適切な社会的行動が増え、不適切な行動が減ったことが分かった。同様の研究は、1年生から高校生までにわたり、多様な能力や障害を持つ人々を含む集団で、行動と学業成績にはっきりした向上が見られることを示している。たとえば、年少の児童を対象とした研究では、研究に参加した子どもが適切な行動（たたいたりつねったりしないこと）をとると、「静かな手」のトークンをもらえた。たたいたりつねったりすると、トークンを1枚失った。子どもたちはその後、決められた枚数のトークンを、何分かの遊び時間と交換することができた。