第4章アルゴリズムの言語による実現：低水準プログラミング言語

INDUSTRY SPOTLIGHT産業の現場から

Artificial Neural Networks人工ニューラルネットワーク

The field of artificial intelligence makes heavy use of parallel computing. Artificial neural networks (ANNs) are a widely-used technology that simulates the flow of impulses through nerve cells in a brain. An ANN needs to be “trained” by feeding it many examples of the kinds of inputs and outputs that it will deal with. This training process benefits greatly from parallel programming. A typical ANN has thousands of simulated cells, and is trained on thousands of examples. This makes for millions, or even billions, of computations; parallel computing is a great benefit because this training process can be performed in parallel. Hardware manufacturers, including NVIDIA, Intel, and Tesla, have even created GPU-based computers specifically for the task of training ANNs. Figure 4.32 illustrates the model of a neural network.

英語のヒント

人工知能の分野では、並列計算を多用する。人工ニューラルネットワーク（ANN）は、脳の神経細胞を通る刺激の流れをシミュレーションする、広く使われる技術である。ANNは、扱う種類の入力と出力の例を多数与えて、「訓練」する必要がある。この訓練過程は、並列プログラミングから大きな恩恵を受ける。一般的なANNには数千個の模擬細胞があり、数千件の例で訓練する。そのため計算回数は数百万、場合によっては数十億になる。訓練過程は並列に実行できるので、並列計算は非常に役立つ。NVIDIA、Intel、Teslaなどのハードウェアメーカーは、ANNの訓練を専門に行うGPUベースのコンピューターまで作っている。図4.32は、ニューラルネットワークのモデルを示す。

Figure 4.32 The figure illustrates a fully connected set of layers in an ANN. In this case, computing the value maintained by each node requires combining values provided by all the node’s input nodes, which explains why training ANNs requires so many computations if all nodes are fully connected to other nodes. (attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license)

図4.32 ANNの全結合された層の組合せを示す。この場合、各ノードが保持する値を計算するには、そのノードのすべての入力ノードが与える値を組み合わせる必要がある。すべてのノードがほかのノードへ全結合されていると、ANNの訓練にこれほど多くの計算が必要になる理由が、これでわかる。（出典表記：著作権者 Rice University、OpenStax、CC BY 4.0ライセンス）