プリンキピア

第8章データ管理

8.6 Data Management for Shallow and Deep Learning Applications8.6　浅い学習と深層学習のアプリケーションのためのデータ管理

Learning Objectives学習目標
By the end of this section, you will be able to:
この節を終えると、次のことができるようになる。
• Define big data and explain its related functionality
• ビッグデータを定義し、関連する機能を説明する。
• Discuss big data analytics and its impact on computer systems
• ビッグデータ分析と、コンピューターシステムへの影響を論じる。
• Identify and describe the tools that are used to perform shallow machine learning
• 浅い機械学習に使うツールを挙げ、説明する。
• Describe cognitive analytics and artificial intelligence
• 認知分析と人工知能を説明する。
• Identify the tools that are used to perform deep learning
• 深層学習に使うツールを挙げる。
• Explain massively parallel processing (MPP) database management systems
• 超並列処理（MPP）のデータベース管理システムを説明する。
In the last few years, the amount of data has increased exponentially in many businesses to be big data. Storing, analyzing, and retrieving data has become complex and challenging. Traditional databases and storage cannot deal with big data, which creates new software and hardware business opportunities. Data integration aims to provide a unified view and/or unified access over heterogeneous, and possibly distributed, data sources. Process integration deals with the sequencing of tasks in a business process but also governs data flows in these processes. Both data and processes are considered in data integration. The emergence of BI and analytics triggered the need to consolidate data into a data warehouse.
英語のヒント
ここ数年、多くの企業でデータ量が指数関数的に増え、ビッグデータになった。データの保存・分析・検索は、複雑で難しい作業になっている。従来のデータベースやストレージではビッグデータを扱えないため、ソフトウェアやハードウェアの新たな商機が生まれる。データ統合は、異種の、場合によっては分散したデータ源について、統一された見え方やアクセス方法、またはその両方を提供することを目指す。プロセス統合は、業務過程のタスクの順序付けを扱い、その過程のデータの流れも統制する。データ統合では、データとプロセスの両方を考慮する。BIと分析の登場により、データをデータウェアハウスへ集約する必要が生まれた。

Big Dataビッグデータ

The term big data has been in use since the early 1990s and the term was credited to computer scientist John R. Mashey who is considered the father of big data. Big data is a high volume of data in the shape of structure, semistructured, or unstructured data. Every minute, more than 300,000 tweets are created, Netflix subscribers stream more than 70,000 hours of video at once, Apple users download 30,000 apps, and Instagram users like almost two million photos. In this section, we study the five Vs of big data, big data examples, new sources of data, data and process integration, data quality, and data governance, as well as the privacy, security, and ethical use of data.
英語のヒント
ビッグデータという用語は1990年代初めから使われており、その考案者は、ビッグデータの父とみなされるコンピューター科学者、ジョン・R・マシーとされる。ビッグデータは、構造化、半構造化、非構造化の形を取る、大量のデータである。毎分、30万件を超えるツイートが作られ、Netflixの加入者は合計7万時間を超える動画を同時に視聴し、Appleのユーザーは3万本のアプリをダウンロードし、Instagramのユーザーはほぼ200万枚の写真に「いいね」を付ける。この節では、ビッグデータの5つのV、ビッグデータの例、新しいデータ源、データとプロセスの統合、データ品質、データガバナンスに加え、データのプライバシー、安全性、倫理的な利用を学ぶ。
The Five Vs of Big Dataビッグデータの5つのV
Big data helps the decision-makers to improve their decisions, which in turn improves the quality of their products and services. Big data has many characteristics. Researchers defined the scope of big data as five Vs (Figure 8.24):
英語のヒント
ビッグデータは、意思決定者が判断を改善するのを助け、それがさらに製品やサービスの品質を高める。ビッグデータには、多くの特徴がある。研究者は、ビッグデータの範囲を5つのVとして定義した（図8.24）。
• volume: the amount of data; also referred to as data at rest
• volume（量）：データの量。「静止しているデータ」ともいう。
• velocity: the speed at which data comes in and goes out; data in motion
• velocity（速度）：データが入ってきて、出ていく速さ。動いているデータ。
• variety: the range of data types and sources that are used; data in its many forms
• variety（多様性）：使うデータの種類と情報源の範囲。多くの形態を取るデータ。
• veracity: the uncertainty of the data; data in doubt
英語のヒント
• veracity（信憑性）：データの不確実性。疑いのあるデータ。
• value: the actual value derived using the total cost of ownership (TCO) and return on investment (ROI) of the data
• value（価値）：データの総保有費用（TCO）と投資収益率（ROI）を使って求める、実際の価値。
Figure 8.24

attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license · CC BY 4.0 · Source出典

Figure 8.24 The five Vs of big data are volume, velocity, variety, veracity, and value. (attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license)
図8.24 ビッグデータの5つのVは、量、速度、多様性、信憑性、価値である。（出典表記：著作権者 Rice University、OpenStax、CC BY 4.0ライセンス）
New Sources of Data新しいデータ源
IoT sources become more numerous and diverse every day. Other sources of data are network data, publicly available data, macroeconomic data, textual data, audio, images, videos, fingerprint, location (GPS), geospatial, RFID data, and many more. We will cover the IoT in more details in Chapter 13 Hybrid Multicloud Digital Solutions Development.
英語のヒント
IoTの情報源は、日々数が増え、多様になっている。ほかにも、ネットワークデータ、公開データ、マクロ経済データ、テキストデータ、音声、画像、動画、指紋、位置（GPS）、地理空間、RFIDデータなど、多数の情報源がある。IoTは、第13章「ハイブリッドマルチクラウドのデジタルソリューション開発」で、さらに詳しく扱う。
Data and Process Integrationデータとプロセスの統合
Traditionally, a business has various departments that have independent data and systems (i.e., silo) from each other. Departments such as human resources and accounting did not integrate and do not share available resources, which makes it hard to answer queries or check updates. To start the convergence of analytical and operational data requires data integration, which provides a consistent view of all organization data. There are different data integration patterns such as data consolidation, data federation, and data propagation. The use of ETL to capture data from multiple sources and integrate it into a single store such as a data warehouse is data consolidation. The use of enterprise information integration (EII) to provide a unified view over data sources is data federation. The use of enterprise application integration (EAI) corresponding to the synchronous or asynchronous propagation of updates in a source system to a target system is data propagation.
英語のヒント
従来、企業には、データとシステムが互いに独立した、いわゆるサイロ型の部門があった。人事や経理などの部門は統合されず、利用できる資源を共有しないため、問い合わせに答えたり、更新を確認したりすることが難しい。分析データと運用データを統合し始めるには、組織の全データを一貫した形で見られるようにするデータ統合が必要である。データ統合には、データ集約、データ連邦化、データ伝播などのパターンがある。データ集約とは、ETLで複数の情報源からデータを取り込み、データウェアハウスのような1つの格納先へまとめることである。データ連邦化とは、企業情報統合（EII）を使い、各データ源を統一した形で見せることである。データ伝播とは、企業アプリケーション統合（EAI）を使い、元のシステムの更新を、同期的または非同期的に対象のシステムへ伝えることである。
A more recent approach to data integration is data virtualization, which is a technique that hides the physical location of data and uses data integration patterns to produce a unified data view. The aim is not only to integrate the data, but also to integrate the process. Process integration aims to integrate the procedures within the business process to improve performance. The main challenge of combining traditional data types with new data types is integrating the diverse data types in such a way that they can be processed and analyzed efficiently.
英語のヒント
より新しいデータ統合の手法は、データ仮想化である。データの物理的な場所を隠し、データ統合のパターンを使って、統一されたデータの見え方を作る技法である。目的は、データだけでなくプロセスも統合することにある。プロセス統合は、性能を高めるために、業務過程の中の手続きを統合することを目指す。従来のデータ型と新しいデータ型を組み合わせる主な課題は、多様なデータ型を、効率的に処理・分析できる形で統合することである。