第8章データ管理
INDUSTRY SPOTLIGHT業界の注目事例
MPP Is NYSE VIPNYSEで重要な役割を担うMPP
The New York Stock Exchange (NYSE) receives 4 to 5 TB of data daily and conducts complex analytics, market surveillance, capacity planning, and monitoring. It had been using a traditional database that could not handle the workload; it took hours to load and had poor query speed. Moving to an MPP database reduced their daily analysis run time by eight hours.
英語のヒント
ニューヨーク証券取引所（NYSE）は、毎日4〜5TBのデータを受け取り、複雑な分析、市場監視、容量計画、モニタリングを行う。以前は、処理量に対応できない従来型のデータベースを使っており、データの読込みに何時間もかかり、問い合わせも遅かった。MPPデータベースへ移行すると、日々の分析の実行時間が8時間短縮された。
Massively Parallel Processing (MPP) Databases超並列処理（MPP）データベース
Similar to MapReduce, massively parallel processing (MPP) databases are referred to as NewSQL as opposed to NoSQL. MPP distributes data processing across multiple nodes, and the nodes process the data in parallel for faster speed. Unlike Hadoop, MPP is used in RDBMS and utilizes a “share-nothing” architecture. Each node processes its own slice of the data using multicore processors, making them many times faster than traditional RDBMS. Some MPP databases, such as Pivotal Greenplum, have mature machine learning libraries that allow for in-database analytics. In an MPP system, all the nodes are interconnected and data could be exchanged across the network.3 However, as with traditional RDBMS, most MPP databases do not support unstructured data, and even structured data will require some processing to fit the MPP infrastructure. Therefore, it takes additional time and resources to set up the data pipeline for an MPP database. Because MPP databases are ACID-compliant and deliver much faster speed than traditional RDBMS, they are usually employed in high-end enterprise data warehousing solutions such as Amazon Redshift, which is a data warehouse cloud platform for Amazon Web Services, and Pivotal Greenplum, which is a big data technology based on MPP architecture combined with an open-source database.
英語のヒント
MapReduceと同様に、超並列処理（MPP）データベースは、NoSQLに対してNewSQLと呼ばれる。MPPは、データ処理を複数のノードへ分散し、各ノードが並列にデータを処理して高速化する。Hadoopとは異なり、MPPはRDBMSで使われ、「何も共有しない」構成を採用する。各ノードは、マルチコアプロセッサーを使って、担当するデータの部分を処理するため、従来のRDBMSより何倍も高速になる。Pivotal Greenplumのような一部のMPPデータベースには、十分に発達した機械学習ライブラリがあり、データベース内部での分析が可能になる。MPPシステムでは、すべてのノードが相互接続され、ネットワークを通じてデータを交換できる。3しかし、従来のRDBMSと同様に、ほとんどのMPPデータベースは非構造化データを扱えず、構造化データでも、MPP基盤に適合させるため、ある程度の処理が必要になる。そのため、MPPデータベースのデータパイプラインを用意するには、追加の時間と資源が必要である。MPPデータベースは、ACIDに準拠し、従来のRDBMSよりはるかに高速であるため、通常、高度な企業向けデータウェアハウスのソリューションに使われる。たとえば、Amazon Web Services向けのクラウド上のデータウェアハウス基盤であるAmazon Redshiftや、MPP構成とオープンソースのデータベースを組み合わせたビッグデータ技術であるPivotal Greenplumがある。