第8章データ管理

Figure 8.1 Big data taxonomy includes data providers, data consumers, data owners, and data viewers while providing the data flow between them. (credit: modification of “DARPA Big Data” by Defense Advanced Research Projects Agency (DARPA)/Wikimedia Commons, Public Domain)

図8.1 ビッグデータの分類には、データ提供者、データ利用者、データ所有者、データ閲覧者が含まれ、それらの間のデータの流れも示されている。（クレジット：Defense Advanced Research Projects Agency（DARPA）による「DARPA Big Data」／Wikimedia Commonsを改変、パブリックドメイン）

Introductionはじめに

Managing data today requires an end-to-end perspective and the ability to combine the use of various types of data. For example, Amazon needs to run its day-to-day businesses and sell products to customers, handle returns, pay commissions to retailers and wholesalers, and develop and price new products. This is all part of day-to-day operations, and most retail companies strive to achieve operational excellence as it is a key driver of customer satisfaction. For that purpose, retailers typically use traditional relational databases and structured data to run their operations. At the same time, retailers need to remain competitive and develop with pricing strategies that attract and retain customers. Doing so requires being able to analyze market prices accordingly before advertising products to their customers. For that part, businesses generally rely on datasets and big data analytics to predict competitive prices in order to optimize sales. Overall, businesses and organizations that deliver products to customers need to leverage insights coming from metadata to transform as they perform and remain competitive while sustaining their operations. It is no longer possible to rely on operational excellence to ensure continued success.

英語のヒント

今日のデータ管理には、最初から最後までを見渡す視点と、さまざまな種類のデータを組み合わせて使う能力が必要である。たとえばAmazonは、日々の事業を運営して顧客へ商品を販売し、返品を処理し、小売業者や卸売業者へ手数料を払い、新しい商品を開発して価格を設定する必要がある。これらはすべて日常業務の一部であり、ほとんどの小売企業は、顧客満足を左右する重要な要因として、業務の卓越性を実現しようと努めている。そのため、小売業者は一般に、従来の関係データベースと構造化データを使って業務を運営する。同時に、小売業者は競争力を保ち、顧客を引き付けてつなぎ止める価格戦略を立て、発展していく必要がある。そのためには、顧客へ商品を宣伝する前に、それに応じた市場価格の分析ができなければならない。この部分では、企業は一般に、売上を最適化するため、データセットとビッグデータ分析に頼って、競争力のある価格を予測する。全体として、顧客へ商品を届ける企業や組織は、メタデータから得られる知見を活用し、業務を遂行しながら変革し、その運営を維持しつつ競争力を保つ必要がある。成功を続けるために、業務の卓越性だけを頼みにすることは、もはやできない。

In this chapter, we will cover the spectrum of data management activities, including the storage and retrieval of various types of data. In other words, the chapter is about how big data are managed today from an end-to-end standpoint.

英語のヒント

この章では、さまざまな種類のデータの格納と取得を含め、データ管理の活動全般を扱う。言い換えると、今日のビッグデータがどのように管理されているかを、最初から最後までの一貫した視点から見る章である。

As an example, TechWorks is a start-up company that is 100% committed to leveraging innovative technologies as part of its repeatable business model and as a business growth facilitator. TechWorks has multiple departments including human resources, finance, sales, marketing, operation management, and information technology. Each department has its own information system and database; they do not share any resources. TechWorks has many success stories in the market. However, they have a huge problem with integrating their reports to aid in decision-making. TechWorks has many challenges that impact their competitiveness and survival in the market, including their traditional database not working properly; their practices in collecting, managing, and analyzing data not promoting better business decision-making; and their servers being old and sometimes unable to sufficiently handle the company data. The chief executive officer (CEO) of TechWorks decides to develop a new database management system with the following objectives:

英語のヒント

例として、TechWorksは、繰り返し展開できる事業モデルの一部として、また事業成長を促すものとして、革新的な技術の活用に100%取り組む新興企業である。TechWorksには、人事、財務、営業、マーケティング、業務管理、情報技術などの複数の部門がある。各部門は独自の情報システムとデータベースを持ち、資源を共有していない。TechWorksには、市場での成功事例が数多くある。しかし、意思決定に役立てるために各部門の報告をまとめることには、大きな問題を抱えている。TechWorksには、市場での競争力と存続に影響する課題が多い。従来のデータベースが適切に動いていないこと、データの収集・管理・分析の方法が、よりよい事業判断につながっていないこと、サーバーが古く、企業のデータを十分に処理できない場合があることなどである。TechWorksの最高経営責任者（CEO）は、次の目標を持つ新しいデータベース管理システムを開発することに決める。

• Integrate all of the departments’ practices into one system.

英語のヒント

• すべての部門の業務を、一つのシステムへ統合する。

• Use the cloud to store, manage, analyze, and maintain the data.

• クラウドを使い、データを保存・管理・分析・維持する。

• Hire a data scientist, computer scientist, and information architect to work as a team with the database designer and the database administrator.

英語のヒント

• データサイエンティスト、コンピューターサイエンティスト、情報アーキテクトを採用し、データベース設計者とデータベース管理者とともに、チームとして働かせる。

• Apply the extraction, transformation, and loading process to the data.

英語のヒント

• データに、抽出・変換・読み込みの処理を適用する。

• Use business intelligence and machine learning tools to make decisions based on the data.

• ビジネスインテリジェンスと機械学習の道具を使い、データに基づいて判断する。