第8章データ管理

INDUSTRY SPOTLIGHT産業の現場から

Industry Data Management産業でのデータ管理

Data management is important in every industry today. The main benefit of data management is to minimize potential errors by controlling access to data using a set of policies.

英語のヒント

現在、どの産業でもデータ管理は重要である。データ管理の主な利点は、一連の方針に従ってデータへのアクセスを制御し、起こりうる誤りを最小限にすることである。

Elaborate on how useful it is to know about data management in retail industries for product marketing purposes. (Hint: Data management can help with targeted advertising, for example.)

英語のヒント

商品を売り込むために、小売業でのデータ管理を知ることが、どれほど役立つか、詳しく述べなさい。（ヒント：たとえば、データ管理は、対象を絞った広告に役立つ。）

Data Management Aspectsデータ管理の側面

There are various aspects of effective data management: metadata cataloging, metadata modeling, data quality (data accuracy, data completeness, and data consistency), and data governance, which we will discuss in more detail in the following subsections.

英語のヒント

効果的なデータ管理には、さまざまな側面がある。メタデータのカタログ化、メタデータのモデル化、データ品質（正確性、完全性、一貫性）、データガバナンスなどである。これらを、以下の小節で詳しく取り上げる。

Metadata Catalogingメタデータのカタログ化

Metadata are used in a database management system (DBMS), which is a system that creates, stores, and manages a set of databases. In a DBMS approach, metadata are stored in a catalog called a data dictionary. A data dictionary is a set of information describing the content, format, and structure of a database (e.g., in a relational DBMS, the catalog includes the names of all available tables and their associated fields). The metadata catalog constitutes the heart of the database system and can be part of a DBMS or a stand-alone component. The metadata cataloging process is collecting data about processes, people, products, and any enterprise-related data, which provides an important source of information for end users, application developers, as well as the DBMS itself. The catalog typically provides an extensible metadata model, import/ export facilities, support for maintenance and reuse of metadata, monitoring of integrity rules, facilities for user access, and statistics about the data and its usage for the database administrator and query optimizer. Metadata cataloging improves the user experience, adds competitive advantages, and improves the efficiency of the business.

英語のヒント

メタデータは、複数のデータベースを作成・保存・管理するシステムである、データベース管理システム（DBMS）で使われる。DBMS方式では、メタデータを、データ辞書と呼ばれるカタログに保存する。データ辞書とは、データベースの内容、形式、構造を記述する情報の集合である。たとえば関係DBMSでは、カタログに、利用できるすべての表の名前と、それぞれのフィールドが含まれる。メタデータのカタログは、データベースシステムの中核であり、DBMSの一部にも、独立した構成要素にもなりうる。メタデータのカタログ化は、業務の手順、人、製品など、企業に関係するあらゆるものについてのデータを集める処理である。エンドユーザー、アプリケーション開発者、DBMS自体にとって、重要な情報源になる。通常、このカタログは、拡張可能なメタデータモデル、インポートとエクスポートの機能、メタデータの保守と再利用の支援、整合性規則の監視、利用者がアクセスするための機能を提供する。また、データベース管理者と問い合わせ最適化器のために、データとその使用状況の統計も提供する。メタデータのカタログ化は、利用体験を改善し、競争上の優位をもたらし、業務の効率を高める。

Metadata Modelingメタデータのモデル化

A business presentation of metadata is metadata modeling. A database design process can be used to design a conceptual model of a database storing metadata as an enhanced entity–relationship (EER) model (Figure 8.3) or unified modeling language (UML) model. EER and UML are used to create models for designing large systems. Metadata modeling may cover various views of these models. For example, EER models and UML class diagrams help express views of a data model. While EER focuses purely on data modeling, the UML notation may be used to express comprehensive models of information systems using additional diagrams.

英語のヒント

メタデータを業務の形で表現したものが、メタデータのモデル化である。データベースの設計過程では、メタデータを保存するデータベースの概念モデルを、拡張実体関連（EER）モデル（図8.3）や、統一モデリング言語（UML）のモデルとして設計できる。EERとUMLは、大規模なシステムを設計するためのモデル作成に使われる。メタデータのモデル化は、それらのモデルのさまざまな見方を含む場合がある。たとえば、EERモデルやUMLクラス図は、データモデルの見方を表現するのに役立つ。EERがデータのモデル化だけに焦点を当てる一方、UML表記は、追加の図を使い、情報システムの包括的なモデルを表現するために使える。

Figure 8.3 This EER diagram models a product entity and states that a product can be either shipped or picked up but not both. (attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license)

図8.3 このEER図は、商品という実体をモデル化している。商品は、発送または受け取りのいずれかができるが、両方はできないことを示す。（出典：著作権 Rice University、OpenStax、CC BY 4.0ライセンス）

Data Qualityデータ品質

The measure of how well the data represents its purpose or fitness for use is called data quality (DQ). Data of acceptable quality in one decision context may be perceived to be of poor quality in another. Data quality determines the intrinsic value of the data to the business. Businesses may use the concept garbage in, garbage out (GIGO), which means that the quality of output is determined by the quality of the input. Poor DQ impacts organizations in many ways and at different management levels. For example, it negatively impacts operations in day-to-day operations; however, it makes a big difference at the strategic level in making decisions. DQ is a multidimensional concept in which each dimension represents a single aspect such as views, criteria, or measurements. DQ comprises both objective and subjective perspectives and can categorize different dimensions of data quality. The DQ framework has four categories: intrinsic DQ, contextual DQ, representation DQ, and access DQ, as illustrated in Figure 8.4.

英語のヒント

データが目的をどれほどよく表しているか、または利用にどれほど適しているかを測るものを、データ品質（DQ）という。ある意思決定の状況では許容できる品質のデータでも、別の状況では質が悪いとみなされることがある。データ品質は、企業にとってのデータそのものの価値を決める。企業は、「ごみを入れれば、ごみが出る」（GIGO）という考え方を使うことがある。これは、出力の品質が入力の品質によって決まるという意味である。DQが悪いと、組織のさまざまな面や管理のさまざまな水準に影響する。たとえば、日常業務に悪影響を与える。それだけでなく、戦略の水準で判断を下すときにも大きな違いを生む。DQは多次元の概念であり、各次元が、見方、基準、測定値など、一つの側面を表す。DQには、客観的な視点と主観的な視点の両方が含まれ、データ品質の異なる次元を分類できる。DQの枠組みには、図8.4に示すように、内在的DQ、文脈的DQ、表現に関するDQ、アクセスに関するDQという四つの分類がある。

Figure 8.4 The four data quality framework categories are intrinsic DQ, contextual DQ, representation DQ, and access DQ. (attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license)

図8.4 データ品質の枠組みの四分類は、内在的DQ、文脈的DQ、表現に関するDQ、アクセスに関するDQである。（出典：著作権 Rice University、OpenStax、CC BY 4.0ライセンス）

In the intrinsic DQ category, data accuracy refers to whether the data values stored for an object are the correct values, and they are often correlated with other DQ dimensions. We can count the data reliability as a part of data accuracy. The degree to which all data in a specific dataset are available with a minimum percentage of missing data is called data completeness. It can be viewed from at least three perspectives: schema completeness (the degree to which entity types and attribute types are missing from the schema), column completeness (the degree to which there exist missing values in a column of a table), and population completeness (the degree to which the necessary members of a population are present or not). The data consistency dimension is part of the representation category and can also be viewed from several perspectives: consistency of redundant or duplicated data in one table or multiple tables, consistency between two related data elements, and consistency of format for the same data element used in different tables. The accessibility dimension is part of the access category and reflects the ease of retrieving the data from the underlying data sources (this often involves a trade-off with security, which is also part of the access category).

英語のヒント

内在的DQの分類では、データの正確性は、対象について保存されたデータ値が正しいかどうかを指す。それらは、DQのほかの次元と相関することが多い。データの信頼性も、正確性の一部と考えられる。特定のデータセットのすべてのデータが、欠けたデータの割合を最小限にして利用できる度合いを、データの完全性という。少なくとも三つの視点から捉えられる。スキーマの完全性は、実体型や属性型がスキーマから欠けている度合いである。列の完全性は、表の一列の中に欠損値がある度合いである。母集団の完全性は、その母集団に必要な構成員が含まれているかどうかの度合いである。データの一貫性という次元は、表現の分類に含まれ、これも複数の視点から見られる。一つまたは複数の表にある冗長・重複データの一貫性、関連する二つのデータ要素の間の一貫性、異なる表で使われる同じデータ要素の形式の一貫性である。アクセスの容易さという次元は、アクセスの分類に含まれ、基礎となるデータ源から、どれほど容易にデータを取り出せるかを表す。これには、同じくアクセスの分類に含まれるセキュリティーとのトレードオフが伴うことが多い。

There are many common causes of bad data quality, such as the following:

データ品質が悪くなる一般的な原因は多く、たとえば次のものがある。

• computer processing

• コンピューターの処理。

◦ duplication: multiple data sources providing the same data, which may produce duplicates

英語のヒント

◦ 重複：複数のデータ源が同じデータを提供し、重複が生じる場合がある。

◦ consistency problem: different occurrences of data or incorrect data

英語のヒント

◦ 一貫性の問題：データの現れ方が異なる、またはデータが不正確である。

◦ objectivity problem: data giving different results in every process

英語のヒント

◦ 客観性の問題：処理のたびに、データが異なる結果を与える。

◦ limited computing resources: insufficient computing resources limiting the accessibility of relevant data

英語のヒント

◦ 限られた計算資源：計算資源が不十分で、関連するデータへのアクセスが制限される。

◦ accessibility problem: large volumes of stored data making it difficult to access needed information in a reasonable time

英語のヒント

◦ アクセスの問題：格納されたデータが大量で、必要な情報に妥当な時間内にアクセスしにくくなる。

• human intervention

英語のヒント

• 人間の介入。

◦ biased information: using human judgment in data production

英語のヒント

◦ 偏った情報：データの生成に、人間の判断を使う。

◦ relevance problem: different processes updating the same data

◦ 関連性の問題：異なる処理が、同じデータを更新する。

◦ data quality problems: decoupling of data producers and consumers

英語のヒント

◦ データ品質の問題：データの作成者と利用者が、切り離されている。