プリンキピア

第8章データ管理

8.1 Data Management Focus8.1　データ管理の重点

Learning Objectives学習目標
By the end of this section, you will be able to:
この節を終えると、次のことができるようになる。
• Discuss data management and its relation to computer science and data science
• データ管理と、コンピューターサイエンスおよびデータサイエンスとの関係を論じる。
• Understand that data are the backbone of the industry
• データが産業の基盤であることを理解する。
• Identify and explain key concepts in data management
• データ管理の主要な概念を見分け、説明する。
• Distinguish various roles in the field of data management
• データ管理の分野にある、さまざまな役割を区別する。
• Explain the current state of data management
• データ管理の現状を説明する。
In the current digital world, collecting information and facts that are stored digitally by a computer, or data, is a straightforward process. There are many direct and indirect ways, such as social media, that support the data collection process. A large amount of data is collected every day, every hour, and every minute. But this amount of data is not useful unless benefits can be drawn from it, which requires knowing what to do with these data. In this context data are like the "crude oil" that needs to be stored digitally in order to allow extraction of information and knowledge via information and knowledge management systems. Related structured data is stored in a database management system. The knowledge supports the decision-makers in any organization in making important decisions, such as increasing the sales in some regions, changing the suppliers within the supply chain, decreasing the manufacture of a specific product, modifying the hiring process, studying the community culture, and identifying customer demand. It is clear that proper data management is required to support decision-makers. The study of managing data effectively, or data management, treats data as a corporate asset similar to physical assets such as plants and equipment. Data management requires having a strategy to analyze the data by collecting data, then storing the data, cleaning the data, preprocessing the data, and preparing the data for analytics, which will lead to decision-making.
英語のヒント
現在のデジタル世界では、コンピューターがデジタル形式で保存する情報や事実、つまりデータを集めることは、単純な作業である。ソーシャルメディアなど、データ収集を支える直接・間接の方法は数多い。毎日、毎時間、毎分、大量のデータが集められている。しかし、そこから利益を引き出せなければ、その大量のデータは役に立たない。そのためには、それらをどう扱うかを知る必要がある。この意味で、データは「原油」のようなものであり、情報・知識管理システムを使って情報や知識を取り出せるようにするため、デジタル形式で保存する必要がある。関連する構造化データは、データベース管理システムに格納される。知識は、組織の意思決定者が重要な判断を下すのを支える。たとえば、ある地域で売上を増やすこと、供給網の仕入れ先を変えること、特定の製品の製造量を減らすこと、採用手順を変えること、地域社会の文化を調べること、顧客の需要を見極めることなどである。意思決定者を支えるには、適切なデータ管理が必要であることは明らかである。データを効果的に管理することを研究する分野、すなわちデータ管理では、データを、工場や設備などの物的資産と同様の企業資産として扱う。データ管理には、データを収集し、保存し、クリーニングし、前処理を行い、分析に使える状態へ整えるという、データ分析の戦略が必要である。その分析が意思決定につながる。
CONCEPTS IN PRACTICE概念を実践する
Managing Your Social Media Data自分のソーシャルメディアのデータを管理する
Facebook, Instagram, LinkedIn, Snapchat, Tik Tok, X, and many other social media applications are controlling your data. You are most likely posting too much information about your life, work, and school, but it is not only you—everyone is sharing data on social media. A supermassive Mother of all Breaches (MOAB) publicized discovered in early 2024 contains data from numerous previous breaches, comprising 12 TB of information from LinkedIn, X (formerly Twitter), Weibo, Tencent, and other platforms’ user data.
英語のヒント
Facebook、Instagram、LinkedIn、Snapchat、Tik Tok、X、そのほか多くのソーシャルメディアアプリケーションは、あなたのデータを管理している。あなたはおそらく、生活、仕事、学校について多くの情報を投稿しすぎている。しかし、それはあなただけではなく、誰もがソーシャルメディアでデータを共有している。2024年初めに発見・公表された、Mother of all Breaches（MOAB）と呼ばれる超大規模な漏えいデータ集積には、過去の多数の漏えいのデータが含まれる。LinkedIn、X（旧Twitter）、Weibo、Tencentなどのプラットフォームの利用者データ、12TBの情報で構成される。
Have you ever asked yourself how service providers are managing this data? How do they store the data? Where do they store it? Which database are they are using? And the big question: can we benefit from this data and manage our own data? Meta is offering the option to control your Facebook experience by managing your data; all you need to do is complete a form, which gives you multiple options such as downloading your data, managing ad preferences, and removing a tag from a post.1
英語のヒント
サービス提供者が、このデータをどう管理しているか、考えたことはあるだろうか。どう保存しているのか。どこに保存しているのか。どのデータベースを使っているのか。そして大きな問いは、このデータを役立て、自分のデータを自分で管理できるかということである。Metaは、自分のデータを管理することで、Facebookの利用体験を自分で制御する選択肢を提供している。必要なのは、フォームに記入することだけである。データのダウンロード、広告設定の管理、投稿からのタグの削除など、複数の選択肢が用意されている。1

Data Management in Computer and Data Scienceコンピューターサイエンスとデータサイエンスにおけるデータ管理

Computer science is the study of computing algorithms that receive data as inputs, process data, and produce outputs. Computer science applies the principles of mathematics, physics, and engineering. Hardware, software, operating systems, and applications are working together to perform computer science computations.
英語のヒント
コンピューターサイエンスは、データを入力として受け取り、処理し、出力を生成する、計算アルゴリズムを研究する分野である。数学、物理学、工学の原理を応用する。ハードウェア、ソフトウェア、オペレーティングシステム、アプリケーションが連携して、コンピューターサイエンスの計算を実行する。
Data science is the study of extracting knowledge from information using hypothesis analysis and algorithms. Information is the result of processing raw data. Figure 8.2 illustrates the skills and knowledge needed to be successful in data science.
英語のヒント
データサイエンスは、仮説の分析とアルゴリズムを用いて、情報から知識を取り出すことを研究する分野である。情報は、生のデータを処理した結果である。図8.2に、データサイエンスで成功するために必要な技能と知識を示す。
Figure 8.2

attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license · CC BY 4.0 · Source出典

Figure 8.2 Data science combines programming skills, analytic systems, statistics, and data mining. (attribution: Copyright Rice University, OpenStax, under CC BY 4.0 license)
図8.2 データサイエンスは、プログラミングの技能、分析システム、統計学、データマイニングを組み合わせる。（出典：著作権 Rice University、OpenStax、CC BY 4.0ライセンス）

Data Management in the Industry産業におけるデータ管理

Data are the backbone of any enterprise because analyzing data improves performance and increases profit. Gathering raw data from various sources and processing it for modeling is about 80% of the data scientist’s work.2 Enterprise projects usually involve a massive amount of data, which makes it impossible to be stored locally, so many businesses move their data to the cloud. A business may also choose to run applications as well as databases and operating systems in the cloud. Data management is often handled by a separate data engineering team because most computer and data scientists do not have enough knowledge about data storage and infrastructure.
英語のヒント
データを分析すると性能が向上し、利益が増えるため、データはあらゆる企業の基盤である。さまざまな情報源から生データを集め、モデル化のために処理することが、データサイエンティストの仕事の約80%を占める。2企業のプロジェクトでは、通常、膨大な量のデータを扱い、ローカルには保存しきれないので、多くの企業はデータをクラウドへ移す。データベースやオペレーティングシステムに加え、アプリケーションもクラウドで動かすことを選ぶ場合がある。コンピューターサイエンティストやデータサイエンティストの多くは、データ格納や基盤について十分な知識を持たないため、データ管理は、別のデータエンジニアリングチームが担当することが多い。
1 R. E. G. Beens, “The privacy mindset of the EU vs. the US,” Forbes. Updated April 14, 2022. https://www.forbes.com/sites/ forbestechcouncil/2020/07/29/the-privacy-mindset-of-the-eu-vs-the-us/?sh=215a8a127d01 2 ProjectPro, “Why data preparation is an important part of data science?” Updated April 11, 2024. https://www.projectpro.io/article/ why-data-preparation-is-an-important-part-of-data-science/242.
1 R. E. G. Beens、「EUと米国のプライバシーに対する考え方」、Forbes。2022年4月14日更新。https://www.forbes.com/sites/ forbestechcouncil/2020/07/29/the-privacy-mindset-of-the-eu-vs-the-us/?sh=215a8a127d012 ProjectPro、「データ準備がデータサイエンスの重要な部分である理由」。2024年4月11日更新。https://www.projectpro.io/article/ why-data-preparation-is-an-important-part-of-data-science/242.