“大数据技术的原理和应用”第1章-大数据概述（大数据技术的原理和应用）

Big Data Overview1.1 Big Data ERA 00 00 Brief Introduction01 ERA Background Support1.2 Big Data Concepts and Impact00 Big Data `4V` Characteristics⭐01 Big Data Impact00 Big Data Application00 Film and TV Series01 1.5 Big Data and Cloud Computing and the Internet of Things 00 Cloud Computing01 Overview1.6 Summary

1.1 Big Data ERA 00 Brief Introduction

If big data is really well已知，它是在2010年左右，大数据的背景是第三波信息化浪潮。第三波信息化是人类信息化历史的第三波浪潮，以三种新技术为代表：大数据，云计算和物联网。 Before that, there were two waves of information, as follows:

Time signs of information wave occurrence represent personal computer information processing in 1980, overview of internet information around internet information such as Internet information transmission such as Internet information transmission such as Internet information transmission in 1995, Internet information transmission in 1995, personal computer information processing in 1980, Intel, IBM, Apple, Microsoft, Lenovo, Dell, HP, etc. Emerge, many new market benchmark companies正在出现。 01 ERA

背景的支持是到达大数据时代的，需要相关的支持。 第一个是技术支持，主要分为三点。 1。存储：存储设备能力继续增加

2。计算：CPU处理能力将得到很大改善

3。网络

网络：网络带宽将继续增加

接下来，在数据生成方法的第一阶段：1970年代阶段将是1970年代的阶段。在超市，购物信息是在数据库系统中逐一生成的

阶段（近2002）：例如，随着博客和微博的出现，用户的原始内容阶段，每个人都是自我媒体，每个人都可以在Internet上发布数据。

③阶段3：感知系统阶段这个阶段始于互联网的传播。物联网的底层是感知层，例如相机，传感器等。这些设备正在不断检测外部信息。 It can be said that the emergence of the Internet of Things has really led to the arrival of big data

From this, we can briefly summarize the development history of big data:

Time stage From the 1990s to the late last century, the germination period of the first ten years of this century, the maturity period after 2010, the concept and influence of big data 00 4V characteristics ⭐

① Large amount of data (Volume mass)

摩尔的大数据定律过去两年人类生成的数据量对应于先前生成的数据的总量，并且高度阻止的数据是

corse

数据的数据（多样性）

大数据具有多种类型的数据。存储在非结构化数据库中的结构化数据是图形和图像

③高速数据生成（速度快速）等数据，从数据生成到消耗。时间窗口很小，可以用来生成决策的时间很少。许多企业级申请需要遵守第二级决策法。 如果一年什么都没发生，那么这1年的视频数据将无效。只有发生某些事情时，我们会暂时使用视频数据。这是数据的低值密度01大数据的影响

1范式科学研究的变化

（增加）当受数据驱动时，我不知道问题在哪里以及问题所在。由数据驱动。通过大数据分析发现和解决问题，

过去，

，

，

，

，

，

，

，思维样式

的变化，有太多数据无法存储和分析，并且统计数据进行了采样。现在，抽样分析应采样准确性而不是效率，因为采样分析仅提取一部分数据，而不是全部。如果采样计算的结果是错误，则如果将其放置在样品中，则将其放大。整个样品分析中的误差是在整个样本中。无需故意追求准确性。在这一点上，一些数据需要时间，因此我们要注意效率。如果目前未计算，数据将无效。这不会打扰您为什么它们是相关的，而不是在大数据时期与因果关系。我们只关心它们之间的关系。例如，如果您在淘宝上购买了这本书，我会推荐其他书籍。我不知道为什么。只要告诉他们这些书之间有关系。 1.3大数据应用程序

有许多大数据应用程序。一些示例是：

00在电影和电视连续剧中的投资和拍摄过去，电影和电视连续剧中的大多数投资和拍摄都在继续。当我看到哪些戏剧在拍摄后变得流行时，其他戏剧还拍摄了这种戏剧，这可能不流行。现在，通过大数据分析，您可以分析哪些参与者和董事在选择时很受欢迎。例如，美国戏剧“纸牌屋”是大数据分析的结果。没有大数据分析，没有人知道他会找到这位演员，找到这位导演并拍摄这部戏。

01 Google先前已经预测了流感。一般而言，与实际情况相比，该报告延迟了一两个星期。 Google使用搜索引擎实时收集各种用户查询信息，并通过大数据分析预测流感趋势。这是因为当大多数人遇到温和的疾病时，他们首先寻求搜索引擎的帮助，然后去医院。通过这种方式，Google可以根据几种关键字（例如感冒和发烧）分析流感趋势。预测的结果基本上符合疾病控制与预防中心发布的报告的结果

03新的COVID-19的区域分布图

您可以在过去两年中看到手机流行病的实时数据更新。趋势区域分布图是一个大数据应用程序

1.4大数据关键技术00大数据级别

大数据技术已经在四个级别开发：

数据收集数据存储和管理数据处理和分析数据隐私以及近年开发的大数据核心技术主要用于数据存储和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层和分析层。这是我们可以总结的核心技术：如果无法保存机器，请使用群集运行分布式存储。

组成的处理

解决了大规模的数据处理问题。如果机器无法有效完成数据处理，则使用群集执行分布式处理。

大数据技术的原理和应用本课程的主要内容是解释这两种核心技术。分布式存储和处理技术主要在Google的技术中表达。主要技术是分布式数据库大表，分布式文件系统GFS和分布式并行处理技术MAPREDUCE 02大数据计算模型⭐

当前，它属于各种计算模型，需要使用不同的大数据技术。因此，您需要学习判断您的计算模型并选择正确的大数据技术相关产品。对于这个问题，用于批处理计算批处理处理的批处理处理：MapReduce，Spark等。这是关于获取大量数据进行批处理处理。它不适合实时交互式计算，无法满足时间表要求。 Spark Spark的实时性能比MapReduce的性能更好，该问题解决了MapReduce无法有效地执行迭代计算的问题。从理论上讲，它提供了实时沟通。否则，分析结果将丢失商业价值流计算的代表性产品：S4，Storm，Flow，Puma，Dstream，Super Mario，Super Mario，Galaxy Data Grocesing Platform等。图形结构数据图计算：Google Pregel，Graphx，GraphX，GraphX，PowerGraph，Hama，Goldenorb等。 云计算是分布式存储和分布式处理。

云计算的典型特征：云计算的概念：解决云计算的两个核心问题。 Cloud computing concept: Cloud computing is to provide very inexpensive IT resources in the way of service

Advantages of cloud computing

3 modes of cloud computing:

Public private cloud of hybrid cloud parts inside the enterprise are distributed externally, and

3 cloud services:

iaas: Platform as infrastructure as service rental infrastructure (computing resources and storage) as platform as平台开发云计算资源SaaS-作为服务作为服务的软件典型情况：云财务软件在使用前不需要本地安装软件。另一方以服务的形式出售整个软件。只要您拥有网络，就可以打开它。您的计算机或计算机操作用于云计算的关键技术。 Virtualization, distributed storage, distributed computing, multi-tenant

01 Internet of Things

IoT concept:

The Internet of Things (IoT) is an extension of the Internet and the Internet, and the Internet

Iierarchical Architection

<p Perceptual Technology

GrudThe Internet of Things, cloud computing, and big data are closely related to each other and complement the Internet of事物

大数据可用于实现大规模数据的存储和分析。

√circle焦点：大数据的4V特征大数据的影响（科学范式，思维）