什么是大数据

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决，海量数据的采集、存储和分析计算问题。

大数据4V特征：

1. Volume（量大）：存储量大，计算量大
2. Variety（多样）：来源多，格式多
3. Velocity（快速）：数据增长速度快，处理速度要求快
4. Value（价值）：价值密度低，和数据总量的大小成反比

Shell概述

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

此外，Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

我们的虚拟机从安装开始，到最后安装好所有的软件包和相应的版本，是需要耗费很长时间的，在实际的集群中操作时我们需要一台机器一台机器的安装，这个没办法。但是现在我们是在自己的电脑中模拟集群的环境，就没有必要一台机器一台机器的安装了，我们安装好一台后，直接克隆该机器即可。

RPM软件包管理

RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe是Linux这系列操作系统里面的打包安装工具，它虽然是RedHat的标志，但理念是通用的。

RPM包的名称格式Apache-1.3.23-11.i386.rpm

• apache软件名称
• 1.3.23-11软件的版本号，主版本和此版本
• i386是软件所运行的硬件平台，Intel 32位微处理器的统称
• rpm文件扩展名，代表RPM包

在使用RPM进行软件包管理时，一般会使用以下三个操作：

1. 查询命令（rpm -qa)
2. 卸载命令（rpm -e [软件包名称]）
3. 安装命令（rpm -ivh [rpm安装包]）

要想更好的使用Centos系统进行相关操作和软件包的安装，我们首先对其相关限制服务进行关闭，注意这种操作会降低系统的安全性，建议在实际的企业级项目时不要完全开放相关限制服务，仅开放对应的服务端口即可。

关闭防火墙

在某些情况下，例如需要使用特定网络服务或应用程序时，防火墙可能会阻止必要的网络连接，所以在此处我们首先将防火墙关闭。

VMware网络配置

点击编辑->虚拟网络编辑器

VMware安装

一台电脑本身是可以装多个操作系统的，但是做不到多个操作系统切换自如，所以我们需要一款软件帮助我们达到这个目的，不然数仓项目搭建不起来。

推荐的软件为VMware，VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。

继承

基本概念

假如有这样一个场景，我们的项目现在有三个子Maven工程（A、B和C），如果3个工程都需要使用到同一个Jar包，那么我们在打包项目的时候就需要将这三个工程中用到的相同包的版本进行统一，那么按照之前的做法就需要去到每一个工程中手动修改3个工程共用的Jar包为同一个版本，这个做法无疑是非常不可取的，如果子项目较多，出现依赖交叉的情况也会越多，这样工作量是非常大的。

使用继承机制就可以将这样的依赖信息统一提取到父工程模块中进行统一管理。

基本概念

前面我们已经写了两个简单的Maven项目，其中HelloFridend Maven项目就是依赖于Hello项目。Maven的项目依赖关系分为直接依赖和间接依赖，假设我们有这样一个问题背景有A、B、C三个Maven项目，其中A依赖于B，并且B依赖于C，那么其中的依赖关系如下。

1. 直接依赖：A->B、B->C
2. 间接依赖：A->C

POM介绍

POM全称Project Object Model，项目对象模型。将Java工程的相关信息封装为对象作为便于操作和管理的模型。Maven工程的核心配置，可以说学习Maven就是学习pom.xml文件中的配置。