序列化概述

什么是序列化

序列化：就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。

反序列化：就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。

为什么要序列化

一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。

MapReduce定义

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

HDFS读写流程

写数据流程

写数据流程如图所示：

image-20230714221240059

HDFS概述

HDFS产生的背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

HDFS定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

Hadoop的运行模式包括：本地模式、伪分布式以及完全分布式

• 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
• 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
• 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

参考此文章按照以下内容去克隆3个节点。

• 节点102，IP地址：192.168.128.102，hostname：hadoop102
• 节点103，IP地址：192.168.128.103，hostname：hadoop103
• 节点104，IP地址：192.168.128.104，hostname：hadoop104

操作系统安装

虚拟机的安装过程见此教程。

配置网络过程见此教程。

安装工具

更换yum源，编辑CentOS-Base.repo文件：

1

vim /etc/yum.repos.d/CentOS-Base.repo

什么是大数据

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决，海量数据的采集、存储和分析计算问题。

大数据4V特征：

1. Volume（量大）：存储量大，计算量大
2. Variety（多样）：来源多，格式多
3. Velocity（快速）：数据增长速度快，处理速度要求快
4. Value（价值）：价值密度低，和数据总量的大小成反比

Shell概述

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

image-20230705102311950

此外，Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

我们的虚拟机从安装开始，到最后安装好所有的软件包和相应的版本，是需要耗费很长时间的，在实际的集群中操作时我们需要一台机器一台机器的安装，这个没办法。但是现在我们是在自己的电脑中模拟集群的环境，就没有必要一台机器一台机器的安装了，我们安装好一台后，直接克隆该机器即可。