Flask文件上传脚本编写 发表于 2022-06-23 更新于 2023-03-09 分类于 技术 本文字数： 1.8k 阅读时长 ≈ 2 分钟 编写Python脚本文件名：fl_206.py 阅读全文 »
Python打包exe应用 发表于 2022-03-23 更新于 2023-05-06 分类于 工具使用 本文字数： 1.1k 阅读时长 ≈ 1 分钟 Python 打包exe应用程序教程创建环境创建虚拟环境conda创建虚拟环境1conda create -n env_name python=3.8 阅读全文 »
MongoDB学习笔记 发表于 2022-03-23 更新于 2023-03-09 分类于 技术 本文字数： 20k 阅读时长 ≈ 18 分钟 MongoDB非关系型数据库的使用前言传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求： • High performance - 对数据库高并发读写的需求。 • Huge Storage- 对海量数据的高效率存储和访问的需求。 • High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求。 阅读全文 »
Hadoop(5)HDFS常用命令 发表于 2022-02-17 分类于 技术 本文字数： 3.7k 阅读时长 ≈ 3 分钟 hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir创建文件夹 hdfs dfs -rmr dir删除文件夹dir hdfs dfs -ls查看目录文件信息 hdfs dfs -lsr递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 阅读全文 »
Hadoop(4)YARN 发表于 2022-02-17 更新于 2023-03-09 分类于 技术 本文字数： 7.1k 阅读时长 ≈ 6 分钟 5. YARN实现Hadoop集群的资源共享 YARN不仅仅支持MapReduce，还支持Spark、Flink等计算引擎。 YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个 ResourceManager：主节点主要负责集群资源的分配和管理。 NodeManager：从节点主要负责当前机器资源管理。 阅读全文 »
Hadoop(3)MapReduce 发表于 2022-02-17 更新于 2023-03-09 分类于 技术 本文字数： 44k 阅读时长 ≈ 40 分钟 4. MapReduce计算扑克牌中的黑桃个数 就是我们平时打牌时用的扑克牌，现在呢，有一摞牌，我想知道这摞牌中有多少张黑桃 最直接的方式是一张一张检查并且统计出有多少张是黑桃，但是这种方式的效率比较低，如果说这一摞牌只有几十张也就无所谓了，如果这一摞拍有上千张呢？你一张一张去检查还不疯了？ 阅读全文 »
Hadoop(2)HDFS 发表于 2022-02-17 更新于 2023-03-15 分类于 技术 本文字数： 33k 阅读时长 ≈ 30 分钟 3. HDFS（Hadoop Distributed File System）3.1 Hadoop分布式文件系统 HDFS是一种允许文件通过网络在多台主机上分享的文件系统可以让多台机器上的多个用户分享文件和存储文件。 分布式文件管理系统有很多，HDFS只是其中一种实现。 阅读全文 »
Hadoop(1)Hadoop基础 发表于 2022-02-17 更新于 2023-03-09 分类于 技术 本文字数： 9.4k 阅读时长 ≈ 9 分钟 Java数据类型与Hadoop数据类型的对应关系 Java Hadoop 意义 Long LongWritable 整数型 String Text 字符串 阅读全文 »
Git(2)分支管理策略 发表于 2022-02-17 更新于 2023-03-09 分类于 技术 本文字数： 1.7k 阅读时长 ≈ 2 分钟 Git分支管理策略一、主分支Master首先，代码库应该有一个、且仅有一个主分支。所有提供给用户使用的正式版本，都在这个主分支上发布。 阅读全文 »