经过前面教程，我们现在已经搭建好了一个Slurm系统。为了方便管理，我们还需要开发相关的shell脚本用于对集群的管理，在这里我写了三个脚本。

脚本目录

在master1节点目录/root/tools

• add_user.sh：新建用户，并赋予用户访问集群资源权限。
• del_user.sh：删除用户，并移除用户访问集群资源权限。
• restartSlurm.sh：重启所有的Slurm节点。

转换流

InputStreamReader类

转换流java.io.InputStreamReader，是Reader的子类，是从字节流到字符流的桥梁。它读取字节，并使用指定的字符集将其解码为字符。它的字符集可以由名称指定，也可以接受平台的默认字符集。

• InputStreamReader(InputStream in): 创建一个使用默认字符集的字符流。
• InputStreamReader(InputStream in, String charsetName): 创建一个指定字符集的字符流。

构造举例，代码如下：

1
2

InputStreamReader isr = new InputStreamReader(new FileInputStream("in.txt"));
InputStreamReader isr2 = new InputStreamReader(new FileInputStream("in.txt") , "GBK");

缓冲流

缓冲流，也叫高校流，按照数据类型分类：

1. 字节缓冲流：BufferedInputStream，BufferedOutputStream
2. 字符缓冲流：BufferedReader，BufferedWriter

缓冲流的基本原理，是在创建流对象时，会创建一个内置的默认大小的缓冲区数组，通过缓冲区读写，减少系统IO次数，从而提高读写的效率。

最近忙一个项目，给某个高校部署高性能计算集群，采用的是Slurm系统进行集群资源管理。一共涉及到13个节点，其中有9个节点是有GPU卡的，要想使用GPU进行高性能计算就必须安装相应的显卡驱动和CUDA，在安装这个驱动的时候遇到了很多问题，在此记录详细步骤如下：

首先需要查看电脑中的显卡信息

输入以下命令：

1

lspci | grep -i nvidia

如果提示lspci命令找不到，则需要先下载：

1	yum -y install pciutils

问题复现

Slurm集群搭建好后，开机后使用MobaXterm远程连接集群时发现连接失败。

然后打开虚拟机，手动输入账号密码进入到虚拟机控制台，输入ifconfig命令后发现只有一个默认网卡，设置的静态IP网卡不存在。

Slurm介绍

Slurm是一种开源的，用于高性能计算集群管理系统的软件。它能够有效地管理计算资源的分配和任务调度，支持Linux等操作系统，是HPC领域中最受欢迎的调度器之一。Slurm具有高可用性和可扩展性，易于使用，提供了丰富的命令行界面和API，可以为科学研究和工程计算等领域提供高效的支持。

Slurm安装

为了方便演示在此我们采用的是虚拟机进行Slurm的部署操作演示，故每个虚拟机的分配资源都是一样的，在实际使用中控制节点和计算节点应该是有所区别的。

操作系统：Centos 7.9

在本节中主要讨论在Python网络爬虫逆向中常见的一些加密数据之间的相互转化及数据类型之间的相互转化。

主要包括以下内容：

• ASCII编码
• Unicode
• 字符串
• 十进制数值
• 十六进制数值
• 二进制
• base64
• 字节码

抓取目标

目标网址：https://music.163.com/#/song?id=2045090557

抓取目标：音乐下载抓取

目标网址：https://user.wangxiao.cn/login?url=https%3A%2F%2Fwww.wangxiao.cn%2F

案例目标：网页账号密码模拟登录，获取对应的题库内容。

本教程主要是为了解决一个在使用Pycharm时常见的一个问题，这个问题虽然不会对写代码造成很大的影响，但是对于我个人而言是一件比较厌烦的事情。

问题描述

该问题出在我在使用Pycharm时，遇到不熟悉的函数想去查看源码中的注释，我使用Pycharm快捷键Ctrl + B或者按住Ctrl点击对应的函数，可以正常跳转，但是却没有跳转到正常的源码，而是跳转到了一个.pyi文件，在.pyi文件中只有函数的调用，没有对应的详细注释。

.pyi 文件是类型提示文件，用于提供对代码中类型注解的补充。这些文件通常用于类型检查和静态分析工具，例如 MyPy。.pyi 文件中通常只包含函数、类和方法的签名信息，而没有实际的代码实现。