最近忙一个项目，给某个高校部署高性能计算集群，采用的是Slurm系统进行集群资源管理。一共涉及到13个节点，其中有9个节点是有GPU卡的，要想使用GPU进行高性能计算就必须安装相应的显卡驱动和CUDA，在安装这个驱动的时候遇到了很多问题，在此记录详细步骤如下：

首先需要查看电脑中的显卡信息

输入以下命令：

1

lspci | grep -i nvidia

如果提示lspci命令找不到，则需要先下载：

1	yum -y install pciutils

问题复现

Slurm集群搭建好后，开机后使用MobaXterm远程连接集群时发现连接失败。

然后打开虚拟机，手动输入账号密码进入到虚拟机控制台，输入ifconfig命令后发现只有一个默认网卡，设置的静态IP网卡不存在。

Slurm介绍

Slurm是一种开源的，用于高性能计算集群管理系统的软件。它能够有效地管理计算资源的分配和任务调度，支持Linux等操作系统，是HPC领域中最受欢迎的调度器之一。Slurm具有高可用性和可扩展性，易于使用，提供了丰富的命令行界面和API，可以为科学研究和工程计算等领域提供高效的支持。

Slurm安装

为了方便演示在此我们采用的是虚拟机进行Slurm的部署操作演示，故每个虚拟机的分配资源都是一样的，在实际使用中控制节点和计算节点应该是有所区别的。

操作系统：Centos 7.9

在本节中主要讨论在Python网络爬虫逆向中常见的一些加密数据之间的相互转化及数据类型之间的相互转化。

主要包括以下内容：

• ASCII编码
• Unicode
• 字符串
• 十进制数值
• 十六进制数值
• 二进制
• base64
• 字节码

抓取目标

目标网址：https://music.163.com/#/song?id=2045090557

抓取目标：音乐下载抓取

目标网址：https://user.wangxiao.cn/login?url=https%3A%2F%2Fwww.wangxiao.cn%2F

案例目标：网页账号密码模拟登录，获取对应的题库内容。

本教程主要是为了解决一个在使用Pycharm时常见的一个问题，这个问题虽然不会对写代码造成很大的影响，但是对于我个人而言是一件比较厌烦的事情。

问题描述

该问题出在我在使用Pycharm时，遇到不熟悉的函数想去查看源码中的注释，我使用Pycharm快捷键Ctrl + B或者按住Ctrl点击对应的函数，可以正常跳转，但是却没有跳转到正常的源码，而是跳转到了一个.pyi文件，在.pyi文件中只有函数的调用，没有对应的详细注释。

.pyi 文件是类型提示文件，用于提供对代码中类型注解的补充。这些文件通常用于类型检查和静态分析工具，例如 MyPy。.pyi 文件中通常只包含函数、类和方法的签名信息，而没有实际的代码实现。

抓取网址：https://www.endata.com.cn/BoxOffice/BO/Year/index.html

抓取目标：影片相关信息

目标网址：https://fanyi.baidu.com/

目标：获取百度翻译API接口，并使用接口去翻译自己的文本内容。

抓取目标：新版6v电影网电影资源

以电影《逃出白垩纪》为例：

https://www.66s.cc/e/DownSys/play/?classid=4&id=20778&pathid1=0&bf=0