Python数据科学_19_动态网页抓取

发表于 2022-09-23 更新于 2022-09-28 分类于技术
本文字数： 6.4k 阅读时长 ≈ 6 分钟

获取华中杯首页最新通知标题

1	import requests

1	url = 'http://hzbmmc.com:8080/jeecg-boot/api/v1/webbaseinfo/announcement/brief?mentTypehzbWebbaseinfoAnnounce=1&queryPage=1&querySize=5'

1	response = requests.get(url)

阅读全文 »

Python数据科学_18_案例：百度热搜电影TOP30电影信息抓取【静态网络爬虫】

发表于 2022-09-22 更新于 2023-03-09 分类于技术
本文字数： 12k 阅读时长 ≈ 11 分钟

1	import requests

抓取页面内容

1	url = 'https://top.baidu.com/board?tab=movie'

1	response = requests.get(url)

阅读全文 »

Python数据科学_17_Python网络爬虫基础

发表于 2022-09-21 更新于 2023-03-09 分类于技术
本文字数： 24k 阅读时长 ≈ 22 分钟

1	import requests

发送get请求

1 2	# 设置请求的网址 url = "http://hzbmmc.com/"

1 2	# 发送get请求 response = requests.get(url)

1 2	# 查看响应的状态码 response.status_code

阅读全文 »

Python数据科学_16_案例：垃圾短信识别【简单自然语言处理】

发表于 2022-09-20 更新于 2025-03-31 分类于技术
本文字数： 5.1k 阅读时长 ≈ 5 分钟

1	import pandas as pd

数据读取

1	data = pd.read_csv('message80W1.csv', header=None, index_col=0)

1	data.columns = ['类别', '文本内容']

1	data.head()

阅读全文 »

Python数据科学_15_案例：水色图像处理【简单计算机视觉】

发表于 2022-09-19 更新于 2023-03-09 分类于技术
本文字数： 3.2k 阅读时长 ≈ 3 分钟

读取图片数据

1 2	import os import cv2

1 2	path = 'water_images' imgname_list = os.listdir(path) # 获取path文件夹下所有的文件名称

阅读全文 »

Python数据科学_14_Opencv图像处理基础

发表于 2022-09-18 更新于 2023-03-09 分类于技术
本文字数： 1.4k 阅读时长 ≈ 1 分钟

使用numpy生成一张图片

1 2	import numpy as np import matplotlib.pyplot as plt

1	img1 = np.zeros((100, 100, 3))

1 2	plt.imshow(img1) plt.show()

阅读全文 »

Python数据科学_13_案例：航空公司客户价值分析【聚类案例】

发表于 2022-09-17 更新于 2023-03-09 分类于技术
本文字数： 6.6k 阅读时长 ≈ 6 分钟

背景和目标

行业内竞争

民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。

行业外竞争

随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。

目标

借助航空公司客户数据，对客户进行分类。
对不同的客户类别进行特征分析，比较不同类别客户的客户价值。
对不同价值的客户类别提供个性化服务，制定相应的营销策略。

阅读全文 »

Python数据科学_12_案例：市财政收入预测【回归案例】

发表于 2022-09-16 更新于 2023-03-09 分类于技术
本文字数： 7k 阅读时长 ≈ 6 分钟

目标：

求出现有的13个特征中，哪几个特征对y（地方财政收入）影响最大
求出2014年和2015年这两年的财政收入

阅读全文 »

Python数据科学_11_案例：丙型肝炎预测分析【分类案例】

发表于 2022-09-15 更新于 2022-09-28 分类于技术
本文字数： 3k 阅读时长 ≈ 3 分钟

利用所给数据集使用合适的分类算法，对标签列进行分类。

1	import pandas as pd

阅读全文 »

Python数据科学_10_神经网络基础

发表于 2022-09-14 更新于 2023-03-09 分类于技术
本文字数： 27k 阅读时长 ≈ 25 分钟

手动推导人工神经网络

读取数据

1 2	import pandas as pd import numpy as np

1 2	train_data = pd.read_csv('BPdata_tr.txt').values test_data = pd.read_csv('BPdata_te.txt').values

1 2	print('训练数据尺寸：', train_data.shape) print('测试数据尺寸：', test_data.shape)

训练数据尺寸： (500, 3)
测试数据尺寸： (100, 3)

阅读全文 »