读取数据

1
2
3
4

import cv2
import os
from glob import glob
import numpy as np

1
2
3
4
5
6
7
8
9
10
11
12

import matplotlib.pyplot as plt

def plot_image(img, mode='bgr'):
    if mode=='bgr':
        img = img[:, :, ::-1]
    plt.figure(dpi=200)
    if mode=='gray':
        plt.imshow(img, cmap='gray')
    else:
        plt.imshow(img)
    plt.axis('off')
    plt.show()

1
2

name_list = os.listdir('data/person_data/')
print(name_list)

['baijingting', 'jiangwen', 'pengyuyan', 'zhangziyi', 'zhaoliying']

1
2

from ChatModel import OllamaChat
chat_model = OllamaChat(url="http://localhost:6006/api/chat", model_name='qwen:32b')

文本扩展

文本扩展是大语言模型的一个重要应用方向，它可以输入简短文本，生成更加丰富的长文。这为创作提供了强大支持，但也可能被滥用。因此开发者在使用时，必须谨记社会责任，避免生成有害内容。

在本章中,我们将学习基于LLM实现一个客户邮件自动生成的示例，用于根据客户反馈优化客服邮件。这里还会介绍“温度”（temperature）这一超参数，它可以控制文本生成的多样性。

需要注意，扩展功能只应用来辅助人类创作，而非大规模自动生成内容。开发者应审慎使用，避免产生负面影响。只有以负责任和有益的方式应用语言模型，才能发挥其最大价值。相信践行社会责任的开发者可以利用语言模型的扩展功能，开发出真正造福人类的创新应用。

1
2

from ChatModel import OllamaChat
chat_model = OllamaChat(url="http://localhost:6006/api/chat", model_name='qwen:32b')

提示原则

设计高效 Prompt 的两个关键原则：

1. 编写清晰、具体的指令
2. 给予模型充足思考时间

首先，Prompt 需要清晰明确地表达需求，提供充足上下文，使语言模型准确理解我们的意图，就像向一个外星人详细解释人类世界一样。过于简略的 Prompt 往往使模型难以把握所要完成的具体任务。

其次，让语言模型有充足时间推理也极为关键。就像人类解题一样，匆忙得出的结论多有失误。因此Prompt 应加入逐步推理的要求，给模型留出充分思考时间，这样生成的结果才更准确可靠。

如果 Prompt 在这两点上都作了优化，语言模型就能够尽可能发挥潜力，完成复杂的推理和生成任务。掌握这些 Prompt 设计原则，是开发者取得语言模型应用成功的重要一步。

1

from ChatModel import OllamaChat

1

chat_model = OllamaChat(url="http://localhost:6006/api/chat", model_name='qwen:32b')

Few Shot

1
2
3
4
5
6
7
8
9
10
11

prompt = """
保持高效睡眠需要注意以下几个方面：
1. 规律作息：尽量每天在同一时间上床睡觉和起床，以调整生物钟的节律。
2. 舒适环境：卧室应保持安静、暗淡和适度温度（约18-22摄氏度）。
3. 睡前放松：避免在睡前进行剧烈运动或紧张工作。可以尝试阅读、冥想、深呼吸等放松活动。
4. 限制咖啡因和酒精：晚上尽量不要喝含咖啡因的饮料，如咖啡、茶和巧克力。同样，酒精虽然能让人感到疲倦，但它会影响睡眠质量。

请将每句话的开头几个字翻译成英文，并按序号输出，不需要中英文对照，仅仅保留翻译后的结果。
"""

response = chat_model.generate(prompt, stream=True)

Ollama简介

Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如LLAMA3，Qwen1.5等等。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

Ollama安装部署

Ollama项目地址

Windows安装

点击此处下载最新版本的Ollama安装包

直接下载安装即可。

Prompt概述

Prompt即提示词，很多人可能对提示词会有点陌生，从表面上看提示词就像是普通的文本输入，但如果我们把AI想象成一个具有各种超能力的魔法伙伴，那么你输入的文本就是魔法咒语，让这个伙伴帮你完成各种不可思议的床走。

过去，人们通常是通过命令或者输入特定的指令来与AI进行交互。但是，随着自然语言处理和计算机视觉等技术的发展，人们可以更加自然地与AI进行交互，这意味着人与AI之间的交互方式正在发生一场深刻的变革。

这种新的交互方式的核心是将AI看作一个与人类相似的能够理解自然语言并且回应的实体，而不是一个简单的程序或者工具，人们能够像与人类交流一样与AI进行交互。这种交互方式会让人与AI的关系更加亲密，更加自然，更加有趣。基于自然语言的交互方式（即LUI）正是这种新范式的一个关键组成部分。通过自然语言处理技术，人们可以使用自己熟悉的语言与AI进行交流，而不需要特定的命令或者语法规则。这种交互方式可以使得人与AI的交流更加直观、自然、易懂，也可以提高人与AI之间的交互效率和效果。

ChatGLM

ChatGLM4 是一个基于 GLM-4 语言模型的人工智能助手，由智谱清言开发，并开放给用户免费使用。它拥有 GLM-4 模型的强大能力，并且针对对话场景进行了优化。ChatGLM4 能够理解用户的问题和要求，并提供适当的答复和支持。

ChatGLM4拥有多模态的能力，能够执行代码、浏览网络、生成图片等，这使得它在多种场景下都能够提供帮助。同时，ChatGLM4支持用户自定义，用户可以根据自己的需求，定义属于自己的智能体。

普通调用

在本地环境变量中加载ChatGLM4.0 API

1
2

import os
api_key = os.getenv("ZHIPUAI_API_KEY")

问题描述

Selenium是一个自动化测试工具，它支持各种浏览器和平台。由于它能够模拟用户的浏览器操作，因此也被广泛用于网络爬虫领域，尤其是那些需要执行JavaScript、处理复杂交互或模拟用户行为的场景。

尽管使用Selenium在网络爬虫方面有很多优势，但是要想使用Selenium去驱动浏览器操作，还必须要使用相应浏览器的驱动程序，例如：以Chrome浏览器为例，要想使用Selenium去操作Chrome浏览器，除了要下载浏览器之外，还需要准备相适应的ChromeDriver驱动软件。

这个时候就会出现一个问题，由于电脑的Chrome会一直进行自动更新，而ChromeDriver驱动软件是自己额外下载的，它不会随着浏览器的升级而升级，所以这个时候就会导致Chrome和ChromeDriver之间不适配，从而导致Selenium无法驱动Chrome，并且ChromeDriver更新的速度远远跟不上Chrome更新的速度。这个问题一直都困扰着很多的网络爬虫工作者和初学者。

基于此，本博文提出了一种一劳永逸的配置方法，使得在使用Selenium不用被Chrome自动更新带来的版本问题所困扰。

解决问题的方式，使用Chrome开发者版本Chromium去替代自带的Chrome浏览器。

马尔可夫模型

首先，我们来看一下马尔可夫模型。

马尔可夫模型（Markov Model）：马尔可夫模型是一种统计模型，它基于马尔可夫性质进行建模。马尔可夫性质指的是系统的下一个状态仅取决于其当前状态，而与过去的状态无关。这种性质使得马尔可夫模型在处理一系列具有时间依赖性的数据时非常有用。

广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。

硬件资源准备

首先需要准备计算机的硬件资源，可以是本地服务器，也可以是云服务器。

显存要求：12GB

由于我本地计算机没有相应的GPU资源可以直接调用，故选择云服务器资源。我选择的云服务器厂商是腾讯云，云服务器租赁教程如下：

1. 首先，登录腾讯云，然后在首页选择产品。

   

   阅读全文 »