GPT4ALL中文模型官方版 v4.8.1.0 电脑版

GPT4ALL中文模型是一款支持本地部署语言大模型的编程辅助工具，现在随着AI技术的不断发展，超多公司都推出了AI模型，其中还有不少是开源的，这就让网友除了使用官方版的AI之外，还有机会在本地进行AI模型的部署，而GPT4ALL就是本地部署模型的常用工具之一，让网友可以拥有自己的DeepSeek和chatGPT。

GPT4ALL官方版适合哪些场景使用的？第一个就是自己没有专业团队，又想深入了解AI技术的网友了，这款工具在一众部署工具中算是体积较小的了，让网友可以进行轻松本地部署，当然大头都在AI模型上，大部分AI模型都是几百G的大小。

软件特色

1、免费开源和本地运行：

GPT4All是一款免费开源的工具，用户可以在个人电脑上本地运行，无需GPU或互联网连接。它使用神经网络量化技术，将大型语言模型压缩到3GB-8GB左右，使其能够在普通CPU上高效运行。

2、多平台支持：

GPT4All支持macOS、Linux和Windows系统，兼容性广泛，方便用户在不同的操作系统上使用。

3、隐私保护：

GPT4All注重隐私保护，聊天数据不会上传到其他平台，确保用户隐私安全。这对于那些需要本地处理敏感数据的用户来说是一个重要优势。

4、生态系统：

GPT4All不仅是一个chatbot软件，还是一个生态系统，用于训练和部署强大且可定制的大型语言模型。它支持多种模型，并集成了模型下载功能，用户可以自由使用、分发和构建自己的模型。

5、易于使用：

GPT4All提供了用户友好的界面和工具，即使是非技术人员也可以轻松使用。它支持Python、TypeScript、Web Chat等多种接口，方便集成和交互

GPT4ALL使用方法

1、创建虚拟环境

为您的新 Python 项目创建一个新文件夹，例如 GPT4ALL_Fabio：

mkdir GPT4ALL_Fabio

cd GPT4ALL_Fabio

接下来，创建一个新的 Python 虚拟环境。如果您安装了多个 python 版本，请指定您想要的版本：在这种情况下，我将使用与 python 3.10 关联的主要安装。

python3 -m venv .venv

该命令python3 -m venv .venv创建一个名为的新虚拟环境.venv（ .将创建一个名为 venv 的隐藏目录）。

虚拟环境提供了一个隔离的 Python 安装，它允许您仅为特定项目安装包和依赖项，而不会影响系统范围的 Python 安装或其他项目。这种隔离有助于保持一致性并防止不同项目需求之间的潜在冲突。

创建虚拟环境后，您可以使用以下命令激活它：

source .venv/bin/activate

2、要安装的库

对于我们正在构建的项目，我们不需要太多包。我们只需要：

GPT4All 的 python 绑定

Langchain 与我们的文档进行交互

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它不仅允许您通过 API 调用语言模型，还可以将语言模型连接到其他数据源，并允许语言模型与其环境进行交互。

pip install pygpt4all

pip install langchain==0.0.149

pip install unstructured

pip install pdf2image

pip install pytesseract

pip install pypdf

pip install faiss-cpu

对于 LangChain，您会看到我们还指定了版本。这个库最近收到了很多更新，所以为了确定我们的设置明天也能正常工作，最好指定一个我们知道工作正常的版本。非结构化是 pdf loader和pytesseract以及pdf2image的必需依赖项。

3、在你的 PC 上下载模型

这是非常重要的一步。

对于这个项目，我们当然需要 GPT4All。Nomic AI 上描述的过程非常复杂，需要并非所有人（像我）都拥有的硬件。所以这是已经转换并可以使用的模型的链接。只需点击下载即可。

正如简介中简要描述的那样，我们还需要嵌入模型，一个我们可以在 CPU 上运行而不会崩溃的模型。下载已转换为 4 位并准备用作我们的嵌入模型的alpaca-native-7B-ggml 。

为什么我们需要嵌入？如果您还记得流程图，那么在我们为知识库收集文档之后，第一步就是嵌入它们。这个 Alpaca 模型的 LLamaCPP embeddings 非常适合这项工作，而且这个模型也非常小（4 Gb）。顺便说一句，您也可以为您的 Q&A 使用 Alpaca 模型！

下载后需要将两个模型放到models目录下，如下图。

4、与 GPT4All 的基本交互

由于我们想要控制我们与 GPT 模型的交互，我们必须创建一个 python 文件（我们称之为pygpt4all_test.py），导入依赖项并向模型提供指令。你会发现这很容易。

from pygpt4all.models.gpt4all import GPT4All

这是我们模型的 python 绑定。现在我们可以调用它并开始询问了。让我们尝试一个有创意的。

我们创建了一个从模型中读取回调的函数，我们要求 GPT4All 完成我们的句子。

def new_text_callback(text):

    print(text, end="")

model = GPT4All('./models/gpt4all-converted.bin')

model.generate("Once upon a time, ", n_predict=55, new_text_callback=new_text_callback)

第一条语句告诉我们的程序在哪里可以找到模型（记住我们在上一节中所做的）

第二条语句要求模型生成响应并完成我们的提示“Once upon a time,”。

要运行它，请确保虚拟环境仍处于激活状态并只需运行：

python3 pygpt4all_test.py

您应该看到模型的加载文本和句子的完成。根据您的硬件资源，这可能需要一些时间。

上图的结果内容可能与您的不同……但对我们来说重要的是它正在运行，我们可以继续使用 LangChain 来创建一些高级的东西。