基于Python和TensorFlow实现BERT模型应用

2024 年 6 月 29 日 22点热度 0人点赞 0条评论

本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。

BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用于自然语言处理（NLP）的预训练模型。BERT通过双向训练Transformer，能够捕捉到文本中词语的上下文信息，是NLP领域的一个里程碑。

在本文中，我们将详细介绍BERT模型的基本原理，并使用Python和TensorFlow实现一个简单的BERT模型应用。

1. BERT模型简介

1.1 Transformer模型复习

BERT基于Transformer架构。Transformer由编码器（Encoder）和解码器（Decoder）组成，但BERT只使用编码器部分。编码器的主要组件包括：

多头自注意力机制（Multi-Head Self-Attention）：计算序列中每个位置对其他位置的注意力分数。
前馈神经网络（Feed-Forward Neural Network）：对每个位置的表示进行独立的非线性变换。

1.2 BERT的预训练与微调

BERT的训练分为两步：

预训练（Pre-training）：在大规模语料库上进行无监督训练，使用两个任务：

遮蔽语言模型（Masked Language Model, MLM）：随机遮蔽输入文本中的一些词，并要求模型预测这些被遮蔽的词。
下一句预测（Next Sentence Prediction, NSP）：给定句子对，预测第二个句子是否是第一个句子的下文。

微调（Fine-tuning）：在特定任务上进行有监督训练，如分类、问答等。

2. 使用Python和TensorFlow实现BERT模型

2.1 安装依赖

首先，安装必要的Python包，包括TensorFlow和Transformers（Hugging Face的库）。

2.2 加载预训练BERT模型

我们使用Hugging Face的Transformers库加载预训练的BERT模型和对应的分词器（Tokenizer）。

import tensorflow as tf
from transformers import BertTokenizer, TFBertModel

# 加载预训练的BERT分词器和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = TFBertModel.from_pretrained('bert-base-uncased')
     
     
      
      1.
      
      2.
      
      3.
      
      4.
      
      5.
      
      6.

2.3 数据预处理

我们将使用一个简单的句子分类任务作为示例。假设我们有以下数据：

sentences = ["I love machine learning.", "BERT is a powerful model.", "I enjoy studying AI."]
labels = [1, 1, 1]  # 假设1表示积极，0表示消极
     
     
      
      1.
      
      2.

我们需要将句子转换为BERT输入格式，包括输入ID、注意力掩码等。

# 将句子转换为BERT输入格式
input_ids = []
attention_masks = []

for sentence in sentences:
    encoded_dict = tokenizer.encode_plus(
                        sentence,                      # 输入文本
                        add_special_tokens = True,     # 添加特殊[CLS]和[SEP]标记
                        max_length = 64,               # 填充和截断长度
                        pad_to_max_length = True,
                        return_attention_mask = True,  # 返回注意力掩码
                        return_tensors = 'tf'          # 返回TensorFlow张量
                   )
    
    input_ids.append(encoded_dict['input_ids'])
    attention_masks.append(encoded_dict['attention_mask'])

input_ids = tf.concat(input_ids, axis=0)
attention_masks = tf.concat(attention_masks, axis=0)
labels = tf.convert_to_tensor(labels)
     
     
      
      1.
      
      2.
      
      3.
      
      4.
      
      5.
      
      6.
      
      7.
      
      8.
      
      9.
      
      10.
      
      11.
      
      12.
      
      13.
      
      14.
      
      15.
      
      16.
      
      17.
      
      18.
      
      19.
      
      20.

2.4 构建BERT分类模型

我们在预训练的BERT模型基础上添加一个分类层。

from tensorflow.keras.layers import Dense
from tensorflow.keras.models import Model

class BertClassifier(Model):
    def __init__(self, bert):
        super(BertClassifier, self).__init__()
        self.bert = bert
        self.dropout = tf.keras.layers.Dropout(0.3)
        self.classifier = Dense(1, activation='sigmoid')

    def call(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask=attention_mask)
        pooled_output = outputs[1]
        pooled_output = self.dropout(pooled_output)
        return self.classifier(pooled_output)

# 实例化BERT分类模型
bert_classifier = BertClassifier(model)
     
     
      
      1.
      
      2.
      
      3.
      
      4.
      
      5.
      
      6.
      
      7.
      
      8.
      
      9.
      
      10.
      
      11.
      
      12.
      
      13.
      
      14.
      
      15.
      
      16.
      
      17.
      
      18.

2.5 编译和训练模型

编译模型并进行训练。

# 编译模型
optimizer = tf.keras.optimizers.Adam(learning_rate=2e-5)
loss = tf.keras.losses.BinaryCrossentropy()
metric = tf.keras.metrics.BinaryAccuracy()

bert_classifier.compile(optimizer=optimizer, loss=loss, metrics=[metric])

# 训练模型
bert_classifier.fit([input_ids, attention_masks], labels, epochs=3, batch_size=2)
     
     
      
      1.
      
      2.
      
      3.
      
      4.
      
      5.
      
      6.
      
      7.
      
      8.
      
      9.

2.6 评估模型

训练完成后，我们可以对新数据进行预测。

# 预测新句子
new_sentences = ["AI is fascinating.", "I dislike machine learning."]
new_input_ids = []
new_attention_masks = []

for sentence in new_sentences:
    encoded_dict = tokenizer.encode_plus(
                        sentence,
                        add_special_tokens = True,
                        max_length = 64,
                        pad_to_max_length = True,
                        return_attention_mask = True,
                        return_tensors = 'tf'
                   )
    
    new_input_ids.append(encoded_dict['input_ids'])
    new_attention_masks.append(encoded_dict['attention_mask'])

new_input_ids = tf.concat(new_input_ids, axis=0)
new_attention_masks = tf.concat(new_attention_masks, axis=0)

# 进行预测
predictions = bert_classifier.predict([new_input_ids, new_attention_masks])
print(predictions)
     
     
      
      1.
      
      2.
      
      3.
      
      4.
      
      5.
      
      6.
      
      7.
      
      8.
      
      9.
      
      10.
      
      11.
      
      12.
      
      13.
      
      14.
      
      15.
      
      16.
      
      17.
      
      18.
      
      19.
      
      20.
      
      21.
      
      22.
      
      23.
      
      24.