doccano 实体识别标注的数据转为大模型微调的数据集格式

2024 年 8 月 7 日 8点热度 0人点赞 0条评论

文章目录

背景

用实体识别的标注数据集微调大模型，往往大模型的效果会好一点。

故笔者提供了将 Doccano 实体标注格式的数据集转为大模型微调数据集的代码；

简介

展示 Doccano 实体识别导出的数据集格式；
展示大模型实体识别微调的数据集格式；
提供从Doccano 实体转换到大模型微调数据集格式的代码；

数据集样例

Doccano 样例：
点击查看 Doccano 样例文件：https://github.com/JieShenAI/csdn/blob/main/24/04/convert_doccano_llm/data/guihua_10.jsonl
下述是一个样例：

{
    
	"id":6281,
	"text":"支持有实力的大企业牵头组建创新联合体，承担国家重大科技项目",
	"Comments":[],
	"label":[[21,29,"重要项目"]]
}

点击查看 LLM 实体微调的样例文件：https://github.com/JieShenAI/csdn/blob/main/24/04/convert_doccano_llm/data/llm_10.jsonl
下述是一个样例：

{
    
	"instruction": "你是专门进行实体抽取的专家。请从text中抽取出符合schema定义的实体，不存在的实体类型返回空列表。请按照JSON字符串的格式回答。,'schema': ['重要项目', '功能定位', '主要任务', '基本遵循', '关键数据', '数值'], 'text': '支持有实力的大企业牵头组建创新联合体，承担国家重大科技项目'", 
	"input": "", 
	"output": {
    "重要项目": ["国家重大科技项目"], "功能定位": [], "主要任务": [], "基本遵循": [], "关键数据": [], "数值": []}
}

转换代码

查看代码：https://github.com/JieShenAI/csdn/blob/main/24/04/convert_doccano_llm/convert_doccano_llm.ipynb

import json

instruction_format = "你是专门进行实体抽取的专家。请从text中抽取出符合schema定义的实体，不存在的实体类型返回空列表。请按照JSON字符串的格式回答。, 'schema': {schema}, 'text': '{text}'"

def convert_coccano2LLM(input_file, output_file, schema):

    with open(input_file, 'r') as f:
        with open(output_file, 'w') as w:
            for line in f:
                d = json.loads(line)
                text = d['text']
                ent_labels = d['label']

                output = {
    }
                for ent_class in schema:
                    output[ent_class] = []

                for ent in ent_labels:
                    start, end, ent_class = ent
                    if ent_class in schema:
                        output[ent_class].append(text[start:end])
                
                llm_data = {
    
                    'instruction':instruction_format.format(schema=schema, text=text),
                    "input":"",
                    "output": json.dumps(output, ensure_ascii=False)
                }

                w.write(json.dumps(llm_data, ensure_ascii=False) + '\n')

convert_coccano2LLM(
    'data/guihua_10.jsonl', 
    'data/llm_10.jsonl', 
    schema=['重要项目', '功能定位', '主要任务','基本遵循','关键数据','数值']
)

convert_coccano2LLM(input_file, output_file, schema):

input_file: Doccano 实体导出文件；
out_file: 大模型实体微调导入数据集文件；特别注意：json.dumps(output)，这里是 label 要转成字符串，使用 json.dumps 将字典转成字符串，不然后面在数据集导入时会报错；
schema: 实体类别；