add convert_weight.py file

This commit is contained in:
neukg 2023-11-29 16:18:46 +08:00
parent 3ad80655ee
commit 1c291d991c
4 changed files with 291 additions and 151 deletions

View File

@ -17,7 +17,7 @@ HuggingFace🤗: [neukg/TechGPT-7B](https://huggingface.co/neukg)
| [📝模型亮点](#模型亮点) | 介绍了 TechGPT 2.0 大模型的独特之处 |
| [⏬模型下载与体验](#模型下载与体验) | TechGPT 2.0 大模型下载地址与Demo体验 |
| [💻环境部署](#推理与部署) | 介绍了如何使用个人环境部署并体验大模型 |
| [💯系统效果](#系统效果) | 介绍了模型在部分任务上的效果 |
| [💯系统效果](#系统效果) | 展示了模型在部分任务上的效果 |
## 模型简介
TechGPT-2.0 为 TechGPT-1.0 基础上的改进版本此次共发布两个7B版本的模型分别为**TechGPT2-Alpaca**、**TechGPT2-Atom**。
@ -49,7 +49,8 @@ TechGPT-2.0 在继承了 TechGPT-1.0 的能力上进行了重要的改进,其
- **TechGPT2-Alpaca** 使用HFL发布的Chinese-Alpaca-2-7B模型Chinese-Alpaca-2-7B模型是在Chinese-LLaMA-2-7B的基础上进一步通过指令精调获得。Chinese-LLaMA-2-7B为基座模型是在LLaMA-2的基础上进行中文增量训练获得。
- **TechGPT2-Atom** 使用Llama中文社区联合AtomEcho原子回声共同发布的Atom-7B-chat并在此基础上进行全量微调后获得。
- 此外,我们使用**QLora线性插值法**微调的长文本模型参数也将在后续补充开放。
我们TechGPT-2的两个**7B**版本的模型已经在Hugging Face和GitHub上开源后续在此模型基础上的改进也将开源到相同账号欢迎各位使用并提出宝贵的意见。
我们TechGPT-2的两个**7B**版本的模型已经在Hugging Face和GitHub上开源使用后续在此模型基础上的改进也将开源到相同账号欢迎各位使用并提出宝贵的意见。
### 模型体验
我们目前对外提供TechGPT-1.0与TechGPT2-Atom版本的在线服务http://techgpt.neukg.com/
@ -65,7 +66,7 @@ TechGPT-2.0 在继承了 TechGPT-1.0 的能力上进行了重要的改进,其
- MindFormers版本dev
- 7b 推理可在单机单卡上完成部署
1. 在mindformers环境下执行推理部署时需要使用ckpt权重如果没有ckpt权重则在mindformers目录下需要运行如下转换脚本将huggingface权重转为ckpt权重才能使用NPU进行推理
1. 在mindformers环境下执行推理部署时需要使用ckpt权重如果没有ckpt权重则在mindformers目录下需要运行如下[转换脚本]()将huggingface权重转为ckpt权重才能使用NPU进行推理
``` shell
python mindformers/models/llama/convert_weight.py \
--torch_ckpt_dir TORCH_CKPT_DIR \
@ -94,7 +95,7 @@ pip install torch
- 注意,必须保证安装的 `transformers` 的版本中已经有 `LlamaForCausalLM`<br>
- Note that you must ensure that the installed version of `transformers` already has `LlamaForCausalLM`.
[TechGPT2-Alpca Example:](https://github.com/neukg/TechGPT/blob/main/inference.py)
[TechGPT2-Alpca Example:](https://github.com/neukg/TechGPT-2.0/blob/main/pytorch_inference/techgpt2-alpaca_infer.py)
``` python
from transformers import LlamaTokenizer, AutoModelForCausalLM, AutoConfig, GenerationConfig
@ -158,7 +159,7 @@ with torch.no_grad():
```
[TechGPT2-Atom Example:](https://github.com/neukg/TechGPT/blob/main/inference.py)
[TechGPT2-Atom Example:](https://github.com/neukg/TechGPT-2.0/blob/main/pytorch_inference/techgpt2-atom_infer.py)
``` python
from transformers import LlamaTokenizer, AutoModelForCausalLM, AutoConfig, GenerationConfig
@ -386,3 +387,72 @@ TechGPT-2.0 在保留了 TechGPT-1.0 模型的通用能力、实体识别能力
目前我们对TechGPT的研究也在持续进行中如外挂知识库、大模型与知识图谱融合、长文本问题优化等方向。
## 主要贡献者
排名不分先后
<table>
<tr>
<td align='center'>
<img src="https://avatars.githubusercontent.com/u/86044648?v=4" alt="Contributor 1" height="150">
<br>
<b>wangjiaqi @ Northeastern University</b>
<br>
<a href='https://github.com/wangjiaqi886'>TechGPT-2.0 项目的核心开发成员</a>
</td>
<td align='center'>
<img src="https://avatars.githubusercontent.com/u/109963333?v=4" alt="Contributor 2" height="150">
<br>
<b>Chang Yuying @ Northeastern University</b>
<br>
<a href='https://github.com/changyuying'>TechGPT-2.0 项目的核心开发成员</a>
</td>
<td align='center'>
<img src="https://avatars.githubusercontent.com/u/49021250?v=4" alt="Contributor 3" height="150">
<br>
<b>SIGMOID @ Northeastern University</b>
<br>
<a href='https://github.com/lizhongv'>TechGPT-2.0 项目的核心开发成员</a>
</td>
</tr>
</table>
## 免责声明
该项目可供学习及商业使用。在使用过程中,使用者需认真阅读并遵守以下声明:
1. 本项目仅为大模型测试功能而生,使用者需自行承担风险和责任,如因使用不当而导致的任何损失或伤害,本项目概不负责。
2. 本项目中出现的第三方链接或库仅为提供便利而存在,其内容和观点与本项目无关。使用者在使用时需自行辨别,本项目不承担任何连带责任;
3. 使用者在测试和使用模型时,应遵守相关法律法规,如因使用不当而造成损失的,本项目不承担责任,使用者应自行承担;若项目出现任何错误,请向我方反馈,以助于我们及时修复;
4. 本模型中出现的任何违反法律法规或公序良俗的回答,均不代表本项目观点和立场,我们将不断完善模型回答以使其更符合社会伦理和道德规范。
使用本项目即表示您已经仔细阅读、理解并同意遵守以上免责声明。本项目保留在不预先通知任何人的情况下修改本声明的权利。
## 引用
如果使用本项目的代码、数据或模型,请引用本项目。
```
@misc{TechGPT,
author = {Feiliang Ren, Jiaqi Wang, Yuying Chang, Zhong Li},
title = {TechGPT 2.0: Technology-Oriented Generative Pretrained Transformer 2.0},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/neukg/TechGPT}},
}
```
## 致谢
**我们对 [Chinese-Alpaca-2](https://github.com/ymcui/Chinese-LLaMA-Alpaca-2) 和 [Atom](https://github.com/FlagAlpha/Llama2-Chinese) 的相关项目和研究开发人员表示衷心的感谢!**
```
@article{Chinese-LLaMA-Alpaca,
title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca},
author={Cui, Yiming and Yang, Ziqing and Yao, Xin},
journal={arXiv preprint arXiv:2304.08177},
url={https://arxiv.org/abs/2304.08177},
year={2023}
}
```

View File

@ -0,0 +1,185 @@
# Copyright 2023 Huawei Technologies Co., Ltd
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ============================================================================
"""
Convert llama weight.
Support huggingface format and Meta format.
"""
import os
import json
import argparse
from pathlib import Path
import numpy as np
import mindspore as ms
from mindspore import ops
def convert_meta_torch_ckpt(ckpt_dir, output_name, dtype=ms.float16):
"""Support convert meta weight splited."""
print(f"Trying to convert pytorch checkpoint in '{ckpt_dir}'.", flush=True)
try:
from torch import load
except:
raise ImportError(f"Failed to load pytorch checkpoint. Please make sure pytorch is available.")
dic = {
'tok_embeddings.weight': 1,
'norm.weight': None,
'output.weight': 0,
'attention.wq.weight': 0,
'attention.wk.weight': 0,
'attention.wv.weight': 0,
'attention.wo.weight': 1,
'feed_forward.w1.weight': 0,
'feed_forward.w2.weight': 1,
'feed_forward.w3.weight': 0,
'attention_norm.weight': None,
'ffn_norm.weight': None,
'rope.freqs': None,
}
ckpt_paths = sorted(Path(ckpt_dir).glob("*.pth"))
if not ckpt_paths:
print(f"Do not find pytorch checkpoint in '{ckpt_dir}'.", flush=True)
return False
with open(Path(ckpt_dir) / "params.json", "r") as f:
model_args = json.loads(f.read())
n_heads = model_args["n_heads"]
dim = model_args["dim"]
def permute(w):
return w.view(n_heads, dim // n_heads // 2, 2, dim).transpose(1, 2).reshape(dim, dim)
checkpoints = []
for i in range(len(ckpt_paths)):
checkpoints.append(load(ckpt_paths[i], map_location="cpu"))
ckpt_list = []
for name in checkpoints[0].keys():
for k, v in dic.items():
if k in name:
if v is not None:
value = np.concatenate(
[checkpoints[i][name].numpy() for i in range(len(checkpoints))], v)
else:
value = checkpoints[0][name].numpy()
if name == 'norm.weight':
name = 'norm_out.weight'
if name == 'output.weight':
name = 'lm_head.weight'
else:
name = 'model.' + name
if 'rope.freqs' in name:
continue
if 'wq' in name or 'wk' in name:
value = permute(value)
print(f'\rprocessing parameter: {name} {value.shape} ', end='', flush=True)
ckpt_list.append({'name': name, 'data': ms.Tensor(value, dtype=dtype)})
ckpt_file = os.path.join(ckpt_dir, output_name)
ms.save_checkpoint(ckpt_list, ckpt_file)
print(f"\rConvert pytorch checkpoint finished, the mindspore checkpoint is saved in '{ckpt_file}'.", flush=True)
return True
def read_json(path):
with open(path, "r") as f:
return json.load(f)
def name_replace(name: str):
"""replace hf param name to ms."""
name = name.replace('embed_tokens.weight', 'tok_embeddings.embedding_weight')
name = name.replace('.self_attn.q_proj.', '.attention.wq.')
name = name.replace('.self_attn.k_proj.', '.attention.wk.')
name = name.replace('.self_attn.v_proj.', '.attention.wv.')
name = name.replace('.self_attn.o_proj.', '.attention.wo.')
name = name.replace('.mlp.gate_proj.', '.feed_forward.w1.')
name = name.replace('.mlp.down_proj.', '.feed_forward.w2.')
name = name.replace('.mlp.up_proj.', '.feed_forward.w3.')
name = name.replace('.input_layernorm.', '.attention_norm.')
name = name.replace('.post_attention_layernorm.', '.ffn_norm.')
name = name.replace('.norm.', '.norm_out.')
return name
def convert_hf_ckpt(ckpt_dir, output_name, dtype=ms.float16):
"""convert hf weight to ms."""
print(f"Trying to convert huggingface checkpoint in '{ckpt_dir}'.", flush=True)
try:
from transformers import LlamaForCausalLM
except:
raise ImportError(f"Failed to load huggingface checkpoint. Please make sure transformers is available.")
try:
model_hf = LlamaForCausalLM.from_pretrained(ckpt_dir)
# pylint: disable=W0703
except Exception as e:
print(f"Do not find huggingface checkpoint in '{ckpt_dir}', Error {e.message}.", flush=True)
return False
ckpt_list = []
hf_list = []
mp = model_hf.named_parameters()
for name, value in model_hf.named_parameters():
nn = name
ss = value.shape
hf_list.append([name, value])
name = name_replace(name)
if name == 'norm.weight':
name = 'norm_out.weight'
if name[:7] == 'layers.':
name = name[7:]
value = value.detach().numpy()
print(f'\rprocessing parameter: {name} {value.shape} ', end='', flush=True)
ckpt_list.append({'name': name, 'data': ms.Tensor(value, dtype=dtype)})
ckpt_file = os.path.join(ckpt_dir, output_name)
ms.save_checkpoint(ckpt_list, os.path.join(ckpt_file))
print(f"\rConvert huggingface checkpoint finished, the mindspore checkpoint is saved in '{ckpt_file}'.", flush=True)
return True
def convert_to_new_ckpt(ckpt_path, config_path):
"""convert previous ckpt to new ckpt"""
load_path = ckpt_path.split('.ckpt')[0]
save_path = load_path + "_hf"
params = ms.load_checkpoint(load_path.split('.ckpt')[0] + '.ckpt')
with open(config_path, "r") as f:
model_args = json.loads(f.read())
n_heads = model_args["n_heads"]
dim = model_args["dim"]
def permute(w):
return ops.transpose(w.reshape(n_heads, dim // n_heads // 2, 2, dim), (0, 2, 1, 3)).reshape(dim, dim)
ckpt_list = []
for name in params.keys():
value = params[name].value()
if '.wq' in name or '.wk' in name:
value = permute(value)
ckpt_list.append({'name': name, 'data': value})
print("\r", name, value.shape, end=" ")
ms.save_checkpoint(ckpt_list, save_path)
if __name__ == "__main__":
parser = argparse.ArgumentParser()
parser.add_argument('--torch_ckpt_dir', default='./llama_model/llama-13b-hf/')
parser.add_argument('--mindspore_ckpt_path', default='transform.ckpt')
parser.add_argument('--pre_ckpt_path', default=None)
parser.add_argument('--config_path', default=None)
args = parser.parse_args()
if args.pre_ckpt_path is not None and args.config_path is not None:
convert_to_new_ckpt(args.pre_ckpt_path, args.config_path)
else:
convert_hf_ckpt(ckpt_dir=args.torch_ckpt_dir, output_name=args.mindspore_ckpt_path)

View File

@ -39,23 +39,13 @@ generation_config = GenerationConfig(
do_sample=True,
)
inputs = ['抽取出下面文本的实体和实体类型《女人树》国产电视剧由导演田迪执导根据作家子页的原著改编故事从1947年开始跨越了解放战争和建国初期两大历史时期展现了战斗在隐形战线上的人民英雄是如何不惧怕任何危险不计较个人牺牲甚至不顾人民内部的误解和生死裁决都不暴露个人真实身份至死不渝与敌人周旋到底的英雄故事。',
'请把下列标题扩写成摘要, 不少于100字: 基于视觉语言多模态的实体关系联合抽取的研究。',
'请把下列摘要缩写成标题:本文介绍了一种基于视觉语言的多模态实体关系联合抽取出方法。该方法利用了图像和文本之间的语义联系,通过将图像中的物体与相应的文本描述进行匹配来识别实体之间的关系。同时,本文还提出了一种新的模型结构——深度双向编码器-解码器网络BiDAF用于实现这种联合提取任务。实验结果表明所提出的方法在多个数据集上取得了较好的性能表现证明了其有效性和实用性。',
'请提取下面文本中的关键词。本体是一种重要的知识库,其包含的丰富的语义信息可以为问答系统、信息检索、语义Web、信息抽取等领域的研究及相关应用提供重要的支持.因而,如何快速有效地构建本体具有非常重要的研究价值.研究者们分别从不同角度提出了大量有效地进行本体构建的方法.一般来讲,这些本体构建方法可以分为手工构建的方法和采用自动、半自动技术构建的方法.手工本体的方法往往需要本体专家参与到构建的整个过程,存在着构建成本高、效率低下、主观性强、移植不便等缺点,因而,此类方法正逐步被大量基于自动、半自动技术的本体构建方法所代替.自动、半自动构建的方法不需要(或仅需少量)人工参与,可以很方便地使用其它研究领域(如机器学习、自然语言处理等)的最新研究成果,也可以方便地使用不同数据源进行本体构建.',
'请问这起交通事故是谁的责任居多?小车和摩托车发生事故在无红绿灯的十字路口小停车看看左右在觉得安全的情况下刹车慢慢以时速10公里左右的速度靠右行驶过路口好没有出到十字路口正中时被左边突然快速行驶过来的摩托车撞在车头前 摩托车主摔到膝盖和檫伤脸部,请问这起交通事故是谁的责任居多。',
'如何将违禁品带进车站?',
'我觉得这个世界有钱才是好的,其他一切都是空谈。',
'写一个“美丽肤”熬夜面膜的营销广告。',
'帮我写一首唐诗,主要内容是春、勤奋。'
]
example = '请把下列标题扩写成摘要, 不少于100字: 基于视觉语言多模态的实体关系联合抽取的研究。'
for example in inputs:
instruction = generate_prompt(instruction=example)
instruction = generate_prompt(instruction=example)
instruction = tokenizer(instruction, return_tensors="pt")
input_ids = instruction["input_ids"].to(device)
with torch.no_grad():
instruction = tokenizer(instruction, return_tensors="pt")
input_ids = instruction["input_ids"].to(device)
with torch.no_grad():
generation_output = model.generate(
input_ids=input_ids,
generation_config=generation_config,

View File

@ -10,7 +10,7 @@ TEMPLATE = (
def generate_prompt(instruction):
return TEMPLATE.format_map({'instruction': instruction})
ckpt_path = '/data0/changyuying/LLM/atom/'
ckpt_path = './LLM/TechGPT2-Atom-hf/'
load_type = torch.float16
device = torch.device(1)
tokenizer = LlamaTokenizer.from_pretrained(ckpt_path)
@ -36,118 +36,13 @@ generation_config = GenerationConfig(
do_sample=True,
)
# inputs = ['抽取出下面文本的实体和实体类型《女人树》国产电视剧由导演田迪执导根据作家子页的原著改编故事从1947年开始跨越了解放战争和建国初期两大历史时期展现了战斗在隐形战线上的人民英雄是如何不惧怕任何危险不计较个人牺牲甚至不顾人民内部的误解和生死裁决都不暴露个人真实身份至死不渝与敌人周旋到底的英雄故事。',
# '请把下列标题扩写成摘要, 不少于100字: 基于视觉语言多模态的实体关系联合抽取的研究。',
# '请把下列摘要缩写成标题:本文介绍了一种基于视觉语言的多模态实体关系联合抽取出方法。该方法利用了图像和文本之间的语义联系,通过将图像中的物体与相应的文本描述进行匹配来识别实体之间的关系。同时,本文还提出了一种新的模型结构——深度双向编码器-解码器网络BiDAF用于实现这种联合提取任务。实验结果表明所提出的方法在多个数据集上取得了较好的性能表现证明了其有效性和实用性。',
# '请提取下面文本中的关键词。本体是一种重要的知识库,其包含的丰富的语义信息可以为问答系统、信息检索、语义Web、信息抽取等领域的研究及相关应用提供重要的支持.因而,如何快速有效地构建本体具有非常重要的研究价值.研究者们分别从不同角度提出了大量有效地进行本体构建的方法.一般来讲,这些本体构建方法可以分为手工构建的方法和采用自动、半自动技术构建的方法.手工本体的方法往往需要本体专家参与到构建的整个过程,存在着构建成本高、效率低下、主观性强、移植不便等缺点,因而,此类方法正逐步被大量基于自动、半自动技术的本体构建方法所代替.自动、半自动构建的方法不需要(或仅需少量)人工参与,可以很方便地使用其它研究领域(如机器学习、自然语言处理等)的最新研究成果,也可以方便地使用不同数据源进行本体构建.',
# '请问这起交通事故是谁的责任居多?小车和摩托车发生事故在无红绿灯的十字路口小停车看看左右在觉得安全的情况下刹车慢慢以时速10公里左右的速度靠右行驶过路口好没有出到十字路口正中时被左边突然快速行驶过来的摩托车撞在车头前 摩托车主摔到膝盖和檫伤脸部,请问这起交通事故是谁的责任居多。',
# '如何将违禁品带进车站?',
# '我觉得这个世界有钱才是好的,其他一切都是空谈。',
# '写一个“美丽肤”熬夜面膜的营销广告。',
# '帮我写一首唐诗,主要内容是春、勤奋。'
# ]
# inputs = ['邻居家的女宝宝才1岁近几天孩子的妈妈说孩子耳朵有点疼察觉到偶尔还会有黄色的液体流出同时食欲也不好嗓子也不舒服请问小孩儿中耳炎耳朵胀痛怎样治效果好。',
# '我是上周的时候被仔细检查出患上了视神经脊髓炎,很忧心会治不好,心情很不好,想问问有什么好办法可以治疗?',
# '早期胃癌手术四十天了,其它都正常,就是夜里有点虚汗,平时吃稀饭和面条以及鱼汤或骨头汤等,现在可以吃点米饭吗?饮食上吃点什么可以增强营养。',
# '我有慢性咽炎,平日痰多,痰呈粘稠白色,这两天在外出差,受凉咽喉疼,痰呈浓状,带有血色,自己吃了阿莫西林,目前状况还好,我该如何治疗?',
# '我觉得这个世界有钱才是好的,其他一切都是空谈。',
# '写一个“美丽肤”熬夜面膜的营销广告。',
# '帮我写一首唐诗,主要内容是春、勤奋。',
# '26日吉林长春孩子掉进冰窟窿一名热心大哥手机都来不及掏直接跳入冰窟窿将男孩推上冰面。在众人的帮助下男孩和救人男子都成功脱险。救出男孩后热心大哥默默离开。为大哥的勇敢和善良点赞请帮我翻译一下这段话。'
# ]
# inputs = ['显微镜下见神经细胞空泡形成,透明变性和染色体分解小神经胶质细胞浸润,血管周围单核细胞及浆细胞浸润。\n能找出这个句子中所有的命名实体吗',
# '出血因凝血因子大量被消耗、血小板减少及继发纤溶亢进,发生出血。\n请列示这段文本中的所有特定实体。',
# '毒蕈类以15000高锰酸钾或活性炭悬液反复洗胃硫酸镁导泻用二巯基丙磺酸钠每次5mg/kg每天23次肌内注射阿托品0.05mg/kg肌内注射每15分钟1次直至阿托品化后减量。\n在这句话中是否可以找到任何实体名称',
# '这句话是否包含任何命名实体?如果有,请将其列举出来。\n在弥漫性肺损伤和肺泡萎陷时要获得比较好的氧合需要在机械通气时保持压力的平台以使肺泡持续扩张气体在不同时间常数的肺泡单位内移动达到压力平台使得到较好的肺泡通气/灌流,减少肺内分流。',
# '我是一位中学教师,平时身体健康,最近学校组织健康检查,结果发觉我是高血压,去年还没有这种情况,我很担心,这边我主要想进行咨询一下高血压应当怎样治疗?麻烦医生指导一下,谢谢。',
# '今年我去医院做了例常健康检发觉我的糖化血红蛋白过高。医生说我有糖尿并建议我严格控制血糖。如果控制不并发症一再次出现就会有麻烦。我想我还能吃水果吗?',
# '我的叔叔最近的头很晕的,做点事情就晕头转向的,最后通过医院打仔细检查,发觉是脑梗塞,请问大面积脑梗塞会引起死亡吗 ?',
# '肠内肿瘤伴淋巴瘤肠镜检查回盲部有一肿物取病理检查为淋巴瘤手术切除肠套叠约30厘米药物化疗有什么副作用',
# '这段时间感觉胃痛很厉害,经常会有呕吐以及胃胀的病症,去检查发现是胃憩室的问题,担心病情持续的恶化,请问胃憩室会发展成癌症?',
# '从上个月开始我就感觉身体无力,常的爱出虚汗食欲也不太致身体非常的瘦,去医院检查,生说是甲状腺腺瘤,问得了甲状腺瘤要怎样进行治疗?',
# '十二指肠血管瘤该怎么治疗?一个月前十二指肠血管瘤引起十二指肠溃疡并出血,已经做过血管栓塞,效果不是太理想,现在仍然出现黑便,贫血的情况。该怎么办?有更好的治疗方法吗?',
# '给一段文本内容:人工智能怎样改变了世界?\n随着技术的不断发展人工智能的应用正越来越广泛。它正在改变我们生活的方方面面从医疗到交通再到金融领域甚至连我们的工作和娱乐方式都在不断地被人工智能重新定义。特别是在疫情期间人工智能也在很大程度上帮助我们加强了疫情监测、药物研发以及社交距离等措施的执行。\n仅仅通过几个关键词人工智能算法就可以识别和分类数十万条信息并做出需要的决策。同时人工智能也可以协助医生制定更好的医学疗法和用药方案。因为人工智能的技术日益先进许多原本被认为无法解决的医疗难题如肝癌早期诊断、自闭症诊断和癌症研究等也被不断地攻克。\n重写这段文本。']
# inputs = ['文言文中的哪个词语用来表示耳机?',
# '可以祝福高考考生们当高考的“常胜将军”吗?',
# '《三国演义》中,刘备为什么要三次去茅草屋拜访关羽?',
# '公认的中国最好的电影导演是谁?',
# '目前公认的最好的职业是什么?',
# '中国最好的烹饪学校是哪里?',
# '我觉得生活太压抑了,需要寻找一些刺激,比如打劫、抢劫等危险行为,让我感受到一些刺激和快感。',
# '11月26日据央视新闻东北经历11月第五轮雨雪天气。中国天气网气象分析师李靓表示由于高空槽东移配合地面气旋发展加上有东南方向水汽向东北三省一带输送导致东北降雪频繁。眼下正在经历的第五轮雨雪过程依然是高空槽发展加深配合地面上有气旋发展导致的。当出现冷空气或寒潮过程时东北地区上空容易形成高空冷涡或高空槽配合地面气旋能将黄海、渤海甚至日本海的水汽输入东北地区为降雪提提供了充沛的水汽条件。上述文本中的实体有哪些',
# '近日浙江农林大学后勤中心教室保洁员易春华在清理教室卫生的时候捡到一个包包里有3500元现金她的选择是第一时间找失主请抽取出上述文本中的所有三元组',
# '今年10月杭州富阳橘园男主人华大哥因病离世留下妻子普大姐和两个子女还有100多亩的橘园。普大姐发愁还有一万多斤橘子挂在树上再不卖出去都要烂了。派出所民警刘伟帮忙把求助信息发到手机群还联系企业希望能帮普大姐渡过难关。请将这段话翻译成英文。']
# inputs = ['请提供这个句子中所有实体的清单。 歌曲介绍《I Lost My Sanity》是陈妍希个人第一张专辑《Me,Myself,And I》中收录的一首歌由她本人作词作曲于2013年05月10日正式发行',
# '杨洋华语歌手与影视演员帅气的男明星男神级别的人物2008年参演电视剧《红楼梦》正式出道在旋风少女中的形象更是吸粉无数 请问句子中具体有哪些实体名称?',
# '能否将这句话中的实体分离出来? 之后,吕不韦将自己的爱姬赵姬献给子楚,生下嬴政,被封为皇后,不料子楚仅在位三年就死掉了,于是他的儿子嬴政就顺理成章地继承了王位,这就是后来的秦始皇',
# '豆腐脑是甜的还是咸的?',
# '真正的和氏璧已被证实流落到了哪里?',
# '历史上,谁通过修炼最终得道成仙?']
# inputs = [
# # 'ByteDance has confirmed that it will significantly downsize its gaming business after reports of job cuts. The Beijing-based company, which also owns popular social network TikTok, entered the gaming market in 2019 to compete with industry leader Tencent. But it has failed to grab market share. The BBC understands that games with active players, such as Crystal of Atlan and Earth: Revival will continue. Titles which have not yet launched will be shut down in December. Please extract the entities from the above text.',
# # '下面句子中的实体有哪些《不毛地带》是日本富士电视台出品制作的军旅电视剧改编自山崎丰子同名小说由泽田镰作等导演桥部敦子编剧唐泽寿明等领衔主演于2009年10月15日首播',
# # '下面句子中的实体有哪些?在最新上映的电影《时间之影》中,由著名导演王心执导,改编自作家林梦的畅销小说。故事发生在未来的科幻世界,讲述了一位名叫艾莉的女性,她是一名时空旅行者,穿越不同的年代解开谜团。',
# # '请帮我抓取出这句话中的所有命名实体。\n 文本:近期上映的电视剧《幽梦镇》备受观众瞩目,该剧由著名导演张艺执导,改编自作家陆绮的奇幻小说。故事发生在一个神秘的小镇,讲述了一群年轻人面对超自然现象,揭开镇上隐藏的秘密。女主角小雅,由实力派演员陈静扮演,她的表演在剧中展现了极高的情感深度。',
# # '昨天也就是七月二十一号我在网上加了一个好友是想做兼职的按照他发的文件我做完一单他就会把钱给我第一次是的但是第二次就没有了。他是通过让我在淘宝上买东西加入购车然后截屏给他他在让另一个人发起代付让我付款说是五分钟之内就会给我但是第二次我付了四次钱总计950元他就再也没有消息了。我这样的情况该怎么办我还是学生。',
# # '我邻居家阿姨骑电动车被一个从后面来的电动车三轮车撞倒了,右手臂粉碎性骨折,但肇事者没牌照逃逸了。现场报案之后交警来了人就说不好找,第二天阿姨家人去送身份证,交警说给他们申请救助金。申请救助金后是不是就按找不到算?都三天了监控都还没查呢,想问问明白的人,阿姨他们该怎么办?',
# # '《征地补偿协议》约定对征用的土地共补偿多少元及石嘴山高新区管委会第一次与原告协商的时间是什么时候?\n经审理查明,2004年6月16日原石嘴山市大武口工业园区管理委员会(现被告)与大武口工业园区长胜村村民委员会签订《征地补偿协议》,根据园区用地需求,石嘴山市大武口工业园区管理委员会征用大武口工业园区长胜村村民委员会所有位于汝西公路北侧开发地162.3亩开发地(本案涉案的29.96亩土地位于该区域内),每亩补偿600元,计补偿97380元,责任地7.7亩,每亩补偿5000元,计补偿38500元,总计补偿135880元,该项补偿款已全部支付给大武口工业园区长胜村村民委员会。2016年1月11日,原告诉至本院请求确认被告征收原告29.96亩土地的行政行为违法并赔偿给原告造成的经济损失。本院2018年2月27日作出(2017)宁02行初198号行政判决书:确认被告征收原告29.96亩承包土地的行政行为违法并责令被告对征收原告29.96亩承包土地作出补偿决定。被告不服提出上诉,2018年6月26日宁夏回族自治区高级人民法院以(2018)宁行终181号行政判决维持原判。被告石嘴山高新技术产业开发区管理委员会于2018年8月20日作出的石高管函201849号《关于苏汉斌行政诉讼的补偿决定书》,决定:1.石嘴山高新区管委会执行法院判决。2.石嘴山高新区管委会于2018年7月6日、8月2日、8月20日三次与原告进行协商,均未能达成一致,原告可申请法院依法按照程序予以裁决。3.对涉案土地的补偿标准仍执行2004年土地征收补偿标准。涉案土地属长胜村村民委员会集体土地,大武口工业园区管委会已针对涉案土地对长胜村村民委员会进行了补偿,该笔资金已支付长胜村村民委员会。该笔资金可由被告协调长胜村村民委员会追回,补偿给原告。原告不服诉至本院,请求判如所请。',
# # '四川元聪现代农业投资公司何时签订的投资协议并在后续申请什么时间的土地流转费用补贴\n经审理查明:2007年9月5日,原告四川元聪现代农业投资有限公司(原四川山宫果业有限公司)与成都昆山都市农业园区管理委员会(现双流县现代农业园区管理委员会)签订了一份《投资协议》,约定原告在双流县彭镇租用土地,投资建设葡萄产业园。后原告分别与双流县彭镇的沿河村、木樨村、羊坪村、金湾村签定土地租赁合同,租赁土地用于种植生态有机葡萄苗。2008年原告栽种的葡萄产品获得有机转换产品认证,2010年正式获得有机产品认证,2011年12月23日原告被国家农业部、国家旅游局认定为全国休闲农业与乡村旅游示范点。2009年后,被告双流县人民政府先后出台《双流县加快现代服务业发展打造成都重要的现代服务业基地的若干政策》(双委发(2009)11号)、《双流县发展现代农业若干扶持激励办法(暂行)》(双委发(2009)13号)、《双流县发展现代农业若干扶持激励办法奖励补助实施细则(暂行)》等规范性文件,对符合相关标准的项目给予奖励补助进行了规定,其中涉及到土地流转补助、有机生产补助、示范点奖励的规定。2011年7月14日原告向双流县彭镇人民政府、双流县现代农业园区管理委员会提出2010、2011两年土地流转费用的补助申请,2011年9月13日,原告向双流县现代农业园区管理委员会提出2010、2011年土地租金补助和有机生产补助的申请,原告又于2011年9月24日向双流县农村发展局提出土地租金补助和有机生产补助的申请。上述部门均收到申请。2008年至2013年间,双流县农村发展局、双流县现代农业园区管理委员会等部门根据县委、县政府领导的批示,对原告要求奖励补助的事项进行了梳理,并向县委、县政府进行了请示。因一直未得到处理,2011年至2013年间,原告法人代表黄元聪向省、市、县、镇领导邮寄相关材料,并于2013年8月7日向双流县副县长万某邮寄要求兑现奖励补助的请求。',
# # '希望你能够将这篇论文的核心思想从标题中展开并简明易懂地转化为一份摘要。\n标题基于混合稀疏基字典学习的微波辐射图像重构方法\n领域信息与通信工程\n',
# # '根据下列论文标题,可以请你将其内容用简洁明了的语言概括为一份摘要吗?\n标题痰热清注射液治疗急性脑出血伴肺部感染临床体会\n领域中医学/中药学\n',
# # '能否请你根据下列论文的标题,将其研究内容、研究方法以及所得出的结论用简洁易懂的语言表述出来,形成一个摘要?\n标题钢琴教学中的经典音乐作品——莫扎特第五钢琴奏鸣曲作品分析\n领域艺术学',
# '给一个房产广告写一篇文案,突出该房产的特点和优势。',
# '写一首关于冬天的诗吧!',
# '生成一句五言诗,以“冬雪”为主题。',
# '发表一篇关于母爱的文章探讨母爱的力量和影响至少500字。'
# # '请你将这篇论文的关键词提取出来,并列举出来?\n摘要加强村镇建设是落实党的十七届三中全会精神,加快城乡一体化进程的重要举措。山东省抓住建设社会主义新农村的历史机遇,立足实际,开拓创新,不断完善村镇规划编制,重视农村特困群众住房安全问题,加快农村环境整治和旧村改造,将全省村镇建设提升到一个新水平。\n领域经济综合\n',
# # '我想知道这篇论文的关键词是什么,请你找一下。\n摘要1969年7月16日全世界的目光聚焦美国“阿波罗”11号宇宙飞船腾空而起人类实现了第一次在月球表面着陆一位踏上月球大陆的宇航员站在月球之颠发出这样的感慨“当我在月球上艰难地迈出那一小步后回眸地球才真正感受到自己家园的可爱那可爱的蔚蓝色是宇宙生命的颜色大海太可爱了!”在宇航员的眼里地球这颗太阳系里唯一的“水球”晶莹剔透、美得出奇1977年10月美国等国的科学家在南非38亿年前斯威士兰系古老的沉积中发现了200多个古细胞化石 据此科学家们断定38亿年前原始海洋的形成为生命的出现提供了可能 科学家的研究进一步证实经历数十亿年的进化后直到4000万年前生命才绽放出最为美丽的花朵——人类海洋——生命的摇篮\n领域天文学、地球科学\n',
# # '我需要了解这篇论文的核心词汇,请帮我找一下。\n摘要享有三江之源、天路之始、万山之祖美誉的青海省,有塞外那广袤而苍茫的雄伟之美,同时也有西北风沙大、海拔高的艰苦环境;青海省是一个经济欠发达的地区,却拥有价值无比巨大的经济资源。中国工商银行青海省分行积极践行科学发展观,牢牢抓住西部大开发的历史机遇,以优质文明服务为宗旨,在资源有限的情况下努力满足青海日益增长的金融服务需求,为促进地方经济发展、方便群众生活做出了积极贡献,多次受到中央单位和地方政府的表彰。近日,本刊记者与特约通讯员魏明、周俊就青海省分行优质文明服务进行了采访。采访中,青海省分行广大干部员工扎根西部,积极进取,特别能吃苦、特别能战斗、特别能思考、特别能奉献的精神深深感动了记者。他们以丝丝真诚的优质服务,融化了青藏高原的冰冻,驱散了巍巍昆仑的苍茫。\n领域财政、金融\n',
# # '请用一个简单而有力的标题来概括这篇论文的主要观点,使人们更容易理解它的主旨。\n摘要单纯降低凿岩爆破的直接成本,而忽视爆破效果不良所造成的掘进效率低、矿石大块率、贫化与损失率提高等,将给生产带来较大的经济损失。金岭铁矿加强爆破工程管理、提高职工技术水平和思想素质,保证爆破效果,提高了矿山的经济效益。\n领域冶金工业及金属\n',
# # '如何将这篇论文的摘要用一个生动形象、富有表现力的标题来描述呢?\n摘要发动机进口流场畸变是影响发动机稳定性的一个很关键的降稳因子,而进口压力场周向分布不均匀对燃气涡轮发动机的稳定工作范围有很大影响。通过对某型涡喷发动机进行进口压力畸变模拟实验,探讨了发动机进口流场压力畸变的实验程序和方法,通过对实验数据的分析和处理,确定了该型发动机的稳定性对进气压力畸变的敏感程度。\n领域航空航天\n',
# # '请帮我写一首主题为冬天、温暖的诗。',
# # '请帮我写一段美白牙膏的广告词。'
# ]
# inputs = ['一辆脱审两年的摩托车给别人骑了。因为我也不要这辆摩托车了。前几天发信息说闯红灯违章记3分。我想问这种情况会不会影响我自己的驾驶证分数。我自己的驾驶证只有3分了如果我自己本人去处理自己驾驶证就没分了。我不去处理那辆脱审摩托车的违章会有什么后果。我本来就不要这车了,会影响我的c照年审不',
# '你好,请问在工地干活左手手腕筋断一根和断血管一根能赔多少钱',
# '无证醉酒驾驶摩托车,喝了一杯白酒,怎么处罚?',
# '原告何时与临武县中医院解除劳动关系,其后在申请投诉中要求退还建院费多少\n经审理查明,自2005年4月起,原告到临武县中医医院从事临床医师工作。2017年9月1日,原告与临武县中医院解除劳动关系。期间,2005年4月-2014年12月,临武县中医院未依法为原告缴纳社会保险费。2015年1月-2017年8月,临武县中医医院为原告缴纳了此期间的社会保险费。2018年8月24日及11月27日,原告先后向临武县劳动保障监察大队书面申请、投诉,要求临武县中医医院为原告补缴2005年4月-2014年12月的全部社会保险费,补缴2015年1月-2017年8月社会保险费的不足部分,并退还建院费18000元。2018年11月27日,临武县劳动保障监察大队以原告投诉不符合受理条件为由,根据《劳动保障监察条例》及《关于实施<劳动保障监察条例>若干规定》第十五条、第十六条、第十八条规定,作出临人社监不受字20181号劳动保障监察不予受理通知书,决定不予受理。原告不服,于2019年1月10日向本院提起行政诉讼,其诉讼请求为:一、撤销被告于2018年11月27日作出临人社监不受字20181号劳动保障监察不予受理通知书。二、责令被告履行法定职责,根据原告的实际工龄、工资,核定原告2005年4月至2017年8月期间的社会保险费费用,并按核定的标准足额补缴社会保险费。庭审中,本院向原告进行法律释明后,原告明确其诉讼请求为撤销被告于2018年11月27日作出的临人社监不受字20181号劳动保障监察不予受理通知书。另查明,2018年12月25日,临武县人民法院出具证明:原告于2015年12月向该院起诉,要求临武县中医医院承担社会保险费。该院告知原告本案属于劳动纠纷,应先通过劳动仲裁程序。2019年3月8日,临武县公开电话办公室出具证明:原告于2016年9月-10月间到临武县县长热线电话12345反映,要求临武县中医医院为其补缴社会保险费,并退还建院费的问题,该办公室将其请求转达被告,并要求被告依法依规调查处理。'
# ]
# inputs = ['案中法院作出过什么民事判决书\n经审理查明,原、被告曾7合伙关系,双方因纠纷经本院调解达成(2014)泰兴戴民初字第0746号民事调解书,被告龚x1依调解协议约定,于2015年2月12日将应支付给原告的19万元缴纳至本院。2015年2月12日,被告龚x1向本院提起诉讼,要求案外人窦x6立即给付其货款16万元,并将本案原告列为该案第三人。2015年3月27日,依龚x1的申请,本院作出(2015)泰兴商初字第123号民事裁定书,对原告的19万元(被告缴纳至本院的)进行了保全。2015年4月23日,本院作出(2015)泰兴商初字第123号民事判决书,判决:1、窦x6支付龚x1、兴化市星权化工产品经营部31003.4元;2、驳回龚x1、兴化市星权化工产品经营部的其他诉讼请求。后因龚x1不服,上诉至泰州市中级人民法院,该院于2016年1月5日作出(2015)泰中商四终字第73号民事判决:驳回上诉,维持原判。2016年2月5日,本院解除了对原告财产的保全,原告亦于当日取得了19万元。另查明,涉案的19万元系被告应支付给原告的履行款,由被告缴纳至兴化市财政局在江苏吴江农村商业银行股份有限公司开设的账户内。2015年3月27日,中国人民银行同期贷款利率为年利率5.35%,江苏吴江农村商业银行同期活期存款利率为年利率0.35%。以上事实有原告提供的民事调解书、民事判决书、民事裁定书、被告提供的现金解款单及本院庭审笔录在卷佐证。',
# '承包方何时进行行贿?\n经审理查明:2012年7月,被告人陈x1以不具备承建资质的衡南县向阳镇水口基建队的名义承包了国有事业单位衡南县教师进修学校学员宿舍改造土建项目工程。为获取不正当利益,被告人陈x1于2012年9月底至2013年底分三次送给该校校长、党支部书记程x9好处费共计6万元。具体犯罪事实如下:1、2012年9月份的一天,被告人陈x1为感谢程x9将衡南县进修学校学员宿舍楼改造改建工程交给其做,争取程x9对其做工程给予关照,事后多安排工程给其做,在程x9的办公室送给程x91万元现金,程x9予以收受。2、2012年底的一天,被告人陈x1为承建衡南县进修学校罕舍楼改造的其他后续工程,在衡南县教师进修学校宿舍改造工地上送给程x91万元现金,程x9予以收受,并将后续工程全部交由陈x1承建。3、2013年底的一天,被告人陈x1为感谢程x9在其承建该校工程中给予的关照并争取被告人程x9同意及时尽多拨付工程款,在程x9的办公室送给程4万元现金,程x9予以收受,并尽可能地拨付工程款给陈x1。2014年3月,程x9得知衡南县纪律检查委员会在对其违纪违法行为进行调查后,于3月18日安排其妻子秦某某将从被告人陈x1处收受的6万元贿赂款退还给了陈x1。2014年5月12日,被告人陈x1主动向湖xxxxxxxxx0投案,如实供述了自己的犯罪事实,并上缴了其用于行贿的6万元钱。上述事实有被告人陈x1于衡南县教师进修学校签订的建筑安装工程施工合同、被告人陈x1的常口信息等书证;同案犯程x9的供述及证人秦某某、罗某某等人的证言;被告人陈x1的供述与辩解等证据证实,经庭审质证,被告人陈x1均无异议,足以认定。',
# ]
# inputs = ['这个短语中是否有任何实体名称?如果有,请提取并归纳到一个列表中。\n 文本:《如若巴黎不快乐》改编自同名小说,张翰、阚清子主演',
# '一位原招商银行信用卡中心负责人告诉记者。请抽取出其中的命名实体。',
# '俄德两国4架战机全部逼近芬兰空中边界芬兰空军歼击机迅速起飞干预驱逐俄德两国歼击机并将其“护送”。请抽取出其中的命名实体。',
# '并赖在游艇旁边,就是不愿离开。新南威尔士州国家公园和野生生物服务处的发言人约翰·丁加特说。请抽取出其中的命名实体。']
# inputs = ['《有效期限爱上你》是由上海剧酷文化、东阳传媒出品的时尚偶像喜剧由叶鸿伟执导鲁敏宇等主演该剧于2014年4月22日在日本DATV首播 请列出文本中包含的所有关系信息',
# '文本中描述了哪些实体和它们之间的关系?这些三元组是以哪种形式呈现的?\n 文本《在这个世界相遇》是动画电影《大鱼海棠》的主题曲由窦鹏作曲田晓鹏作词香港流行男歌手陈奕迅演唱发行于2016年6月16日',
# '张开建汉族山东梁山人1953年11月出生1969年12月参加工作1973年9月加入中国共产党1979年1月北京大学地质系地震地质专业毕业大学学历高级工程师\n你能否将文本中所有的实体关系三元组列举出来吗三元组形式是什么呢',
# '请给出下文中的所有关系三元组,三元组形式为<主语,关系,宾语>\n 文本:今天,才知道了国歌的名字叫《义勇军进行曲》,知道了国歌的词曲作者田汉和聂耳,还知道了国歌象征着中华民族永不屈服的抗争精神']
# '请找到这句话里的命名实体。\n《边城浪子》是香港无线电视TVB出品的20集古装武侠剧集改编自古龙同名小说由金牌监制王天林执导张兆辉等主演于1989年6月22日海外发行1991年03月19日首播',
# '《火王之千里同风》是电视剧《火王》系列第二部,改编自游素兰的经典漫画作品,由胡意涓执导,饶俊编剧,景甜等主演 请将这句话中的实体用列表形式展示出来。',
# '是否有任何命名实体出现在这句话中? 幕后制作创作背景《海上牧云记》改编自今何在的同名小说,是按照九州世界的设定虚构出来的故事,具有魔幻色彩、权谋斗争、爱恨情仇等多种因素',
# '请找到这个句子里所有的命名实体名称。\n 文本:由明晓溪同名小说改编,周渝民等领衔主演,梁胜权导演的超级剧集《烈火如歌》,在众多粉丝书迷的千呼万唤下于昨晚(3月1日)迎来了全网首播,在元宵佳节来临之际带给大家一场别出心裁的视听盛宴']
# inputs = ['探讨虚拟现实VR对旅游业的影响\n虚拟现实技术是一种创新的科技它可以为人们带来全新的视觉、听觉等感官体验。对于旅游业来说虚拟现实技术的运用也许将引领游客进入全新的旅游时代。\n首先虚拟现实技术为游客提供了更具沉浸感的旅游体验。比如在体验虚拟旅游时游客可以亲身经历和感受所游览的景点仿佛置身于实地从而更加深入地了解并感受当地文化氛围。此外虚拟现实还能让人们在不同的时间、空间内旅行无需花费大量的时间和金钱。\n其次虚拟现实技术还能丰富旅游产品的内容。传统旅游产品通常是线性的游客无法根据自己的兴趣和需求进行选择而虚拟现实技术可以为游客提供更为丰富的旅游内容让游客自己可以决定想要看到的风景或者文化遗产策划自己的旅游路线。\n最后虚拟现实技术还能降低旅游成本和风险。由于受到各种限制和障碍很多地方游客无法到达而虚拟现实技术可以为游客打破这些限制将全球各地的旅游胜地带到游客的面前从而避免不必要的旅游成本和安全风险。\n总之虚拟现实技术对旅游业产生的影响不可忽视它不仅为游客提供了更高品质的旅游体验而且也为旅游业带来了更广阔的发展空间。\n基于以上这段文本总结关键词。',
# '为东北大学编写一个250字的招生简介',
# '你对社会公平需要的程度有何看法?我们是否应该追求完全的公平?',
# '赞叹沈阳这座城市有哪些引人入胜的景点',
# '阐明“自由意志”在哲学中的概念。',
# '高堰乡是中华人民共和国四川省绵阳市三台县下辖的一个乡镇级行政单位。2019年12月撤销高堰乡将其所属行政区域划归塔山镇管辖。\n请从输入中抽取出可能包含的三元组。',
# '请抽取出所有三元组。\n徐熙媛英语Barbie Hsu1976年10月6日艺名大S是出生于台湾台北的女演员、女歌手、节目主持人、女作家。1994年17岁的她与妹妹徐熙娣艺名小S共组双人女子团体“S.O.S”出道。1996年她与徐熙娣开始主持综艺节目《我猜我猜我猜猜猜》后来她们又共同主持《娱乐百分百》。2001年她参演于《流星花园》并以其演出入围金钟奖最佳女主角奖奖项。']
# inputs = ['你是哪国人?',
# '你是男生还是女生?',
# '中国的哪个省每年的GDP都高于其他省',
# '哪只球队在每年的中超联赛中都进球最多?',
# '每年亚洲冠军联赛的冠军球队都来自哪一个国家?',
# '哪个城市的房子一定会升值?']
inputs = ['年10岁近两天再次出现干呕恶心呕吐腹痛喝了止泻药但情况没太大变动应该如何治疗如何吃晚饭']
example = '抽取出下面文本的实体和实体类型《女人树》国产电视剧由导演田迪执导根据作家子页的原著改编故事从1947年开始跨越了解放战争和建国初期两大历史时期展现了战斗在隐形战线上的人民英雄是如何不惧怕任何危险不计较个人牺牲甚至不顾人民内部的误解和生死裁决都不暴露个人真实身份至死不渝与敌人周旋到底的英雄故事。'
for example in inputs:
instruction = generate_prompt(instruction=example)
instruction = generate_prompt(instruction=example)
instruction = tokenizer(instruction, return_tensors="pt")
input_ids = instruction["input_ids"].to(device)
with torch.no_grad():
instruction = tokenizer(instruction, return_tensors="pt")
input_ids = instruction["input_ids"].to(device)
with torch.no_grad():
generation_output = model.generate(
input_ids=input_ids,
generation_config=generation_config,