例子合集

提示：Github上的examples只保证兼容Github上的最新版bert4keras，如果报错，请首先尝试升级bert4keras。

简介

• basic_extract_features.py: 基础测试，测试BERT对句子的编码序列。
• basic_gibbs_sampling_via_mlm.py: 基础测试，利用BERT+Gibbs采样进行文本随机生成，参考这里。
• basic_language_model_cpm_lm.py: 基础测试，测试CPM_LM的生成效果。
• basic_language_model_gpt2_ml.py: 基础测试，测试GPT2_ML的生成效果。
• basic_language_model_nezha_gen_gpt.py: 基础测试，测试GPT Base（又叫NEZHE-GEN）的生成效果。
• basic_make_uncased_model_cased.py: 基础测试，通过简单修改词表，使得不区分大小写的模型有区分大小写的能力。
• basic_masked_language_model.py: 基础测试，测试BERT的MLM模型效果。
• basic_simple_web_serving_simbert.py: 基础测试，测试自带的WebServing（将模型转化为Web接口）。
• task_conditional_language_model.py: 任务例子，结合 BERT + Conditional Layer Normalization 做条件语言模型。
• task_iflytek_adversarial_training.py: 任务例子，通过对抗训练提升分类效果。
• task_iflytek_bert_of_theseus.py: 任务例子，通过BERT-of-Theseus来进行模型压缩。
• task_iflytek_gradient_penalty.py: 任务例子，通过梯度惩罚提升分类效果，可以视为另一种对抗训练。
• task_iflytek_multigpu.py: 任务例子，文本分类多GPU版。
• task_image_caption.py: 任务例子，BERT + Conditional Layer Normalization + ImageNet预训练模型 来做图像描述生成。
• task_language_model.py: 任务例子，加载BERT的预训练权重做无条件语言模型，效果上等价于GPT。
• task_language_model_chinese_chess.py: 任务例子，用GPT的方式下中国象棋，过程请参考博客。
• task_question_answer_generation_by_seq2seq.py: 任务例子，通过UniLM式的Seq2Seq模型来做问答对自动构建，属于自回归文本生成。
• task_reading_comprehension_by_mlm.py: 任务例子，通过MLM模型来做阅读理解问答，属于简单的非自回归文本生成。
• task_reading_comprehension_by_seq2seq.py: 任务例子，通过UniLM式的Seq2Seq模型来做阅读理解问答，属于自回归文本生成。
• task_relation_extraction.py: 任务例子，结合BERT以及自行设计的“半指针-半标注”结构来做关系抽取。
• task_sentence_similarity_lcqmc.py: 任务例子，句子对分类任务。
• task_sentiment_albert.py: 任务例子，情感分类任务，加载ALBERT模型。
• task_sentiment_integrated_gradients.py: 任务例子，通过积分梯度的方式可视化情感分类任务。
• task_sentiment_virtual_adversarial_training.py: 任务例子，通过虚拟对抗训练进行半监督学习，提升小样本下的情感分类性能。
• task_seq2seq_ape210k_math_word_problem.py: 任务例子，通过UniLM式的Seq2Seq模型来做小学数学应用题（数学公式生成），详情请见这里。
• task_seq2seq_autotitle.py: 任务例子，通过UniLM式的Seq2Seq模型来做新闻标题生成。
• task_seq2seq_autotitle_csl.py: 任务例子，通过UniLM式的Seq2Seq模型来做论文标题生成，包含了评测代码。
• task_seq2seq_autotitle_csl_mt5.py: 任务例子，通过多国语言版T5式的Seq2Seq模型来做论文标题生成，包含了评测代码。
• task_seq2seq_autotitle_multigpu.py: 任务例子，通过UniLM式的Seq2Seq模型来做新闻标题生成，单机多卡版本。
• task_sequence_labeling_cws_crf.py: 任务例子，通过 BERT + CRF 来做中文分词。
• task_sequence_labeling_ner_crf.py: 任务例子，通过 BERT + CRF 来做中文NER。