Link Search Menu Expand Document

klue_dp

KLUE benchmark - Dependency Parsing(DP) task.

For more details, see KLUE Benchmark - DP Task - Overview description

Table of contents

  1. Dataset Informations
  2. How to use this dataset
  3. License

Dataset Informations

  • See codes in GitHub
  • Version:
    • 1.0.0 False: Initial release.
    • 1.1.0 (default): KLUE 1.1.0
  • Homepage: https://github.com/KLUE-benchmark/KLUE
  • Download size: 7.11 MiB
  • Dataset size: 6.40 MiB
  • Features:

    FeaturesDict({
        'dependency_relation': Sequence(Text(shape=(), dtype=tf.string)),
        'head': Sequence(tf.int64),
        'lemma': Sequence(Text(shape=(), dtype=tf.string)),
        'pos': Sequence(Text(shape=(), dtype=tf.string)),
        'word_form': Sequence(Text(shape=(), dtype=tf.string)),
    })
    
  • Supervised keys: None
  • Splits:

    Split Name Num Examples
    train 10000
    dev 2000
  • Examples:

      word_form lemma pos head dependency_relation
    1 미국과
    쿠바
    정상이
    회동한
    미국 과
    쿠바
    정상 이
    회동 하 ㄴ
    NNP+JC
    NNP
    NNG+JKS
    NNG+XSV+ETM
    2
    3
    4
    5
    NP_CNJ
    NP
    NP_SBJ
    VP_MOD
    2
    번째
    의상은
    ‘흰색

    번 째
    의상 은
    ’ 희 ㄴ 색
    MMN
    NNB+XSN
    NNG+JX
    SS+VA+ETM+NNB
    2
    3
    5
    5
    DP
    NP
    NP_SBJ
    NP
    3 요원은
    아이를
    안고서
    수영장
    요원 은
    아이 를
    안 고서
    수영장
    NNG+JX
    NNG+JKO
    VV+EC
    NNG
    12
    3
    6
    5
    NP_SBJ
    NP_OBJ
    VP
    NP
    4 스린야시장이
    가까운것만으로도
    사실상
    별5개가
    부족합니다.
    스린야시장 이
    가깝 ㄴ 것 만 으로 도
    사실 상
    별 5 개 가
    부족 하 ㅂ니다 .
    NNP+JKS
    VA+ETM+NNB+JX+JKB+JX
    NNG+XSN
    NNG+SN+NNB+JKS
    NNG+XSA+EF+SF
    2
    5
    5
    5
    0
    NP_SBJ
    NP_AJT
    AP
    NP_SBJ
    VP
    5 지인들에게
    돈을
    빌리고
    제때
    지인 들 에게
    돈 을
    빌리 고
    제때
    NNG+XSN+JKB
    NNG+JKO
    VV+EC
    NNG
    3
    3
    5
    5
    NP_AJT
    NP_OBJ
    VP
    AP
    6 정보
    당국과
    관련
    실무
    정보
    당국 과
    관련
    실무
    NNG
    NNG+JKB
    NNG
    NNG
    2
    5
    5
    5
    NP
    NP_CNJ
    NP
    NP
    7 질병관리본부는
    지난
    3월부터
    전국
    질병관리본부 는
    지나 ㄴ
    3 월 부터
    전국
    NNP+JX
    VV+ETM
    SN+NNB+JX
    NNG
    21
    3
    9
    6
    NP_SBJ
    VP_MOD
    NP_AJT
    NP
    8 통일부는
    북한이
    24일
    판문점
    통일부 는
    북한 이
    24 일
    판문점
    NNP+JX
    NNP+JKS
    SN+NNB
    NNP
    27
    7
    7
    6
    NP_SBJ
    NP_SBJ
    NP_AJT
    NP
    9 또다시
    우승컵을
    들어올린
    박인비는
    또 다시
    우승 컵 을
    들 어 올리 ㄴ
    박인비 는
    MAG+MAG
    NNG+NNG+JKO
    VV+EC+VV+ETM
    NNP+JX
    3
    3
    4
    17
    AP
    NP_OBJ
    VP_MOD
    NP_SBJ
    10 모델
    장윤주
    씨가
    SNS를
    모델
    장윤주
    씨 가
    SNS 를
    NNG
    NNP
    NNB+JKS
    SL+JKO
    3
    3
    9
    5
    NP
    NP
    NP_SBJ
    NP_OBJ
  • Citation:

    @misc{park2021klue,
        title={KLUE: Korean Language Understanding Evaluation},
        author={Sungjoon Park and Jihyung Moon and Sungdong Kim and Won Ik Cho and Jiyoon Han and Jangwon Park and Chisung Song and Junseong Kim and Yongsook Song and Taehwan Oh and Joohong Lee and Juhyun Oh and Sungwon Lyu and Younghoon Jeong and Inkwon Lee and Sangwoo Seo and Dongjun Lee and Hyunwoo Kim and Myeonghwa Lee and Seongbo Jang and Seungwon Do and Sunkyoung Kim and Kyungtae Lim and Jongwon Lee and Kyumin Park and Jamin Shin and Seonghyun Kim and Lucy Park and Alice Oh and Jungwoo Ha and Kyunghyun Cho},
        year={2021},
        eprint={2105.09680},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
    }
    

How to use this dataset

  • Installation:

    pip install tfds-korean
    
  • Use this dataset

    import tensorflow_datasets as tfds
    import tfds_korean.klue_dp
    
    dataset = tfds.load("klue_dp")
    

License

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License. See also Copyright notice.