Index of /shinra/data

 Name                    Last modified      Size  
 Parent Directory                             -   
 SHINRA_Data/            2024-03-11 11:41    -   
 Wikipedia_Data/         2024-03-11 15:30    -

森羅プロジェクト公開データ

このページでは、森羅プロジェクトで使用したデータを公開しています。
各データの概要は森羅プロジェクトで説明されています。

森羅データ

本プロジェクトで構築・改変したデータ

拡張固有表現ver9.0定義書（JSON形式）
- Shinra2022_ENE_Definition_v9.0.0-with-Attributes_20220714.jsonl
森羅2023 分類タスク教師データ，開発データ，テストデータ
- 教師データ: shinra2022_Categorization_train_20220616.jsonl
- 開発データ: DevData_20220714.tsv
- テストデータ: shinra2022_Categorization_leaderboard_20220530.jsonl
森羅2023 属性値抽出タスク教師データ，テストデータ（分類タスクベースラインシステムの出力）
- 教師データ: attribute_extraction-20221116.zip
- テストデータ: shinra2022_AttributeExtraction_leaderboard_20220530.jsonl
森羅 2023 リンキングタスク教師データ，テストデータ（属性値抽出タスクベースラインシステムの出力）
- 教師データ: linking-20221116.zip
- テストデータ: attribute-extraction-prediction-leaderboard-20220629.jsonl
SHINRA 2021-ML 教師データ，開発データ
- 教師データ
- 開発データ
  - ar.json
  - bg.json
  - ca.json
  - cs.json
  - da.json
  - de.json
  - el.json
  - en.json
  - es.json
  - fa.json
  - fi.json
  - fr.json
  - he.json
  - hi.json
  - hu.json
  - id.json
  - it.json
  - ko.json
  - nl.json
  - no.json
  - pl.json
  - pt.json
  - ro.json
  - ru.json
  - sv.json
  - th.json
  - tr.json
  - uk.json
  - vi.json
  - zh.json
SHINRA 2020-ML Wikipedia 言語間リンク情報
SHINRA 2020-ML 各システムの出力
- ar.json
- bg.json
- ca.json
- cs.json
- da.json
- de.json
- el.json
- en.json
- es.json
- fa.json
- fi.json
- fr.json
- he.json
- hi.json
- hu.json
- id.json
- it.json
- ko.json
- nl.json
- no.json
- pl.json
- pt.json
- ro.json
- ru.json
- sv.json
- th.json
- tr.json
- uk.json
- vi.json
- zh.json

本プロジェクトで再配布するWikipediaデータ

20190120 版日本語・30 言語Wikipedia ダンプデータ（XML 形式：WikiDump）
20190121版日本語・30言語Wikipediaダンプデータ（JSON形式：CirrusSearchDump）
20190120版日本語Wikipeida（HTML形式，プレーンテキスト形式）
- HTML形式: wikipedia-ja-20190120-html.zip
- プレーンテキスト形式: wikipedia-ja-20190120-plain.zip
20210820版日本語Wikipedia ダンプデータ（XML 形式：WikiDump，HTML 形式，プレーンテキスト形式）
- XML形式（WikiDump）: wikipedia-ja-20210820-xml.bz2
- HTML形式: wikipedia-ja-20210820-html-v2.zip
- プレーンテキスト形式: wikipedia-ja-20210820-plain.zip
20210823版日本語Wikipediaダンプデータ（JSON形式：CirrusSearchDump）
- wikipedia-ja-20210823-json.gz

ライセンス

上記の各データは、Wikipediaダンプデータより作成され、クリエイティブ・コモンズ・表示・継承ライセンス3.0（CC-BY-SA 3.0）の条件のもとに、利用・再配布が許諾されます。

森羅ベースラインシステム

カテゴリー分類システム
- https://github.com/akivajp/shinra2022-classifier
属性値抽出システム
- https://github.com/akivajp/shinra-attribute-extractor
- https://github.com/akivajp/shinra-attribution-extraction
エンティティリンキングシステム
- https://github.com/akivajp/shinra2021-linkjp-atid

森羅データアクセスAPI

森羅パブリックAPI (0.2.0)
https://api.shinra-project.info/

その他

拡張固有表現ホームページ（アノテーションマニュアル）
http://ene-project.info/
アノテーションツール
https://github.com/usamillc/taggable