実行結果の提出
- 1グループが提出可能な実行結果は1言語につき3手法までとします。（特別な事情がある場合には申し出てください。）各手法の違いについてはシステム報告レポートで必ず説明してください。
- 各実行結果ファイルは手法ごとにまとめ、zipファイルを提出フォームからアップロードしてください。
- 何か問題が生じ、同じ手法で複数回再提出された場合は、最後に提出されたバージョンのみを評価対象とします。
ファイル名
実行結果のファイル名
実行結果ファイルのファイル名は以下の形式としてください。
[言語コード].json 例：en.json
実行結果の提出時のファイル名
各実行結果ファイルを手法ごとにまとめたzipファイルの名前は以下の形式にしてください。
[Group ID]_[手法ID]_[バージョンID].zip 例：RIKEN_BERT_001.zip
- Group ID
- 本タスク参加登録時に指定したGroup IDです。
- 手法ID
- グループの各手法の提出結果を区別するためのIDです。任意のASCII英数字(アンダーバー以外)の組み合わせとします。例：BERT
- バージョンID
- グループから同じ手法の実行結果が複数回提出された場合に最新バージョンを特定するためのバージョン番号です。数字３桁になるように提出回数のカウントの前を’0’で埋めて、1回目は’001’、２回目は’002’、3回目は’003’、…のようにして下さい。
提出フォーマット
提出フォーマットについてはこちらをご覧ください。
提出フォーム
システムの実行結果は以下のリンクの提出フォームからご提出ください。以下の提出フォームの記入方法を先にお読みください。
提出フォームの記入方法
- Group ID
- 本タスク参加登録時に指定したGroup IDを記入して下さい。
- グループの代表者または連絡者のメールアドレスを記入して下さい。
- 手法の説明
- 手法の要点をごく簡単に記入して下さい。
- 提出ファイル（.zip)
- システムの実行結果を手法ごとにまとめた提出ファイル(.zip)を指定して下さい。
- タスクの実行に使用したデータ
- タスク用に提供したデータのリストのうち、使用したデータにチェックをして下さい。
- システムの実行に使用した上記以外の外部情報
- 上記以外にタスクの実行に使用したデータ、事前学習したモデル等があれば列挙して下さい。
- 提出前の確認
- ターゲットデータ全体に対するラベル予測が含まれていることを確認して下さい。(フォームの文字数制限のためこの質問は日本語訳なしで表示されています。)
連絡先
何かご不明な点がありましたら、下記連絡先にお問い合わせ下さい。
Email (オーガナイザー宛):
shinra2020ml-info@googlegroups.com
Slack (タスク参加者とオーガナイザー):
http://shinra2020-ml.slack.com