追加評価用実行結果の提出
- 既に森羅2020-MLタスクの実行結果をご提出いただいたグループに限り、ablation study等のより深い分析のために追加評価用の実行結果をご提出いただけます。
- これまでの実行結果の提出との主な違いは以下の点です。
- 提出ファイル(.zip)のファイル名の形式：Add_[Group ID]_[Method ID]_[Version ID].zip
- 提出フォームの最後の質問：提出ファイル名の形式の確認を追加
- 以下の注意事項はこれまでの実行結果の提出と同様です。
- 1グループが提出可能な実行結果は1言語につき3手法までとします。（特別な事情がある場合には申し出てください。）各手法の違いについてはシステム報告レポートで必ず説明してください。
- 各実行結果ファイルは手法ごとにまとめ、zipファイルを提出フォームからアップロードしてください。（フォームはこれまでの実行結果提出時とほぼ同じで、最後の質問のみ変更しています。）
- 何か問題が生じ、同じ手法で複数回再提出された場合は、最後に提出されたバージョンのみを評価対象とします。
ファイル名
実行結果のファイル名
実行結果ファイルのファイル名は以下の形式としてください。
[言語コード].json 例：en.json
実行結果の提出時のファイル名
各実行結果ファイルを手法ごとにまとめたzipファイルの名前は以下の形式にしてください。
Add_[Group ID]_[手法ID]_[バージョンID].zip 例：Add_RIKEN_BERT_001.zip
- Group ID
- 本タスク参加登録時に指定したGroup IDです。
- 手法ID
- グループの各手法の提出結果を区別するためのIDです。任意のASCII英数字(アンダーバー以外)の組み合わせとします。例：BERT
- バージョンID
- グループから同じ手法の実行結果が複数回提出された場合に最新バージョンを特定するためのバージョン番号です。数字３桁になるように提出回数のカウントの前を’0’で埋めて、1回目は’001’、２回目は’002’、3回目は’003’、…のようにして下さい。
提出フォーマット
提出フォーマットについてはこちらをご覧ください。
提出フォーム
システムの実行結果は以下のリンクの提出フォームからご提出ください。以下の提出フォームの記入方法を先にお読みください。
提出フォームの記入方法
- Group ID
- 本タスク参加登録時に指定したGroup IDを記入して下さい。
- グループの代表者または連絡者のメールアドレスを記入して下さい。
- 手法の説明
- 手法の要点をごく簡単に記入して下さい。
- 提出ファイル(.zip)
- システムの実行結果を手法ごとにまとめた提出ファイル(.zip)を指定して下さい。
-
提出ファイルのファイル名はAdd_[Group ID]_[Method ID]_[Version ID].zipの形式にして下さい。
- タスクの実行に使用したデータ
- タスク用に提供したデータのリストのうち、使用したデータにチェックをして下さい。
- システムの実行に使用した上記以外の外部情報
- 上記以外にタスクの実行に使用したデータ、事前学習したモデル等があれば列挙して下さい。
- 提出前の確認
- 以下の項目を確認してチェックしてください。
・システムの出力には全ターゲットデータに対する分類結果が含まれている。
・The submission file name is specified as follows: （ファイル名は以下の通り指定されている。）
(a) (Regular or late submission): [Group ID]_[Method ID]_[Version ID].zip
(b) (Additional submission): Add_[Group ID]_[Method ID]_[Version ID].zip
連絡先
何かご不明な点がありましたら、下記連絡先にお問い合わせ下さい。
Email (オーガナイザー宛):
shinra2020ml-info@googlegroups.com
Slack (タスク参加者とオーガナイザー):
http://shinra2020-ml.slack.com