査読者1

[メタ] 総合的な採録理由

顕微鏡縫合術の訓練にリアルタイムフィードバックとゲーミフィケーションを用いてその訓練へのモチベーションを向上することを目指した研究です.顕微鏡縫合術の訓練に対するスコアリングの方法を適切に定めており,シンプルなゲーミフィケーション表現でも意欲向上が見られるシステムが実現されています.

[メタ] 査読時のレビューサマリ

顕微鏡縫合術の訓練にゲーミフィケーションを導入することによるモチベーションの向上に関し,顕微鏡縫合術の良しあしをスコアリングする方法とその適切性については新規性があるものと考えられます. 一方で,ゲーミフィケーションの効果を適切に評価できていないという観点で,本稿は評価を下げています.客観的数値では効果を証明できていないことに加え,主観的評価もアンケートの取り扱いに疑義があり,ゲーミフィケーションが想定した効果を与えていることを明らかにできているとはいいがたいことも査読者から指摘されています. PC委員会での議論の結果,本稿は登壇発表に足る新規性を有することを鑑み,ショート採録と判定されました.ただし,「査読者が指摘している,論文記述に関する不適切な部分」について修正することを条件とします.
具体的には以下の通りです. これら以外にも記述に関する問題がないかどうか,著者相互でご確認の上,必要に応じ修正願います.
・論文タイトルは原稿とシステム入力のどちらが正でしょうか? 確定させてください.
・概要7行目「器具やガーゼの追跡…」→「器具やガーゼを追跡…」
・6.1節 縫合時間「H2の仮説は棄却された」→「H2の仮説を支持する結果は得られなかった」
・6.1節 スコア「実験後の縫合のスコアの平均は…」の後の「表示あり」「表示なし」はそれぞれ「条件D」「条件N」
・6.2節 「…質問項目は刺激の1部として統計された」→「…質問項目は刺激カテゴリを構成する1項目として挙げられている」など,日本語として表現がこなれていない部分を修正
・6.2節(6ページ目)「また, UEQ」の余分な空白を削除

[メタ] その他コメント

総合点

3: どちらかと言えば不採録

確信度

3: 自身の専門分野とマッチしている

採否理由

顕微鏡縫合術の訓練にリアルタイムフィードバックとゲーミフィケーションを用いてその訓練へのモチベーションを向上することを目指した研究です. ゲーミフィケーションそのものはすでに良く知られており,表現方法の新規性は特に見られないように考えられます.したがって,この論文の価値は,それを顕微鏡縫合術の訓練へ導入することの適切性と有用性に左右されるところかと考えます.スコアの適切性については論じられていますが,手法の有用性に関して,論文ではその部分の記述が明確とは言えないように査読者には感じられます. 仮説H1(モチベーションの向上)について,評価指標UEQを利用していますが,本文中にあるように「モチベーションを高めるかどうかの質問項目は刺激の一部として…」ということであれば,直接モチベーション項目だけを比較評価すれば十分なのではないでしょうか.わざわざユーザ経験の全体像を評価するアンケートであるUEQで評価する理由が不明です. 仮説H2について,訓練におけるモチベーションの向上は,訓練時間の増加を目的とするものと考えられますが,6.1に示されるように訓練時間そのものは伸びていません.考察で,筆者らは実験期間の短さを問題点に挙げていますが,もしそうであれば実験期間を適切に取る必要があるのではないでしょうか.また,ゲーミフィケーションの仕組みは利用期間が延びると効果が下がりやすい傾向にあるため(例えば[1]など),それらが相互に作用する可能性も考えられ,筆者が期待する効果が出るかどうかが不明瞭になってしまいます. さらに,学習効果を意味するスコアの向上度合についても,図7を見る限り差は明らかとは言えず,本手法の有効性を示すには至っていません. さらに,本稿はタイトルが投稿システムの入力と異なることや,以下のような誤脱字や日本語のこなれていない部分が目立つなど,論文の品質も高いとは言えません.
・概要7行目「器具やガーゼの追跡…」→「器具やガーゼを追跡…」
・6.1節 縫合時間「H2の仮説は棄却された」→「H2の仮説を支持する結果は得られなかった」
・6.1節 スコア「実験後の縫合のスコアの平均は…」の後の「表示あり」「表示なし」はそれぞれ「条件D」「条件N」
・6.2節 「…質問項目は刺激の1部として統計された」→「…質問項目は刺激カテゴリを構成する1項目として挙げられている」など日本語として表現がこなれていない
・6.2節(6ページ目)「また, UEQ」のところに余分な空白 以上のことから,本稿は有用性の主張を支えるデータに乏しく,論文の品質を考えても積極的に採録するには及ばないと判断しました.
[1] Itaru Kuramoto, 2009, An Entertainment System Framework for Improving Motivation for Repetitive, Dull and Monotonous Activities, Chapter 18, Inaki Maurtua(Eds.), Human-Computer Interaction, In-TECH, pp. 317-338.

この研究をよくするためのコメント

・論文の体裁に関するチェックは適切に共著者間などで行ってください.
・HMDを利用する提案手法は,2.3や3.2でいうところのドメインギャップを生まないのでしょうか? 手術のような繊細な動作を訓練する場合に,器具の使われ方の違いは学習に悪影響を与えそうな気がします.
・訓練のユーザビリティ向上のための機能と,モチベーション向上のための機能があやふやに混ざっており,議論もごちゃごちゃしているように思いますので,そのあたりをはっきりさせたほうが良いと思います.UEQはUXの評価なので,モチベーションの向上だけを議論しようとすると評価過剰になっているように感じます.
・スコアパラメータの分析の際に出てくる要素が「縫合時間・左ピンセット距離・OF平均・OF標準偏差」だけだと4パラメータしかないように見えるのですが,9パラメータとはいったい何を指していますか? またそれらが3要素を均等に代表したパラメータになっているかどうかの議論があると適切です.
・実際に顕微鏡縫合術に詳しい識者の意見があるとなおよいかと思います.


査読者2

総合点

4: どちらかと言えば採録

確信度

2: やや専門からは外れる

採否理由

本論文は、脳神経外科の顕微鏡縫合術の習得練習作業を定量的に分析できる枠組みを提案し、練習者のモチベーション維持に寄与するようゲーミフィケーションを構成した試みについての報告である。 提案システムの内容は画像処理および深層学習を用いた包括的なものであり、提起した既知の問題を解決できることが想像できるものである。関連研究の紹介に基づいて適切に提案手法の新規性が位置づけられている。短期的かつ10人という協力者数ではあるものの、評価実験によって有用性についても示されており、定性的には有用であることがある程度示されている。正確性も問題ない。論文記述について、やや不明瞭さを感じた。 以上より、「4: どちらかと言えば採録」と判断した。

この研究をよくするためのコメント

全体として、日本語論文として若干不自然な言葉選びをしている印象を受けた。 行頭のバレットがなかったり、行末の句読点の有無がゆらいでいたり、インデント規則がまちまちだったり、とやや独特な記法での箇条書きがところどころで用いられているという印象をもった。 論文本文の中に書き下せるならば、そちらのほうが読みやすいかと思った。


査読者3

総合点

4: どちらかと言えば採録

確信度

2: やや専門からは外れる

採否理由

顕微鏡縫合術訓練は,たしかにストレスも多そうで単調そうで時間がかかりそうで,なかなかモチベーションが上がらない作業であろうと想像できます.それゆえに,ゲーミフィケーションを適用する好例であることは間違いないと思います.適用事例としての新規性はあると思います. 本稿では,速さ・正確さ・丁寧さを画像処理と深層学習でスコア化しリアルタイムでフィードバックするという極めてスタンダードなゲーミフィケーション適用を行っています.特筆するほどの強い工夫がなされているわけではありませんが,順当だとも思います. 「ユーザーエクスペリエンス」という言葉が,5章で初めて出てきて3回しか本文中で使われない用語であるのに,実験で検証すべき重要な仮説になっていることに違和感をおぼえます.それほど重要であったのならば1章から説明されるべきですし,3章での提案手法のデザイン方針にも影響する話なのではないかと思います.モチベーション向上に貢献することを調べることが重要に思うので,ユーザーエクスペリエンスうんぬんは蛇足のように感じます.分析や考察については,記述の質は高くないと判断します.

この研究をよくするためのコメント

無理に分量を増やそうとせず,モチベーション向上がちゃんとなされたかの評価にフォーカスを絞った考察にした方が良いように思います.

査読者4

総合点

4: どちらかと言えば採録

確信度

2: やや専門からは外れる

採否理由

脳外科手術特有のスキルに影響する要素を明らかにし,実際の機器を用いたシステムを提案している点が新規であると考えます.技術要素の検討では,丁寧な要素検討が行われており,有用な知見であると思います.関連する研究として,腹腔鏡下手術などでは,内視鏡外科に必要なスキルの研究はHUESAD[1]などをはじめとして行われており,mimic社のダヴィンチシステムの練習用シュミレータdV-Trainerなどは大学にも導入され,練習に用いられています.dV-Trainerでは例えばSuture Spongeタスクなどで,針を刺す位置が上手いときとそうでないときの色分けなどもリアルタイムフィードバックが行われ,結果が最終的にスコアとして使用者に提示されます. 先行研究や製品をふまえた際に,本論文で行われた手技はガーゼの縫合であるため一般的な練習タスクに感じられ,そのようなゲーミフィケーションは上述のようにあることから,脳外科手術特有の点をより主張されるなど,先行研究との比較から新規な点をより明確にする必要があるのではと考えます.
[1]H. Egi et al.: Objective assessment of endoscopic surgical skills by analyzing direction-dependent dexterity using the Hiroshima University Endoscopic Surgical Assessment Device (HUESAD), https://link.springer.com/article/10.1007/s00595-007-3696-0

この研究をよくするためのコメント

以下は単純な疑問としてのコメントですが,長期的にモチベーション向上に寄与したかという調査には価値があると思うのですが,本論文では初学者を対象としている点について,その分野ではない人を対象とするというのは技術の評価としては納得できますが,ゲーミフィケーションによるモチベーションの向上という点に主眼がおかれているのであれば,対象の分野の初学者かそうでないかといった興味の有無は,モチベーションという観点では重要なのではないかと思いました.