査読者1

(Primary)レビューサマリ

研究活動支援、とくに知識の継承やコミュニティ内コミュニケーションを支える視点は評価者全員に共通して高く評価されました。一方で、既存システムとの重複や新規性の曖昧さ、評価の浅さなどが繰り返し指摘されており、これらが採否の判断を難しくしており、採録寄りボーダーラインとされています。
採否判定会議では、以下の条件付きで採録となりました。

- 採否判定会議では、論文中で述べられているデザイン指針は徐々に組み上げていったものなのではないか、という仮定のもと議論されました。仮にそうなのだとすれば、その旨を明記いただき、デザイン指針から実装を直線的に導出したような書きかたは抑えてください。そうでないとすれば、デザイン指針の導出過程をより具体的に記載ください。
- 関連研究それぞれについて、単に羅列するのではなく、本研究との共通点と違いが明確になるよう書き直してください。

(Primary)採録時コメント

研究コミュニティに導入が容易で,論文要約スライドの視覚的価値を活かせて,コミュニティ内の繋がりや議論を誘発できるという三つのデザイン指針を満たすシステム「Paper Gallery」を提案し,ゼミでの10か月の運用で得た実証的知見を報告している.既存Wikiシステムを拡張して実現され,差分が見えにくい点が懸念だが,論文要約スライド活用を多角的に試行した点が新しく、研究活動支援のありかたについてWISSで活発な議論が期待されるため,条件付き採録と判定された.

(Primary)論文誌として必要な改善点

採否理由・改善コメントを参照のこと。

総合点 (1: 強く不採録~6: 強く採録)

4

確信度 (1: 専門外である~3: 自身の専門分野とマッチしている)

3

採否理由

本研究は、研究コミュニティに導入が容易で、論文要約スライドの視覚的価値を活かせて、コミュニティ内の繋がりや議論を誘発できるという三つのデザイン指針をもとに開発した「Paper Gallery」のインタラクション設計と、ゼミで10か月継続的に運用した実証的知見とを報告するものである。
個々人の論文読解支援はよく研究されており、勉強会支援システムも存在している(Paper Guilds)が、本研究は論文要約スライドに焦点を当て、その活用を多角的に試行している点に新規性がある。

一見、Wikiシステム「Cosense (Scrapbox)」のシンプルなラッパーに見えるが、論文後半にかけてLLMによる研究発想支援やチャットシステムによる勉強会支援などが提案されており、技術的な工夫が見られ、また、10か月の運用に耐えた点からも有用に見える。
ただ、導入容易性はCosense前提である制約が強すぎ、Notionの場合に本当に可能なのかといった疑念は残る。

論旨は明確だが、デザイン指針が後付けのようにも見え、万が一そうであるならば運用の過程で反復的に機能を実装していき、最終的にデザイン指針が得られたというふうに報告したほうがよかったようにも見える。この疑念は評価実験で得られた知見がチャットログ分析を除いて極めて薄いことで強まってしまった。

全体として、デザイン指針の検証が十分とは言えないが、システムが実装され、安定的に運用されている点において、ワークショップ論文としては採録相当と判断した。

改善コメント

ゼミという固定的コミュニティでの長期的な評価ではシステムを通して各ユーザがどのように変化したか(個々人が成長できたか、コミュニティ内の連携が促進されたか)の観点で踏み込んだ評価がほしいが、これはジャーナル論文で扱うべき内容かもしれない。

また、関連研究が8件しか引用されていないのは寂しい。研究支援に関しては、Andrew Headらの研究グループの取り組み(例: https://dl.acm.org/doi/10.1145/3411764.3445648, https://dl.acm.org/doi/10.1145/3544548.3580847 など)や、論文内容をNLPでアクセシブルにする取り組み(https://dl.acm.org/doi/10.1145/3589955 など)がある。
スライドの視覚的要素を活用する観点では Gallery-based interface への言及があってもよいし、視覚的情報を多人数で集積して知見を見出そうとする研究(https://dl.acm.org/doi/10.1109/TVCG.2007.70577 など)も存在する。
第三著者が関与する Paper Guilds https://pgl.jp に言及してもよいだろう。

査読者2

総合点 (1: 強く不採録~6: 強く採録)

4

確信度 (1: 専門外である~3: 自身の専門分野とマッチしている)

2

採否理由

・新規性
Cosenseの利用経験が少ないので誤解があるかもしれませんが、論文紹介の記事だけを集めたCosenseの管理単位を作り、一覧表示におけるサムネイルを改善することで、ライブチャットの表示を除く提案機能のかなりの部分がカバーできてしまうように読めました。
Cosenseに対するオーバーレイのように機能する実装方式(ブラウザのアドオンなど)も考えられるのではないかと思いました。

・有用性、正確性
10ヶ月間の運用において具体的にどのような活用事例があったのか示されており、研究グループ単位のコミュニケーション促進に関する知見が共有されていることは有用であると思います。
「個人のSlackページ」というのがDMを送る画面のことを指しているとすると、興味ある研究を調べた人と連絡を取っている様子がコミュニティ内でシェアされないのはもったいないと感じました。

・記述の質
分かりやすく記述されていますが、参考文献がWebサイトの場合はアクセス日を記載するのが望ましいです。

改善コメント

研究者との連携支援について、Slack DMではなく公開チャンネルに誘導することは、利用者にとって敷居が高いでしょうか。コミュニティによるとは思いますが、こうしたデザインチョイスについても発表で言及していただけると有益と思います。

査読者3

総合点 (1: 強く不採録~6: 強く採録)

4

確信度 (1: 専門外である~3: 自身の専門分野とマッチしている)

2

採否理由

新規性・有用性
論文要約スライドを体系的に共有・再利用する仕組みを構築し、学術コミュニティの知識資産化を目指す着想は興味深い。特にゼミにおける知識の継承といった研究室運営の実課題に着目し、多様な機能を実装し実運用した点は評価できる。また、10か月間で928件のスライドを収集・蓄積した運用実績は、システムの有効性を一定程度示している。ただし、そのうち499件は既存スライドであり、新規件数は429件にとどまる点には留意が必要である。

実験の結果として、学生からの自発的な発言が少ないという課題が顕在化し、当初の目的であるコミュニケーション活性化という観点での貢献は限定的であった。また本研究には関連研究の整理が欠如しており、既存の知識共有サービスとの差分が明確に示されていない。そのため新規性の主張が弱く、記述が著者の経験や感覚に依存している印象を与える。さらに、「研究テーマ創出支援機能」などの付加要素は本来の目的(スライド資産化)との関連性が曖昧であり、十分な評価も行われていないため、研究の主張が散漫になっている。

信頼性
10か月の運用において429件の新規論文ページ、1064件のコメントが生成されたことは示されているが、これが当初の期待値と比較してどの程度の成果であるかは議論されていない。また、発言者の約8割が教員であった点は「学生の議論活性化」という目的と整合せず、目的達成度に疑義が残る。設計方針(D1, D2等)に対する評価も主観的な感想に留まっており、十分な定量的検証は行われていない。さらにD3に関しても単純な分類にとどまっており、教員・学生の差異や学年ごとの違いといった多面的な評価は実施されていない。

また件数に関しては、ゼミでの発表という外的要因が強く作用しており、この成果が純粋にシステムの効果によるものか、外圧によるものかを切り分けて議論できていない。結果として、因果関係の解釈には曖昧さが残る。

記述の質
論文全体の構成は読みやすいが、引用が曖昧な記述(例:「LLMによるスライド自動生成技術が存在する」→出典不明)が散見される。また、書誌情報やタグ付けが利用者の手作業に依存しており、「負担軽減」という主張との整合性に疑問が残る。

関連研究の章を設け、既存手法との差分を整理し、新規性と有効性を学術的に位置づけること。

実験について、コミュニケーション活性化の観点からより多面的な分析を行うこと。例えば、導入前後での変化、一部学生のみによる活発化か全体的な傾向かといった点を明示すること。可能であれば各設計方針に対する定量的評価を提示し、当初の目的であるコミュニケーション活性化にシステムが寄与したことを示すエビデンスを補強すること。

改善コメント

実装および一定規模の運用実績は確認できるが、評価は限定的であり、議論が浅い印象を与える。定量的な評価や、その結果が生じた原因・背景に関する多面的な考察を追加することで説得力が高まる。
指摘されている課題については著者の感覚に基づく記述が多いため、関連研究や既存事例を引用して論理を補強すると良い。
Cosenseとの連携は特徴的であるが、タグやキーワード抽出が手作業に依存している。自動化の導入を検討すべきである。

査読者4

総合点 (1: 強く不採録~6: 強く採録)

4

確信度 (1: 専門外である~3: 自身の専門分野とマッチしている)

2

採否理由

本論文では,論文要約スライドを活用した,一連の研究活動を支援するWeb システム「Paper Gallery」を提案している.
研究室内での10か月の運用もされており,システムが有用であることは論文中で十分に示されている.
論文の記述の質は高く,よくまとめられている.提案システムは過去のスライドが見やすく,コミュニケーションができるという利点がある一方で,論文においてはCosenseなどとの明確な差異と,研究としての新規性に関する主張が弱いと感じた.新規性については,設計思想は述べられているものの,既存技術の組合せであるように見受けられたため,それに類似したサービスではどの部分が不十分であったかの比較などを運用結果も踏まえて議論がなされるほうがよいと思われる.このように,新規性に不明瞭な点があるものの,システムとしての高い有用性や長期運用,コミュニティへの貢献の可能性をふまえて,「4: どちらかと言えば採録」と判断した.

改善コメント

展望に書かれているように,今回の活用事例を通して得られた示唆を踏まえ議論活性化などを行わせるなどの工夫がシステムに入ってくると,このシステムの独自性が高まり,新規性のより高いものになると思いました.