メタバースと自然言語処理
自然言語処理や対話研究がどのようにVRベースのメタバース*1に貢献できるかを知るため、ロンドン大学の「Building Interactive 3D Characters and Social VR」を聴講した。本記事では、講義の中で筆者が面白いと感じた部分を備忘録として記す。
筆者はメタバースへの興味から、実際にヘッドセットを数週間前に買い、100時間以上をメタバース空間*2で過ごし、またUnityを用いたメタバース上への簡単な世界構築なども経験してみた。本記事では、前述の備忘録に加え、これらの実体験をも交えて、メタバースの将来性と自然言語処理との親和性の考察もする。
なお、引用元の下訳はDeepLで行い、その後に筆者が一部修正・意訳した。
まとめ
- ソーシャルインタラクションはVRにおいて重要要素の一つ。VRによる訓練は社交不安障害の治療に有効との研究報告もあり、また、語学練習のみならず恋愛練習にも有効とのユーザの声もある。
- 医療応用やエンターテインメントの文脈で、NPC (non-player character) 技術への注目は高まっており、これにはボディーランゲージと自然言語の両面で攻める必要がある。そのため、メタバース分野において、自然言語処理・対話技術者の需要が増すと予想される。ただし、ボディーランゲージの重要性などのため、従来の自然言語処理・対話技術がそのまま適用可能とは限らないことに注意されたい。
- メタバース分野は日本勢に商機がある。不気味の谷がある故、アニメアバターを使用するほうが実物に近いアバターを使用するより、リアルに感じられるため。実際に筆者もメタバース空間で、日本の存在感に驚かされた。
要素
講義では、VRにおけるソーシャルインタラクションの重要さが強調されている。 なぜ、従来のネットに比べVRはソーシャルインタラクションに向くのか。
ボディーランゲージ
講義によると、親密さ向上においてボディーランゲージこそが重要とのこと。 ボディーランゲージこそが従来のネットに比べVRをよりコミュニケーションツールとして有用なものにしているらしい。 直感的にも納得できるが、研究的裏付けもある。
特に傾聴のボディーランゲージは重要でした。それは、クリスティーナ（AIソーシャルエージェント）が本当に参加者に注意を払っているかのように錯覚させ、彼女をリアルに感じさせたのです。 これらのリアルなボディーランゲージの活用で、クリスティーナ参加者に強烈なインパクトを与えることに成功しました。 （引用元: Cristina）
自然言語
ボディーランゲージだけでなく、自然言語における受け答えも重要であることは言うまでもない。
会話は、人間のソーシャルインタラクションを支える基本的なものです。私たちが他人と交流するとき、ほとんどの時間を会話に費やします。どんな会話にも2つの要素があります。一つは意味の要素で、これは主に私たちが発する言葉によって担われます。そして、ボディーランゲージと声のトーンによって運ばれる社会的、感情的な要素です。 （引用元: Speech）
応用と今後
治療
VRは社交不安障害（social anxiety）の治療に有効らしい。 筆者は英語では人付き合いに不安を感じる事が多いのだが*3、たしかにVR上で練習できている気がする。
メタバース上の知人からは「異性経験が少ない人は、VR上での練習も効果的だと思う」との意見もあった。
人付き合いに不安を感じる人は、可能な限り人付き合いを避ける傾向にあります。しかし、そうすることで、社会的スキルを練習する機会も逃しているのです。そして、練習をしなければしないほど、より不安になる、という悪循環に陥ってしまうのです。この悪循環から抜け出すには、仮想のキャラクターを使って社会的なやりとりを練習することが有効です。（引用元: Applications of Virtual Characters）
対話AI
これらの治療への応用やエンターテインメントの文脈で、NPC (non-player character) 技術への注目は高まっている。 そのため、自然言語とボディーランゲージの両面からのソーシャルインタラクションの技術開発、そしてVR上での対話AIの技術開発が、VR業界におけるホットトピックになる可能性がある。
今後は特に、NPC (non-player character) 技術が進歩すると思います。なぜなら、大規模なマルチプレイヤーVRの世界が始まると、NPCがうまく機能していないことを、人々はより強く意識するようになるからです。これは非常に興味深い研究分野だと思います。 （引用元: Designing Virtual Characters）
VRにおけるソーシャルインタラクション研究の重要性・将来性は、講義のまとめでも再度強調されている。
ソーシャルインタラクションは、これからのVRの最も重要な要素のひとつになるでしょう。 （引用元: Summary of Social VR）
商機
アニメ
筆者はメタバース分野に関して、日本に商機があると思っている。これは、日本はアニメやゲームに対する親和性が相対的に高いためだ。 講義では、不気味の谷があるため、実物に近いアバターよりアニメアバターのほうがよりリアルに感じるという話が取り上げられていた。 アニメアバターは日本の得意分野だ。実際に、最大級のメタバース空間であるVRChatに行くと日本の存在感に驚く。 やっぱり日本勢はVRにこそ商機があるという印象がある。
「より簡略化された抽象的な表現が、実はよりリアルな体験をもたらすということですね。」 「その通りです。漫画から多くの教訓が得られると思います。スコット・マクラウドという偉大な理論家曰く、アバターのリアリズム度合いを下げることで、逆により「リアル」になるとのこと。なぜなら、リアリズムが邪魔にならないので、アニメーターが使う様式化・誇張のトリックが活かせるからです。」 （引用元: Designing Virtual Characters）
導入インセンティブ
一方で、ビジネスシーンへの導入に関しては欧米が先を進むことが予想される。 「VRで他人種のアバターを使うことで、人種バイアスを減らすことができる」という報告もあるらしく、人種差別に敏感な欧米でのビジネスへの導入インセンティブは大きいためだ。
異なる人種のアバターをVRで使用することで、人種的偏見を減らせることができる可能性がある。 （引用元: Self-Avatar | Implementation and Applications）
