株式会社コーセー（以下：コーセー）は2024年9月18日、関西大学総合情報学部の瀬島吉裕教授との共同研究によって、化粧品のオンラインカウンセリングにおいて顧客の気分を推定する数理モデル（気分推定モデル）（以下：本技術）を開発したことを公表した。

音声情報から顧客の気分を推定

本技術はオンラインカウンセリングの音声から、顧客の気分の高まりや落ち込みをリアルタイムで察知することが可能。これを応用することで、より一人ひとりに寄り添ったカウンセリングサービスの提供が期待できるだろう。

共同研究者である瀬島教授はこれまで、オンラインコミュニケーションでの気分の盛り上がりを推定する数理モデルを開発してきた。しかし、このモデルは対等な2人のコミュニケーションを前提としていたことから、カウンセリングのような役割が異なる2人（顧客とビューティコンサルタント）のコミュニケーションには適用が難しいモデルとなっていた。

本研究では、実際にコーセーが実施するオンラインカウンセリングの様子を解析することで、このモデルの再設計を実施。接客を行う側、受ける側と異なる役割に合わせた熱の流れになるように工夫することで、オンラインカウンセリングに対応した気分推定モデル（※1）を開発するに至った。本技術を用いることで、カウンセリング中のビューティコンサルタントと顧客の音声情報から、顧客の気分を推定することが可能となる。

※1：特許出願済み：特許出願番号2024-105534

※画像元：化粧品のオンラインカウンセリングにおいてお客さまの気分をリアルタイムに推定する数理モデルを開発（株式会社コーセー）

気分変動をリアルタイムで捉えることを確認

開発した気分推定モデルが、実際に顧客の気分を推定できているかを検証。20～40代の男女15名にスキンケアに関するオンラインカウンセリングを体験してもらい、その様子の録画を見ながらそのときの主観的な気分を評価、その結果とモデルによる気分の推定値の一致度を確認した。

その結果、開発したモデルによって推定した気分の変動と、本人の主観による気分の変動は高い一致度を示した。

このことから、今回の気分推定モデルはオンラインカウンセリングにおける顧客の気分変動をリアルタイムで捉えられることが確認できた。

※画像元：化粧品のオンラインカウンセリングにおいてお客さまの気分をリアルタイムに推定する数理モデルを開発（株式会社コーセー）

あらゆる接客現場で活用できる可能性

近年、自宅にいながら、美容や化粧品のカウンセリングを受けられるオンラインカウンセリングサービスが広がっている。コーセーによる調査では、オンラインカウンセリングを受けた人の約9割が美容への興味・関心が増加し、約7割が購入検討や店舗訪問を行い、約3割が商品を購入したことが明らかとなった。

しかし、オンラインでは画面越しのコミュニケーションとなるため、顧客の変化を察知する情報に乏しく、一人ひとりに寄り添ったカウンセリングが難しくなるという課題があった。こうした状況を背景に、音声からリアルタイムに推定できる数理モデルの開発に至ったという。

今回開発した技術は音声を用いた気分推定モデルであることから、オンラインに限らず、あらゆる接客現場で活用できる可能性があるだろう。

本研究成果の一部は、化粧品技術の発表会である第2回日本化粧品技術者会（SCCJ）学術大会（2024年11月18日～20日、兵庫県）にて発表予定である。接客を通じた売上を大きく向上させるきっかけとして、幅広い業界で注目が集まりそうだ。