AIで言葉から触り心地を生成。未体験の顧客体験を創る「さわれる読書」

テキストや映像だけのデジタル体験に限界を感じ、より直感的で深いブランド体験や顧客接点を創出したい——そんな悩みを抱えていませんか。

今回紹介する「さわれる読書（FANTOUCHIE）」は、生成AIを活用し、入力された言葉から「触り心地」を生成する革新的なシステムです。CEATEC等での展示実績もあり、物語に登場する「ユニコーンの角」や「黄金のリンゴ」といった現実には存在しないものの触感まで、42の擬音分類の中から選ばれた5つの擬音の合成によって再現します。

テキストをオノマトペの割合に変換し、それに紐づく音声データをデシベル調整して触覚スピーカーで提示するという、極めて独自性の高いアプローチが本プロダクトの最大の特徴です。本記事では、開発の背景にあった課題意識、AIモデル検証時の技術的なつまずきとその解決策、そして企業のプロモーション領域や知育分野への応用といった今後の展望について、Dentsu Lab Tokyo クリエイティブテクノロジストの中山さん、川島さん、高梨さん、森さんにお話を伺いました。

生成AIとフィジカルを融合させる実験的プロジェクトの原点

Q. まずは「さわれる読書」のプロジェクト概要、そして開発の原点について教えていただけますでしょうか。

中山さん: 一番最初にスタートしたのは「FANTOUCHIE」というものでした。ラボ内で、どうやったら生成AIを活用してインタラクティブでフィジカルな体験を作れるか、という模索をしたのが始まりです。

最初の実験では、ピエゾなどのセンサーを用いてザラザラやサラサラといった物質の触り心地を検証していました。これを爪に取り付けたりして、ザラザラやサラサラの音をオノマトペと紐付ければ、言葉とつなげることによって触り心地の音を作れるのではないかと考えたのです。さらにそれを触覚スピーカーなどに提示させれば、触り心地そのものを生成できるのではないかと実験を進めていきました。

そうして形になったのがFANTOUCHIEというシステムです。言葉を入力すると、生成AIがその概念を「5つの擬音」で表現し、その擬音に紐付いている触り心地の音を合成して、最終的に触覚の振動スピーカーで提示します。例えば「ユニコーンの角」や「ドラゴンの鱗」といった現実に存在しないものでも、「これだったらこんな触り心地かもしれない」という感覚を生成できるシステムとして開発しました。

42の擬音分類と生成AIによる「オノマトペの割合」抽出

Q. 現実に存在しないものの触り心地を、具体的にどのようにして5つの擬音に合成・変換しているのでしょうか。

中山さん: 実験を進める中で、最初は3つの音を合成できるかなど色々と試行錯誤していました。そんな中、例えば「洗いたてのタオル」の触感を「オノマトペのパーセンテージで表現してみて」とChatGPT側にお願いしてみたのです。すると、「ふわふわ60%、もちもち20%、さらさら15%、ぽかぽか5%」といった形で数値を実際に提示してきまして、この手法は使えるのではないかという話になりました。

そこで参考にしたのが、オノマトペ を利用した触り心地の分類手法に関する資料でした。この資料は、人が様々な素材を触る中で思わず口にしてしまう擬音をマッピングしたもので、人は42種類の擬音を思わず口にするという結果がまとめられていました。私たちはその42の擬音と素材を紐付けて音を収集し、入力された言葉に対して「その42種類の中から上位5個を出して」とChatGPT側に命令をしています。10個など他の数もあり得たかもしれませんが、指定をしておくと意外と少なく提示してくることもあり、合成する中では5個が一番適切な数だという結論に至り、現在は5個の擬音を加算する仕組みになっています。

複雑なAIモデルからシンプルなデシベル調整へ。技術的な検証と決断

Q. 最終的に触り心地を出力するまでのフローにおいて、照合や合成のプロセスではどのようなAIモデルが関わっているのでしょうか。

高梨さん: 実は2種類の方法で合成を検証していました。一つの方法はAudioLDMを活用したものです。最終検証として、Text-to-Audioモデルの潜在空間と言われる圧縮されたデータ空間内の情報と、オノマトペの割合を照合する手法を試しました。オノマトペの割合から潜在空間の値がどこにあるのかを予測する独自のモデルを作り、オノマトペが入力されるとAudioLDMの潜在空間が予測され、そこから音声が生成されるという仕組みです。しかし、最終的にはそちらよりもシンプルに、オノマトペの割合ごとに音声のデシベルを調整してミックスした方が意外と納得度が高いという結果になり、シンプルな方式を採用することになりました。

中山さん: AudioLDMにあるテキストとオーディオを活用した特徴量予測で検証した際は、私たちの集める音がまだ足りなかったのかもしれません。出てくる音の傾向としてゴツゴツ系のものが多くなるなど、偏りが出てしまうという壁がありました。FANTOUCHIEを「さわれる読書」というサービスに組み込むにあたり、より物語に入り込めるような納得感のある体験を作る必要があったため、特徴量を使うのではなく、出てきたパーセンテージに応じてデシベル値を合成する方向に実装を切り替えました。

「さわれる読書」が提供する新しい物語の体験手法

Q. 実証を経て形となった「さわれる読書」は、具体的にどのような体験ができるプロダクトなのでしょうか。

中山さん: 展示の際は、実際の紙の本を読み進めるというよりは、画面上で「始める」ボタンを押して「触りたい本を選ぼう」という流れで体験していただきました。用意した物語と、それぞれに紐づく触れるアイテムは以下の通りです。

川島さん: 現状の「さわれる読書」のシステムには、この3種類の物語を体験できるように用意しています。物語ごとにそれぞれ3つの触り心地が体験できるようになっており、計9個の触り心地の中から選べるモードと、ユーザーが自由に「本の中のこういうものに触りたい」と言葉を入力して触れるモードの2つを搭載しています。

触覚がもたらす新たなブランド体験と多様な領域への応用展望

Q. 現実の感覚とリンクさせながら学べる体験が作れそうですが、今後のプロダクト展開や想定している応用領域について教えてください。

中山さん: CEATECなどで展示をさせていただき、体験していただいた方々からもまさにそういった反応をいただきました。リハビリテーションの領域に応用できるかもしれないというお話や、美術館などにある「触れない美術品」に対する新しいアプローチができるのではないかといったアイデアもいただいています。プロダクトとしての展開としては、この技術を使って企業様のプロダクト体験をよりエンハンスさせたいというお話をいただいており、プロモーション的な活用をメインで考えているところです。

川島さん: テキストを触り心地に変換できるという特性を活かし、ブランドの世界観に物理的に触れてもらうような、広告的な領域での活用も進めています。また、「さわれる読書」の発展形として、チーム内では「さわれる試し読み」というアイデアも生まれました。本の冒頭を試し読みして面白さを判断する体験に、触覚を組み合わせることで、これまでにない本との出会い方や、作品の魅力の伝え方が生まれるのではないかと考えています。