乗員の操作指示に応えるだけでなく、自車周辺の「?」にも答える

2月25〜28日までスペイン・バルセロナで開催された「モバイル・ワールド・コングレス2019」において、BMWグループは「BMWナチュラル・インタラクション」を披露した。

この新しいシステムは、最先端のボイスコントロールや拡張ジャスチャーコントロール、そして視線検出を組み合わせた本格的なマルチモーダル操作を実現する機能で、2021年以降にデビューする「BMW iNEXT」に初搭載される予定だ。

BMWナチュラル・インタラクションでは、人と人との対話、言語、しぐさ（ジェスチャー）、視線のやりとりと同様の作用を、同時にかつ相互的に組み合わせて、クルマとの相互作用に利用するもの。ドライバーは状況や背景に応じて望ましい操作モードを直感的に選択することができる。車両側が（操作する人の）音声による指示、しぐさ、視線の方向を確実に検知し、これらを組み合わせることでそれらが意味するドライバーの希望へと変換する。

会話の認識、最適化されたセンサー技術、状況に即したジェスチャーの分析によって、自由でマルチ・モーダルな相互作用（対話）が実現。運転席まわり全域に巡らされた対話スペースでは、手や指の動きを正確に認識することにより、ジェスチャーの種類だけでなく初めてその指す方向も検知されるようになる。音声による指示は、自然言語理解（NLU）の力を借りて認識、処理される。日々改良されているインテリジェント学習アルゴリズムが複雑な情報同士を結びつけ、判断し、車両がそれに適切に応答することで、ドライバーの希望を中心に据えたマルチモーダルでインタラクティブな体験を創出するという。

さまざまなやり方を組み合わせることにより、車両の機能を異なる方法で作動させることができる。ドライバーは、自分の好み、習慣、あるいはそのときどきの状況に応じて、自分が選んだ方法で対話をする。ドライバーが会話に参加しているときでも、ジェスチャーと視線で（機能を）選択したり、路上に視線を配りながら音声とジェスチャーを使用したりできる。このようにして、車内でスイッチに触れることなくウインドウやスライドルーフを開閉したり、エアコンの吹き出し口を変更したり、コントロールディスプレイで選択したりできる。また、ドライバーが車両の操作方法を知りたい場合、たとえばボタンを指で示し、その機能について尋ねることができる。

拡張ジェスチャー検知と車両の高度なネットワーク化により、インタラクションスペースは車室内のみに限られない。たとえば建物や駐車場といった周囲の環境に直接、相互作用をする機会が得られる。指先と音声コマンドを通じて、「この建物は何？、営業時間は何時まで？、このレストランの名前は？、ここに駐車できる？、駐車料金はいくら？」などといった複数を組み合わせた複雑な質問にも、迅速かつ簡単に回答を得ることができるようになるのだ。

今回開催されたモバイル・ワールド・コングレス2019でBMWグループは、来場者に対して、複雑な複合現実（MR）を使った演出の一環として、BMWナチュラル・インタラクションによる顧客のベネフィットが直接体験できるアプリケーション・シナリオを披露。特別にデザインされたインテリア・コンセプトとバーチャル・リアリティ・グラス（VRグラス）を使って、リアルに表現されたBMW Vision iNEXTで仮想走行を行い、新たな可能性をデモンストレーションした。

来場者は車内の前席で室内幅いっぱいに拡がるジェスチャーカメラの検出範囲と、ジェスチャーコントロールによる新しい自由な操作方法を体験。まずトレーニングモードで指差し、ジェスチャーの方向検知が行なわれ、指を差し示す方向に動く光のパルスが現れる。これに続いてオブジェクトにハイライトが当たり、ジェスチャーを使ってそのオブジェクトと対話をする。このやり取りは、ジェスチャーと言葉の簡単な組み合せだけで自然に行なえる。たとえばドライバーがサイドウインドーを指差すとその周囲がマークされ、その後音声コマンドで「オープン」と言うだけで選択したウインドーが開く。

ドライバーの知らない街を自動運転で走る間に、周囲の環境との直接的な対話というまったく新たな可能性が提示される。運転はクルマが引き受け、来場者は単に建物を指差すだけでイベントや展示会に関するさまざまな情報を取得できる極めて革新的な観光ツアーに出発。ドライブの最後では、ユーザーは映画館のある道で通りすがりにチケットを予約し、車内でストリーミングによってその映画の予告編を視聴することもできる。