🍳

XRの使い道は、HUDのように使うことなのかもしれない - AIとお料理をしよう

未踏ジュニアでお馴染みの鵜飼さんが持っていたinmo XRというAndroidが入っているXRグラスを貸してもらってちょっとしたハッカソンをしたのですが、使い道に悩んだ挙句、AIで作ったAIと楽しむ料理アシスタントを作りました。そこでXRグラスを使用してAIと料理することを試みたので、紹介します。

この記事の内容は大きく変更される可能性があります
2026/1/12

今日は未踏ジュニアでお馴染みの鵜飼さんが持っていたinmo XRというAndroidが入っているXRグラスを触ってきて、それで使えそうなプロダクトを考えてきました

inmo XRの可能性を探る

自分はXREAL Oneというレンズも持っていて、それと同じようなことができるんかなーと思っていた。基本的に自分はXREALをモバイルモニターと同じような使い方しかしていないので、ぶっちゃけこれ向けのアプリを作る必要性をあんまり感じていなかった。専用のUIとか作ったり、APIとかを探したりするのが面倒なので。

ただ、実際に触ってみるとやっぱりケーブル不要で、スタンドアロンで動くというのはとても大きな強みで、開発者的にもいろいろできることが増えるので今後こういったデバイスが増えてくるだろうとも感じた XREALの方式とは違い、非常に薄型で目立ちにくい(それでも違和感はまだあるが)し、メガネ部分の薄さと性能だけで見ればEven Realitiesの上位互換なのか?と思った。

(Even G1については電電猫猫さんが紹介しているのでおすすめ:) https://note.com/electrical_cat/n/ncbff77528ada

inmo XRが最強なのかはわからない(XREALとしか比べていない)けど、なんとか実用に耐えるところまで来ているなというふうには感じた。重たい動作をさせると耳の周辺が異常なくらい発熱したり、中華あるあるだけど、Play Storeが使えず、その周辺のサービスも使えないなどの問題もあった。これは…なんとかして解除する方法があるのかもしれない

また、ディスプレイも面白くて、XREALではバードバス光学系?と言って、目が当たりそうなギリギリのところに三角形のミラー(半透過ミラー)を使って目に映像を届けていたんですけど、inmoXRではこれとは別の方法で、謎技術により超薄型で目に映像が届きます。なんて言ったらいいんだろうか…うっすい数ミリのメガネのレンズの中に、ミラーが埋め込まれていて…横から当てられた映像が見えるというか…(語彙力皆無)

Androidということもあり、マウスに相当する操作方法が必要だった。結果、inmoXRでは、タッチパッドみたいなデバイスと、指にはめて使う指輪型のデバイス(これもタッチパッドかな)がある。

現状のウェアラブルデバイスの弱いとこ

これとは別で、inmoXRでも、それ以外でも共通してある問題も認識しました。

ほとんどの高機能なXRグラスでそうだけど、結局全部メガネが重く、少なくとも自分は日常的につけるのには耐えられない。Even G1/G2みたいな、機能を絞りまくったものならあるのだけれど、フルHDで表示するとか、Android内蔵させるとか、そういったことをしているものはだいたい重たいし、目が疲れたりする。 あと視力が0.7くらいの自分はインサートレンズが必須だったりする。コンタクトレンズ使えば良いのでは?という話も聞くけど、やっぱり目に自分の手で異物を入れて、それを毎日やるだなんて怖いよ… でも、やっぱり人間が機械に順応にするために、そういった我慢も必要何かもしれないw

なので、開発者目線だと、やっぱり性能が良いこういうやつのほうが嬉しいけど、結局普段使いすると疲れまくる。

でもまあ、この辺は割とすぐに治りそうな気がする。時代が進めば小さくなるでしょ…と。

何を作ろう

で、何を作ろうか考えたけど、1日でサクッと作ろうという話(ハッカソン的な)になったので、結局inmoXRの最大の長所のAndroidが動き、デバイスAPIが使えるところは無視した。それよりも、画面の透過率が高く、まるでHUDのように使える当店と、ケーブルが耳から繋がっていないので、使えるシーンが多くなったところに焦点を当てた。

最近XREALで困ったことは…あっそうだ

ということで、料理を手伝うAIアプリを作りました。 Image from Gyazo (イメージ図 by Gemini)

まあ内容はシンプルです。家にあるものとか、作りたいものとか、適当に言うと、AIが「レシピ.json」(笑)を作成して、それの通りにシステムが動いてくれます。 inmo XRでは、良くも悪くも黒色は透明になるという特性がある(これはXREALも似ているけど、より透明になっている)ので、これを活かした形になる。

で、以前だったらこういうプロダクトとして使えるレベル(プロトタイプにとどまらず、実用できるもの)のものは最低でも1週間くらいかかってそうな気もしていたけど、LLMのコーディングアプリ(Cursor)とか使うと1日、いや、半日でできる

現状人に必要なのはAIを監視して、なんとなく動きそうかとか、最後までうまくいきそうか、AIの動きを見ていて、修正が必要かどうか、もし修正が必要だったらどのタイミングで中断して修正させるかを判断するスキルだけ。

とりあえず適当に作ったので、試してみてください(LLM代を払っているので、払えなさそうだったらやめる)

工夫したところ

やっぱりXRだと文字が若干読みずらいのがあったので、ボタンをクソでかくしている。PCで見るとなんだこれっていうデカさだけど、案外XRだとちょうど良い。

あと、当初はボタンの色が黒っぽかったけど、黒ければ黒いほど透明になる(映画館のプロジェクターも同じだね)ので、明るい環境で使えるようにボタンの色は緑にした。これが一番よく見える。やっぱり映画のHUDが緑なのには理由があったのかもな。

さらに、ボタンを減らす必要性もあった。一応デモではボタンがいくつかあるけど、最終的にはこれを頭の動き(頭を振って次のページ)みたいなもので制御する必要がある。料理中の肉を触ったべったべたな手でタッチパッドを触りたくないからね。なので、将来的にボタンをなくせるように、最大ボタン数は4つまでに抑えて、テキスト入力のところも音声入力に対応させている。

ほかに作りたいもの

もしめちゃめちゃグラスの性能が良くて、視野も広がるなら、現実のオブジェクトを認識して、その位置関係に基づいた描画ができるようになるといいなと思っている

まあすでにVision Proみたいに、チップを使って映像を取り込むというアプローチを使えばこういったこともできるけど、やっぱりグラスみたいな手軽なかたちで使えると、より社会に受け入れられやすそう(少なくともvision proのそれよりは)だし、コストも安い。

実際に料理に使ってみる

鵜飼さんがいたら、inmoXRを貸してくれるけど、自宅にはないので、代わりにXREALと、スマホを使って料理を作ってみる。ただ、結構色合いは変わったり、耳からケーブルを生やして、PCかスマホに繋がないといけないので、実用性は微妙。

今度料理するときに使ってみて、いけそうだったら追記します

0人が0回拍手しました

関連記事

💻

GitHubでチーム開発してみよう

2025/10/6

GitHub、アカウント登録はしたけど開発者じゃないから使わないというそこのあなたのために、さっと使い方を説明した記事を書きました。

0回拍手されました

🤖

GoogleスプレッドシートをAPI経由で読み込もう!

2024/6/22

Google スプレッドシートを API 経由で読み込もう!

去年別のサイトで書いた記事を再公開したものです。

超簡単です。Google スプレッドシートに書いた情報を API...

0回拍手されました

🗓️

ライフログのシステムについて思うこと

2025/11/18

LLMの進歩によって人の行動やを言語化したり他者との会話を分析したりすることが簡単になった。でも、イマイチどれもしっくりこない気がしたので、技術的な面と、使いやすさの面から色々考えてみる。

0回拍手されました

🤖

ビジュアルプログラミングにLLMを組み込みたい(Blockly × LLM)

2024/11/22

初めまして。そうまめこと得丸創生と申します。 1 年ほど前から Typescript / React の Web アプリ開発にどハマりして、現在は[「TutoriaLLM」](https://tuto...

0回拍手されました