UIST2016のレポートです。
全体の感想は前の日付のやつ見て。
キーノートってそんな面白い話じゃない可能性があるのであんまり期待してなかったんだけど面白かった。
水滴を落として水滴の位置をカメラで検出しそれに合わせてプロジェクタで画像出すことによって立体ディスプレイ！てやつが結構前のSIGGRAPHで出したけど、その応用で逆に水滴を避けて照らすこともできるんじゃね？！て話。すげえ、その発想は無かった。
車のヘッドライトを雨降ってる時に照らすと、雨ばっかり明るくなってしまい相対的に先が見えなくなってしまうので雨を避けて照らすことで見易くしたいって話だった。 検出と照らすのにカメラつけたプロジェクタを載せるのででっかい怪しい車になってしまうものの、結構いい感じに見易くなるみたい。具体的な数字は忘れたが、動画では雨降ってるのが気付かなくなる程度には見易くなってるように見えた。
あと霧はさすがに無理だとかなんとか。そりゃそうだな。 質問で霧に立体投影とかできるんじゃねとかいうのがあったが、立体投影するには投影するプロジェクタ2台間の距離も必要で車にのっけらんね、という話だった。なるほどなー。
まとめとしてはプロジェクタは投影制御できる照明だから楽しいぞという話だった。
最初のセッションはこれ
VR HMDの操作方法として、外側をタッチ操作できるのが良かった、という話。Vitaの背面タッチみたいな感じで操作する。
右側だったり、タッチパネル手に持ったりと他のやつも評価してみたが、顔の正面側にくっつけるのが一番良かったとのこと。 そりゃまあそうなるだろうなという結果だが、今は側面の奴が市販されてたっけ？なんで正面に作らないんだろな。
タッチ操作で文字列選択するのってめっちゃ難しいので、なんとなくで選択しておいてあとから抜き出すとかそんなだったような。
選択範囲自体をぼかしておいて、文章を解析して近い部分をあとから広げたり狭めたりってのができるようだけど、それよりきっかり選択できる方が人気だったとかなんとか。まあ気持ちはわかる。
曲げられるディスプレイに、さらに小さいレンズ(レンチキュラー的なの……ていうかまるっぽい奴か)を貼りつけて曲げられるし裸眼立体だよーって話。
どうも曲げられる方が主なのかな。曲げセンサが入ってて、曲げ具合を入力として操作できるとかそんなんだったようだ。 実際にデモで見せてもらった時には曲げて音鳴らす楽器みたいなのをデモしてた。しかし壊れて画面が映らなくなってたよ……。
スマートウォッチに電場を感知するセンサをくっつけて各種ジェスチャを識別するってやつ。 おーすごーい、とか思ったのだが、次の日には追加センサ不要とかいうもっとすごいやつが発表されていたのであった……。 いやこれはこれですごいんだが。
次はこれ。
スマートガイド(イラストレータとかにあるアレよ)のさらにすごいやつ。
早くこういうの欲しい。
スマホのクソ狭い画面でマルチタスクをするとアプリの切り替えがとてもめんどい。なので重ねられるようにしました！てやつ。どう見ても最悪に使いづらそう。
コントローラ入力だけを見てゲームを分類するとかなんとか。
コントーラ入力のシーケンスを見てなんか忙しい面やってんなとか、ジャンプばっかりする面やってんなってのを分類し、こんな面が好きな人はこの面も好きですみたいなのを(実際出すかどうかはともかくとして)出せるようにする。
なるほどな。忙しいゲームが好きなあなたはこんなゲームも好きでしょうみたいなのを出せるようになるってことか。
磁気センサを指に付けて、磁石を置いとくとその位置関係を取得できるってやつ。 あんまり内容覚えてないな。 センサーでけえ……。
タッチ系が多いですが、これはむしろタッチ出力、つまり触覚系セッションですね。
直接振動とかでなく空気を吹きかけて触覚を再現するてやつ。 首筋とか手首とか頬とかか効くらしい。ちょっと嫌だなそれ……。
タッチペンに音と振動を仕込んで紙の書き味を再現しようてやつ。 アイディアは良さそうに聞こえるが、音と振動でマーカーの書き味を判別できたのが75%くらい、音だけで判別できたのは50%くらいと、ちょっと費用対効果が微妙な気がするぞー？
紙へ文字などを書くだけでコンピュータへの入力になり、俺の手を使って勝手にコンピュータがグラフとか描いてくれるやつ。すごい。こわい。
なんか数式を書いてグラフの枠線を書くと、コンピュータがあーグラフ描こうとしてんだなーと判別し、ユーザーが直線を描こうとするだけで筋肉を勝手に動かして数式に沿ったグラフを描けちゃう。
車の絵を描いて線ひっぱると空力シミュレーションしてそれに合わせて線引けるように筋肉動かしちゃう。
実際使えるかっていうとかなりどうかと思うけど、未来感は溢れてた。
あれ、これなんだっけ。あんまり覚えがない。
手話みたいな何かを学習するのに触覚を与えて学習すると覚えやすい(長期間覚えてられる)とかそんな内容だった気はする。
きっと触覚が無かったから内容覚えてないんだな。
フライホイールを頭にくっつけて慣性を再現するってやつ。頭の前後に着けてみたが、前が酔いづらいくて効果高いとかなんとか。
フライホイールとしてHDDをくっつけてるのが笑える。
これ朝だからちょっと遅刻していったんだよなぁ。
これすごいやつ。なんだが、途中から入ったので聞いた時はすごさがあんまりわからなかった。 ベストペーパーとかになってたのでちゃんと確認したんだが、ハードウェア無改造の市販スマートウォッチでソフト的に高頻度で加速度センサーを読むだけでかなりのジェスチャ認識ができるってやつだった。すげー！無改造かよ！
圧力センサーだかを仕込んだ靴下みたいなので、義足の感覚を取れるようにするぜ！て話だった。 感覚取るのはいいけど上手いフィードバックが課題とかそんな感じだったような。
何時に寝入ったとか眠りの深さとかを記録するアプリがあるけど、取っただけでは仕方ないので、お前は寝るまでに何分かかるからそろそろ寝ろって言ってくれる奴を作ったとかなんとか。悪くはないんだけど、そろそろ寝ろってだけかー……。もうちょっといろんな指示欲しいですね。
スマホを身体のどっかに押し付けたってのを学習させといて、実行時にどこに押し付けられたのかを判別してショートカット的に使うとかなんとか。 そんなの判別できるのはすげーけど、使い道は難しいですね。ショートカットに使うにはめんどくせぇだろ。
表現系？
自然言語での検索みたいなのを解析してデータの絞り込みやグラフ表示みたいなのを出来るようにしたって話。 元々タグ指定みたいなのでそういうのができるサービスがあるらしく、それを自然言語に対応させたような形っぽい？
普通に便利そう。
プログラムで書いたSVGを、逆に手でいじるとプログラム側が書き変わるってのを作ったという話。 見た時はそんなん何に使うんだよっていう気がしたけど、もうちょっと高度になるとゲーム作るのに便利そうですね。
スマートフォンとか画面がちっちゃいから情報量増やすために文字をやたらと小さくしがちだが、文字小さくしすぎて見えなくなっちゃうと判別できない文字が出てきちゃうので、めっちゃ小さくでも判別はできる文字を作ったよ！という話。
日本人からすると、まずアルファベットとかいうその情報量少ない文字やめればいいんじゃねぇのという感想が先に出てくる。てかお前らが作るWebページでわざわざフォントサイズが極限まで小さく指定されてんのは情報量少ない文字使ってるからかよクソがと殺意が湧いてくる。
そして極限まで小さく暗号化され、判別つきづらい文字を色分けすることで回避するというSmartfontという名前の全くスマートとは思えない代物に閉口するしかなかった。
CTスキャンした画像を3Dにする時にノイズ部分は取り除くんだが、あんまり閾値を低くするとノイズだらけになるし、閾値を高くしすぎると見たい部分も消えてっちゃったりする。 で、一部の見たい部分を閾値下げるのを3Dペイント感覚でできるようにしたよーっていう話。
何も無い空間に向けてペンを動かした時にこの辺を表示したいんだろうなって類推して閾値下げてくってのはすごいし便利そうだけど、CTスキャンの可視化とかしないしあんまり縁は無さそうな話だ。
動画編集系
説明とビデオ片を合わせて解説ビデオを作る時に、ビデオ片にタグをつけとくと、説明文に合わせてたぶん説明分に合うビデオ片はこれって出してくれるので並べて解説ビデオ作りやすいってやつ。
う、うーん、それだけ？
台本と実際に録音した音声が食い違ってたり順番が入れかわって録った時に、台本の方直したりとか録ってないところがわかるようにしたりとかするやつ。 録音した音声を音声認識してテキストにして、diffとって並べて台本の方のテキスト編集できるらしい。なるほどシンプルながらも効果的かもしれん。
動画作った結果、こここうしてよとかいうレビューを顔突き合わせてじゃなくてメールとかでやりとりするのに、文章で書くととても大変なので、スクリーンキャプチャ+Webカメラみたいな動画でやるといいんだが、だいたいの時間は確認して悩んでる時間なので無駄。ということで動画をレビューする動画を作るツールを作ったよという話。
すごいなるほどね感。
3Dプリンタ系
隙間のある格子状の構造を作ることで、一つの部品で可動部分があるものが作れるよって話だった。 耐久性は考えてあるっぽいけど、繰り返し使うにはちょっと不安な気も……。
CNCフライス盤とか3Dプリンタで料理作ったよという話。それだけだったが……？
3Dプリンタに銅線や鉄線巻き付け機能を追加して電磁石もいっしょに作れるようにしたよという話。なるほど。 しかしこれだけでは便利かどうかは微妙なところ。
複数の材質を含むオブジェクトをデザインしやすいソフトウェアを作ったよって話。 ノードベースでオペレータをつないでいくとフラクタルな感じの3Dオブジェクトが作れるぽい。
あーこれSubstance Designerの3D版だー。
クラウドソーシング系
ブレインストーミングみたいなことやってる時に分類するのが大変なので自動的に分類したい。 しかし、分類付けするのは大変なので誰かにやって欲しいけど、じゃあブレインストーミングやってる人らにやってもらおうかって話。書いてて意味わからんな。
なにかアイディアを貼り込むと、他にこれも似てるかも？みたいな提案が出てくるのでそこから似てるようなのを選んでもらうと、じゃあこれとこれは似てるんだなって学習できる的な話だったような気もする。正直あんまり理解できてなかった。
クラウドソーシングの評価を真面目にやってもらうにはどうしようかって話。 評価ってだいたいみんな5しか付けないのでなんとかしたいってのはわかったんだが、ちょっと内容がいまいちわからなかった。
高い評価ついた人にはいっぱい仕事が紹介されるようになって、低い評価ついた人は高い評価ついた人より新しい仕事が見えるのが遅くなり、相対的に評価高い人が選ばなかったクソ仕事が回ってくるようになるとかなんとか。 なので真面目に評価するのに意味持たせたよーとかいう話だった気がするけどこれで解決しそうな気もしないので何か間違ってるかもしれない。
ランニングとかウォーキングの習慣付けアプリのついでにユーザーを動かして辺りに何があるかのマップを作ちゃお☆とかいう話。
アプリで位置情報取りまくりながら、高い建物に走りましょうとか、木の周りを歩きましょうとか適当なこと言って高い建物や木があるところに移動させて、じゃあそこにそんなものがあるんだなとマップを作るらしい。うわぁ……。
誰かがリモコンとか操作パネルの画像を撮って、ここのボタンは電源、ここにボタンがあって1ボタン、とか説明を書くと、スマホをかざすとここは電源ボタンだのここは1ボタンだの、操作方法だのを教えてくれて目が見えない人とかでも使えるよ！てやつ。
画像を撮って説明をしっかり書きこんでくれるやつは誰なんですかね……クラウドソーシングで依頼するっぽい？
すごいVR系
VR HMDにカメラを付けて真っ直ぐ歩かせるけど、実はカメラ画像が微妙にずれていってて真っ直ぐ歩いているつもりがずれて歩いてるのだ！って話。面白い。どう応用すんだって話はあるけど。
VR内の触覚再現デバイス。 位置トラッキングできるデバイスの先っぽの台に指を乗せとくと、画面内で触ったオブジェクトの表面に合わせて台の向きが変わるので触った感が出るってやつ。
NormalTouch方は台に圧力センサが付いてて押し込めるようになっており、画面内で押した場所の固さ設定によって台が反発してきて固さ表現ができるそうな。
TextureTouchは台じゃなくてピンになっててもっと細かく表現できるかわりに押し込みとかはなさそう？あとでかい。
NormalTouchはシンプルだし、まだ有線だけど無線版作ってるのよねーって話なので期待したい。
身体吊ってVR HMDかけてスキューバダイビング体験とかなんとか。なんか呼吸の再現に力入れたとか言ってたような？
てかなまりが強すぎてだいぶ何言ってるかわからんかった。systemが何度聞いてもチツテンて言ってる。sがtに置き換わってる。
あんまり大仰でないシステムでリアルタイムに人体とか物の3Dスキャンをして遠隔地で3D再構成レンダリングすることでその場に居るかのようなテレビ会議が！てやつ。
難しい話だったのでいまいち理解できてないが、IRカメラで深度取るのと同時に特殊なパターンをライトで投射して3D再構築しやすくするとかなんとか。そのカメラ自体がそこそこ必要ではあるようだ。といっても何十台もはいらないようだけど。
あと転送するデータ量も何十GBもリアルタイムでやりとりする必要があるそうな。どうもここ数年で現実的にってわけにはいかなそうだな。
ムービーはすごいんだけどMSなんだよなぁ。HoloLensでインチキPV流しまくってるMSなんだよなぁ1。どこまで実現できてるものなのか、盛ったイメージ映像なのか信用できない。
なんだろ。その他入力系いろいろ。
手で使う道具なんかのデザインをする時には、スケッチにいちいち手を描いていかないとおかしくなったりするが、手を描くのは難しいからめんどくさい。でもめんどくさいからって描かないとおかしくなるし……ということで手を見ながらスケッチできるシステムを作ったよという話。
LeapMotionで手を検出して、それ通りに手のモデルを出したら固定させて、あとは手のモデルに合わせてスケッチを描いていくだけ！手の軸みたいのも検出してくれるのか？それに沿ってスケッチできるようになってるので2Dで描いてるのにちゃんと3Dで描ける不思議。
手はともかく3Dスケッチが上手くいくのがすごそう。
ラジオ体操の解説図みたいなのを実際に動いたビデオから作るやつ。
ビデオ撮りながら1、2、3、とか言いつつ動いていくと、1、2、3、とかいう場面毎にポーズ認識して矢印を勝手に付けてイラストにしてくれる。すげー！
街頭広告みたいなのでどこが見られてるか調べるのに、遠くからIRで視線検出とかできるわけないだろ！ということで、顔の画像撮ってどの辺見てそうかを学習させといて、画像から視線推定できるようにしたとかそんな感じだったような？いまいちよく理解できなかった。
GoogleのSoliっていう小型レーダーデバイス(ジェスチャ検出が主な用途？)があるらしいんだが、それの上に物を置くと、物の材質なんかによって固有の波形が出てくるらしい。なので波形を学習させておけば、何が置かれたか非接触で識別できる！という話ぽい。
これすごくて、識別される側は特に何かチップが入ってるとかそういうわけでもなく、置いただけでこんな感じの物でしょうって識別できちゃう。形状とかにも依存はするのかな？ただ形状だけでなく材質が判別できるってのがすごいなぁ。
Google Soli自体が今買えるかどうかはよくわからなかった。まあこういうの作ってるくらいだから開発者キットの一部配布みたいなのはやってんのかもしれない。2016年秋に開発者キットできる予定とか書いてあったし。
なんか有名なデザイナーの人の話だった。無印良品のデザインとかもやってる人っぽい。
技術者じゃないんでーという話だったんで、まあデザインの話なのでよくわからんかった。
デモとかで気になったやつ。
協調動作する小型ロボット群。高さは2cmくらいだったか？直径は1円玉くらいのがちょこまかと動きまわって大変かわいかった。 セッションは裏で別なのを見てたので見れなかったがデモだけ見た。
これはデモだけ。docomoの人がデモしてたやつ。
スマホを頭の前にくっつけるタイプのVR HMDで、目の中央にあたる部分だけレンズにするんじゃなくて、その周辺の通常目隠しになってる部分をレンチキュラーにしてしまうことで、周辺がぼやけていながらも視野角が広がった感になるていうやつ。単に目隠し部分をレンチキュラーにするだけなので安い。
確かにまわりぼけてるからちゃんと見える範囲は変わらないんだけど、明るくはなるから開放感はあってよかった。 あとなにげにスマホを頭の前にかざすタイプのVR HMDは初めて使ったんだけど、やっぱこれで十分じゃん感があった。
まとめというか全体的な感想は前に書いたのを見てください。
以上。
加算合成表示しかできないはずのHoloLensで黒や暗色が表示できるかのような動画流しまくっちゃってる ↩