第59回「第0.1回 #マジックリープ 勉強会が開催されました」の巻

    7/21(土)に第0.1回MagicLeapが開催されました。






    内容はMagicLeapLiveとUnite Berlin 2018の
    内容を拾っていきます。

    各情報サイトで掲載している内容以外を中心に拾い、
    言っている意味を解釈していきます。(雑に)

    Magic Leap Live EP3




    他の情報サイトで語られてないであろう、
    CPU&GPUで語られなかった、スペック情報は、
    正式リリースのタイミングで公開する。

    デモはMagic Kitという部品群を使って、
    作成したデモを紹介。

    MagicLeapの開発者による最新ニュース

    6月7月に公開したサンプルと
    Lumin SDK v0.15.0のジェスチャー機能を紹介。

    ・Rain Sample
    https://creator.magicleap.com/learn/guides/rain-sample
    ・Custom Vignette (Unity)
    https://creator.magicleap.com/learn/tutorials/creating-a-custom-vignette-unity-r-edition
    ・Custom Vignette (UE)
    https://creator.magicleap.com/learn/tutorials/creating-a-custom-vignette-unreal-engine-4-edition
    ・Head Rock (Unity)
    https://creator.magicleap.com/learn/tutorials/interacting-with-head-locked-content-unity-r-version
    ・Head Rock (UE)
    https://creator.magicleap.com/learn/tutorials/interacting-with-head-locked-content-unreal-engine-edition
    ・Lumin SDK v0.15.0 (Hand Tracking)
    https://creator.magicleap.com/learn/guides/lumin-sdk-handtracking

    コミュニティスポット
    開発情報として有益な情報は特になかったため割愛。

    CPU&GPU



    ・DenverはMath処理が得意だが、すぐに熱くなる。
    ・CPU(ARM)/GPU(Denver)/の切り替えが開発者自身で行うことが可能。
    ・低レベルによる最適化可の模様。(グラフィック、ゲームロジック、フィジックス(オーディオ))
    最適化が行えるような事をおっしゃっていたが、
    UnityやUEでカスタマイズできるものなのか?
    Lumin のネイティブ(C言語)でカスタマイズするのか?
    どういった方法で行うのかは不明。

    Magic Leap One Developer Demonstration









    初めの説明でもある通り「Magic Kit」を使用して作成した
    初めてのデモが、このデモらしいです。

    また、このデモは撮影されたものですが、
    撮影はLumin SDKの機能「Video Capture」を使用して、
    撮影されたものらしいです。

    このデモの入手時期は、MagicLeap Oneの出荷時に
    合わせる模様。

    公開されました。



    空間情報を3Dデータとして生成する方法は3つ。

    ・Spatial Mapper(Lumin SDK)
    空間内の情報にメッシュを生成する。

    ・World Plane(Lumin SDK)
    空間内の天井、壁、床などの情報を含めて
    平面オブジェクトを生成する。

    ・Environment Tool Kit(MagicKit)
    隠れ場所や座れる場所なども検知?できる機能
    (メッシュに検知できる情報を含めるのでしょうか?)

    Magic Leap Liveで拾えた情報は以上です。

    Unite Berlin 2018 Day3 Spatial Computing: Brining Pixels to the Real World





    v0.15.0のSpatialMapperの設定方法のデモ。
    その中で、NavMeshの高さ設定を、
    キャラクターの身長の高さに応じて調整するような事を
    おっしゃっていたと思います。

    ここでは、Environment ToolKit(MagicKit)の話も
    出ました。

    ・Hiding Spots 隠れ場所を見つける。
    ・Seating Spot 座りポイント

    下記は、ライブ放送中(だったと思う。)に
    私が呟きました。Environment ToolKitは、
    空間の環境下で便利な機能群を搭載しているように見えます。





    話を聞く限り、マルチモーダルはMagicLeapが目指している
    ジェスチャーの在り方?のような感じでしょうか?

    例えば、疑問に思ったような仕草を想像すると、
    頭を少し傾けて、目を少し閉じる感じにするような
    ジェスチャーが考えられます。

    頭を少し傾ける+目を少し閉じる感じにする =
    疑問に思った仕草(ジェスチャー)のように

    目、手、頭、それぞれの状態に応じて、
    一つのアクションとして捉えるのを
    マルチモーダルというのではと思ってます。




    パーからグーなど、8つのジェスチャーを
    判定できます。そのパーからグーに変わるまでの
    情報を保持しているようです。(キーポイントかな?)




    目が止まっている時はシグナル。
    基本、人間の目は常に運動しているため、
    運動している状態は、ノーマル状態と
    判定するようです。
    (手や頭などは、停止している状態がノーマル状態と
    考えられますが、目は逆の考えらしい。)




    Targeting,
    Activation,
    Manipulation,
    Deactivation,
    Integration
    の頭文字をとって「TAMDI」と言います。
    概念的なものだと思います。




    いろんな手のデータを収集しているようです。
    自身ありげに言ってたのが印象的でした。

    まとめ
    情報がふわっとしている感じがして、
    「それをどうやってやるの?」みたいな感じに
    思えました。

    特にMagicKitについては、Unite Berlinで
    初めて語られ(という認識)、Magic Leap Liveでは、
    デモで使っていたり、ワードとしてバリバリ出てました。

    できれば、MagicKitとは?からFirst Stepのような
    話をしていただきたいなと思いました。
    (Environment ToolKitはMagicKitとイコールなのか?
    MagicKitの中にEnvironment ToolKitがあるのか?など、
    疑問点がいっぱいあり、また、MagicLeapLiveのデモアプリが
    ダウンロードできるとおっしゃってたけど、どこから
    ダウンロードできるかわからない。)

    ついでに、Unite BerlinのMagicLeapが放送中に
    ツイートしたものを以下に載せときます。






    この勉強会について
    この勉強会の主題は「Magic Leap Live」の内容を、
    できる範囲で理解していくです。

    Magic Leap Liveは英語オンリーで日本語の字幕などは、
    出ません。Youtubeの翻訳機能も使えなくはないですが、
    精度が悪い時はとことん悪いです。(お○っことか翻訳するし..)

    また、国内外共にMagic Leap Liveの内容を記事化してますが、
    デバイスに関係した情報のみで、開発に関わる情報については、
    皆無です。(記事にしている人は開発者じゃないから。)

    なので、この勉強会は、いわゆるIT系のような勉強会とは
    異なります。Magic Leap(Lumin SDKを触りまくっている人)、
    英語を翻訳できる人だけが集まって、ヒソヒソとやってます。
    (当然、会場をお借りして開催しています。会場をお借りする際、
    どう言った会でどう言った内容であるかをお伝えする必要があるため、
    MagicLeap勉強会でお借りしています。)

    場所や時間を告知するイコール、
    参加者を募った勉強会となり、
    こちらとして運営する側に回らないと
    いけないため参加者を募る
    ようなことは、今はしていません。

    そのため、場所や時間についても告知はせず、
    開催しているぐらいは、ブログや
    Twitterに投稿はしています。

    第0.x回としているのも、まだ、発展途上の
    勉強会という位置づけ。(きっちりした知見と
    多少な運営ができるようになれば、
    1回目としたい考えはあります。)

    現在、参加している人には、
    MagicLeapLive(や他のお話も含め)を視聴し、
    私も含めた参加者が、Magic Leapのテクノロジーの
    理解にご尽力いただくため、
    参加者は限らせていただいております。

    次回の開催は未定(MagicLeapLiveの開催日が
    確定してないため)ですが、参加希望であれば、
    私にご連絡していただければ検討させていただきます。

    P.S.
    さすがに、遠方(東北の盛岡とか...)開催は、
    できませんけど....。
    スポンサーサイト

    テーマ : ブログ
    ジャンル : ブログ

    第58回「7月12日(木)の朝3時〜朝4時 #マジックリープ ライブ エピソード3が 放送されます。メインテーマは【Magic Leap Oneの製品仕様の理解】と【サンプルを見ながら設計と開発の議論】」の巻

    毎月、第1週の水曜日(日本は木曜日)に
    放送しているMagicLeapLiveが、7月12日(木)朝3時〜放送されます。
    (今月は独立記念日だったため1週遅れでの放送。)

    第1回目〜の放送の流れからと同じだと思います。

    NEWS
    はじめに、MagicLeapの情報(予想はいくつか公開されたサンプル、
    Lumin SDK v0.15.0リリースなど)










    Community/Spotlight

    開発者達の制作活動などの情報発信。
    おそらく、これが流れるかと...。


    Main
    Magic Leap Oneの製品仕様の説明
    by Alan Kimball(Developer Relations Team)

    サンプルから設計と開発の決定について議論
    by Colman Bryant (Interaction Lab)
    v3JJZ4PFhiwes8ZjBR89g.png
    Q/A
    ...

    みたいな流れになると思います。

    あくまで開発者向けの放送のため、
    価格やリリース日のような情報は話さないと思いますよw
    magicleapのライブビデオをwww.twitch.tvから視聴する

    追伸
    2018 Neuchâtel International Fantastic Film というイベントで、
    7月9日(月)の23時15分頃?から Weta Gameshopが
    MRゲーム開発についてお話があるようです。

    もしかしたら、このライブ前にWetaが
    作成しているデモ動画を流してくれるかも
    しれません。




    テーマ : ブログ
    ジャンル : ブログ

    第57回「第0回 #マジックリープ 勉強会が開催されました」の巻

    6/17(日)に第0回MagicLeapが開催されました。



    内容は、主に6/7にTwitchで放送されたMagicLeapLive
    理解(翻訳)作業でした。



    MagicLeapLiveの動画を流しながら、過去に海外で在住していた方の
    協力の元、翻訳に勤しみました。
    また、休憩時間中に私が作成しているデモの感想なども
    頂きました。



    英語は理解できるとは言え、MagicLeapの全般な知識を知らないと、
    翻訳しきれない箇所はあり、その辺りは私が解釈しながら進めて
    言った感じです。以降は、翻訳した内容を記載していきますが、
    正確性は高くないです。ご了承ください。

    前半は自己紹介、1回目のMagicLeapLiveの概要をさらっと
    触れていました。

    MagicLeapの開発者による最新ニュース

    MagicLeapのリソーステクニカルチームが、
    作成したサンプルプロジェクト「Abductor(要:開発者アカウント&ログイン)」が公開されました。



    メッシュ機能を中心に扱ったサンプルとのことです。
    リソーステクニカルチーム的に、
    開発者さんがこのサンプルを触って、いろんな
    フィードバックが欲しているように思えました。




    Lumin SDK v0.15.0
    今回のバージョンアップにより、PackageManagerの構成の変更、
    ジェスチャー機能の追加を行うようです。






    あとはアプリの審査についても語ってたようです...。
    (下記の埋め込みにあるURLは、開発者アカウント&ログインが必要です。)


    コミュニティスポット
    Lumin SDKを試している開発者の活動を発信。
    1.黒が透過する問題






    2. Hologram Display Demo


    3. Point Cloud with Magic

    Meet Magic Leap One
    Magic Leap Oneの情報はメディアやブログで
    情報が発信されているため、翻訳は飛ばしました。


    目のキャリブレーションについては、
    文章を起こしているサイト、なかったように思います。


    質問コーナー
    重要な回答は、上記に記載した「Magic Leap Oneの
    情報はメディアやブログ」のサイトに記載していました。


    今後の予定
    毎週水曜日(日本は木曜日の朝?)に
    チュートリアルやサンプルを随時、配信されるようです。


    現時点で「Head Locked Content」は来てました。



    RainサンプルとFOV mitigationの
    チュートルアルは、連動している模様。


    次は7/4(水)(日本時間7/5(木))でなく、
    7/11(水)(日本時間7/12(木))に放送されます。
    この内容次第ですが、第0.1回MagicLeap勉強会を
    開催するかもしれません。開催した場合は、
    内容を当ブログまたは、#mlsgjpに投稿したいと思います。

    テーマ : ブログ
    ジャンル : ブログ

    第56回「Lumin SDK + Unityで作成したデモが、6月7日放送分の MagicLeapLiveで紹介されました 」の巻

    2018年6月7日(木)に放送された「MagicLeapLive」。
    メインとなる話は「Meet Magic Leap One」と言うだけあって、
    Magic Leap Oneを実際にお持ちしていただき、
    基本機能を紹介されました。(詳細は来週末以降にブログに投稿予定。)

    冒頭では、MagicLeapの開発キット「Lumin SDK」を使った
    デモアプリを紹介するコーナーがあり、その中で
    私が作成したデモが公開されました。





    5月は上記以外にMagicLeapLive紹介用に4本のデモを作成し、
    MagicLeapの中の人達で前評判が良かったデモが紹介される形に
    至りました。
    link.png

    上記の「いいね」や「コメント」している人は、全員MagicLeapの人です。職種は以下。

    SDK & DevTool エンジニア
    SDK & Apps テストエンジニア
    SDK エンジニア
    ソフトウェアエンジニア x2
    Unity3D エンジニア
    Data Collection エンジニア

    1本目 ペイントDemo


    2本目 ポータルDemo


    3本目 地図のDemo


    5本目 恐竜のDemo(頭疲れたから...わけわからんデモが完成した結果、海外から酷評)


    1本目〜3本目はLumin SDKのシミュレーターが
    かなり遅延が発生していましたが、4本目以降は、
    Lumin SDKのバージョンアップにより多少なりとも
    改善しているように見えました。

    Unityで全て作成していたのですが、
    「こういうデモを作成したい」と思い、
    それに合うアセットと組み合わせて作成するのですが、
    シミュレーターで動作すると遅延や思った動きをしないなどが
    発生しました。
    (デバイスだと正常に動作するのかもしれません...。)

    今の内に、デモをいっぱい作成して、
    こういう知見を事前に知っていかないと、
    ダメだなって本当に思いました。

    6月以降はペースダウンしますが作成は続けます。
    もし、作成したデモがあればTwitterで #MadeForMagicLeapの
    ハッシュタグをつけてください。

    MagicLeapの人が見てくれるはず!?なので、
    いっぱい作成していきましょう。

    - おわり -

    テーマ : みんなに紹介したいこと
    ジャンル : ブログ

    第55回「MITコンピュータ科学・人工知能研究所が #マジックリープ を活用したプロジェクトを起動。その名は【Mixed Realityにおけるロボット設計(CADツール)】メンバーに元 #MagicLeap の中の人がいますやん。」の巻

    タイトルの通り、MITコンピュータ科学・人工知能研究所が、
    マジックリープを活用したプロジェクト、
    Mixed Realityにおけるロボット設計を、立ち上げました。

    https://www.media.mit.edu/projects/mixed-reality-robots/overview/

    以下に適当翻訳を載せます。

    -- ココから
    新しいMRとARのアプリケーションのための
    "Magic Leap Creator"のリリースにより、MIT CSAILは、
    ロボットのシミュレーションまたは
    デプロイするためのCADツールを提案している。

    プロジェクトの目標
    3D空間内で複数の制約下の中、
    キャラクターの動きを診断し、もっとよく歩行を理解する。

    世界に関する情報を取得して、環境内の構造を直接構築する
    新しいインタラクティブなアルゴリズムと実装のスイート、
    "Magic Leap Design and Control Toolbox"を開発する。

    オブジェクトのルート検索または、
    自由度をジェスチャするための新しいシステムは、
    自動的にジェスチャをロボットおよび
    キャラクタ制御入力に変換します。

    思い通りの動きを実現する際、
    システムでは自然なジェスチャー制御に基づいた
    アルゴリズムをベースにしています。

    さらに、開発のために、バーチャルキャラクターや
    ロボットのアクションの上に診断情報が表示され、
    環境の刺激とキャラクターの行動の制御関係を素早く
    理解することができます。

    注視追跡技術は選択と制御の精度を向上させるでしょう。
    最適化と強化学習アルゴリズムは、設計を改善し、
    設計/フォームの機能を推奨する方法を推奨し、
    ユーザーに自然な反復サイクルをもたらします。
    -- ココまで

    メンバーの一人に、Vik Parthibanさんが参画されてます。
    Vik ParthibanさんはMagic Leap社でHardware Engineer と
    して働いていたようです。

    以下のような仕事をやってたようです、
    •重要な製品コンポーネントの光学特性を改善するための研究開発プロジェクト
    •ユーザー評価調査のための LIGHTFIELDS ディスプレイ装置とテストベンチを構築

    AWEで現地日時、MAY 30, 2018, 10:20 AM-10:40 AMの
    スピーカーとして、「LIGHTFIELDS VS HOLOGRAMS」のお題で
    発表するようです。(ML1の話があればいいですね。)
    LightFieldについての日本語情報はこちら

    MagicLeap、あまり情報が少ないですが、WetaGameShopの
    シューティングゲーム(2018年リリース)もあり、
    ML1も2018年リリース予定だから、もう少し待てば、
    デカめの発表があるかもしれませんね。(根拠ゼロ。)

    あと、少し当記事とは少し無関係かもですが、
    Unity+Lumin SDK 0.13.0で以下のような物を
    作りました。良かったらイイねしてもらえると
    幸いです。ではでは。



    テーマ : みんなに紹介したいこと
    ジャンル : ブログ

    プロフィール

    tokufxug

    Author:tokufxug
    FxUGの中の人。

    ガジェット

    最新記事
    最新コメント
    月別アーカイブ
    カテゴリ
    検索フォーム
    RSSリンクの表示
    リンク