アドビが開発中の未来、わくわくする11のテクノロジー

Creative Cloud

クリエイティビティ・カンファレンス「Adobe MAX 2016」から、未来に実現するかもしれないアドビが研究開発中の新機能をちらっと見せるコーナー「Sneaks」の模様を紹介します。

Sneaksでは、プレゼンに慣れていないアドビ社内の普通のエンジニアやデザイナーが、大勢の観客がいるステージに出てきて、ときに司会者にいじられながら開発中の11個の技術を紹介します。ステージに登場するのは社内の厳しい選考を勝ち抜いてきた選りすぐりの技術だそうです。観客にはお酒が配られているのもあって、すごい技術だと叫ぶような歓声が上がります。

1. 色やテクスチャを手描きでリアルタイムに作る、Stylit

手描きで陰影のついた球体を描くと、なんとそれが3Dオブジェクトにリアルタイムに反映されます。

アプリに用意されているいくつかの3Dオブジェクトの中から恐竜を選択します。続いて、マーカー付きの紙に好きな画材で円を描きます。するとその色とタッチが恐竜の輪郭線に反映されます。

sneaks2016-0250

円の内側を塗れば、その通りに陰影がつきます。

sneaks2016-0254

ただの塗り絵じゃないところが凄い。なんとハイライトやシャドウなども含めての「陰影」の指定なのです。

sneaks2016-0257

最終的にはこのように仕上がります。

sneaks2016-0258

マウスやタブレットではなく、好きな紙にパステルや色鉛筆、水彩など好きな画材を使って描くというのが素敵ですね。

sneaks2016-0260

この技術は、http://stylit.org/ から実際にソフトウェアをダウンロードして試せます。必要なのはWindowsパソコンとカメラだけです。

2. 音楽に合わせて動画を編集する、Syncmaster

音楽の盛り上がるところ、切り替わるところを自動的に見つけて、動画編集を助ける技術です。
この技術は、まず音楽を高・中・低の3つの音域に分けて分析し、自動的に「ポイント」を作ります。

sneaks2016-0273

動画クリップをタイムラインで編集すると、さきほどのポイントがガイドとなってスナップされるので、音楽の進行にぴったり合った動画がつくれます。

sneaks2016-0278

デモでは単なるカット編集だけではなく、音楽のリズムに合わせてさまざまなエフェクトが変化する編集機能も紹介されていました。

3. ページ内の画像の色調をワンクリックで合わせる、ColorChameleon

このようなページデザインがあったとして、そこに買ってきたストックフォトをレイアウトしたとします。当然、写真の色調はばらばらですが、Photoshopで一枚ずつ補正していては非常に時間がかかります。

sneaks2016-0290

この技術は、ワンクリックで自動的に色調を合わせてくれます。

sneaks2016-0293

写真の中にあるデザインのキーカラーに近い色を見つけて写真を補正してくれます。

sneaks2016-0297

4. どんな動画でもループ動画にしてしまう、LoopWelder

短い動画素材しかないけれど、どうしてもある長さ流したいことってありますよね。そんなときに自動的にループ動画を作ってくれる技術です。

レコードの針が動いているようなどうしたってループさせられないような動画でも、この機能を使うとループ動画に仕上がります。

sneaks2016-0304

動画の中でループできるポイントを自動的に解析し、動画を少しずつ延ばしながら、最終的には全体がループするように仕上げてくれます。

sneaks2016-0313

5. どこに何が写っているか指示するだけで画像を探してくれる、ConceptCanvas

世界共通の悩みとして、いい加減なラフというものがあります。その指示に合うようなストックフォトを見つけるには手間がかかります。この機能はなんと、ラフの意味を理解して、Adobe Stockから画像を検索してくれます。

sneaks2016-0317
「いい加減なラフ」による指示は万国共通

Photoshop上でざっくりとした塗りを描きます。レイヤー名を「person(人)」に変更。準備はこれだけです。すぐに左端に人が写っているストックフォトが検索され、リストで表示されます。会場からは驚きやらため息やら、とにかくすごい反応がありました。

sneaks2016-0322
右のほうに候補の写真が表示されている

こんな検索ができれば、無茶なラフだってすぐにデザイン案に仕上げられますね。

sneaks2016-0327

これだけではないのです。左側にPerson(人)、その右下にDog(犬)をざっくり描いて検索すれば、まさにその通りの写真が出てきます。

sneaks2016-0330

もっと組み合わせて、背景にWater(水)があって、Person(人)とUmbrella(傘)の領域を指定すれば、ほらこの通りです。

sneaks2016-0337

ストックフォトなんてどのサービスも一緒と思っていたら、Adobe Stockはどうやら一歩先を行きそうですね。これはもう今すぐにでも使いたい機能です。基調講演で発表されたマシンラーニングのエンジン「Adobe Sensei」の具体的な実現例ではないでしょうか。

6. 写真のトレースをもっと簡単にする、InterVector

sneaks2016-0341

もう締切まで時間がないけど、どうしても手元にある豚の人形をイラストにしなければならない。あなたならどうしますか。モバイルアプリAdobe Capture CCや、Illustrator CCでトレースできるかもしれませんが、思ったとおりの線を作るのはなかなか大変です。

sneaks2016-0343
Adobe Captureで閾値を調整しても、輪郭だけ抽出するのは難しい

この機能は分割、結合、スムージングを、なぞるだけでいい感じに仕上げてくれます。

sneaks2016-0351
ここの線が欲しいな、という部分をなぞるだけ
sneaks2016-0352
希望する線があらわれる

sneaks2016-0366

面倒な作業をこれまでより楽しくできそうですね。

7. 絵の具を塗り重ねるように描ける、Wetbrush

絵筆の動きをシミュレートして、絵の具の塗り重ねを3Dで記録する技術です。タブレットでペンを動かすと、画面に半透明の絵筆が表示されます。

sneaks2016-0378

筆先の向きや力の加減が分かるので、塗り重ねていけば、油絵のように凹凸が表現されます。3Dデータなので、後から光源も変えられます。もちろんそのまま3Dプリントすることもできます。

sneaks2016-0395
着色表示をOFFにして、凹凸の様子だけを表示した状態

これまでも水彩やパステルの絵は、コンピュータでもかなり近い感じが描けていましたが、アクリルや油絵の感じを出せるようになるとは驚きですね。

8. 画像のレイアウトを自動的に調整する、QuickLayout

複数の画像が敷き詰められたようなレイアウトを作るのは意外と大変な作業です。

sneaks2016-0400
こういうレイアウトに画像を配置、調整するのは結構大変

この技術は、それを自動的に作成、調整します。画像をドラッグして置きたい場所にドロップするだけで配置できます。

sneaks2016-0405
右半分に置きたいなと思ったらこの状態でドロップすればいい

sneaks2016-0406

どれか1つの画像を調整すれば他の画像のサイズや位置が自動で調整されます。

sneaks2016-0413

9. 空がいまいちな写真の空だけ交換する、SkyReplace

写真の空だけを違う写真の空と置き換える機能です。
きれいな青空の日に写真が撮れればよいのですが、なかなかそうもいきませんよね。曇りだと空は真っ白になってしまいます。

sneaks2016-0418

こんな空だったらいいのに、という写真が別にあったとします。

sneaks2016-0422

この技術は、ワンクリックで別の写真の空の部分と置き換えてくれます。ほらこの通り。なんという魔法でしょう。

sneaks2016-0423

しかも置き換えた空に合わせて他の部分の色調も自動で補正します。

sneaks2016-0425
空に合わせて、芝生や人の色調が補正されている

こんな曇りで真っ白になってしまった空でもこの技術なら変えてしまいます。

sneaks2016-0428

どんな空にも置き換えられて、しかも建物の色もそれっぽく補正してしまいます。

sneaks2016-0432

ディープラーニングを使っているそうです。これもAdobe Senseiのパワーですね。

10. テキストを編集するとその人の声でしゃべってくれる、VoCo

会話やナレーションの録音、ちょっと言い間違えただけなのに、また録音をやり直すのは無駄ですよね。どうにかならならないのかと思っていたみなさん、もう未来が来てしまいました。この技術は、そんなスピーチを、まるでPhotoshopで画像を切り貼りするように修正してしまう機能です。

sneaks2016-0450
オリジナルはmy dogs and my wifeという語順

音声から認識されたテキストの中の単語を入れ替えると、語順が入れ替わった状態で自然に再生されます。

sneaks2016-0454
my wife and my dogsという語順に変えても自然な音声で再生される
sneaks2016-0459
元の文章に存在しないJordan three timesという文章も自然な音声で再生された

なんと、その文章に存在しない単語も、テキストを入力すれば、その人の声でなめらかに再生されます。もうこれは魔法です。会場からの拍手がなりやみません。なんでも20分間しゃべってもらうだけでその人の特徴をつかむのに十分なサンプルがとれるようです。

政治の世界などで悪用されると大変なことが起きそうな気がしますね。「本物」の音声を識別するために、ウォーターマーク(電子的な透かし)を入れる技術も研究しているとか。いずれにしてもみんなが待っていた夢の新技術であることに間違いありません。

11. VRの世界から全く出ずに映像編集できる、CloverVR

PremiereでVRビデオを作るとします。でもヘッドマウントディスプレイを頭に付けたり外したりしながら編集するのは大変ですよね。

sneaks2016-0463

この技術は、ヘッドマウントディスプレイを付けたまま、360度確認しながら、VRの世界の中で映像を編集できる機能です。

sneaks2016-0472
VRの世界にタイムラインが登場

VRの世界から出ずに編集するので、編集者はこんな感じで仕事をすることになります。

sneaks2016-0473
これが未来の動画編集者の姿

タイムラインでカットをつなぐポイントを調整するだけでなく、2つのVR動画の向きを合わせることもできます。もうVRの世界から出る必要はありません。

sneaks2016-0477

いかがでしたか?技術も凄いですが、着眼点も面白いですよね。アドビが見せてくれるクリエイティビティの未来に、会場の1万人近い人達がわくわくしました。いくつかは本当に製品に組み込まれて、今はまだ単調で辛い作業も楽しい作業に変えてくれるかもしれません。楽しみですね。

POSTED ON 2016.11.9