はじめに
今回は「Lossless Scaling」という、最近PC界隈で話題になってた謎のアプリを使ってみた感想を書いてみます。
どういったアプリなのか
PCの画面上にある色々なウインドウを、フルスクリーンにしたりフレーム生成させたり出来るアプリ。
初期の頃は名前の通りスケーリング（映像の拡大表示）をするソフトだったみたいなのですが、おまけで付いていたフレーム生成の機能が優秀で、
そっちの方で技術が追加されていった結果、（何ならスケーリング機能は最新版だと少し削られてるらしい）
フレーム生成の遅延が少なくてしかも何にでも使えて優秀
という方向で、PCゲーマー界隈で話題になっていったアプリ（多分）です。
フレーム生成とは
フレーム生成というものをしっかりと理解するとき、はじめに知っておくべきこととして、モニター画面の映像の仕組みを理解する必要があります。
※ここから難しそうなことを少しの間書きますが、げきあさ知識で、ついでに言うとそこまで難しくはないです。ご了承ください。
あと、少し調べた知識で「多分合ってるであろう」で書いているので、最終的には自分で判断してみてください。
パソコンの画面とか映像とかを調べたりすると、リフレッシュレートとフレームレートという2つの単語がよく出てきます。
リフレッシュレート
リフレッシュレートというのは、モニターが1秒間に表示を切り替えるコマ数のことです。一般的な性能のものだと60ヘルツ。
最近は「60ヘルツで十分だと思ってたけど、もっとあった方が良いのでは？」で性能が上がっていって、ゲーミングモニターだと144ヘルツとか240ヘルツ、360ヘルツとかに。
リフレッシュレートが60ヘルツだと、1秒間に60回映像が切り替わっている、ということです。
フレームレート（Frames Per Second）
フレームレート（fps）は、1秒間に何枚の1枚絵を用意したかという数値です。
60fpsだった場合は、1秒間に60枚の絵（60フレーム）を用意したという意味です。
※フレームは厳密にいうと絵というわけではなく、処理が行える最小単位のことだと思うのですが、今回はあまり気にしない方向で。
フレーム生成
今回のフレーム生成で関係があるのはフレームレートの方で、
フレーム生成というのは「用意したフレームを次のフレームとAIな技術で上手いこと合成して中間の映像を作成して、上手いこと間のフレームを補完する」という技術です。
最近のPCゲームの設定でよく出てきて、設定を変更したりでオンにしたりオフにしたりと出来るのですが、ゲームの方でこの機能の切り替えが出来るように対応していないと使えない機能でした。
それを「ゲームよりも手前の段階で処理してみました！」みたいなアプリが、今回の「Lossless Scaling」です。
（この最後の1文は適当に書いているので、合ってるかどうかの責任は持てません）
もっと詳しく解説
浅い知識での解説なので、大体あってる、なフワッとした解説をします。正しく知りたい方は、もっとちゃんとしたところで確認してみてください。
60fpsな動作環境で 1 2 3 4 5 6 7 8 9 … 59 60 みたいに、1秒間に60回切り替わる映像があったとします。
この映像を30fpsで作成する場合、1秒間に作れる映像が30枚で、作れる映像が半分になってしまうので、1 3 5 7 9 … 57 59 みたいな感じに、偶数の部分の映像がない状態で作成されてしまいます。
これを60ヘルツのモニターで表示すると、
1 1 3 3 5 5 7 7 9 9 … 57 57 59 59 （←この間1秒）
という風に映像が出力されます。
フレーム生成というのは、1と3の映像があったら、その間はう～ん1と3の間みたいな映像かな？みたいに、勝手に間の映像を作る技術です。
1 2? 3 4? 5 6? 7 8? 9 … 57 58? 59 60?（←この間1秒）
という風に表示出来るようにする技術です。
ちなみに数字で例えてしまっているので「2?」という、計算して出てきた数字の映像が作られていそうになっていますが、実際は計算なんてしないで作成されるので、1と3を足して半分にしたような映像が作られます。
2という正確な映像は作成されないけど、2っぽい映像が出てきます。
これが、自分が軽く学んで理解したフレーム生成という技術の仕組みです。
どういう場面で使えるのか
ゲームを高fpsで遊びたい場合に、半分のfpsで作成してそれをフレーム生成で倍のfpsにした方が処理が軽くなる可能性があり、
さらにこのアプリは、スケーリング機能が付いているので、
「解像度を下げる」という、ゲーム映像作成の処理を軽くすることを追加でしながらフレーム生成を行っても、そこまで違和感がない映像で動作させることが出来る
という代物になっています。
120fpsでゲームを遊ぶ際に、120fpsで中グラフィックの設定で遊ぶよりも、60fpsで解像度を少し下げて高グラフィック設定、そこからフレーム生成で実質120fpsにして遊んだ方がGPU使用率が低くなったので、
「最高に良いグラフィックボードじゃなくても良い映像と高fpsで楽しめて、コストパフォーマンスが良いのではないか？」というのが、最近PC界隈で話題になった理由です。
使ってみた感想
使ってみた感想としては、なんか正確には分からないけれど、映像が滑らかに動くようになった感じがあり、大変遊びやすくなったので、今回おすすめですという形で紹介しているという感じです。
ちなみに今回使った場面としては、サイコブレイクの1と2、あとモンハンXX。
サイコブレイク（正確には海外版なのでThe Evil Within）は、1080pの60fpsで普通に遊ぼうとすると、自分が使っているプレステ3.5くらいの性能のグラボ（GTX 1060 6GB）だと、動きの少ないタイトル画面でGPU使用率が70%くらいになっていて、
この状態で遊ぶのは結構危なそうな雰囲気があったのですが、
解像度を720pに下げ30fpsにして、今回の紹介の「Lossless Scaling」でスケーリングとフレーム生成をしたところ、GPU使用率が45%くらいに下がり、
映される映像も普通に許せる映像で、fpsがガタガタになる心配をせずに遊ぶことが可能になりました。
モンハンXXの方は、switch版のモンハンXXのことで、自分はゲーム機の映像をキャプチャしてPC画面に映るようにして普段遊んでいるのですが、モンハンXXは30fpsで動作しているゲームで、
大変カクカクして遊びにくいなと思っていたというのがあって、
「そういえば使えるのではないか？」と思って今回試しに使ってみて、
まあ驚くほどにカク付きが減った感じがあって普通に遊びやすくなり、効果を実感して今回紹介したくなってしまったという感じであります。
デメリット
当然ながら万能な技術ではなく、残念な部分もあります。
映像出力に遅延がある
映像を作って後ろの映像と比較したり合成したりで間の映像を作っているという仕組みなため、どうしても映像の出力が少し遅れます。
そのため、高fpsで1フレームの遅延が命取りになるようなゲームには向いていないです。
ただ、プロゲーマーならともかく、一般人が気にするほどの遅延は感じられず、自分は普通に問題なく遊べたので、言うほど問題があるわけではないんではないかなと。
個人的にモンハンXXは、fpsが低くて画面がカクカクして感じる方が遊びにくいなという印象でした。
正しい映像が追加されているわけではない
このページの最初の方にも書いたのですが、1 2 3… という形でちゃんとした映像が作られているわけではないので、そこは理解しておいた方が良いと思います。
2フレーム目を出力するのに、1フレーム目と3フレーム目の中間くらいの映像が作成されています。
画面が切り替わる
最新バージョン（Ver3.1.0.2）だと、機能を適応するウインドウを強制的に前面にしてフルスクリーンにします。
そのため、モニターが1枚だけだと少し操作が難しくなってしまうので、モニターが2枚以上のマルチディスプレイな環境がおすすめです。
モニター1枚でも、Alt+Tabでどうにかはなります。
映像が乱れる
グラボの性能が関係あるかもしれませんが、完全にちゃんとした映像が表示されることを期待しない方が良いです。たまにだったり部分的にだったりで、モヤモヤしたものが出たりで映像は乱れます。
映像が乱れるポイントとしては、
小さい文字系、ウインドウの出たり消えたりするときのような動く系のアニメーション表示、田舎の家にありそう（偏見）な、数珠みたいなものが何本も付いててじゃらじゃらしてる暖簾みたいなあれ、又は、そういうカーテンみたいなヒラヒラした柔らかい動きをしそうなもの、方眼罫（縦線と横線がびっしりのアレ）みたいなキレイな線の図
辺りかなと。
古めのアニメの「とほほ…もうこりごりだよ…」な終わり方のときのあの演出（アイリス・アウトというらしい）みたいな演出が入るときに、縮小中は歪んでてきれいに円になってない、みたいな挙動をするイメージです。
あと、前のフレームと映像が繋がっていない画面が切り替わったタイミングとかは、当然ですが苦手です。
映像が乱れるとは言っても、人間の脳は不思議なもので、結構気になりません。
個人的に良いなと思った使い道
60fpsを倍以上のfpsにする
「1秒間に60枚じゃ足りない！」という、最新の映像に適応してしまった人はこのアプリを使ってみると良いかも。
元の映像が高fpsのものの方が良い理由としては、合成する映像の差が少ない方が、キレイに間の映像が作成することが可能なためです。
問題点としては、モニターが高リフレッシュレートのものである必要があることと、そもそものグラフィック性能がそれなりに高い必要があって、60fpsの映像を安定して出してもGPU使用率にまだまだ余裕がある必要があります。
この最後の「ゲームの処理をしてもまだGPU使用率に余裕がある必要がある」の部分は、2枚目のグラボを用意するという方法で解決出来るみたいで、
そして、それくらいの処理ならCPUに付いているグラフィック性能で十分みたいで、最近はグラフィック機能付きのCPUの評価が、上がったとかそうでもないとか。未来を感じますね。
75ヘルツのモニターの場合
実は自分は75ヘルツが出せるモニターを現在使っているのですが、普段60ヘルツで使っています。
理由としては、75fpsに対応しているものは少なく普段は60fpsで映像を見るわけですが、出力されているfpsに対して倍くらいのリフレッシュレートがないと映像がカクついて、
そして1/60秒くらいの範囲でカクつくと、まだ認識出来るレベルなので普通に気になるという、
悲しい事実に気が付いたためなのですが、
フレーム生成で60fpsを75fps辺りにしたり、さらに言うならもっとフレーム数を増やしたりすると、無駄になるフレームが増える（コマ落ち。微妙に意味が違ったので違う名称があるかも）のですが、
75ヘルツのモニターでも60fpsの映像が滑らかに表示されるようになります。
3Dモデルの映像
生身の人間で規則正しい動きをするとそれなりに違和感がある気がするのですが、3Dモデルだと情報が少ないので、そこまで違和感はない気がします。（生身でも元が高fpsなら問題なさそう）
かなりおすすめなのがバーチャルなLIVE映像で、ああいう映像作品って結構30fpsだったりするので、60fpsになるだけで動きが良くなって見えるし、元が60fpsだったらそれこそ120fpsになってさらに滑らかに見えるしで、
自分はこの使い方は普通に良いなと思いました。
ゲームみたいに操作をするわけじゃないから、気になる遅延要素は音ズレくらいで、気になる程ズレないから関係ないし。
Vの者がオーラ（モヤモヤ）を纏ってヌルヌル動くぞ。
30fpsのゲーム
自分は、30fpsでゲームを遊ぶとはっきりとカクカクしてるなと認識出来るタイプの人間になってしまったみたいなので、それを緩和出来るアプリは、個人的にはかなりありだなと思いました。
一応元の30fpsの状態で遊んだ方が、ちゃんとした映像を見て判断して遅延も少なく遊べるのは分かるのですが、操作の納得感よりも映像がカクカクしているガタガタ感の方が、自分は総合的にパフォーマンスが下がるように感じました。
測っていないので正しくは知りませんが、遅延は一般人には気にならない程度にしかないです。
1フレームの遅延でも気になるようなゲームに、こんな仕組み的に絶対遅延が発生するアプリを使おうとするなら、使ってる方が悪いです。
あと、もしかしたらフレームが増えることによって判断が必要な映像が少し早く見えるようになって、遅延があったとしても変わらずに操作が出来ている可能性すらあります。
1 1 3 3 5 5 7 7 … 60ヘルツで30fpsだとこんな感じで表示されるわけだから
|||1 2 3 4 5 6 7 8 … 映像出力が1.5/60秒分くらいの遅延だったとするとこうなって、
次のフレームが混ざってる偶数フレームを見て反応出来ると仮定した場合、操作の遅延も1/60秒分くらいしかないと仮定したら、正直変わらないです。
30fpsの場合、映像の出力の遅延と操作の遅延の合計が2.1/60秒以上あると操作が遅延してくるのではないでしょうか。正直誤差です。
2.1/60秒って0.035秒で、PC目線だと2/60秒の遅延までなら変わらないとするとそれなりに猶予があるし、人間目線だと「そんなレベルしか遅延してないの？」って感じで、もう少しくらい遅延してても全然許せる範囲なんじゃないでしょうか。
あと、同じ数字の場所で押した場合、同じタイミングで動作が反映されるので、高fpsのゲームと比べて操作が反映される回数が減ってる30fpsでのゲームの場合は、操作が同じフレームになる猶予時間が長いです。
ということで、もう何を書いてるかよく分からなくなったので、この辺にしておきます。
今の時代、30fpsのアクションゲームは個人的にはツラいという話を長々と書いています。
まとめ
まとめると、一般アマチュアゲーマーとしてはだいぶ使えるアプリだなという感想で、高性能なグラボや高リフレッシュレートのモニターが欲しくなるという、危険なアプリでした。
コメント
アニメや映画ドラマ、Hビデオも4K画質で楽しめます。昔のADVなんかもアップスケーリングで綺麗にフルスクリーンで楽しめます