ゲーム感想・評価まとめ＠2ｃｈ : 任天堂が機械学習によるアップスケーリング技術の特許を申請

　1: 名無しさん : 2022/07/09(土) 20:43:39.55 ID:NtPcnwbvd

https://gonintendo.com/contents/6139-nintendo-patent-aims-to-upscale-low-res-images-via-machine-learning

　43: 名無しさん : 2022/07/09(土) 21:03:56.05 ID:Ixxx5GMR0

>>1
任天堂の特許は、機械学習を介して低解像度の画像をアップスケールすることを目的としています
それはすべて明らかになりつつあります...

2022年7月7日

最近、任天堂の特許と商標がいくつか登場しました。BigNが出願した最新の特許は、低解像度と高解像度の画像と興味深い関係があります。

この特許は特に、機械学習を通じて低解像度の画像を高解像度の画像に変換することを目的としています。
これでは、画像をぼやけた画像からピクセル単位の画像に魔法のように変換することはできませんが、低品質の画像をもう少し見栄えのするものにアップスケーリングするのに大いに役立ちます。

特にハンドヘルドモードでは、少しぼやけるスイッチゲームがかなりあります。このようなアップスケーリングがあればいいのですが、開発者がそれから恩恵を受けることは間違いありません。
とはいえ、任天堂のすべての特許と同じように、これが任天堂が単に保護しようとしているものなのか、それともゲームへの適用に積極的に取り組んでいるのかはわかりません。

　233: 名無しさん : 2022/07/10(日) 06:52:32.87 ID:BJTomQWRM

>>1
アップスケーリングしたところで6インチディスプレイに恩恵あるとは思えないけど・・・

　322: 名無しさん : 2022/07/10(日) 19:34:55.89 ID:69mwN2pna

>>1
とりあえず、特許出願とそれが次のハードに採用されるかどうかは別問題
任天堂は毎年多くの特許を出願・取得しとるが、未使用特許がかなり占めとる

これは任天堂だけの話ではなく、ソニーやMS等でも同じ
特許出願は開発者の評価基準になったりもするし、他者に特許取られないようにする目的もある

だから、特許出願だけでは何とも分からん

　9: 名無しさん : 2022/07/09(土) 20:45:30.01 ID:LsrP2udT0

ソニーとMSも出してるよ

　11: 名無しさん : 2022/07/09(土) 20:46:10.44 ID:g5XqC7XT0

AIの補完処理なんてゲーミングPCで冬に暖房いらずで過ごせるようになるくらいめっちゃ処理重いぞ
今の処理性能で数万の携帯機に載せるのは無理でしょ

　18: 名無しさん : 2022/07/09(土) 20:52:22.05 ID:VofAA7z70

>>11
そういうのはCPUのSIMDやGPUコアでFP32～FP64でやってて処理も汎用的だから重いんだよ
DLSSもそうだけどAI用のコア（推論用、INT8等）で不要な部分を削ぎ落とした処理をやるから軽く処理できる

　22: 名無しさん : 2022/07/09(土) 20:54:30.51 ID:55IYJqYdd

>>18
任天堂が色々と特許申請して何かの下準備っぽい動き
うち1つが噂のDLSS…ではないが似た画像処理技術

　303: 名無しさん : 2022/07/10(日) 17:05:54.84 ID:6DNI5JJ60

>>18
DSLL？

　34: 名無しさん : 2022/07/09(土) 21:00:41.24 ID:FIFz9kpU0

>>11
Nintendo機ベースのDLSSっぽい仕組みじゃねーの

機械学習自体はネット上のスパコンでやって結果をドライバに随時溜めとくから、プレイ中の負荷は同じ解像度のネイティブより下がるって仕組みだろ

凄いアプコンなんだからネイティブでのレンダリングより負荷が上がっちゃうなら使う意味が無い

　12: 名無しさん : 2022/07/09(土) 20:46:46.03 ID:RhcvCZyT0

クリボー
1日前
@joeshabadoo
特許を読むのに疲れましたが、長すぎて頭上にあり、既存のMLアップスケーリングとの違いを確認できません:)
Switch SportsはFidelityFXを使用しているため、任天堂はその分野に手を出しています。私は彼らが既存の技術を活用することを期待していたでしょう。

　13: 名無しさん : 2022/07/09(土) 20:47:41.18 ID:ASUvmjcP0

前にヨーロッパ主導かなにかで出してたのとは違うの？

　14: 名無しさん : 2022/07/09(土) 20:48:54.09 ID:xUXRkR7Sd

方向性は見えてるよね

　15: 名無しさん : 2022/07/09(土) 20:49:22.40 ID:kTdvSQqp0

よく分からんけど、新型Switchにこれが実装されたとして
現行Switchのソフトのグラフィックとかがが新型並みにアプコンされるってこと？

　144: 名無しさん : 2022/07/09(土) 22:32:23.31 ID:PCIdx7OS0

>>15
現行はされない
AI用のCPUがいる
新型が低コストで高解像度出すための技術

　19: 名無しさん : 2022/07/09(土) 20:52:35.99 ID:EzItCVtQ0

よくわからん俺に教えてくれ😢

　42: 名無しさん : 2022/07/09(土) 21:02:58.85 ID:lqoMGj5Pd

>>19
元の動画をHD→4Kに引き伸ばしたりノイズを除去する時に
「ここは前後左右の画像がこうなってるから、きっと元の画像はこうなってるだろう」
って人工知能が機械的に判断して画像を補完して高解像度版の動画を生成する
ハーフHDをフルHDにするくらいなら何とかなるかも知れないけど4Kは重過ぎて無理だと思うけどね

　101: 名無しさん : 2022/07/09(土) 21:33:43.04 ID:EzItCVtQ0

>>42
ありがとう
凄いじゃん😍

　21: 名無しさん : 2022/07/09(土) 20:54:17.85 ID:sN/jh0gS0

もう携帯性を維持する為の消費電力の限界とかを考えるとこういう方向以外無いよな

　23: 名無しさん : 2022/07/09(土) 20:54:33.97 ID:b6KzAmfFd

DLSSなんて使わないってことだな

　26: 名無しさん : 2022/07/09(土) 20:55:56.41 ID:a1LmDBeQ0

DLSSじゃないにしても画像処理技術使うのは確実ぽいな

　28: 名無しさん : 2022/07/09(土) 20:57:07.02 ID:WhOsN8Sl0

任天堂独自のテンソルコア積んだアプスケ技術ってこと？
そんな技術力あるの？

　35: 名無しさん : 2022/07/09(土) 21:01:15.45 ID:Bll7xouC0

>>28
違う、Tensorコア（もしくは同等品）を使った任天堂独自のアプスケ技術
Tensorコアは任天堂が設計するわけじゃなくて搭載されてるSoCを前提にした物

　30: 名無しさん : 2022/07/09(土) 20:58:36.99 ID:qXvDvZHId

SwitchSportsでAMDのアプスケ活用してるけど
それとは違う自社規格のものってことだろ
両方合わせて使う形になるのかも

　40: 名無しさん : 2022/07/09(土) 21:02:01.55 ID:XBGJRtxo0

機械学習処理は予めサーバー等で行ってインターネット経由で学習データをゲームデバイスに配布
まんまDLSSクローンだなｗ

　45: 名無しさん : 2022/07/09(土) 21:04:17.93 ID:RaLVW0aYp

>>40
うおおお
完全にDLSSでワロタw

　49: 名無しさん : 2022/07/09(土) 21:06:16.93 ID:nocXu6o50

>>40
これNVIDIAに文句言われないのか？ってくらい同じだな

　59: 名無しさん : 2022/07/09(土) 21:12:10.85 ID:VFKuAdaL0

>>49
DLSS的なのはNvidiaの独自技術が必須ってわけでもないので
まあDLSSがあったからこれ特許があるのは確実だけど

個人的に学習がいらないFSR2.0の方向に行くと思ってたが

　67: 名無しさん : 2022/07/09(土) 21:18:19.18 ID:7Un9DB+Z0

>>59
FSR2.0は画質は大幅に上がったけど重いんだよね
DLSSの方がパフォーマンスが良い＝軽い
開発者側の対応の手間はDLSSとFSR2.0は同じくらいだそうなので
（FSR1.0は手間は全く無いけど画質がかなり悪い）
携帯機では学習の手間掛けてもDLSSが良いってことかも

　71: 名無しさん : 2022/07/09(土) 21:21:18.31 ID:VFKuAdaL0

>>67
あーなるほど
FSR2.0のが楽そうに思ったがそうでもないのね
純粋なポストプロセスじゃないからなあ

　84: 名無しさん : 2022/07/09(土) 21:25:46.99 ID:KlPSwEBI0

>>59
メーカーが学習データを用意できなくても
マスターアップされたソフトから高解像度の学習用データを作れれば
実用に耐えうるものにはなるんじゃないか

というかこの学習データを作る手間の関係で自前でやらざるを得ないんじゃないかと

　44: 名無しさん : 2022/07/09(土) 21:04:00.64 ID:+POP4RI40

NVもAMDもアテにしないって事？
それとも関連しての権利取得かな？

　48: 名無しさん : 2022/07/09(土) 21:06:15.71 ID:TQcN6Rr30

まあNVIDIA了承の基での自社特許の形にしたってところでしょ
VCや64・GC・Wiiタイトルのように将来エミュ駆動したのを販売するための権利関係の集約

　53: 名無しさん : 2022/07/09(土) 21:07:57.38 ID:wHiTlL0v0

NVのチップ使うんだから協力はしてるさ

　54: 名無しさん : 2022/07/09(土) 21:08:24.33 ID:Ixxx5GMR0

まあNVIDIAだからDLSSをサポートするよね

　63: 名無しさん : 2022/07/09(土) 21:16:45.21 ID:a1LmDBeQ0

携帯バージョンでも恩恵があるといいな

　68: 名無しさん : 2022/07/09(土) 21:18:33.65 ID:go8krOgFM

NVのGPU使うけど学習データはウチの使うでー
で合ってる？

　72: 名無しさん : 2022/07/09(土) 21:21:23.90 ID:7Un9DB+Z0

あとGPUに余裕がある場合はFSR2.0でも問題ないが、
携帯機はTensorにオフロードできるDLSSの方が良いのもあるかもね
RTX30（Ampere）からGPU（CUDA）とTensorを同時に動かせるようになったので
RTX20（Turing）までは同時に動かせなかった

　77: 名無しさん : 2022/07/09(土) 21:23:20.47 ID:VFKuAdaL0

>>72
なるほど
確かにCS機なら専用回路と割り切った方がいいな

　91: 名無しさん : 2022/07/09(土) 21:29:59.85 ID:xEhjxMl60

DLSSはNVIDIAのサーバー使うし独自でやりたかったんだろう

　99: 名無しさん : 2022/07/09(土) 21:33:06.34 ID:xEhjxMl60

たしかNVIDIAはSoCをカスタムしてくれないだよね
Tensorコア載ってるから使わざるを得ないし
個人的にはTensorコアをオミットして安くして欲しかったかな

　151: 名無しさん : 2022/07/09(土) 22:48:18.25 ID:zTb0j9o90

噂のDrakeのテンサーコア48個で実現できるのかね？

　155: 名無しさん : 2022/07/09(土) 22:52:40.34 ID:ysdYDZJQd

DLSSやFSRって、静止画にしか使えないじゃん
任天堂のコレも同じでしょ
だから比較動画だとカメラの動き止めてるほぼ静止画での比較しかしないし、カメラが動くとDLSSが解けてくっそボケボケになるんだよね

まあスクショ専用の無意味な技術だよ
ちゃんと動かして綺麗に見えるようにするにはDLSS切ってネイティブ解像度しかない

　157: 名無しさん : 2022/07/09(土) 22:58:35.62 ID:HRiTR6asd

動き誤判定は2.3で改善したよ
ソフト側が対応してないと駄目だけど

　158: 名無しさん : 2022/07/09(土) 23:08:41.55 ID:UeQsvnZQM

別に魔法の技術でもなんでもないのに
へんにハードル上げしようとしてるのはなぜ

　174: 名無しさん : 2022/07/09(土) 23:41:30.40 ID:DH7s/pDS0

Nvidiaの同技術の特許を回避したまったく別のやり方でそんな良いアプスケができるとは思えんけどなぁ

　198: 名無しさん : 2022/07/10(日) 01:26:53.30 ID:3iUHP7fP0

>>174
出てきてみないと分からないけど何らかの理由で似てるけど違う特許として存在させなきゃならないんだろうな
DLSS対応ソフトが現状少なさすぎるからその辺に何かあると見てるがあくまで憶測

　177: 名無しさん : 2022/07/09(土) 23:50:21.02 ID:DH7s/pDS0

しかしこれNvidiaに喧嘩うってることにならないか？

　182: 名無しさん : 2022/07/09(土) 23:58:46.57 ID:pDr0jyW7p

>>177
NVIDIAと協議した結果のこの選択じゃね？

　178: 名無しさん : 2022/07/09(土) 23:52:58.69 ID:pA8pKsMnd

nvidiaの特許を回避と言うよりもnvidiaのサーバーサービスに依存したくないだけだと思よな

　183: 名無しさん : 2022/07/10(日) 00:06:34.14 ID:v+q4Okxp0

FSRもあるしNVIDIAである必要なかったな

　189: 名無しさん : 2022/07/10(日) 00:11:40.19 ID:B6ZY8J0v0

>>183
FSRとかは効果薄すぎてなぁ

　191: 名無しさん : 2022/07/10(日) 00:20:14.10 ID:v+q4Okxp0

>>189
FSR1.0は本当に効果がわからない。FSR2.0は少しはマシになるのかね

　195: 名無しさん : 2022/07/10(日) 00:55:07.19 ID:dCtR75Wj0

撮影機能持った次のシリーズの森とかポケモンとかスプラやゼルダみたいな撮影も出来る要素に取り入れる準備かもしれないしな
GTとかでやってる高解像度モデルに差し替えて反映てはなく機能で実装に向けた技術でしょ

　205: 名無しさん : 2022/07/10(日) 01:47:50.00 ID:3iUHP7fP0

>>195
普段はDLSS前提の絵作りをしておいて撮影時のみネイティブ描画パターンもアリ
この場合は1フレームの絵を作るのに10フレームとかそれ以上の時間を」とか掛けてもいいんだし

　206: 名無しさん : 2022/07/10(日) 01:52:41.68 ID:ffbux1df0

フォトモードになると綺麗になるのは3Dマリオに搭載されてる
アンチエイリアス強化、シャドウマップの解像度向上、LODオフ等
FPSが半分になるけど元が60FPSなのでそれでも30FPS

　208: 名無しさん : 2022/07/10(日) 02:07:45.37 ID:nBGgPkh00

容量減らすなら1番いい手なんだろうな

　215: 名無しさん : 2022/07/10(日) 03:11:53.15 ID:jBS8jza80

https://www.freepatentsonline.com/y2021/0304355.html
https://www.freepatentsonline.com/y2021/0304356.html

去年の3月に話題になってた奴だよな。特徴は
DLSSと同様にTensor Coreと機械学習を使ったハイレゾ化。
DLSSと違って小規模な演算器と狭いメモリ帯域に制約された組込み機器を想定したアルゴリズムである。
DLSSと違って動きベクトルを使った仕組みはない。

おそらくNVIDIAの既存のDLSSアルゴリズムは規模の大きなdGPUでは効果的だが、T239の規模では問題があったんだろう。

　223: 名無しさん : 2022/07/10(日) 04:19:13.14 ID:6yI9/ajT0

当初はDLSSそのまま使うつもりだったけど、モバイルへの適用を研究した上で無理があると判断。
独自研究の結果がこの特許って感じかな。
アップスケーリング技術の採用が前向きかつ現実的になってるようで何より。

　228: 名無しさん : 2022/07/10(日) 05:21:06.96 ID:x7vx6/JK0

流出見ればほぼ確実にTensor Cores乗ってるわけだし
要はゲーム機用のDLSSだろ

　229: 名無しさん : 2022/07/10(日) 05:26:37.49 ID:x7vx6/JK0

任天堂が独自にDLSSと同等の機能を作るのは現実的ではないし
Nvidiaが任天堂携帯機向けにカスタムした
低解像度からのアップスケールに特化したDLSSだろうな

　239: 名無しさん : 2022/07/10(日) 08:19:59.57 ID:gI5S0l06p

T239のリークに頼らんでも幾つかの特許と、SwitchSportにFSRを採用したという流れで、少なくとも任天堂がアプスケ推しなことは確実
ただ任天堂が採用する技術は汎用性に難があるケースが多いからなぁ
例えばPCでDLSS対応しているタイトルなら流用できるとかじゃないとサードは使ってはくれないだろうな

　248: 名無しさん : 2022/07/10(日) 10:26:37.74 ID:nCjdFRRf0

AMDともNvidiaとも違うパターンなのか
どちらかと協力したコンソール用のものなのか

　271: 名無しさん : 2022/07/10(日) 14:31:43.19 ID:y/ZGdUNw0

DLSS対応タイトルさえ増えればなあ…

　279: 名無しさん : 2022/07/10(日) 14:41:59.31 ID:GgjnawwVM

Nvidia DLSS
AMD FSR
Intel XeSS
Epic TSR (UE5)
Apple MetalFX (スマホ)

アプスケ戦国時代じゃ

　310: 名無しさん : 2022/07/10(日) 18:03:22.86 ID:owvxaz5p0

スイッチのproかもしくは次世代機でDLSSおよび何かアプスケするなら320p→720p と　520p→900p or 1080pで十分以上の画質になればそれでいい
ある意味ターゲットを固定できるから楽っちゃあ楽

　315: 名無しさん : 2022/07/10(日) 18:27:50.22 ID:0F4CrRcT0

DLSS使わないんだな
まぁ学習結果を自社で持つ方が今後の過程になるか

　323: 名無しさん : 2022/07/10(日) 19:41:35.90 ID:WO9CelXe0

特許出願者が全員フランス人っぽいからこれNERDが主体の出願なのかね

　324: 名無しさん : 2022/07/10(日) 20:32:13.70 ID:2tNzp+qtd

これだな

Nintendo Switch向けに移植された『スーパーマリオサンシャイン』は、独自ディープラーニング技術によって高解像度化されていた
https://automaton-media.com/articles/newsjp/20210323-155610/

　327: 名無しさん : 2022/07/10(日) 21:07:28.70 ID:owvxaz5p0

>>324
そういやこんなんあったなぁ
でもコレならもう3，4年前くらいに特許申請しててもいいと思うんだが…　ってか任天堂の技術ちゃうし

　325: 名無しさん : 2022/07/10(日) 20:35:21.64 ID:DNM61N9R0

ハーフHD→フルHDだけなら何とかなるかも知れんけど、SD→ハーフHD以上だと変換前の絵と別物になり過ぎてるし
フルHD→4Kだと処理重過ぎて携帯機ではまず無理

　329: 名無しさん : 2022/07/10(日) 21:32:58.39 ID:y/ZGdUNw0

>>325
TensorCoreの負荷率なんかを測る術はユーザーにないんだけどなフルHD→4Kが携帯機で無理の根拠ってなにかある…？
普通のPCゲーの場合だとTensorCoreはRTCoreの出力画像のデノイズ処理とDLSSを処理を並行して行うわけだけど
DLSSの処理だけのTensorCoreの稼働率を測れるパフォーマンスモニターも実装してほしいんだけどな

　331: 名無しさん : 2022/07/10(日) 22:40:29.69 ID:ghpb36tG0

>>329
詳しくないからあれだけど
ページのしたの方にあるDLSSの処理時間みると
https://www.itmedia.co.jp/pcuser/articles/2112/30/news022_5.html
tensorcore少ないと4K出力は遅延発生する
って聞いた

　320: 名無しさん : 2022/07/10(日) 19:22:00.52 ID:nUqqdRr00

モザイク外せますか(^-^)?