2024.10.4 更新
本シリーズのカバーデザインについて
私たちは五感というメディアを介して世界を知覚し，自己の存在を認知することができます。メディア技術の進歩によって五感が拡張され続ける中，「人」はなにをもって「人」と呼べるのか，そんな根源的な問いに対する議論が絶えません。
本書の表紙・カバーデザインでは，二値化された五感が新しい機能や価値を再構築する様子をシンプルなストライプ柄によって表現しました。それぞれのストライプは5本のゆらぎを持った線によって描かれており，手描きのような印象を残しました。
しかし，この細かなゆらぎもプログラム制御によって生成されており，十分に細かく量子化された表現によって「ディジタル」と「アナログ」それぞれの存在がゆらぐ様子を表しています。乱雑に描かれたストライプをよく観察してみてください。本書を手に取った皆さんであれば，きっともう一つ面白いことに気づくでしょう。
デザインを検討するにあたって，同じコンセプトに基づき，いくつかのグラフィックパターンを生成可能なウェブアプリケーションを準備しました。下記URLにて公開していますので，あなただけのカバーを作ってみてください。読者の数だけカバーデザインが存在するのです。世界はあなたの五感を通じて存在しているのですから。
馬場哲晃
〈Cover Generator〉
https://tetsuakibaba.github.io/mtcg/刊行のことば
"Media Technology as an Extension of the Human Body and the Intelligence"
「メディアはメッセージである（The medium is the message）」というマクルーハン（Marshall McLuhan）の言葉は，多くの人々によって引用される大変有名な言葉である。情報科学や情報工学が発展し，メディア学が提唱されたことでメディアの重要性が認識されてきた。このような中で，マクルーハンのこの言葉は，つねに議論され，メディア学のあるべき姿を求めてきたといえる。
人間の知的コミュニケーションを助けることができるメディアは生きていくうえで欠かせない。このようなメディアは人と人との関係をより良くし，視野を広げ，新しい考え方に目を向けるきっかけを与えてくれる。
また，マクルーハンは「メディアはマッサージである（The medium is the massage）」ともいっている。マッサージは疲れた体をもみほぐし，心もリラックスさせるが，メディアは凝り固まった頭にさまざまな情報を与え，考え方を広げる可能性があるため，マッサージという言葉はメディアの特徴を表しているともいえるだろう。
さらにマクルーハンは"人間の身体を拡張するテクノロジー"としてメディアをとらえ，人間の感覚や身体的な能力を変化させ，社会との関わりについて述べている。現在，メディアは社会，生活のあらゆる場面に存在し，五感を通してさまざまな刺激を与え，多くの技術が社会生活を豊かにしている。つまり，この身体拡張に加え，人工知能技術の発展によって"知能拡張"がメディアテクノロジーの重要な役割を持つと考えられる。このために物理的な身体と情報や知識を扱う知能を融合した"人間の身体と知能を拡張するメディアテクノロジー"を提案・開発し，これらの技術を活用して社会の構造や仕組みを変革し，どのような人にとっても住みやすく，生活しやすい社会を目指すことが望まれている。
一方，大学におけるメディア学の教育は，東京工科大学が1999年にメディア学部を設置して以来，全国の大学でメディア関連の学部や学科が設置され文理芸分野を融合した多様な教育内容が提供されている。その体系化が期待されメディア学に関する教科書としてコロナ社から「メディア学大系」が発刊された。この第一巻の「改訂メディア学入門」には，メディアの基本モデルの構成として「情報の送り手，伝達対象となる情報の内容（コンテンツ），伝達媒体となる情報の形式（コンテナ），伝達形式としての情報の提示手段（コンベア），情報の受け手」と書かれている。これからわかるようにメディアの基本モデルには文理芸に関連する多様な内容が含まれている。
メディア教育が本格的に開始され20年を過ぎるいま，多くの分野でメディア学のより高度で急速な展開が見られる。文理芸の融合による総合知によって人間生活や社会を理解し，より良い社会を築くことが必要である。
そこで，このメディア分野の研究に関わる大学生，大学院生，さらには社会人の学修のため「メディアテクノロジーシリーズ」を計画した。本シリーズは"人間の身体と知能を拡張するメディアテクノロジー"を基礎として，コンテンツ，コンテナ，コンベアに関する技術を扱う。そして各分野における基本的なメディア技術，最近の研究内容の位置づけや今後の展開，この分野の研究をするために必要な手法や技術を概観できるようにまとめた。本シリーズがメディア学で扱う対象や領域を発展させ，将来の社会や生活において必要なメディアテクノロジーの活用方法を見出す手助けとなることを期待する。
本シリーズの多様で広範囲なメディア学分野をカバーするために，電子情報通信学会，情報処理学会，人工知能学会，日本ソフトウェア科学会，日本バーチャルリアリティ学会，ヒューマンインタフェース学会，日本データベース学会，映像情報メディア学会，可視化情報学会，画像電子学会，日本音響学会，芸術科学会，日本図学会，日本デジタルゲーム学会，ADADA Japan などにおいて第一線で活躍している研究者の方々に編集委員をお願いし，各巻の執筆者選定，目次構成，執筆内容など検討を重ねてきた。
本シリーズの読者が，新たなメディア分野を開拓する技術者，クリエイター，研究者となり，新たなメディア社会の構築のために活躍されることを期待するとともにメディアテクノロジーの発展によって世界の人達との交流が進み相互理解が促進され，平和な世界へ貢献できることを願っている。
2023年5月
編集委員長 近藤邦雄
編集幹事 伊藤貴之
編集委員会
編集委員（五十音順）
（所属は2023年5月現在）
シリーズラインナップ
- 3DCGの数理と応用（三谷 純 編）
- 音楽情報処理（後藤真孝 編著）
- 可視化と科学・文化・社会（竹島由里子 編）
- ゲームグラフィックス表現技法（金久保哲也 著）
- シリアスゲーム（藤本 徹 編著）
- デジタルファブリケーションとメディア（三谷 純 編）
- コンピュータビジョン - デバイス・アルゴリズムとその応用 -（日浦慎作 編）
- サウンドデザイン（松村誠一郎 編著）
- 音源分離・音声認識（大淵康成 編）
以下続刊
- 音楽制作－プログラミング・数理・アート－（松村誠一郎 編著）
- インタラクションデザインとメディア（五十嵐悠紀 編著）
- 情報可視化と情報デザイン（竹島由里子 編）
- 実践 3DCG―基本原理とUnityプログラミング―（藤代一成 編）
- ゲーム開発の基礎（今給黎 隆 著）
- バーチャルリアリティ（鳴海拓志 編著）
- ウェブテクノロジー（牛尼剛聡 編著）
- ソーシャルコンピューティング（牛尼剛聡 編著）
- ディープラーニングによるデジタルゲームAI（三宅陽一郎 著）
- メディアコンテンツのための音響制作（伊藤彰教 編著）
- 防災情報学（廣井 悠・畑山満則 編著）
- 自然言語（松吉 俊 編）
- 音声合成（徳田恵一 編）
関連書籍
-
メディア学大系特設ページ
-
メディア学キーワードブック - こんなに広いメディアの世界 -
-
シミュレーション辞典
-
音響キーワードブック - DVD付 -
-
キャラクタアニメーションの数理とシステム - 3次元ゲームにおける身体運動生成と人工知能 -
-
ゲーム情報学概論 - ゲームを切り拓く人工知能 -
-
バーチャルリアリティ学
-
コンピュータビジョン - 視覚の幾何学 -
-
意思決定を助ける 情報可視化技術 - ビッグデータ・機械学習・VR/ARへの応用 -
-
音響学講座 9 音楽音響
-
音響入門シリーズ B-4 ディジタル音響信号処理入門 - Pythonによる自主演習 -
-
音響テクノロジーシリーズ 24 機械学習による音声認識
メディアテクノロジーseries1
3DCGの数理と応用
- 三谷 純 編／ 高山健志・土橋宜典・向井智彦・藤澤 誠 著
- A5サイズ/256頁
- 定価4,290円（本体3,900円＋税）
- ISBN 978-4-339-01371-9
3DCGの基礎を支える技術を第一線で活躍する研究者が解説。
- 読者対象
- 本書は，理工系の大学生や大学院生を主な読者対象としていますが，3DCG技術に興味のある高校生や社会人，ゲーム制作会社のエンジニア，研究者など，幅広い読者にも役立つ内容となっています。
- 書籍の特徴
-
本書で取り扱う内容は3DCGの基礎となる内容です。しかしながら，基礎だから簡単というわけではなく，類書に比べると数学的に高度な内容を含むものとなっています。本書では，3DCGを支える技術を「モデリング」「レンダリング」「キャラクタアニメーション」「物理シミュレーション」といった四つに分け，それぞれ独立した章で解説します。この四つの技術を，もう少し平易な言葉で表現すれば，形を作る・映像を作る・動作を作る・自然界の挙動を再現する，と言い換えることができます。それぞれを各分野の第一線で活躍する研究者が担当しました。
【各章について】
「モデリング」の章では，物体の形状をサーフェスメッシュによって記述し，それを編集・加工するための諸理論を解説します。
「レンダリング」の章では，物体表面の輝度計算に焦点を当て，実写並みの映像を生成する大域照明計算手法，事前計算を用いた高速画像生成法などを解説します。また，リアリズムを向上させるために必要な光の散乱といった物理現象についても説明します。
「キャラクタアニメーション」の章では，アニメーション制作における標準技法であるスケルトン法について紹介し，人型を模したキャラクタモデルのためのさまざまなアニメーション編集技術を解説します。
最後に「物理シミュレーション」の章では，硬い物体だけではなく，水や空気のような流れる物体を含む，複雑な自然現象の挙動を計算で求めるための手法を解説します。 - 目次
-
1．サーフェスメッシュによる形状処理
1.1 序論
1.1.1 サーフェス形状の表現方法
1.1.2 ポリゴンメッシュによる形状表現
1.1.3 ポリゴンメッシュ処理のためのデータ構造
1.1.4 本章の構成
1.2 スムージング
1.2.1 一様ラプラシアンと前進オイラー法によるスムージング
1.2.2 後退オイラー法による数値的に安定なスムージング
1.2.3 表面積または体積の保存による縮退の防止
1.2.4 一様ラプラシアンの問題点
1.2.5 余接ラプラシアンの導出
1.2.6 平均曲率フロー
1.3 UV展開
1.3.1 境界を固定する方法
1.3.2 境界を固定しない方法
1.4 変形
1.4.1 調和関数に基づく変形
1.4.2 As-Rigid-As-Possible変形アルゴリズム
1.4.3 EARAPの修正
1.5 おわりに
2．レンダリング
2.1 序論
2.2 陰影計算
2.2.1 反射特性
2.2.2 光源の種類と輝度計算
2.3 大域照明
2.3.1 レンダリング方程式
2.3.2 ラジオシティ法
2.3.3 パストレーシング法
2.3.4 フォトンマップ法
2.4 事前計算付き高速レンダリング
2.4.1 イメージベースドライティング
2.4.2 事前計算付き高速輝度計算
2.5 光の散乱現象
2.5.1 光の散乱
2.5.2 最も簡単なモデル
2.5.3 一次散乱モデル
2.5.4 多重散乱モデル
2.5.5 さまざまな散乱現象の表現例
2.6 高度なレンダリング技術
2.6.1 深層学習とレンダリング
2.6.2 微分レンダリング
2.7 おわりに
3．キャラクタアニメーション
3.1 序論
3.2 キャラクタアニメーションの基礎
3.2.1 スケルトン法
3.2.2 ジョイント階層構造
3.2.3 ワールド座標系とローカル座標系
3.2.4 座標変換とワールド姿勢
3.2.5 ローカル姿勢
3.2.6 フォワードキネマティクス
3.2.7 ポーズとモーション
3.3 インバースキネマティクス
3.3.1 四肢向けの解析的手法
3.3.2 勾配降下法の応用
3.3.3 二次計画問題としての定式化
3.3.4 発見的手法
3.4 モーション変形
3.4.1 アニメーションカーブの編集
3.4.2 インバースキネマティクスの応用
3.4.3 時空間最適化手法
3.5 データ駆動型モーション編集
3.5.1 ノンパラメトリック回帰法のIK応用
3.5.2 潜在空間モデルのIK応用
3.5.3 ニューラルネットワークの応用
3.6 おわりに
4．物理シミュレーション
4.1 序論
4.2 剛体シミュレーション
4.2.1 剛体とは
4.2.2 衝突検出と衝突応答
4.2.3 衝突検出の高速化
4.3 弾性体シミュレーション
4.3.1 弾性体と塑性体
4.3.2 力学的なシミュレーション手法
4.3.3 位置ベース法
4.4 流体シミュレーション
4.4.1 流体の性質とナビエ・ストークス方程式
4.4.2 格子/メッシュベース手法
4.4.3 粒子ベース手法
4.4.4 その他の流体シミュレーション手法
4.5 その他の自然現象シミュレーション
4.6 おわりに
引用・参考文献
索引more - 著者からのメッセージ
-
コンピュータは長い間，科学技術計算やバックオフィスなどの用途を主として使われてきましたが，パーソナルコンピューターやゲーム機が我々の日常生活の中でも使用されるようになったことで，エンターテイメントを目的とした幅広いアプリケーションが開発されるようになりました。コンピュータの性能の向上に伴い，あたかも現実世界が画面の中に広がっているかのような映像を作り出すことに対するニーズが高まると，3DCGはなくてはならない技術となりました。今日では，ゲームや映画，または広告やVR体験などにおいて，3DCGをベースとしたサービスがさまざまに誕生しています。
このような3DCG技術も，一朝一夕で登場したわけではありません。コンピュータグラフィックス誕生からの長い期間における，地道な技術開発の積み重ねがありました。その果実を今，私たちは手にしているわけです。このような3DCG技術を高度に使いこなし，さらにその発展に貢献しようと考えるのであれば，その基礎を支える技術に対する理解が必要になります。そのような必要性に応えるために，本書が執筆されました。3DCG技術を支える理論に興味のある方々に，本書を手に取っていただけたらと思っています。 - キーワード
- コンピュータグラフィックス，モデリング，レンダリング，キャラクタアニメーション，物理シミュレーション
メディアテクノロジーseries2
音楽情報処理
- 後藤真孝 編著／ 北原鉄朗・深山 覚・竹川佳成・吉井和佳 著
- A5サイズ/240頁
- 定価3,960円（本体3,600円＋税）
- ISBN 978-4-339-01372-6
コンピュータ上で音楽を何かしたい！何ができる？と考えるすべての方へおすすめの1冊
- 読者対象
- 本書は，音楽を対象とした情報処理に興味を持つ幅広い読者を対象としています。入門的な内容から専門的な内容まで含んでいるので，大学生や大学院生だけでなく，高校生，社会人，研究者など，幅広い読者が楽しめる内容となっています。
- 書籍の特徴
-
「音楽情報処理」は，コンピュータ上で音楽のあらゆる側面を扱う研究分野で，身近で魅力的な研究成果の宝庫です。本書は，その研究分野名を書名に冠して日本語で初めて書かれた書籍です。音楽情報処理に関する基礎的な解説に加えて，代表的な研究テーマに関して，第一線で活躍中の研究者が具体的な研究事例を交えながら紹介しています。
本書は，読者がパラパラとめくって，興味を持った章から読み始められるように工夫してあります。各章を理解するために前の章まで読んでいる必要はありません。興味に応じていろいろな章を読み進め，最終的に本書全体を読むことで，音楽情報処理の研究分野に対する理解を深めていくことが可能です。【各章について】
本書は6章で構成されています。
1章では，「音楽情報処理の基礎」として，研究分野の全体像やコンピュータ上での音楽のデータ表現を解説します。（北原鉄朗担当）
2章では，コンピュータが音楽を生成する「自動作曲」について，発展の歴史や創造性に対する考え方と実現方法，機械学習を用いたさまざまな自動作曲事例を紹介します。（深山覚担当）
3章では，人間が作曲をしたり即興演奏をしたりする際のコンピュータの支援方法について，「作曲支援・即興演奏支援」の具体的な研究事例を交えて紹介します。（北原鉄朗担当）
4章では，楽器に焦点を当て，その演奏を支援する「楽器演奏支援」について，演奏者が演奏を学ぶ支援からレッスンで教師が指導する支援まで幅広く紹介します。（竹川佳成担当）
以上の2～4章が，音楽の創作に関連したトピックだったのに対し，5～6章では，音楽の鑑賞に関連したトピックを扱います。
5章では，コンピュータが音楽を自動的に解析する「自動採譜」について，問題の定式化から出発し，ビートやコード，歌声のような主要な音楽要素の推定方法を紹介します。（吉井和佳担当）
6章では，そのような音楽解析技術が，実際に人々の音楽の聴き方をどのように豊かにするのかについて，具体的な「音楽鑑賞インタフェース」の事例を交えて紹介します。（後藤真孝担当） - 目次
-
1．音楽情報処理の基礎
1.1 音楽情報処理へのいざない
1.1.1 音楽情報処理とは
1.1.2 音楽情報処理の歴史
1.1.3 音楽情報処理の分類
1.1.4 音楽情報処理で用いられる技術やプログラミング言語
1.1.5 音楽情報処理の研究を知ることができる学会・国際会議
1.2 コンピュータにおける音楽データの表現方法
1.2.1 信号と記号
1.2.2 音響信号
1.2.3 スペクトログラム
1.2.4 MIDI
1.2.5 ピアノロール
1.2.6 MusicXML
2．自動作曲
2.1 自動作曲とは
2.1.1 創造的な行為の自動化としての自動作曲
2.1.2 創造性の考え方の分類
2.1.3 自動作曲の創造性の実現方法
2.2 機械学習を用いた自動作曲
2.2.1 音楽と確率・統計
2.2.2 自動作曲の定式化
2.2.3 自動作曲の解法
2.2.4 自動作曲の評価
2.3 機械学習を用いた自動作曲の研究事例
2.3.1 再帰的ニューラルネットワークを用いた研究事例
2.3.2 変分オートエンコーダを用いた研究事例
2.3.3 敵対的生成ネットワークを用いた研究事例
2.3.4 トランスフォーマを用いた研究事例
3．作曲支援・即興演奏支援
3.1 作曲支援
3.1.1 「誰」が行う「何」を支援するか
3.1.2 ユーザも含めて作曲システムと考える
3.1.3 曲線に基づく作曲支援の研究事例
3.1.4 ループシーケンサに基づく作曲支援の研究事例
3.2 即興演奏支援
3.2.1 即興演奏支援における課題
3.2.2 鍵盤型UIを用いた研究事例
3.2.3 旋律概形を用いた研究事例
3.2.4 専用デバイスを用いた研究事例
3.2.5 音楽と無関係の行動を用いた研究事例
3.2.6 多様なジャムセッションを実現する
4．楽器演奏支援
4.1 楽器演奏支援とは
4.2 独習支援
4.2.1 運指学習を考慮したピアノ学習支援
4.2.2 リズム学習を考慮したピアノ学習支援
4.2.3 視線情報を用いた打鍵支援からの離脱
4.2.4 曖昧情報および虚偽情報の提示によるポジショニング支援からの離脱
4.2.5 視覚と聴覚を用いたポジショニング学習支援とその離脱
4.2.6 モチベーションを考慮したピアノ学習支援システム
4.3 レッスン支援
4.3.1 気づきのアノテーション機能を持つピアノレッスン支援
4.3.2 悪癖発見機能を持つピアノレッスン支援
4.3.3 カメラスイッチング機能を持つオンラインピアノレッスン支援
5．自動採譜
5.1 基本的な枠組み
5.1.1 問題設定
5.1.2 統計的アプローチ
5.1.3 性能評価
5.2 ビート・ダウンビート推定
5.2.1 ビート・ダウンビートの定義
5.2.2 ビート・ダウンビート推定の手がかり
5.2.3 深層推論モデルに基づくアプローチ
5.2.4 深層生成モデルに基づくアプローチ
5.3 コード・キー推定
5.3.1 コード・キーの定義
5.3.2 コード・キー推定の手がかり
5.3.3 深層推論モデルに基づくアプローチ
5.3.4 深層生成モデルに基づくアプローチ
5.3.5 変分オートエンコーダによる統合
5.4 歌声採譜
5.4.1 ピアノロール推定と楽譜推定
5.4.2 歌声採譜の手がかり
5.4.3 深層推論モデルに基づくアプローチ
5.4.4 深層生成モデルに基づくアプローチ
6．音楽鑑賞インタフェース
6.1 技術が切り拓く音楽鑑賞インタフェースの発展
6.2 楽曲の鑑賞インタフェース
6.2.1 音楽構造解析に基づく音楽鑑賞インタフェース
6.2.2 自動音楽同期に基づく音楽鑑賞インタフェース
6.2.3 音源分離に基づく音楽鑑賞インタフェース
6.2.4 能動的音楽鑑賞インタフェース
6.2.5 音楽理解力拡張インタフェース
6.3 音楽コレクションの鑑賞インタフェース
6.3.1 音楽検索インタフェース
6.3.2 音楽探索インタフェース
6.3.3 音楽推薦インタフェース
あとがき
引用・参考文献
索引more - 著者からのメッセージ
- スマートフォンで音楽を聴いたりコンピュータで音楽を制作したりできるのは，音楽情報処理が発展したおかげで，音楽の鑑賞や創作の多くの場面で研究成果が利用されています。音楽情報処理は人気が高く，学術的にも重要で多くの研究者の関心を集めてきました。その結果，新しい音楽技術やサービスが次々と生まれ，一般の方々も興味を持ちやすく，産業的な重要性も増しています。本書を通して音楽情報処理の魅力を多くの方々に知っていただけると嬉しいです。
- キーワード
- 音楽情報処理，自動作曲，作曲支援・即興演奏支援，楽器演奏支援，自動採譜，音楽鑑賞インタフェース
メディアテクノロジーseries3
可視化と科学・文化・社会
- 竹島由里子 編／ 伊藤貴之・宮地英生・田中 覚 著
- A5サイズ/240頁
- 定価4,180円（本体3,800円＋税）
- ISBN 978-4-339-01373-3
計算機による可視化技術について各種学術分野への連携や融合による応用事例を網羅的に紹介
- 読者対象
- 本書は，さまざまなデータの分析や解析に利用される可視化技術に興味をもつ，幅広い読者を対象としています。可視化に関する専門的な技術を学びたい大学生や大学院生，研究者だけでなく，高校生や社会人など，様々な読者が事例を通して可視化を知ることができる内容となっています。
- 書籍の特徴
-
本書では，実際にどのように可視化が利用されているのかを，「科学・文化・社会」の三つの分野に分けて，実用例を交えて紹介しています。流体の可視化に始まり，有形文化財のディジタル保存，ソーシャルメディアデータの可視化など多岐にわたる実用例を掲載していますので，単なる技術としてだけではなく，実社会でどのように可視化が役立っているのかを知ることができます。本書で取り扱う三つの分野を，それぞれが独立した章として構成していますので，興味がある分野から読んでいただけます。
【各章について】
1章では，可視化の歴史などを踏まえて，本書の構成について詳しく説明します。
2章では，空気や液体などの流体の可視化を中心に，自然科学分野における可視化事例を掲載しています。
3章では，有形文化財をディジタルデータとして永久保存する方法を通して，人文科学分野における可視化の利用例を紹介します。
4章では，実世界の物理空間に依存しないようなデータを扱う社会科学における可視化事例を紹介します。 - 目次
-
1．可視化とは
1.1 可視化の歴史と定義
1.2 自然科学と可視化
1.2.1 自然科学に活用される情報科学技術
1.2.2 自然科学が課題対象とする実空間の例
1.2.3 scientific visualization
1.3 人文科学と可視化
1.3.1 デジタルヒューマニティーズ
1.3.2 過去の復元・現在の保存
1.4 社会科学と可視化
1.4.1 社会科学に活用される情報科学技術
1.4.2 information visualization
1.4.3 情報処理技術がもたらした新しい社会問題のための可視化
1.5 本書の構成
2．科学と可視化－流体・医療・生命情報－
2.1 概要：科学的なデータの可視化
2.1.1 実験計測データの可視化
2.1.2 数値シミュレーションの可視化
2.2 科学分野での可視化の目的と対話操作
2.2.1 科学技術分野における可視化の目的
2.2.2 科学分野における可視化に必要な対話操作
2.3 流体シミュレーションの可視化
2.3.1 データ形式
2.3.2 流体シミュレーションの可視化で用いる可視化手法
2.3.3 ボリュームレンダリング
2.3.4 点群表示
2.3.5 数値流体シミュレーションの可視化例
2.4 その他の科学技術分野における可視化
2.4.1 医療撮影画像を用いた可視化
2.4.2 生命情報に関する可視化
2.5 科学技術分野におけるVR/AR/MR/XRの活用
2.5.1 立体視装置
2.5.2 没入型ディスプレイ
2.5.3 オーグメンティッドリアリティ
2.5.4 ミックスドリアリティ
2.5.5 クロスリアリティ
2.5.6 可聴化
2.6 科学技術分野の可視化システム
2.6.1 科学技術分野の可視化システムの実装
2.6.2 具体的な実装事例：可視化フレームワークVisAssets
2.7 本章のまとめ・今後の展望
3．文化と可視化—文化財の3次元計測—
3.1 概要：文化財のディジタル保存と可視化
3.2 有形文化財のディジタル保存
3.2.1 3次元計測技術の発展
3.2.2 3次元計測で取得されるデータ
3.3 3次元計測データの軽量化
3.3.1 ランダムサンプリン
3.3.2 ボクセル化
3.3.3 ポアソンディスクサンプリング
3.3.4 ポリゴンメッシュ化
3.4 3次元計測データのポイントレンダリング
3.4.1 ポリゴンレンダリングとポイントレンダリング
3.4.2 描画単位としての「点」に付与される属性
3.4.3 点に3次元的な幾何学形状を与えるポイントレンダリング
3.4.4 点の2次元的な像を利用するポイントレンダリング
3.4.5 3次元計測点群を活用したバーチャルリアリティ
3.5 3次元計測データの半透明可視化
3.5.1 半透明可視化における「奥行き感」の重要性
3.5.2 3次元計測点群の半透明可視化の難しさ
3.5.3 確率的ポイントレンダリングの概要
3.5.4 確率的ポイントレンダリングの実行手順
3.5.5 半透明性の確率的な実現
3.5.6 不透明度を制御する公式
3.5.7 輝度勾配による法線ベクトルが不要な陰影付け
3.5.8 点密度制御
3.6 事例紹介：有形文化財3次元計測点群の可視化
3.6.1 京都・祇園祭の山鉾
3.6.2 宮城・瑞巌寺の洞窟遺跡群
3.6.3 滋賀・旧中島家住宅（古民家）
3.6.4 京都・藤森神社の拝殿
3.7 計測ノイズとその除去・消失
3.7.1 3次元計測における計測ノイズ
3.7.2 計測ノイズの除去
3.7.3 計測ノイズを統計的に消失させる可視化
3.7.4 ノイズの消失実験
3.7.5 ノイズ消失の理論的背景
3.8 3次元計測データの特徴領域強調
3.8.1 特徴領域強調の必要性
3.8.2 3次元構造テンソルを用いた特徴領域抽出
3.8.3 特徴領域の強調可視化
3.8.4 3次元エッジを細線化する可視化
3.8.5 ソフトエッジの強調可視化
3.9 事例紹介：巨大文化遺跡のマルチデータソース可視化
3.9.1 ボロブドゥール寺院のディジタル保存と可視化
3.9.2 寺院表面
3.9.3 地下基礎工事部分
3.9.4 隠された壁面レリーフ
3.9.5 データ統合とマルチデータソース可視化
3.10 本章のまとめ・今後の展望
4．社会と可視化ーメディアやビジネスから見える社会現象ー
4.1 概要：社会現象を映し出す可視化
4.1.1 社会現象のための可視化手法
4.1.2 機械学習と可視化
4.1.3 可視化とインタラクションデザイン
4.1.4 社会現象の可視化に関する新たな展開と課題
4.2 センサデータと可視化
4.2.1 環境，災害に関するセンサデータの可視化
4.2.2 移動体追跡結果の可視化
4.3 インターネットと可視化
4.3.1 ウェブの歴史と可視化
4.3.2 ソーシャルメディアの定義と可視化
4.4 マルチメディアと可視化
4.4.1 写真集合の可視化
4.4.2 音楽の可視化
4.5 基幹システムと可視化
4.5.1 ビジネス・金融情報の可視化
4.5.2 セキュリティ情報・不正情報の可視化
4.6 人工知能と可視化
4.6.1 人工知能がもたらす社会問題と可視化
4.6.2 機械学習の説明責任のための可視化
4.7 本章のまとめ・今後の展望
引用・参考文献
索引more - 著者からのメッセージ
- 「可視化」は，自然現象や人体の観察や分析に古くから利用されてきました。コンピュータの登場により，以前は人間が手描きで画像にしていたものが，現在ではコンピュータを用いて容易に可視化することができるようになりました。大規模かつ複雑なデータが当たり前のように生成されている現在，それらのデータの分析・解析には，「可視化」は必要不可欠な技術です。一方，どのような場面で「可視化」がどのように利用されているかは，一般的にはあまり認識されていません。本書に掲載しているさまざまな事例を通して，多くの読者の方に「可視化」に興味を持っていただければ幸いです。
- キーワード
- 可視化，科学系可視化，情報可視化，コンピュータグラフィックス，ディジタルヒューマニティーズ，計算社会科学
メディアテクノロジーseries4
ゲームグラフィックス表現技法
- 金久保哲也 著
- A5サイズ/200頁
- 定価3,300円(本体3,000円+税)
- ISBN 978-4-339-01374-0
リアルタイムCG技術と映像表現手法の二つの側面からゲームグラフィックス表現を解説
- 読者対象
- 本書はゲーム制作に取り組もうとしているビジュアルアーティスト、アニメーターの学⽣を対象としていますが、企画、プログラマーの学⽣にもそれぞれの分野で役⽴つ内容となっています。
- 書籍の特徴
-
本書ではデジタルゲームのビジュアルアーティスト向けにリアルタイムCG 技術と映像表現⼿法の⼆つの側⾯からゲームグラフィックスの表現技法を解説しています。特定のツールに限定せずにゲームのグラフィックス表現がどのような仕組みで表現されているのか、技術⾯から解説すると同時にビジュアルアートやゲームデザインの側⾯からの制作上の留意点やゲームグラフィックスとして求められることも取り上げています。
【各章について】
「リアルタイム CG」の章ではリアルタイムCG の仕組みと3DCG ゲームグラフィックス表現の変遷について解説します。
「モデル」，「ライト」，「マテリアル」，「アニメーション」の各章では各要素がどのような仕組みでゲームグラフィックスをコントロールしているか解説します。
「ワークフローとアーティストの役割」の章ではゲーム制作におけるビジュアルアーティストの役割分担や⼯程管理について解説します。
「背景‧ステージ制作」，「キャラクター制作」，「ゲームアニメーション制作」，「カットシーン制作」，「エフェクト制作」の各章では各アセットの具体的な制作⽅法とリアルタイムCG 技術を解説します。また、ビジュアルアーティストに求められることや必要な知識に関しても解説します。 - 目次
-
1．リアルタイムCG
1.1 リアルタイムCGとは
1.2 リアルタイムCGの仕組み
1.3 フレームレート，レイテンシ
1.4 リアルタイムCGのアセット制作環境
1.5 ゲームエンジン
1.6 3DCGゲームグラフィックの表現の変遷
1.7 アーティストが学ぶこと（アートとテクニカル）
2. モデル
2.1 モデルデータの基本的な構成要素
2.1.1 ポリゴン
2.1.2 法線
2.1.3 トポロジー
2.1.4 UV座標
2.2 モデルの種類
2.2.1 背景モデル
2.2.2 プロップ
2.2.3 キャラクター
2.3 モデルの制作手法
2.3.1 一般的なポリゴンモデリング
2.3.2 スカルプティング
2.3.3 スキャニング，デジタイズ
2.3.4 フォトグラメトリ
2.3.5 ビルボード表現
2.3.6 プロシージャルモデリング
3. ライト
3.1 実写ライティングの知識
3.1.1 直接光と拡散光
3.1.2 光の方向よる対象物の見え方の違い
3.1.3 三灯照明（三点照明）
3.1.4 キャッチライト
3.2 CGのライトの特徴
3.2.1 ライトが影響する対象の設定
3.2.2 減衰率の設定
3.2.3 影の表現
3.3 ライトの種類
3.3.1 Enviromentライト
3.3.2 Directionalライト
3.3.3 Pointライト
3.3.4 Spotライト
3.3.5 Areaライト
3.4 グローバルイルミネーション
3.5 ライトマップ
3.6 頂点への輝度情報のベイク
4. マテリアル
4.1 マテリアルの種類
4.1.1 Albedo（Base Color）
4.1.2 Metallic（Metalness）
4.1.3 Smoothness（Roughness）
4.1.4 Transparency
4.1.5 Normal map
4.1.6 Height map
4.1.7 Emission
4.1.8 Reflection
4.2 テクスチャの制作手法
4.2.1 ペイントツールでの作成
4.2.2 写真からのテクスチャ作成
4.2.3 プロシージャルテクスチャツール
4.3 メモリを効率的に使用する手法
4.3.1 圧縮テクスチャ
4.3.2 ミップマップ
4.3.3 マスクテクスチャ
5. アニメーション
5.1 手描きアニメーションの理論
5.1.1 コントラスト
5.1.2 スローイン・スローアウト
5.1.3 誇張
5.1.4 予備動作
5.1.5 伸縮
5.1.6 ヒップファースト
5.1.7 アーク（弧）
5.1.8 オーバーラップ
5.1.9 フォロースルー
5.2 ビデオゲームのアニメーション要素
5.2.1 位置・回転・スケールによるアニメーション
5.2.2 形状を変化させるアニメーション
5.2.3 テクスチャのアニメーション
5.2.4 カメラのアニメーション
5.2.5 ライトのアニメーション
5.3 RIG（リグ）
5.3.1 階層構造による制御
5.3.2 パスアニメーション
5.3.3 コンストレイン
5.3.4 IK（インバースキネマティクス）
5.3.5 スクリプト
5.3.6 アニメーションのベイク（プロット）
5.4 アニメーションの制作手法
5.4.1 キーフレームアニメーション
5.4.2 モーションキャプチャ
5.4.3 シミュレーション
5.5 アニメーションの編集手法
5.5.1 グラフエディタ
5.5.2 アニメーションレイヤー
5.5.3 ドープシート
5.5.4 ノンリニアアニメーションツール
5.5.5 タイムワープ
6. ワークフローとアーティストの役割分担
6.1 基本的なワークフロー
6.1.1 プロトタイピング
6.1.2 プリプロダクション
6.1.3 本制作
6.1.4 ブラッシュアップ（ポリッシュ）
6.1.5 実装までのフロー整備
6.2 アーティストの役割分担
6.2.1 コンセプトアート
6.2.2 背景・ステージ制作
6.2.3 キャラクター制作
6.2.4 アニメーション制作
6.2.5 エフェクト制作
6.2.6 ライティング
6.2.7 ルックデベロップメント
6.2.8 UI
6.3 リファレンス
6.4 データのバージョン管理
6.5 工程管理
6.6 役割分担の細分化と変化するアーティストの役割
7. 背景・ステージ制作
7.1 背景デザインに求められること
7.1.1 現実味を感じさせるデザインとスケール感
7.1.2 空間を演出する
7.1.3 レベルデザイン
7.2 背景制作のフロー
7.2.1 ビジュアルデザイン
7.2.2 レベルデザイン
7.2.3 モデル制作
7.2.4 エフェクトやアニメーションを伴う背景モデル
7.2.5 背景のヒットチェック設定
7.2.6 ライティング
7.2.7 ライトプローブの配置
7.3 ブロック展開
7.4 テッセレーション
8. キャラクター制作
8.1 キャラクターデザインに求められること
8.1.1 立体表現と動きを考慮したデザイン
8.1.2 プロポーション
8.1.3 キャラクターデザイン制作に関連する知識の重要性
8.1.4 キャラクターのプロップ
8.1.5 乗り物，メカ
8.2 キャラクター制作のフロー
8.2.1 モデル制作
8.2.2 フェイシャルモデル
8.2.3 ボーン配置とスキンウェイト設定
8.2.4 テクスチャ作成
8.2.5 キャラクターRIG
8.3 補助ボーン
8.4 小物，衣服，髪の毛などの揺れ物
8.5 キャラクターのヒットチェック設定
8.6 LOD
9. ゲームアニメーション制作
9.1 ゲームアニメーションに求められること
9.1.1 レスポンス
9.1.2 動きの滑らかさと連続性
9.1.3 分かりやすさ，シルエット
9.1.4 アニメーションシステムの理解
9.1.5 汎用性と標準化
9.2 ゲームアニメーション制作のフロー
9.2.1 遷移図とリストの作成
9.2.2 仮アニメーションでの検証
9.2.3 ヒットチェックのアニメーション調整
9.2.4 ブラッシュアップ
9.2.6 プロップのアニメーション
9.2.5 乗り物，メカのアニメーション
9.2.6 手付けアニメーションかモーションキャプチャか
9.3 ステートマシン
9.4 シミュレーション，ラグドール
9.5 IKによるアニメーション補正
9.6 アニメーションデータ圧縮
10. カットシーン制作
10.1 カットシーンに求められること
10.2 カメラワーク
10.2.1 画角
10.2.2 被写界深度
10.2.3 圧縮効果
10.2.4 ショットサイズ
10.2.5 イマジナリーライン
10.2.6 カメラオペレーション
10.3 カットつなぎ
10.3.1 連続性を維持する
10.3.2 リズムをつくる
10.3.3 カットのつなぎ方
10.4 フェイシャル
10.4.1 フェイシャルアニメーションの二つの要素
10.4.2 効率の良いフェイシャルコントロールを考える
10.4.3 感情の変化
10.4.4 リップシンク
10.4.5 フェイシャルキャプチャ
10.5 カットシーンの方式
10.6 カットシーン制作のフロー
10.6.1 プリビズ，コンテムービー
10.6.2 モーションリスト
10.6.3 モーションキャプチャ
10.6.4 レイアウトとアニメーション編集～ライティング，エフェクト
10.6.5 フェイシャルアニメーション
10.7 カットシーン制作での留意点
10.7.1 データのローディング
10.7.2 ゲームシーケンスとのつながり
10.7.3 シミュレーションの使用
11. エフェクト制作
11.1 エフェクトの役割
11.2 エフェクト制作に求められること
11.2.1 物理法則，物理現象の理解
11.2.2 CGのテクニカル知識
11.2.3 観察と再構築
11.2.4 見えないものをデザインする
11.2.5 物理現象としての正解とゲームエフェクトの役割としての正解
11.3 エフェクトの制作環境
11.4 エフェクトの制作手法
11.4.1 物理シミュレーション
11.4.2 ビルボード
11.4.3 ポストエフェクト
11.5 エフェクト制作のフロー
11.5.1 エフェクトリストの作成
11.5.2 プロトタイピング，汎用エフェクトの作成
11.5.3 背景データ，アニメーションデータの引き継ぎとエフェクト作成
11.5.4 ポストエフェクトの処理負荷検証
引用・参考文献
索引more - 著者からのメッセージ
-
ゲームグラフィックスは技術とアートを相互に関連させることによって表現されています。ゲーム制作のビジュアルアーティストにはアートの側⾯からの表現だけでなく、リアルタイムCG技術を理解して新たな表現を⽣む出す⼒が求められます。本書ではゲーム制作に興味を持つデザイン系、アーティスト系の学⽣に対して、⾃⾝がデジタルゲームで描きたい表現とゲームグラフィックスの技術がどのように結びついているのか分かりやすく解説しています。
ゲームエンジンの進化によってビジュアルアーティストでもリアルタイムCGやゲームシステムに積極的に担える環境が整いつつあります。より⾃⾝の思い描くゲームグラフィックスを表現するために本書が⾜がかりになれば幸いです。 - キーワード
- ゲームグラフィックス，リアルタイムレンダリング，モデリング，マテリアル，アニメーション，ライティング，カメラ，ゲームステージ，キャラクター，カットシーン，エフェクト
メディアテクノロジーseries5
シリアスゲーム
- 藤本 徹 編著／ 池尻良平・福山佑樹・古市昌一・松隈浩之・小野憲史 著
- A5サイズ/236頁
- 定価3,960円(本体3,600円+税)
- ISBN 978-4-339-01375-7
シリアスゲームの入門的内容から具体的な開発方法，導入時の論点まで事例を交えて解説
- 藤本 徹 編著／ 池尻良平・福山佑樹・古市昌一・松隈浩之・小野憲史 著
- A5サイズ/236頁
- 定価3,960円(本体3,600円+税)
- ISBN 978-4-339-01375-7
- 読者対象
- 本書は，教育や社会的なテーマでのゲーム開発や利用に関心を持つ読者を対象としています。この分野に関心のある学生や研究者，開発者，教育者などの幅広い読者が，本書を入口にシリアスゲームやゲーミフィケーションの開発や導入に取り組むために必要な知識を楽しんで学べる内容になっています。
- 書籍の特徴
-
「シリアスゲーム」は社会的な問題解決のためのゲームの開発・利用を総称する用語として提唱され，娯楽を超えたゲームの多様な可能性を広げる概念として普及しました。本書では，シリアスゲームの成り立ちからこれまでの展開を概観し，各分野における事例や新たな取り組みを整理して解説しています。2000年代からの約20年間の変遷の中で生じた多様な分野におけるシリアスゲームの拡がりや，その後のゲーミフィケーションへの展開についてテーマごとに整理して解説しました。
【各章について】
1章では，本書の導入としてシリアスゲームの定義や概念的な整理を行いました。これまでのシリアスゲーム研究の議論を発展させて，その後のシリアスゲーム研究の論点や近年の事例を踏まえた再検討を行っています。（藤本徹担当）
2章では，シリアスゲームの初期の事例や各分野への展開を概観し，ゲーミフィケーションへの展開とともにシリアスゲームの取り組みが社会に与えた意義や影響を解説しました。（藤本徹担当）
3章では，シリアスゲームデザインの枠組を検討し，歴史学習の分野の事例を中心に解説しました。（池尻良平担当）
4章では，シリアスゲームのメディアの性質について検討し，アナログゲーム，デジタルゲーム，アナログゲームのデジタル化の側面から事例を取り上げて考察を行いました。（福山佑樹担当）
5章では，シミュレーション開発を応用したシリアスゲームの開発方法の各分野への応用について，豊富な事例を交えて解説しました。（古市昌一担当）
6章では，医療現場や福祉現場に向けて開発されたシリアスゲーム導入のコミュニティ形成の重要性について議論しました。（松隈浩之担当）
7章では，地域課題解決のためのシリアスゲームである「地方創生ゲーム」の展開について取り上げて主要な事例を取り上げて解説しました。（小野憲史担当）
最後の8章では，各章で挙げられた論点を整理して総括的な検討を行うとともに，今後のシリアスゲームの開発や実践における課題と可能性について考察しました。（藤本徹担当）
- 目次
-
1．シリアスゲームとは
1.1 シリアスゲームの定義と対象
1.1.1 「ゲーム」の概念的な定義
1.1.2 シリアスゲームの定義
1.1.3 シリアスゲームの範囲
1.2 関連用語との類似点と相違点
1.2.1 ゲーミングシミュレーション
1.2.2 エンターテインメントエデュケーション
1.2.3 エデュテインメント
1.2.4 シリアスゲームとともに提唱された概念・用語
1.2.5 ゲーミフィケーション
1.2.6 その他の関連用語
2． シリアスゲームの展開
2.1 シリアスゲームの歴史的展開
2.1.1 シリアスゲーム登場の発端とコミュニティ形成
2.1.2 初期の代表的事例
2.1.3 シリアスゲームが起こした変化
2.2 国内における展開
2.2.1 国内大手ゲーム会社の動向
2.2.2 産学連携によるシリアスゲーム開発の取組み
2.3 ゲーミフィケーションへの展開
2.4 シリアスゲームの残した成果
3. シリアスゲームのデザイン
3.1 シリアスゲームの一般的なデザイン論
3.1.1 ゲーム学習のフレームワーク
3.1.2 学習に効果的なゲーム要素
3.1.3 シリアスゲームの一般的なデザイン論のまとめ
3.2 学習領域に合わせたシリアスゲームの事例紹介
3.2.1 防災の学習領域のシリアスゲーム『Stop Disasters!』
3.2.2 歴史の学習領域のシリアスゲーム『Mission US』
3.3 学習領域に合わせた独自なデザインについての考察
3.3.1 二つの事例における学習領域ならではのデザイン
3.3.2 各学習領域におけるキー概念の抽出方法
3.4 学習領域に合わせた効果的なシリアスゲームのデザイン論
3.4.1 学習領域に合わせた効果的なシリアスゲームのデザイン手順
3.4.2 熟達者研究を活用した歴史領域のシリアスゲームのデザイン事例
4. シリアスゲームのメディア
4.1 シリアスゲーム研究におけるメディア
4.2 アナログゲームとデジタルゲームの特徴
4.3 シリアスゲームとメディアの特性：『ジョブスタ』を対象として
4.3.1 『ジョブスタ（アナログ版）』
4.3.2 『ジョブスタオンライン（アプリ版）』
4.3.3 『ジョブスタオンライン版（ビデオ会議版）』
4.3.4 『ジョブスタ（ハイフレックス）』版の実践
4.3.5 メディアの特性の影響についての考察
4.4 教育目的のシリアスゲームのメディア比較研究
4.5 メディア特性を活かしたシリアスゲームの展望
5. シリアスゲームの開発方法
5.1 シリアスゲーム開発方法普及の重要性
5.1.1 ソフトウェア工学とゲーム開発
5.1.2 一般的なゲーム開発とシリアスゲームの開発の相違点
5.1.3 シリアスゲーム開発プロセスSGDP
5.2 シリアスゲーム開発の実際
5.2.1 開発者自ら課題に対して調査を行う場合
5.2.2 ユーザーと専門家の協力を得て開発する場合
5.2.3 専門のSEと共同で開発する場合
5.3 シリアスゲーム開発法の普及活動：シリアスゲームジャム
コラム：シリアスゲーム命名クラーク・アプト博士
6. エクサゲーム
6.1 エクサゲーム研究の現状
6.2 エクサゲームの利用者と環境
6.3 事例1：『リハビリウム起立くん』
6.3.1 ゲーム概要
6.3.2 検証
6.4 事例2：『ロコモでバラミンゴ』
6.4.1 ゲーム概要
6.4.2 検証
6.5 事例3：『たたけ！バンバン職人』
6.5.1 ゲーム概要
6.5.2 検証
6.6 コミュニティ形成
6.6.1 施設内でのコミュニケーション
6.6.2 地域における健康運動サークル
6.6.3 スマホとクラウドを用いたオンラインコミュニティ
6.7 エクサゲーム研究の展望
7. 地方創生とゲーム
7.1 企業と個人，双方の地方創生ゲーム
7.2 ご当地ゲームの広がり
7.3 ご当地ゲームの先行研究と先行事例
7.4 インディゲームが切り開いた「地方創生ゲーム」への展開
7.5 公費投入型地方創生ゲーム
7.5.1 種類
7.5.2 公費投入型地方創生ゲームの背景
7.5.3 開発事例
7.5.4 長所と課題
7.6 インディゲーム型地方創生ゲーム
7.6.1 事例1：『岐阜クエスト』
7.6.2 事例2：『まるがめクエスト』
7.7 産業育成型地方創生ゲーム
7.8 地方創生ゲームの未来
8. 今後の課題と展望
8.1 各章の論点の整理
8.2 これまでの課題と展望を振り返る
8.2.1 シリアスゲームを軸とした異分野連携
8.2.2 ゲーム業界におけるシリアスゲームの可能性
8.2.3 ゲームに対する認識の社会的変化
8.3 これからの課題と展望
8.3.1 開発と導入のための方法論の充実
8.3.2 効果に関する知見の共有
8.3.3 支援の仕組みと導入のための基盤整備
引用・参考文献
索引more - 著者からのメッセージ
- ゲームを取り入れた社会課題解決や，ゲームを入口とした学びの場づくりなど，多様なゲームの可能性に期待する方がまずは手に取るべき一冊として執筆しました。大学でシリアスゲームを教えたい教員の方や開発者研修の講師の方，地域振興や事業開発の企画担当者の方など，ゲームを軸に新しい取り組みを始めたい方が，次の一歩に進むための入門書として手に取っていただければ幸いです。
- キーワード
- シリアスゲーム，ゲーミフィケーション，ゲーム学習，ゲームと教育，シミュレーションゲーム，エデュテインメント，エクサゲーム，地方創生ゲーム
メディアテクノロジーseries6
デジタルファブリケーションとメディア
- 三谷 純 編／ 田中浩也・小山裕己・筧 康明・五十嵐悠紀 著
- A5サイズ/208頁
- 定価3,520円(本体3,200円+税)
- ISBN 978-4-339-01376-4
専門家だけでなく,自らの手で何かを創り出すことに興味や情熱を持つすべての方々へ！
- 読者対象
- 3Dプリンタやレーザーカッターなどのデジタル加工機を使ったものづくりや、メディアアート、そして新しい技術そのものに興味を持つ学生、研究者、アーティスト、ビジネスの新しい可能性を求める企業家やマーケター。
自らの手で何かを創り出すことに興味や情熱を持つすべての方々に、本書が有益であると感じていただけると信じています。 - 書籍の特徴
-
デジタルデータをもとに制作を行う「デジタルファブリケーション」の技術は、製造からメディア、アートまでの多岐にわたる領域において、大きな変化をもたらしています。本書では、このデジタルとフィジカルを橋渡しするための技術、そしてその背景にある思想と未来に向けた可能性について詳しく探っていきます。
それぞれの章は、各分野の第一線で活躍する著名な研究者が執筆しています。デジタルファブリケーションとメディアという共通のテーマを掲げながらも、それらをどのような視点から捉え、考察するか、そしてどのように整理しまとめるかは執筆者ごとに大いに異なるものとなっています。本書では、このような執筆者ごとの独特なスタイルを統一することをせずに敢えて残すことで、それぞれが長年にわたり取り組んできた研究に基づく深い知識と情熱を感じられるものとなっています。本書を手に取った読者の皆様が、各章を読み進めることで、デジタルファブリケーションの幅広い領域に触れることができることでしょう。【各章について】
本書は、デジタルファブリケーションとメディアを支える技術や概念、応用分野を「離散的設計」「コンピュテーショナルデザイン」「インタラクティブなものづくり」「パーソナルファブリケーション」といった4つに分け、それぞれを独立した章で解説します。
第1章では、「デジタル」本来の意味に立ち返り、離散的設計によるものづくりの本質を追求します。広義のデジタルファブリケーションから、デジタルマテリアル、アーキテクティッドマテリアル、セルフアセンブリシステムと言った狭義の離散的ものづくりまでを網羅し、最先端の幅広い実例とともに、その意味と意義について議論します。そして、デジタルファブリケーションが地球環境問題に立ち向かうことができる技術でもある可能性を示します。
第2章では、コンピュテーショナルデザインを主題とし、従来は属人的であった設計のプロセスを数理的な最適化問題としてモデル化する手法、および数理技術と計算機を駆使することによって、人間の思考力の限界を超えた高度な設計、あるいは効率的な設計プロセスを達成しようとする試みを紹介します。設計を最適化問題の視点から捉えるという姿勢を徹底し、機能性に着目したものづくりを実現するためのアプローチを手描きイラストとともに解説します。
第3章では、インタフェース技術やインタラクションデザインの観点からデジタルファブリケーション領域を概観し、その事例や展望を整理して紹介します。そのなかでは、ものの造形だけではなく、センサやアクチュエータと一体化して、形状を動的に制御しインタラクションに用いる研究を複数取り上げます。さらに、形状ディスプレイあるいは形状変化インタフェースと呼ばれる研究領域の兆しや課題について議論し、デジタルファブリケーションおよびメディアアートの未来像を示します。
第4章では、ユーザー視点からのデジタルファブリケーションを取り上げ、一般市民が手軽にものづくりに関わることができる社会づくりへの取り組みを紹介します。大量生産された商品の中から自分の欲しいものを選択するのではなく、欲しいものを自分でデザインして使うことが当たり前の世の中になったとき、私たちが自分の欲しいものを設計・制作するために必要な支援ツールのあるべき姿を模索します。 - 目次
-
1. ものの離散化とディスクリート離散的設計の可能性
1.1 デジタルファブリケーションとは何か
1.1.1 「デジタル」を捉え直す
1.1.2 広義のデジタルファブリケーション
1.1.3 ものづくりの民主化と分散型製造
コラム：オープンデザインの成熟
1.1.4 デジタルファブリケーションの拡張
1.1.5 狭義のデジタルファブリケーションへ向けて
1.2 「離散性」の意味と意義
1.2.1 クロード・シャノンによる「通信のデジタル化」
1.2.2 「製造のデジタル化」とは何か
1.2.3 最小単位を基本としたものづくりの歴史
コラム：東京2020オリンピック・パラリンピック表彰台
1.2.4 デジタルマテリアル
1.2.5 アーキテクテッドマテリアル
コラム：ボクセルモデリングとセルラーアーキテクテッドマテリアル
1.2.6 セルフアセンブリシステム
1.3 「地球環境問題」に向き合うためのデジタルファブリケーション
1.3.1 サンゴ着生具のデザイン
1.3.2 菌糸ユニットを用いた森のドーム
1.3.3 ジャイラングル構造体による都市冷却
1.3.4 「環境メタマテリアル」の可能性
1.4 デジタルファブリケーションと呼応する思想・美学
1.4.1 オープンシステムサイエンス
1.4.2 ハーネス計算
1.5 むすびに
2. 出力物体の機能性に着目したコンピュテーショナルデザイン
2.1 コンピュテーショナルデザイン
2.1.1 コンピュテーショナルデザインとは
2.1.2 最適化問題とは
2.1.3 設計問題と最適化問題
2.2 デジタルファブリケーションにおけるコンピュテーショナルデザイン
2.2.1 デジタルファブリケーションにおける設計変数
2.2.2 機能性を最適化問題に組み込む方法
2.3 出力物体の機能性の種類と研究事例
2.3.1 出力物体の壊れにくさ
2.3.2 特定の用途で使う際の性能
2.3.3 利用時の使い心地
2.4 最適化の対象となる設計変数の種類
2.4.13 次元形状
2.4.2 物体表面の凹凸
2.4.3 部品の配置
2.4.4 微細構造・パターン
2.5 発展的な話題
2.5.1 機能性以外の設計指針
2.5.2 コンピュテーショナルファブリケーション
2.6 むすびに
3. インタラクティブなものづくり
3.1 身近になるものづくり
3.2 デジタルファブリケーションを取り巻くインタフェース
3.2.1 デジタルファブリケーションのプロセス
3.2.2 対話的なファブリケーション
3.2.3 デジタルファブリケーション装置の直接操作
3.2.4 対話的な3Dプリント：設計と造形の作業空間を重ねる
3.2.5 手作業を支援・拡張する道具
3.3 即興的なファブリケーション
3.3.1 高速化する3Dプリンタ
3.3.2 「プレビュー・プレタッチ」のためのファブリケーション
3.3.3 大きさや重さに着目したプロトタイピング
3.3.4 素材を使い回せる即興的造形手法
3.4 造形後に姿・形を変えるもののファブリケーション
3.4.1 Dプリンティング
3.4.2 造形後に膨らみ形を変える4Dプリント
3.4.3 「食べられる」4Dプリント
3.4.4 Unmakingと素材の経時変化を取り込むデザイン
3.5 ものの造形から変形を操るインタフェースへ
3.5.1 形状変化インタフェースとは
3.5.2 形状変化インタフェースのデザインスペース
3.5.3 形状変化インタフェースの現状と課題
3.5.4 ユーザー体験の設計と応用に向けて
コラム：エラーから広がる？デジタルファブリケーション表現
3.6 むすびに
4. パーソナルファブリケーション
4.1 初心者がデザインをすることは簡単か
4.2 プリンタ
4.3 3Dプリンタ
4.4 レーザーカッター
4.5 カッティングプロッタ
4.6 切削加工機（ミリングマシン）
4.7 刺繍ミシン
4.8 編み機
4.9 ヒューマンハンド
コラム：自分でデザインしてみたいものを身の回りで探してみよう
4.10 むすびに
引用・参考文献
索引more - 著者からのメッセージ
- 本書がデジタルファブリケーションの奥深い世界を探るきっかけとなり、そしてそれを日常に取り入れ、新しい価値を創出するためのインスピレーションとなることを願っています。最も重要なのは、デジタルファブリケーションがもたらす可能性が、専門家だけでなく、私たち一般の人々にも開かれているということです。私たち一人ひとりが、自らのアイデアを形にし、それを共有するための手段としてこの技術を利用できるのです。
- キーワード
- 3Dプリンタ，レーザーカッター，4D プリンティング，形状変化インタフェース，カッティングプロッタ，切削加工機，ミリングマシン，刺繍ミシン，編み機，ヒューマンハンド
メディアテクノロジーseries7
コンピュータビジョン
- デバイス・アルゴリズムとその応用 -
- 日浦慎作 編／ 香川景一郎・小池崇文・久保尋之・延原章平・玉木 徹・皆川卓也 著
- A5サイズ/264頁
- 定価4,400円(本体4,000円+税)
- ISBN 978-4-339-01377-1
多様な画像センサの特性，コンピュータビジョン技術の一般生活環境への応用を紹介。
NEW
- 日浦慎作 編／ 香川景一郎・小池崇文・久保尋之・延原章平・玉木徹・皆川卓也 著
- A5サイズ/264頁
- 定価4,400円(本体4,000円+税)
- ISBN 978-4-339-01377-1
- 読者対象
- コンピュータビジョン・画像処理に関する研究開発に携わっておられる方で、より深く、広く学びたいとお考えの方を対象としています。
- 書籍の特徴
-
シリーズの他書籍とは違い、コンピュータビジョン(CV)分野は多くの教科書が刊行されている分野です。その中で本書は、それらと同様の内容となることを避け、この分野で重要でありながらも体系的に述べられる機会が少なかった分野を特に選定して取り上げています。
最近、CV分野の研究は共通の画像データベースを用いて性能を競うものが多くなっており、また、深層学習分野では最新の技法を追うトレンドが強まっています。そのため、現場で求められる実問題の解決において不可欠なイメージセンサや反射現象に関する知識や、従来型の手法について学ぶ機会が相対的に減少し、浅い理解と安易な方法で隘路に陥るケースが多く見られます。本書は、そういうときにチームを正しい方向に導くことが出来る、上級CV技術者へと脱皮するための新たな視点を習得できるよう意図して企画されました。【各章について】
１章と２章では、イメージセンサについて多くのページを割いて解説しています。我々はつい、対象の各点の輝度がそのまま正確に画像に記録されるものと仮定して考えたり、または様々な問題を単に「センサのノイズ」と片付けがちですが、本書はこれを正しく理解し解決するための本質的な理解に導きます。また２章では、近年発展が著しい、アンコンベンショナルカメラのためのイメージセンサについて、動作原理や特性から習得できる内容となっています。
３章では、ライトフィールドの入出力について取り上げています。カメラは空間中を飛び交う光線のごく一部だけを取り込むに過ぎません。シーンの観測を体系的に理解するうえで、ライトフィールドの概念の理解は重要です。この章ではその概念に合わせ、様々な入出力機器の実装例について述べられています。
４章ではシーン中の光の反射・伝搬現象についてまとめられています。３章で取り上げたライトフィールドは、シーンを照らす光源からの光が、シーン中の物体で複雑に反射・伝搬された結果として形成されます。ここでも各論的な理解でなく、光伝搬の定式化に基づく体系的な理解に繋がるよう意図して執筆されています。
デバイスや物理・数理中心であった４章までとは一変し、５章からは近年のCV技術を、やはり従来の教科書とは異なる切り口で体系化しています。従来は形状や動きの計測の中で述べられることの多かった人を対象とした画像処理を、人物・人体を軸に体系化し直した内容となっています。
６章では、現代のCV基盤技術を支える各技法が、なぜ、どのように働いているのかを概観し、その本質的な理解の一助となるよう、現在の深層学習に向かう歴史と、その中でマイルストーンとなった研究を中心に述べられています。
最後に７章では、CVを取り巻くフレームワークやビジネス環境について概観しています。従来は限られたCV分野の技術者が、各問題に対し一品ものとして処理プログラムを開発することが普通でした。それに対し近年は、様々なライブラリやフレームワークの登場により、産業化が進められやすい段階に達しています。この章では、そのようなソフトウェアフレームワークやビジネス環境について述べられています。 - 目次
-
発行前情報のため，一部変更となる場合がございます
1. CMOSイメージセンサの機能と特性
1.1 CMOSイメージセンサの正体
1.1.1 CMOSイメージセンサの画素の基本機能
1.1.2 CMOSイメージセンサの画素特性の定式化
1.1.3 画素に関する重要な事項
1.1.4 重要なイメージセンサの仕様・特性値
1.2 アナログ・デジタル混載集積回路としてのCMOSイメージセンサ
1.2.1 設計の流れ
1.2.2 回路設計のポイント
1.2.3 CMOSイメージセンサの製造
1.2.4 集積回路における回路素子
1.2.5 素子の特性ばらつきの抑制
1.2.6 回路素子が生じるランダムノイズ
1.3 CMOSイメージセンサの特異性とアーキテクチャの選択
1.3.1 CMOSイメージセンサ設計の特異性と制約
1.3.2 回路の稼働率と共有・時分割多重による稼働率の向上
1.3.3 バス構造を用いた回路の共有化と時分割多重
1.3.4 並列度によるイメージセンサアーキテクチャの分類
1.4 要素回路
1.4.1 受光回路
1.4.2 ユニット選択回路
1.4.3 プライオリティエンコーダ
1.4.4 クロックツリー
1.4.5 スイッチトキャパシタ回路
1.4.6 A/D変換器
2. 特化した機能・性能をもつイメージセンサ
2.1 光子計数
2.1.1 SPAD
2.1.2 高変換ゲインFDアンプ
2.2 高ダイナミックレンジ(HDR）
2.2.1 マルチ露光時間方式
2.2.2 マルチ変換ゲイン方式
2.2.3 マルチフォトダイオード方式
2.2.4 オーバフロー方式
2.2.5 飽和時間検出(TTS:time to saturation)方式
2.3 可変解像度（電荷領域）
2.4 イベント駆動型CMOSイメージセンサ
2.5 オンチップ信号処理機能をもつ低電圧・低消費電力イメージセンサ
2.6 LiDARイメージセンサ
2.6.1 直接法ToF
2.6.2 間接法ToF
2.6.3 マルチパス干渉
2.7 符号化露光／読み出し
2.8 光強度以外の検出：波面，波長，偏光
3. ライトフィールドカメラ・ディスプレイ
3.1 ライトフィールドカメラ
3.1.1 ライトフィールドカメラの分類
3.1.2 ライトフィールドカメラの研究動向
3.1.3 ライトフィールドカメラの実用化動向
3.2 ライトフィールドディスプレイ
3.2.1 ライトフィールドディスプレイの分類
3.2.2 ライトフィールドディスプレイの周波数特性
3.2.3 ライトフィールドディスプレイの実装面における技術
3.2.4 ライトフィールドのHMDへの応用
3.2.5 ライトフィールドディスプレイの応用技術
3.2.6 ライトフィールドディスプレイの実用化動向
3.3 本分野の課題と今後
4. 反射・光伝搬のモデル化と計測
4.1 反射現象のモデル化と計測
4.1.1 放射輝度の計測
4.1.2 反射モデル
4.2 光伝搬のモデル化と計測
4.2.1 プレノプティック関数とライトフィールド
4.2.2 光伝搬行列とライトトランスポート
4.2.3 反射現象とライトトランスポートの関係
4.2.4 曲率に依存した反射関数
5. 人物の計測・認識・モデル化
5.1 人物表面形状
5.1.1 物理的・幾何学的制約に基づいた手法
5.1.2 統計的形状モデルを用いた手法
5.1.3 画像から直接推論する手法
5.1.4 人体３次元形状推定のためのデータセット
5.2 骨格姿勢・運動
5.2.1 モーションキャプチャ
5.2.2 マーカーレスモーションキャプチャ
5.2.3 骨格姿勢推定のためのデータセット
5.3 視線
5.3.1 眼球を直接計測する手法
5.3.2 顔画像を計測する手法
5.3.3 体や顔の動きから推論する手法
6. 現代のCV基盤技術
6.1 画像認識と機械学習
6.1.1 顔検出
6.1.2 姿勢推定
6.1.3 局所特徴量
6.2 深層学習とCV
6.2.1 データセットとコンペティション
6.2.2 ニューラルネットワーク
6.2.3 CNN
6.3 高次特徴量と潜在空間
6.3.1 end-to-endとpretrainによる転移学習
6.3.2 中間特徴量とアテンション
6.3.3 エンコーダ・デコーダと潜在空間への埋め込み表現
6.3.4 時系列モデル
6.4 CNNによる画像処理
6.4.1 教師なし学習
6.4.2 大規模データセットの作成
6.4.3 潜在空間の利用
6.4.4 画質の改善への応用
7. CVをとりまく環境
7.1 オープンソースソフトウェア
7.1.1 コンピュータビジョンライブラリ
7.1.2 深層学習フレームワーク
7.2 コンピュータビジョンのビジネス事例
7.2.1 顔検出
7.2.2 顔認証
7.2.3 一般物体認識
7.2.4 物体検出/追跡
7.2.5 姿勢推定
7.2.6 拡張現実感
7.2.7 画像生成
7.2.8 クラウドサービス
7.3 まとめ
引用・参考文献more - 著者からのメッセージ
- 体系化が進み、多数の書籍が刊行済みであるコンピュータビジョン分野において意義ある書籍とするからには、思い切った構成と切り口でなければならない、と考えた結果、非常に尖った内容となりました。ですがその結果、どの章も他書籍では見過ごされがち、または分散しがちな内容が凝縮されたものとなっています。
- キーワード
- イメージセンサ、ライトフィールド、光伝搬、人物画像処理、深層学習、ビジネス
メディアテクノロジーseries8
サウンドデザイン
- 松村誠一郎 編著／ 金箱淳一・城 一裕・浜野峻行・古川 聖・丸井淳史・伊藤彰教 著
- A5サイズ
- 価格未定
- 定価4,400円(本体4,000円+税)
- ISBN 978-4-339-01378-8
映像分野において視覚デザインと双璧を成すサウンドデザインについて解説。
NEW
- 松村誠一郎 編著／ 金箱淳一・城 一裕・浜野峻行・古川 聖・丸井淳史・伊藤彰教 著
- A5サイズ
- 定価4,400円(本体4,000円+税)
- ISBN 978-4-339-01378-8
- 書籍の特徴
- 音のデザインは視覚デザインに比べ、これまで裏方的な存在であった。本書では異なる分野で音を形作るサウンドデザインに携わる研究者らが，多面的かつ独自の専門性と視点に立ち，テクノロジーとしてのサウンドデザインを解説する。
- 目次
-
発行前情報のため，一部変更となる場合がございます
1. ビデオゲームにおける効果音のサウンドデザイン
1.1 ゲームサウンドとしての効果音制作
1.1.1 ゲームサウンドデザインの仕事
1.1.2 ゲームの効果音制作のワークフロー
1.2 ゲームの音源形式の変遷
1.2.1 初期のコンピュータ音楽と最初のゲーム音
1.2.2 音響合成とサンプリング技術の登場
1.2.3 民生機のシンセサイザー
1.2.4 ゲームサウンドの音源方式と効果音
1.3 デジタル・オーディオの基礎知識
1.3.1 音響合成
1.3.2 PCM音源
1.3.3 サンプリングレート
1.3.4 量子化ビット数
1.3.5 非圧縮音源と圧縮音源
1.4 PCM音源の効果音
1.4.1 波形編集アプリケーション
1.4.2 効果音の鳴らし方
1.4.3 エンジンサウンドの効果音
1.5 音響合成で作る効果音
1.5.1 物理モデル音源と信号モデル音源
1.5.2 音響合成による効果音の必要性
1.5.3 生物の鳴き声の音響合成
1.6 まとめ
2. 音から視覚・触覚メディアへの変換
2.1 音の基本要素と音楽表現のためのインタフェース
2.2 福祉工学と感覚代行
2.3 ユニバーサルデザインと共遊玩具
2.4 彼女たちが捉えた「音」
2.5 「共遊楽器」の具体例と評価
2.5.1 Mountain Guitar
2.5.2 打楽器の音に触れる：Vibracion Cajon
2.5.3 打楽器の音を見る：ratatap
2.5.4 拍手の音を見る：Clap Light
2.5.5 楽器を身近な存在に：楽器を纏う
2.5.6 楽器の音に触れる：KIKIVIBE
2.5.7 触感による音の世界の探索：Touch the sound picnic
2.6 まとめ
3. 音のメディア考古学
3.1 音のメディア考古学-理論
3.1.1 メディア考古学
3.1.2 サウンド・スタディーズ
3.1.3 サウンド・アート
3.1.4 音のメディア考古学
3.2 音のメディア考古学–実践
3.2.1 《First Sounds》(2007-)
3.2.2 《Rain Dance》(1998)
3.2.3 《Fire birds》(2004)
3.2.4 《Flexible Audio Speaker》(2012-)
3.3 音のメディア考古学–具体例
3.3.1 車輪の再発明
3.3.2 Life in the groove
3.4 まとめ
コラム：城一裕，情報と物質とその間
4. 建築と音楽の異分野共創
4.1 創発的デザインの方法論
4.1.1 建築音楽プロジェクトとは
4.1.2 関連する事例
4.1.3 プロジェクトに関連する音楽デザインの方法論
4.1.4 建築音楽プロジェクトのサウンドデザイン
コラム：建築のアルゴリズミックデザイン
4.2 建築音楽の作品ができるまで
4.2.1 創作プロセスの全体像
4.2.2 各創作プロセスの詳細
コラム：ウェブベースの創作環境
4.2.3 作品例
4.2.4 「仕組みのデザイン」による音楽表現の拡張
4.3 異分野共創における研究とアートのかたち
4.3.1 アートを起点とする異分野共創プロジェクトのマネージメント
4.3.2 分野間コミュニケーションのかたち
4.3.3 結節点としてのメディアアーキテクトのあたらしい役割
4.3.4 構成論的アプローチ，研究，アート
4.4 まとめ
5. サウンドデザイナーのための聴能形成
5.1 聴能形成の概要と歴史，さまざまな内容と方法
5.1.1 聴能形成とその目的
5.1.2 さまざまな聴能形成
5.1.3 その他の方法
5.2 聴能形成の実施例
5.2.1 レベル差の訓練
5.2.2 周波数特性の訓練
5.2.3 聴能形成の効果
コラム：母音を使った中心周波数の記憶方法
5.3 訓練のための音源選択
5.3.1 音源選択の重要性
5.3.2 主観的難易度
5.3.3 客観的難易度と主観的難易度との関係
5.3.4 客観的難易度とスペクトルのばらつきの関係
5.3.5 結論と展望
6. エンターテインメント分野におけるサウンドデザイン
6.1 「サウンドデザイン」は「音のデザイン」？
6.2 Sound Design(er)成立史
6.2.1 「音の配置」を司るsound designer
6.2.2 「特殊効果音」制作者としてのsound designer
6.2.3 国内産業界の歴史と現状
6.2.4 サウンドデザインというコンテンツ制作活動の定義に向けて
6.3 サウンドデザインを実現するテクノロジー
6.3.1 音の配置に関わるテクノロジー
6.3.2 藝術音楽とテクノロジーの融合分野
コラム：電子楽器のプリセット音を作ってきたサウンドデザイナー
6.4 テクノロジーを効果的に活用するための「音の機能」の把握
6.4.1 クリティカル・リスニング：作品全体の音に気を配る方法
6.4.2 作品文節化に役立つ重要キーワード
6.4.3 インタラクティブ・メディアへの応用
コラム：筆者が利用するクリティカル・リスニングの対象作品の例
6.5 音の位置・聴取者の位置
6.5.1 自由な空間演出への要望と固定された受音点のはざまで
6.5.2 映像コンテンツにおける声：物語世界のどこで聞いている音なのか
6.5.3 オーディオドラマのサウンドデザインに向けて
コラム：「narrative」は「物語」ではない？
6.6 サウンドデザインとしての音楽
6.6.1 フィルム・スコアリング-音楽が「演じる」ための作曲技法-
6.6.2 ゲーム特有の音楽に関する概念整備
6.6.3 動的変化・生成音楽に応用が期待される作曲・編曲技法研究
6.7 まとめmore
メディアテクノロジーseries9
音源分離・音声認識
- 大淵康成 編／ 武田 龍・高島遼一 著
- A5サイズ/234頁
- 定価4,180円(本体3,800円+税)
- ISBN 978-4-339-01379-5
人間が持つ、音を聞き分け理解する能力をコンピュータで実現。
- 読者対象
- 本書は、マイクから取り込んだ音を聞き分け、理解するシステムに興味のある幅広い読者を対象としています。音声そのものを扱う研究に従事する人だけでなく、様々なITシステムの中で音声を活用したいと思っている方にも役立つ内容となっています。
- 書籍の特徴
-
本書では、様々な音が混ざり合った状態から目的の音声だけを取り出す音源分離技術と、そうして得られた音声の内容を理解する音声認識技術とを扱っています。この二つは異なる技術ですが、音響信号からの特徴抽出や、大量のデータのモデル化の方法など、共通して学ぶべき内容も多く、一冊の書籍にまとめることで、さらに理解しやすくなると考えました。もちろん片方だけでも十分に役立ちますので、必要なところだけを読んでもらっても構いません。また、アルゴリズムを自分で実装するのは大変だという人でも、既存のツールなどを使いこなすための基礎知識が得られるような内容になっています。
【各章について】
1章では、本書で扱う技術の位置づけと、本書の構成を説明しています。
2章では、音声の信号処理や機械学習の基礎的な部分を概説しています。本書で扱う分野の入門的知識として過不足の無い内容になっているはずです。
3章は、音源分離に関する章です。音声認識や音声通話など様々な目的で用いることも考慮に入れ、使用目的や雑音環境、マイク配置などに応じた最適な手法を説明します。
4章は、音声認識に関する章です。基本となる確率モデルの考え方に加えて、近年の主流となっている深層学習を用いたシステムの活用方法についても解説します。
5章では、音源分離と音声認識の両者にまたがる技術を紹介します。どちらか片方の章の続きとして読んでも、あるいは両者のまとめとして読んでも構いません。 - 目次
-
発行前情報のため，一部変更となる場合がございます
1. 序論：音源分離・音声認識へのいざない
1.1 音源分離・音声認識とは
1.2 本書でカバーする状況
1.3 本書の構成
2. 音声信号処理の基本
2.1 データ表現と音源分離・音声認識の入出力
2.1.1 音響信号データとは
2.1.2 テキストデータとは
2.1.3 音源分離や音声認識とは
2.2 機械学習技術を用いたアプローチ
2.2.1 機械学習とは
2.2.2 学習・推論フェーズとポイント
2.2.3 音源分離や音声認識にどう適用するか
2.2.4 データへの適応:モデルのチューニングや学習・推論の同時実行
2.3 音声信号の伝達モデルと基本的な分析・特徴量
2.3.1 時間波形と時間周波数成分の可視化
2.3.2 信号源からマイクへの伝達過程と特徴量
2.3.3 音声信号の生成過程と特徴量
2.4 ディープニューラルネットワークとは
2.4.1 ネットワークの構造
2.4.2 ネットワークの学習
2.5 データの準備・生成
2.5.1 実際に録音
2.5.2 伝達系の再現
2.5.3 音源データ
3. 音源分離～音を聞き分ける～
3.1 音の聞き分け処理の概要
3.1.1 応用する際の事前検討
3.1.2 主なタスク設定
3.1.3 音源分離で用いられる主な評価尺度
3.2 基本的な枠組みと技術
3.2.1 基本的な処理領域やフロー
3.2.2 基本的な分離方式
3.2.3 ディープニューラルネットワークに基づく音源分離
3.3 参照信号を用いる音源分離:適応フィルタ
3.3.1 基本的な観測モデル
3.3.2 最小二乗法
3.3.3 LMS,NLMSおよびRLS
3.3.4 ディープニューラルネットワークを併用した手法
3.4 モノラル信号に対する音源分離
3.4.1 非負値行列分解
3.4.2 DeMask
3.4.3 ConvTasNet
3.4.4 SepFormer
3.5 マルチチャネル信号に対する音源分離
3.5.1 ビームフォーマ
3.5.2 ブラインド音源分離:ICA,IVA,ILRMA,fastMNMF
3.5.3 ディープニューラルネットワークを併用した手法
3.6 音源分離技術の実装例
3.6.1 エコーキャンセラ-システム音声の除去
3.6.2 音声強調-音声-非音声雑音から音声の抽出
3.6.3 音源分離-すべての信号を抽出
3.6.4 音楽音響信号分析
3.6.5 事前学習やFine-tuning.
3.7 その他のトピック
3.7.1 Recursive Souce Seapration
3.7.2 Mixture Invariant Training
3.7.3 Location-based Training
3.7.4 Target Sound Exctraction
3.8 本章のまとめ
4. 音声認識：発話内容を認識する
4.1 音声認識の基礎知識
4.2 DNNとHMMによる音声認識
4.2.1 音響モデルの確率計算とアライメントについて
4.2.2 隠れマルコフモデル
4.2.3 DNN-HMMハイブリッドモデル
4.2.4 辞書および言語モデルを用いた連続音声認識
4.3 End-to-End音声認識
4.3.1 End-to-End音声認識における認識単位の定義
4.3.2 Connectionist temporal classification
4.3.3 RNNトランスデューサ
4.3.4 Attentionエンコーダデコーダモデル
4.3.5 Transformer
4.3.6 Conformer
4.4 End-to-end音声認識ツールESPNet
4.4.1 ツールの導入と使用方法
4.4.2 CTCとエンコーダデコーダ型モデルとのマルチタスク学習
4.4.3 評価結果の見方と評価指標
4.5 事前学習済みモデル
4.5.1 自己教師あり学習
4.5.2 Whisper
4.6 本章のまとめ
5. 音源分離と音声認識にまたがる技術
5.1 データ拡張
5.1.1 波形の伸縮
5.1.2 雑音重畳とインパルス応答の畳み込み
5.1.3 SpecAugment
5.2 ダイアリゼーション
5.2.1 モジュールベース構成
5.2.2 End-to-End構成
5.2.3 音源分離とダイアリゼーションの統合
5.2.4 音声認識とダイアリゼーションの統合
5.3 音声認識と音源分離の統合
5.3.1 モデルミスマッチ問題
5.3.2 全体最適化によるアプローチ
引用・参考文献more - 著者からのメッセージ
- 近年のAIブームに乗って、音源分離や音声認識の様々なツールやアプリケーションが公開されています。周辺分野の研究者や開発者が、これらを自分のシステムに取り込む機会も多くなっていることでしょう。しかし、扱う音声データの種類や、アプリケーションの形態などにより、AIツールの最適な使い方は変わってきます。様々な目的を持った研究者・開発者の方々が、本書を通じて得られた知識をもとに、最先端の音声処理機能を活用していただければ幸いです。
- キーワード
- 音源分離、音声認識、信号処理、機械学習、DNN、マルチチャンネル信号、End-to-Endモデル