深層学習
前回、SO(3)同変な関数を考えるための数学的基礎として、球面調和関数を用いた関数の展開とClebsch-Gordan係数による次元の変換を扱いました。cake-by-the-river.hatenablog.jp今回は、これらを陽に用いた機械学習フレームワークとして、SE(3)-Transformers …
前回cake-by-the-river.hatenablog.jp今回は、主にStable Diffusion自身ではなく、それに関連した話題を扱う予定です。汎用の画像生成モデルを特殊な用途に転用する追加学習、およびStable Diffusion等のLatent Diffusion Modelの学習を阻害する仕組みについ…
前回 cake-by-the-river.hatenablog.jp 前回に引き続き、SE(3)不変/同変のための数学的な基礎を説明します。前回よりもっと難しいので、不明点はコメント等で教えてもらえるとありがたいです。 球面調和関数 球面調和関数による展開 球面調和関数とSO(3)同変…
前回cake-by-the-river.hatenablog.jp 今回から２回に分けて、前回紹介した不変性・同変性を実際のタンパク質立体構造予測に適用していく上で必要な知識を紹介します。前回と比べて数学的な内容がだいぶ難しくなるので、分からない部分などあればコメント等…
タンパク質の立体構造予測は、AlphaFold2, RoseTTAFold により飛躍的に進歩し、その功績は2024年度ノーベル化学賞の受賞につながっています。これらはいずれも、3次元空間上の剛体の不変性（SE(3)不変性）を保てる立体構造の計算モジュールを持ちます。そこ…
前回cake-by-the-river.hatenablog.jp 前回の続きです。今回は、image2imageに軽く触れたのち、主にサンプリングに関する技術をまとめます。この辺りは今までの話とは別の流れで、これまた難しめではあるので、可能な限り難しい理論には踏み込まないような説…
前回cake-by-the-river.hatenablog.jp 今回は、いよいよStable Diffusionの元論文である Latent Diffusion Model (LDM) について解説し始めます。特に、そのモデル構造（潜在空間における拡散モデル, 分類器なし条件付け, など）を導くに至った経緯を主に解…
前回cake-by-the-river.hatenablog.jp 今回は、拡散モデルの最も重要な論文である Denoising Diffusion Probablistic Models （DDPM）を解説します。arxiv.org 前回の潜在変数モデルとしての側面（AutoEncoder）も持ちつつ、スコアベースモデルによる画像生…
前回cake-by-the-river.hatenablog.jp今回は、拡散モデルの最も重要な論文である Denoising Diffusion Probablistic Models （DDPM）を解説します。DDPMを解説する予定だったのですが、基礎となるVariational AutoEncoder （VAE）など潜在変数モデルとその学…
前回cake-by-the-river.hatenablog.jp お久しぶりです。今回から肝心の拡散モデルを見ていこうと思います。今回は、スコアベースモデルを用いた Noise-Conditional Score Networks (NCSN) を解説し、拡散モデルの本題であり次回扱う Denoising Diffusion Pro…
前回cake-by-the-river.hatenablog.jp 今回は、前回紹介したTransformerの自然言語処理能力を画像処理の方面に応用した Vision Transformer (ViT) や、Contrastive Language-Image Pre-training (CLIP) について紹介していきます。 ViT 元論文： arxiv.orgVi…
前回cake-by-the-river.hatenablog.jp 今回は、今後頻繁に利用される自然言語処理のアーキテクチャである Transformer を紹介します。(Multi-Head) Attention からザックリですが解説を試みます。 Transformer 元論文： arxiv.orgTransformer は Google が 2…
前回cake-by-the-river.hatenablog.jp 今回は、細胞など医用画像のセグメンテーション（画像の中から細胞の部分のみを取り出す）で用いられる U-Net を見てみます。途中で FCN についても扱います。 U-Net 元論文： arxiv.org 前回のAlexNetは、少ないサンプ…
かくびーが東大の生物情報科学科の学生になったのは、大学二年生の八月末日、夏休み半ばのことだった。 別にもしドラ読んだことないのでこれ以上はやめておきます。 さて、発端は以下のツイートです。そういえば、もし今度越境する知性会議あれば"Stable Dif…
