【実践基礎9】PyTorchモデルの全体構造と作り方｜nn.Module・Sequential・ModuleListを図解で理解

学習時と推論時では、Dropout や BatchNorm など一部のレイヤーの挙動が異なる設計なため、.train() / .eval() メソッドでモードを切り替える必要があります。

net = MyModel()
# 学習モード
net.train()
# 推論モード
net.eval()

モデルのパラメータも Tensor と同様に GPU / CPU 間で移動させることができます。以下のように指定可能です：

net = MyModel()
# GPUのIDを指定して移動
net.cuda(0)
# デバイスオブジェクトで指定
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
net.to(device)

公式チュートリアルにあるように、PyTorchでは、モデルのパラメータ（重みやバイアス）を保存・復元するために state_dict() / load_state_dict() が提供されています。

これにより、モデルの構造ではなく、学習の進行状態（チェックポイント）としてパラメータだけを効率的に保存できます。

保存されたパラメータを使用するには、まず訓練時と同じ構造の nn.Module インスタンスを再生成し、その後 load_state_dict() を呼び出して復元します。

モジュールは互いにネスト（入れ子構造）にできます。nn.Module を継承したクラスの中で nn.Sequential や nn.ModuleList を使えるのはもちろん、自作したモジュール同士をさらに他のモジュールの中で使うこともできます。

そのため構造の組み合わせは事実上無限にありますが、ここでは代表的な構造として、nn.Module の中で Sequential や ModuleList を利用する例を紹介します。

Sequential はレイヤーを順番に並べて接続するための簡便な仕組みです。以下は MLP（Multilayer Perceptron） を nn.Module と nn.Sequential を組み合わせて構築した例です。

この例では以下の3つのレイヤーブロックを使っています：

• self.input_layer: 入力ノード → 隠れ層ノード
• self.hidden_layers: 同じサイズの隠れ層を num_layers 回繰り返す（Sequentialで実装）
• self.output_layer: 隠れ層ノード → 出力ノード

import torch
import torch.nn as nn
import torch.nn.functional as F
class MLP(nn.Module):
    def __init__(self, input_dim=64, hidden_dim=64, num_layers=5, output_dim=1):
    super().__init__()
    self.input_layer = nn.Linear(input_dim, hidden_dim)
    layers = []
    for _ in range(num_layers):
    layers.append(nn.Linear(hidden_dim, hidden_dim))
    layers.append(nn.ReLU())
    self.hidden_layers = nn.Sequential(*layers)
    self.output_layer = nn.Linear(hidden_dim, output_dim)
    def forward(self, x):
    x = F.relu(self.input_layer(x))
    x = self.hidden_layers(x)
    return self.output_layer(x)

ModuleList（公式）は、nn.Module のリストのように使えるコンテナです。

Sequential はレイヤーをつなげて1つの大きなモジュールにするのに対して、ModuleList は個別のレイヤーをリスト形式で保持します。そのため forward() の中で、ループを用いて手動で処理する必要があります。

class MLP(nn.Module):
    def __init__(self, input_dim=64, hidden_dim=64, num_layers=5, output_dim=1):
    super().__init__()
    self.input_layer = nn.Linear(input_dim, hidden_dim)
    self.hidden_layers = nn.ModuleList([
    nn.Linear(hidden_dim, hidden_dim) for _ in range(num_layers)
    ])
    self.output_layer = nn.Linear(hidden_dim, output_dim)
    def forward(self, x):
    x = F.relu(self.input_layer(x))
    for layer in self.hidden_layers:
    x = F.relu(layer(x))
    return self.output_layer(x)

先ほどとモデルは全く同じですが、 ModuleList を使えば forward() 中で各層に対して個別に処理を加えたり、途中の出力を取り出す、分岐させるなどといった、柔軟な操作が可能になります。これは Sequential にはない利点です。

nn.functional には、パラメータを持たない演算関数が多数含まれています（例：F.relu、F.softmax など）。

一見すると F.linear や F.conv2d のようにパラメータを含むように見える関数もありますが、これらは「学習用のパラメータ」ではなく、引数として外部から渡す形式になります。

つまり nn.functional は、学習用ではない固定的された演算を手動で設計する場合などに使用します。