PyTorch torch.nn.SiLU-Funktion
PyTorch torch.nn Referenzhandbuch
torch.nn.SiLUSie ist die Sigmoid-Linear-Unit-Aktivierungsfunktion in PyTorch, auch bekannt als Swish.
Sie hat selbstgatternde Eigenschaften, ist glatter als ReLU und erzielt bei manchen Aufgaben bessere Ergebnisse.
Funktionsdefinition
torch.nn.SiLU(inplace=False)
Mathematisches Prinzip
SiLU(x) = x * sigmoid(x)
Anwendungsbeispiele
Beispiel 1: Grundlegende Verwendung
Beispiel
import torch
import torch.nn as nn
silu = nn.SiLU()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = silu(x)
print("Eingabe:", x.tolist())
print("Ausgabe:", output.tolist())
import torch.nn as nn
silu = nn.SiLU()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = silu(x)
print("Eingabe:", x.tolist())
print("Ausgabe:", output.tolist())
Beispiel 2: Vergleich mit ReLU
Beispiel
import torch
import torch.nn as nn
import numpy as np
x = np.linspace(-3, 3, 7)
x_tensor = torch.tensor(x)
print("x SiLU ReLU")
print("-" * 30)
for xi in x_tensor:
print(f"{xi.item():5.1f} {nn.SiLU()(xi.unsqueeze(0)).item():9.4f} {nn.ReLU()(xi.unsqueeze(0)).item():9.4f}")
import torch.nn as nn
import numpy as np
x = np.linspace(-3, 3, 7)
x_tensor = torch.tensor(x)
print("x SiLU ReLU")
print("-" * 30)
for xi in x_tensor:
print(f"{xi.item():5.1f} {nn.SiLU()(xi.unsqueeze(0)).item():9.4f} {nn.ReLU()(xi.unsqueeze(0)).item():9.4f}")
Beispiel 3: Verwendung in MobileNet
Beispiel
import torch
import torch.nn as nn
# MobileNetV3 verwendet SiLU
model = nn.Sequential(
nn.Conv2d(3, 32, 3, stride=2, padding=1),
nn.BatchNorm2d(32),
nn.SiLU(),
nn.Conv2d(32, 64, 3, padding=1),
nn.BatchNorm2d(64),
nn.SiLU()
)
x = torch.randn(1, 3, 224, 224)
output = model(x)
print("Eingabe:", x.shape, "-> Ausgabe:", output.shape)
import torch.nn as nn
# MobileNetV3 verwendet SiLU
model = nn.Sequential(
nn.Conv2d(3, 32, 3, stride=2, padding=1),
nn.BatchNorm2d(32),
nn.SiLU(),
nn.Conv2d(32, 64, 3, padding=1),
nn.BatchNorm2d(64),
nn.SiLU()
)
x = torch.randn(1, 3, 224, 224)
output = model(x)
print("Eingabe:", x.shape, "-> Ausgabe:", output.shape)
Anwendungsfälle
- MobileNet: MobileNetV3
- EfficientNet
- Glatte Aktivierung: erfordert Gating-Eigenschaften
Hinweis: SiLU ist rechenintensiver als ReLU, aber seine Leistung ist normalerweise besser.
Andere Erweiterungen