PyTorch torch.compile-Funktion
PyTorch torch-Referenzhandbuch
torch.compileist eine Funktion in PyTorch, die zum Kompilieren und Optimieren von Modellen verwendet wird und die Laufzeitleistung des Modells erheblich verbessern kann.
Funktionsdefinition
torch.compile(model, *, mode="default", backend="inductor", fullgraph=False, dynamic=None, options=None, disable=False)
Anwendungsbeispiel
Beispiel
import torch
# Ein einfaches Modell definieren
class SimpleModel(torch.nn.Module):
def __init__(self):
super().__init__()
self.linear = torch.nn.Linear(10, 10)
def forward(self, x):
return self.linear(x)
model = SimpleModel()
# Modell kompilieren
compiled_model = torch.compile(model)
# Das kompilierte Modell für die Inferenz verwenden
x = torch.randn(1, 10)
output = compiled_model(x)
print(output.shape)
# Ein einfaches Modell definieren
class SimpleModel(torch.nn.Module):
def __init__(self):
super().__init__()
self.linear = torch.nn.Linear(10, 10)
def forward(self, x):
return self.linear(x)
model = SimpleModel()
# Modell kompilieren
compiled_model = torch.compile(model)
# Das kompilierte Modell für die Inferenz verwenden
x = torch.randn(1, 10)
output = compiled_model(x)
print(output.shape)
Andere Erweiterungen