雑記

参考文献

1. GitHub - pkuzengqi/Skyformer: Skyformer: Remodel Self-Attention with Gaussian Kernel and Nystr\"om Method (NeurIPS 2021)（2022年5月12日参照）．

---

以前に Skyformer が CPU で動くのを確認したが GPU で動くか確認したら動いたというだけである。

from models.model_LRA import ModelForSC, ModelForSCDual
from config import Config
import torch

model_config = Config["lra-text"]["model"]
model_config["mixed_precision"] = True
model_config["attn_type"] = "softmax"
model = ModelForSC(model_config).cuda()

x = torch.tensor([[0, 1, 2, 3, 4]]).cuda()
label = torch.tensor([0]).cuda()
y = model(x, None, label)
print(y)

{'loss': tensor([0.6602], device='cuda:0', grad_fn=), 'accu': tensor([1.], device='cuda:0')}