Pytorch基础问题RuntimeError: Expected all tensors to be on the same device
Introduction
今天让 Claude 4 Sonnet 给我写Nogo的reinforcement learning的训练代码,结果就直接报错:
RuntimeError: Expected all tensors to be on the same device
我平时不怎么注意细节,为了养成不依赖LLM的好习惯,以后对报错写博客记录一下
Main part
这个错误RuntimeError: Expected all tensors to be on the same device通常出现在把不同设备(比如 CPU 和 GPU)上的张量放在一起进行操作时:
import torch # 一个张量在 CPU 上 a = torch.tensor([1.0, 2.0]) # 一个张量在 GPU 上(假设有 CUDA) b = torch.tensor([3.0, 4.0]).to("cuda") # 尝试把它们加起来会报错 c = a + b # RuntimeError: Expected all tensors to be on the same device
解决方法是用.to()或.cuda()等方法把它们放到同一个设备上。
torch.device
还是上述代码
print(a.device) print(b.device) #打印结果: # cpu # cuda:0
设置device
device=torch.device("cuda" if torch.cuda.is_available() else "cpu")
一般默认是第一块即cuda:0
但也可以指定具体哪一个:
# 把张量放在第1个GPU(编号0) a = torch.tensor([1.0, 2.0]).to("cuda:0") # 放在第2个GPU(编号1) b = torch.tensor([3.0, 4.0]).to("cuda:1")
当然用我的笔记本必然报错:
RuntimeError: CUDA error: invalid device ordinal**
多卡的时候可以打印一下数量
print(torch.cuda.device_count())
torch.tensor().to()
torch.tensor().to()是 PyTorch 中将张量转移到指定设备(如 CPU 或 GPU)上的方法。
这个函数可以用来显式地将数据放到某个设备上,以便后续运算不报错。
dvc=torch.device("cuda" if torch.cuda.is_available() else "cpu") #设置指定显卡 a = torch.tensor([1.0, 2.0]).to(dvc) b = torch.tensor([3.0, 4.0]).to(dvc) print(a.device) print(b.device) c = a + b print(c) #打印结果: # cuda:0 # cuda:0 # tensor([4., 6.], device='cuda:0')
Summary
显示调用张量位置是个好习惯,尤其是多卡训练的情况
- 排查错误的关键线索
多卡环境下最常见的错误是:
RuntimeError: Expected all tensors to be on the same device
如果你在关键位置加上.device显示,可以快速发现是谁跑偏了。
- 防止设备错配(如模型在 GPU0,数据在 GPU1)
print("model on:", next(model.parameters()).device) print("inputs on:", inputs.device)
这些信息一眼就能看出是否匹配。
- 帮助调试和日志记录
在训练日志中打印 device 信息,比如:
print(f"Epoch {epoch}: input.device={inputs.device}, label.device={labels.device}")
可以让你在远程服务器、异步运行、多卡调度环境中更清楚程序状态。