PyTorch Tensor 与 TensorImpl 机制解读

Sun, 26 Jul 2026 20:03:50 +0800

PyTorch Tensor 与 TensorImpl 机制解读

1. 为什么要把 Tensor 和 TensorImpl 分成两层

初次接触 PyTorch 源码的人常有一个疑惑：Python 里 torch.Tensor 明明是一个对象，为什么 C++ 里又有 at::Tensor 和 c10::TensorImpl 两个类？

答案是值语义 vs 数据本体的分离：

at::Tensor：一个轻量的"引用/handle"，本身几乎不存储数据，可以随意拷贝、传参、放进容器，开销只是一次引用计数的加减。
c10::TensorImpl：真正持有 sizes/strides/dtype/device/storage 等元信息的对象，在堆上只有一份。

多个 at::Tensor 可以指向同一个 TensorImpl（比如 view 操作、赋值拷贝），它们共享同一份元信息和底层数据，改一个，另一个也能看到变化——这正是 PyTorch “view 语义"和"就地修改语义"的根基。

at::Tensor a;          at::Tensor b = a;   // 只拷贝了指针，refcount+1
     │                        │
     └──────────┬─────────────┘
                ▼
        c10::TensorImpl (堆上唯一一份)
        ├── sizes/strides
        ├── storage_ ──────────► StorageImpl（真正的数据 buffer）
        ├── dtype / device
        └── ...

这种设计在 C++ 里通过 c10::intrusive_ptr<TensorImpl> 实现：at::Tensor 内部只有一个 intrusive_ptr<TensorImpl> 成员，拷贝 Tensor 就是拷贝这个智能指针。

TensorImpl on YuZhouye's Blog

PyTorch Tensor 与 TensorImpl 机制解读

PyTorch Tensor 与 TensorImpl 机制解读

1. 为什么要把 Tensor 和 TensorImpl 分成两层