compressive-transformer-pytorch:Deepmind的Pytorch压缩变压器实现

高温高压变压器 Pytorch实现的 ，这是Transformer-XL的变体，具有用于远程语言建模的压缩内存。 我还将其与的想法相结合，该在残留相交处添加了门控。 记忆和门控可能是协同的，并导致语言建模和强化学习方面的进一步改进。 安装 $ pip install compressive_transformer_pytorch 用法 import torch from compressive_transformer_pytorch import CompressiveTransformer model = CompressiveTransformer ( num_tokens = 20000 , emb_dim = 128 , # embedding dimensions, embedding factorization from Albe