mindspore.dataset的transforms可以对数据进行预处理

from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)

train_dataset = MnistDataset('MNIST_Data/train')

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)

train_dataset = train_dataset.map(composed, 'image')

加载数据集之后，用transforms进行一系列处理。

rescale的2个参数为缩放因子和平移因子

hwc分别是高度height、宽度width、通道channel。有时候通道是第一维度，有时候是第三维度。HWC2CHW就是将(h,w,c)转换为（c,h,w）模式。比torch的张量按维度转置方便理解一些吧。

texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')
def my_tokenizer(content):
    return content.split()

test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

vocab = text.Vocab.from_dataset(test_dataset)
print(vocab.vocab())
test_dataset = test_dataset.map(text.Lookup(vocab))

以上是对于语言的分词。可以将字符串按照空格，构造出一个个单独的单词分词。Vocab是生成此表，单词到index的映射。用lookup生成构造好映射的数据集。