数据处理与预处理:TensorFlow实战指南
1. 数据管道构建
在构建数据管道时,我们可以从内存中的数据源(如NumPy或TensorFlow张量格式)构建,也可以从磁盘上的数据源使用TFRecords构建。
首先,我们来看一个从内存数据源构建数据管道并训练模型的示例:
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Conv2D, BatchNormalization, ReLU, Flatten, Dense
model = Sequential()
model.add(Conv2D(16, (3,3), strides=1, padding='same', input_shape=(32, 32, 3)))
model.add(BatchNormalization())
model.add(ReLU())
model.add(Conv2D(32, (3,3), strides=1, padding='same'))
model.add(BatchNormalization())
model.add(ReLU())
model.add(Flatten())
model.add(Dense(10, activation='softmax'))
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['acc'])
batches = 50000 // 128
model.fit(dataset, ste