TensorBoard入门指南：可视化深度学习训练过程-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00022/article/details/148465189

TensorBoard入门指南：可视化深度学习训练过程

tensorboard TensorFlow's Visualization Toolkit 项目地址: https://gitcode.com/gh_mirrors/te/tensorboard

什么是TensorBoard

TensorBoard是TensorFlow生态系统中的可视化工具套件，专为机器学习工作流设计。它能够帮助开发者和研究人员：

跟踪和可视化模型训练过程中的各项指标（如损失值、准确率）
展示模型的计算图结构
监控权重和偏置的分布变化
可视化高维数据的低维投影
分析模型的性能瓶颈

环境准备

在使用TensorBoard前，我们需要确保已安装TensorFlow并加载必要的扩展：

# 加载TensorBoard notebook扩展
%load_ext tensorboard

import tensorflow as tf
import datetime

使用Keras Model.fit()集成TensorBoard

1. 准备数据

我们以经典的MNIST手写数字识别数据集为例：

mnist = tf.keras.datasets.mnist
(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0  # 归一化

2. 构建模型

创建一个简单的全连接神经网络：

def create_model():
    return tf.keras.models.Sequential([
        tf.keras.layers.Input(shape=(28, 28), name='input_layer'),
        tf.keras.layers.Flatten(name='flatten_layer'),
        tf.keras.layers.Dense(512, activation='relu', name='dense_layer'),
        tf.keras.layers.Dropout(0.2, name='dropout_layer'),
        tf.keras.layers.Dense(10, activation='softmax', name='output_layer')
    ])

3. 训练并记录日志

关键步骤是添加TensorBoard回调：

model = create_model()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 创建带时间戳的日志目录
log_dir = "logs/fit/" + datetime.datetime.now().strftime("%Y%m%d-%H%M%S")

# 定义TensorBoard回调
tensorboard_callback = tf.keras.callbacks.TensorBoard(
    log_dir=log_dir, 
    histogram_freq=1  # 每epoch记录一次直方图
)

model.fit(x_train, y_train, 
          epochs=5,
          validation_data=(x_test, y_test),
          callbacks=[tensorboard_callback])

4. 启动TensorBoard

在Jupyter notebook中：

%tensorboard --logdir logs/fit

或在命令行中：

tensorboard --logdir logs/fit

TensorBoard核心功能解析

启动TensorBoard后，您将看到多个功能面板：

1. Scalars面板（标量指标）

展示训练过程中的损失值、准确率等标量指标的变化曲线
可以比较不同训练运行的指标
支持平滑曲线功能，便于观察趋势

2. Graphs面板（模型结构）

可视化模型的计算图
查看各层的连接关系和参数数量
帮助理解模型结构和数据流向

3. Histograms面板（权重分布）

展示权重和偏置的分布变化
监控梯度消失/爆炸问题
观察Dropout层的工作情况

4. Distributions面板（分布视图）

另一种查看权重分布的方式
提供随时间变化的分布快照

自定义训练循环中的TensorBoard集成

当使用底层API（如tf.GradientTape）时，需要手动记录日志：

1. 准备数据集

train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
train_dataset = train_dataset.shuffle(60000).batch(64)

test_dataset = tf.data.Dataset.from_tensor_slices((x_test, y_test))
test_dataset = test_dataset.batch(64)

2. 定义指标和训练步骤

# 定义指标
train_loss = tf.keras.metrics.Mean('train_loss')
train_accuracy = tf.keras.metrics.SparseCategoricalAccuracy('train_accuracy')
test_loss = tf.keras.metrics.Mean('test_loss')
test_accuracy = tf.keras.metrics.SparseCategoricalAccuracy('test_accuracy')

# 训练步骤
def train_step(model, optimizer, x_train, y_train):
    with tf.GradientTape() as tape:
        predictions = model(x_train, training=True)
        loss = loss_object(y_train, predictions)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))
    
    train_loss(loss)
    train_accuracy(y_train, predictions)

3. 设置日志记录器

current_time = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
train_log_dir = 'logs/gradient_tape/' + current_time + '/train'
train_summary_writer = tf.summary.create_file_writer(train_log_dir)

4. 训练循环中记录日志

with train_summary_writer.as_default():
    tf.summary.scalar('loss', train_loss.result(), step=epoch)
    tf.summary.scalar('accuracy', train_accuracy.result(), step=epoch)