Tensorboard 事件文件大小在连续模型训练后不断增长

Question

我在一个 for 循环中训练 8 个模型，并将每个张量板日志文件保存到一个单独的目录中。文件夹结构就像 Graph 是我在 Graph 下的图形和目录的主要目录，例如 net01 net02... net08 是我正在输出的我的活动文件。通过这样做，我可以在 Tensorboard 中以那种奇特的方式可视化训练日志，每个训练过程都有自己的颜色。

我的问题是 eventfiles 的大小越来越大。第一个事件文件大约为 300KB，但第二个事件文件的大小为 600KB，第三个为 900KB，依此类推。它们每个都位于自己单独的目录中，并且每个都是彼此不同的训练课程，但 tensorboard 以某种方式将较早的课程附加到最后一个课程中。最后我应该有一个总大小为 12*300Kb= 3600 KB 的会话文件，但我最终得到了大约 10800KB 的会话文件。随着网络越来越深，我最终得到了大约 600 MB 的会话文件大小。很明显我遗漏了一些东西。

我尝试可视化最大尺寸的最后一个文件，以检查它是否包含所有之前的训练课程并且可以绘制 8 个网络，但它失败了。所以一大堆不相关的信息存储在这个会话文件中。

我在 Win7-64 上使用 Anaconda3-Spyder。数据库分为 8 个，对于每个运行，我将留出一个进行验证，并将其余的用作训练。这是我的代码的简化版本：

from keras.models import Model
from keras.layers import Dense, Flatten, Input, Conv2D, MaxPooling2D
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import TensorBoard, ModelCheckpoint, CSVLogger
import os.path
import shutil
import numpy
#  ------------------------------------------------------------------
img_width, img_height = 48, 48
num_folds=8
folds_path= "8fold_folds"
nets_path = "8fold_nets_simplenet" 
csv_logpath = 'simplenet_log.csv'
nets_string = "simplenet_nets0"
nb_epoch = 50
batch_size = 512
cvscores = []
#%%
def foldpath(foldnumber):
    pathbase= os.path.join(folds_path,'F')
    train_data_dir = os.path.join(pathbase+str(foldnumber),"train")
    valid_data_dir = os.path.join(pathbase+str(foldnumber),"test")
    return train_data_dir,valid_data_dir

#%%
for i in range(1, num_folds+1):
    modelpath= os.path.join(nets_path,nets_string+str(i))
    if os.path.exists(modelpath):
        shutil.rmtree(modelpath)
    os.makedirs(modelpath)
    [train_data_dir, valid_data_dir]=foldpath(i)
    img_input = Input(shape=(img_width,img_height,1),name='input')

    x = Conv2D(32, (3,3), activation='relu', padding='same', name='conv1-'+str(i))(img_input)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool1-'+str(i))(x)
    x = Conv2D(64, (3,3), activation='relu', padding='same', name='conv2-'+str(i))(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool2-'+str(i))(x)
    x = Conv2D(128, (3,3), activation='relu', padding='same', name='conv3-'+str(i))(x)
    x = MaxPooling2D((2, 2), strides=(2, 2), name='pool3-'+str(i))(x)
    x = Flatten()(x)
    x = Dense(512, name='dense1-'+str(i))(x)
    #x = Dropout(0.5)(x)
    x = Dense(512, name='dense2-'+str(i))(x)
    #x = Dropout(0.5)(x)
    predictions = Dense(6, activation='softmax', name='predictions-'+str(i))(x)
    model = Model(inputs=img_input, outputs=predictions)
    #  compile model-----------------------------------------------------------
    model.compile(optimizer='Adam', loss='binary_crossentropy', 
                  metrics=['accuracy'])
    #  ----------------------------------------------------------------
    # prepare data augmentation configuration
    train_datagen = ImageDataGenerator(rescale=1./255,
                                       featurewise_std_normalization=True,
                                       featurewise_center=True)
    valid_datagen = ImageDataGenerator(rescale=1./255)
    train_generator = train_datagen.flow_from_directory(
        train_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        color_mode='grayscale',
        classes = ['1','3','4','5','6','7'],
        class_mode='categorical',
        shuffle='False'
    )
    validation_generator = valid_datagen.flow_from_directory(
        valid_data_dir,
        target_size=(img_width, img_height),
        batch_size=batch_size,
        color_mode='grayscale',
        classes = ['1','3','4','5','6','7'],
        class_mode='categorical',
        shuffle='False'
    )
    #  --------------------callbacks---------------------------
    csv_logger = CSVLogger(csv_logpath, append=True, separator=';')
    graph_path = os.path.join('Graphs',modelpath)
    os.makedirs(graph_path)
    tensorboard = TensorBoard(log_dir= graph_path, write_graph=True, write_images=False)
    callbacks_list=[csv_logger,tensorboard]

    #  ------------------
    print("Starting to fit the model")

    model.fit_generator(train_generator,
                        steps_per_epoch = train_generator.samples/batch_size,
                        validation_data = validation_generator,
                        validation_steps = validation_generator.samples/batch_size,
                        epochs = nb_epoch, verbose=1, callbacks=callbacks_list)

Answer 1

不确定这个，但我的猜测是它与每次循环迭代后存储的图表有关。要检查您的图表是否对此负责，您可以尝试 write_graph = False，看看您是否仍然遇到同样的问题。为确保图表已重置，您可以尝试在每次迭代结束时使用以下方法清除张量流图表：

keras.backend.clear_session()

Answer 2

问题在于，随着每个模型的训练，下一个模型仍然包含先前训练的所有图形元素。因此，在训练每个模型之前，请重置 Tensorflow 图表，然后继续训练。

Tensorboard 事件文件大小在连续模型训练后不断增长

Tensorboard event file size is growing after consecutive model training

keras

tensorflow

tensorboard