从 tf.data.Dataset 获取元组元素

Question

我正在构建一个神经网络，其中有两个输入节点，每个节点都连接到一个嵌入层。

我创建了一个 tf.data.Dataset，其中包含一个元组作为模型的输入。

如何拆分元组中的张量以将第一个张量（标量）转发到嵌入层 1 并将第二个张量（数组）转发到自定义前向传递中的嵌入层 2？

我在下面提供了一个示例。

提前致谢。

import pandas as pd
import tensorflow as tf

from random import randrange

df = pd.DataFrame(columns=['cust', 'items'])

for i in range(100):

    cust = randrange(100)
    items = [randrange(100), randrange(100), randrange(100), randrange(100), randrange(100)]

    df = df.append({"cust": cust, "items": items}, ignore_index=True)

    i += 1

dataset = tf.data.Dataset.from_tensor_slices((df["cust"], df["items"]))

dataset_batches = dataset.batch(10)

# custom forward pass
def call(self, inputs):
    x = inputs[0]  # This does not work.
    y = inputs[1]  # This does not work.

    x = self.cust(x)  # input layer 1
    y = self.items(y)  # input layer 2

    x = self.emb_cust(x)  # embedding layer 1
    y = self.emb_items(y)  # embedding layer 2

    z = self.pre_calc([x, y])  # lambda layer

    return z

Answer 1

对于有类似问题的人：

我上面的方案其实是正确的，所以你可以从当前批次中提取元组的元素，并把它作为一个列表提出来用于正向传递。

def run_model(self, epochs, dataset_batches):

    for epoch in range(epochs):
            
            for step, (cust, items) in enumerate(dataset_batches):
            
                   # execute forward pass
                   y_pred = self([cust, items], training=True)
                   ...

从 tf.data.Dataset 获取元组元素

Get elements of tuple from tf.data.Dataset

python

tensorflow

tf.data.dataset