神经网络框架和 RL 算法库有什么区别？
What is the difference between Neural Network Frameworks and RL Algorithm Libraries?
我知道这是个愚蠢的问题，但我找不到合适的表达方式。
我曾使用过 TensorFlow 和 TFAgents，现在正在转向 Ray RLlib。查看所有RL frameworks/libraries，我对以下两者之间的区别感到困惑：
- Keras、TensorFlow、PyTorch 等框架
- RL 实现库，例如 TFAgents、RLlib、OpenAi Baseline、Tensorforce、KerasRL 等
比如TensorFlow中有Keras代码，Ray RLlib同时支持TensorFlow和PyTorch。它们之间有什么关系？
到目前为止，我的理解是 Keras 允许制作神经网络，而 TensorFlow 更像是 RL 的数学库（我对 PyTorch 的了解不够）。 TFAgents 和 RLlib 等库使用 Keras 和 TensorFlow 等框架来实现现有的 RL 算法，以便程序员可以轻松使用它们。
谁能解释一下他们的情况 interconnected/different？非常感谢。
是的，你说得对。 Keras、TF（也使用 keras btw）和 Pytorch 等框架是通用的深度学习框架。对于大多数人工神经网络用例，这些框架工作得很好，您的典型管道将类似于：
- 预处理您的数据集
- Select适合此问题设置的模型
- model.fit（数据集）
- 分析结果
虽然强化学习与大多数其他数据科学 ML 应用程序有很大不同。首先，在 RL 中，您实际上是通过让模型（智能体）与环境交互来生成自己的数据集；这使情况大大复杂化，特别是从计算的角度来看。这是因为在传统的 ML 场景中，大部分计算繁重的工作都是由 model.fit() 调用完成的。上述框架的好处是，从那个调用开始，您的代码实际上输入了非常高效的 C/C++ 代码（通常还实现了 CUDA 库以使用 GPU）。
在 RL 中，最大的问题是代理与之交互的环境。我把这个问题分成两部分：
a) 环境无法在这些框架中实现，因为它总是会根据你所做的事情而改变。因此，你 必须对环境进行编码，而且 - 很有可能 - 它不会非常有效。
b) 环境是代码中的关键组成部分，它不断地与您的 Agent 进行多次交互，并且有多种方式可以调解该交互。
这两个因素导致有必要对环境及其与代理之间的交互进行标准化。这种标准化允许高度可重用的代码以及其他人更容易解释其具体操作方式的代码。此外，通过这种方式，例如，可以轻松地 运行 并行环境（例如 TF-agents 允许这样做），即使您的环境对象并没有真正编写来管理它。
RL 框架因此提供了这种标准化和随之而来的特性。它们与深度学习框架的关系是 RL 库通常带有许多预先实施和灵活的代理架构，这些架构是文献中最相关的。这些代理通常只不过是一些奇特的 ANN 架构，包裹在一些 class 中，在给定的 RL 框架内标准化它们的操作。因此，作为这些 ANN 模型的后端，RL 框架使用 DL 框架来 运行 有效地进行计算。
我知道这是个愚蠢的问题，但我找不到合适的表达方式。
我曾使用过 TensorFlow 和 TFAgents，现在正在转向 Ray RLlib。查看所有RL frameworks/libraries，我对以下两者之间的区别感到困惑：
- Keras、TensorFlow、PyTorch 等框架
- RL 实现库，例如 TFAgents、RLlib、OpenAi Baseline、Tensorforce、KerasRL 等
比如TensorFlow中有Keras代码，Ray RLlib同时支持TensorFlow和PyTorch。它们之间有什么关系？
到目前为止，我的理解是 Keras 允许制作神经网络，而 TensorFlow 更像是 RL 的数学库（我对 PyTorch 的了解不够）。 TFAgents 和 RLlib 等库使用 Keras 和 TensorFlow 等框架来实现现有的 RL 算法，以便程序员可以轻松使用它们。
谁能解释一下他们的情况 interconnected/different？非常感谢。
是的，你说得对。 Keras、TF（也使用 keras btw）和 Pytorch 等框架是通用的深度学习框架。对于大多数人工神经网络用例，这些框架工作得很好，您的典型管道将类似于：
- 预处理您的数据集
- Select适合此问题设置的模型
- model.fit（数据集）
- 分析结果
虽然强化学习与大多数其他数据科学 ML 应用程序有很大不同。首先，在 RL 中，您实际上是通过让模型（智能体）与环境交互来生成自己的数据集；这使情况大大复杂化，特别是从计算的角度来看。这是因为在传统的 ML 场景中，大部分计算繁重的工作都是由 model.fit() 调用完成的。上述框架的好处是，从那个调用开始，您的代码实际上输入了非常高效的 C/C++ 代码（通常还实现了 CUDA 库以使用 GPU）。
在 RL 中，最大的问题是代理与之交互的环境。我把这个问题分成两部分：
a) 环境无法在这些框架中实现，因为它总是会根据你所做的事情而改变。因此，你 必须对环境进行编码，而且 - 很有可能 - 它不会非常有效。
b) 环境是代码中的关键组成部分，它不断地与您的 Agent 进行多次交互，并且有多种方式可以调解该交互。
这两个因素导致有必要对环境及其与代理之间的交互进行标准化。这种标准化允许高度可重用的代码以及其他人更容易解释其具体操作方式的代码。此外，通过这种方式，例如，可以轻松地 运行 并行环境（例如 TF-agents 允许这样做），即使您的环境对象并没有真正编写来管理它。
RL 框架因此提供了这种标准化和随之而来的特性。它们与深度学习框架的关系是 RL 库通常带有许多预先实施和灵活的代理架构，这些架构是文献中最相关的。这些代理通常只不过是一些奇特的 ANN 架构，包裹在一些 class 中，在给定的 RL 框架内标准化它们的操作。因此，作为这些 ANN 模型的后端，RL 框架使用 DL 框架来 运行 有效地进行计算。