如何存储大量未组织的相关数据并在收到时对其进行组织？
How can I store large amounts of unorganized, related data and organize it as I receive it?
我正在为客户编写程序。他们发送给我们的数据本质上是来自关系数据库的信息，这些信息被扁平化，导致以逗号分隔的文本文件非常庞大，其中包含极其冗余的信息，每行只有几个字段发生变化。
我正在将其读入一个类型化的数据集，并基本上组织我进入第三范式的数据，这大大减少了冗余的绝对数量。从那里，我将数据集中的数据转换为 XML 并将其发送到另一个程序以创建表格和报表。
但是，我想知道是否有更好的方法来解决这个问题。它可能没有我想象的那么糟糕，但我无法摆脱这样一种感觉，即有一种更好、更快的方法可以做到这一点。重要的是数据是有组织的且易于理解，并且在我将其转换为 XML.
之前对其进行了约束检查和验证。
由于 none 的数据需要持久化（事实上，它不应该），如果我只是在每次使用后最终清除它，那么实际的 RMDB 似乎不值得。
该程序还需要运行在无数环境中；我的工作站是 Windows 7 64 位，测试服务器是 Windows XP 32 位，生产服务器是 Windows 7 64 位或 32 位，具体取决于它是哪个服务器进行中。
恕我直言，那么我会从 SQL Express 开始——它旨在处理这些类型的数据量，并将适应您使用的不同平台 运行；如有必要，它可以扩展到更大的版本；在 SSMS 中，您有一个工具可以轻松检查中间结果等，并且导入 .csv 非常简单。而且是免费的。
基于上述所有原因，我会给 SQL Express 一个尝试并评估其实际性能。
回到你最初的问题，我认为这是一种合理的方法；我不认为你遗漏了什么。
我正在为客户编写程序。他们发送给我们的数据本质上是来自关系数据库的信息，这些信息被扁平化，导致以逗号分隔的文本文件非常庞大，其中包含极其冗余的信息，每行只有几个字段发生变化。
我正在将其读入一个类型化的数据集，并基本上组织我进入第三范式的数据，这大大减少了冗余的绝对数量。从那里，我将数据集中的数据转换为 XML 并将其发送到另一个程序以创建表格和报表。
但是，我想知道是否有更好的方法来解决这个问题。它可能没有我想象的那么糟糕，但我无法摆脱这样一种感觉，即有一种更好、更快的方法可以做到这一点。重要的是数据是有组织的且易于理解，并且在我将其转换为 XML.
之前对其进行了约束检查和验证。由于 none 的数据需要持久化（事实上，它不应该），如果我只是在每次使用后最终清除它，那么实际的 RMDB 似乎不值得。
该程序还需要运行在无数环境中；我的工作站是 Windows 7 64 位，测试服务器是 Windows XP 32 位，生产服务器是 Windows 7 64 位或 32 位，具体取决于它是哪个服务器进行中。
恕我直言，那么我会从 SQL Express 开始——它旨在处理这些类型的数据量，并将适应您使用的不同平台 运行；如有必要，它可以扩展到更大的版本；在 SSMS 中，您有一个工具可以轻松检查中间结果等，并且导入 .csv 非常简单。而且是免费的。 基于上述所有原因，我会给 SQL Express 一个尝试并评估其实际性能。 回到你最初的问题，我认为这是一种合理的方法；我不认为你遗漏了什么。