从 S3 下载后生成的 Zip 文件无效

Question

我正在创建一个 zip 文件，该文件看似有效，但在我将其放入 Amazon S3 存储桶后始终无效。我正在使用 System.IO.Compression 进行任务，使用 AmazonS3Client 进行上传：

private byte[] GenerateZipFile(string tenant)
{
   byte[] zipData;

   var results = QueryAggregateTable(tenant);
   using (var memoryStream = new MemoryStream())
   using (var archive = new ZipArchive(memoryStream, ZipArchiveMode.Create, true))
   {
      foreach (var item in results)
      {
          var archiveEntry = archive.CreateEntry($"{item.RowKey:D3}.json", CompressionLevel.Fastest);
          using (var entryStream = archiveEntry.Open())
          {
              var entryBytes = Encoding.UTF8.GetBytes(item.Data);
              entryStream.Write(entryBytes, 0, item.Data.Length);
          }
      }

      zipData = memoryStream.ToArray();
   }

   return zipData;
}

和

private async Task UploadToAmazon(byte[] zipData, string tenant)
{
    var bucketName = _config["egestionBucketName"];
    var configCreds = _config["egestionAwsCredentials"].Split(":");

    var awsCreds = new BasicAWSCredentials(configCreds[0], configCreds[1]);
    var awsRegion = Amazon.RegionEndpoint.GetBySystemName(_config["egestionRegionEndpointSystemName"]);

    var s3Client = new AmazonS3Client(awsCreds, awsRegion);
    using (var stream = new MemoryStream(zipData))
    {
        var putRequest = new PutObjectRequest
        {
            BucketName = bucketName,
            Key = $"{tenant}-{DateTime.UtcNow.ToString("s")}.zip",
            InputStream = stream,
            CannedACL = S3CannedACL.BucketOwnerFullControl
        };

        await s3Client.PutObjectAsync(putRequest);
    }

}

从生成返回后字节数组看起来不错，上传方法确实将具有正确名称的文件加载到存储桶中。当我尝试下载文件进行检查时，我无法打开它，并显示一条消息说它无效。

我在使用 async/await 时遇到了一些问题，我怀疑它可能与此相关，但我找不到 PutObject 的非异步选项。任何帮助表示赞赏。

Answer 1

这不是异步等待问题。

在存档有机会将所有数据写入流之前收集内存流中的字节。上传的存档不完整，下载后无效。

移动

zipData = memoryStream.ToArray();

到存档外部 using 块，以便在处理存档时将任何缓冲数据刷新到后备流。

//...

using (var memoryStream = new MemoryStream()) {
    using (var archive = new ZipArchive(memoryStream, ZipArchiveMode.Create, true)) {
        foreach (var item in results) {
            var archiveEntry = archive.CreateEntry($"{item.RowKey:D3}.json", CompressionLevel.Fastest);
            using (var entryStream = archiveEntry.Open()) {
                var entryBytes = Encoding.UTF8.GetBytes(item.Data);
                entryStream.Write(entryBytes, 0, entryBytes.Length);
            }
        }
    }//Archive disposed and pushed any remaining buffered data to the stream.
    zipData = memoryStream.ToArray();
}

//...

从 S3 下载后生成的 Zip 文件无效

Generated Zip file is invalid after downloading from S3

c#

amazon-s3

aws-sdk

.net-core