从 s3 加载大文件的替代方法
Alternative to loading large file from s3
我一直在尝试加载托管在 S3 上的大型语言模型（> 5 GB）以用于 Lambda 函数，但迄今为止未成功。即使设置为 10240 MB 内存，该功能也会在几分钟后持续超时。
我认为这是因为 Lambda 函数的限制，以及从 S3 流式传输如此大的文件。
对于我的实现，我的函数需要能够相当快地加载语言模型（~5-10 秒）。
刚接触 AWS，有更好的方法吗？
将模型存储在 EFs 驱动器中，然后将 efs 附加到 lambda，您可以更快地进行计算
我一直在尝试加载托管在 S3 上的大型语言模型（> 5 GB）以用于 Lambda 函数，但迄今为止未成功。即使设置为 10240 MB 内存，该功能也会在几分钟后持续超时。
我认为这是因为 Lambda 函数的限制，以及从 S3 流式传输如此大的文件。
对于我的实现，我的函数需要能够相当快地加载语言模型（~5-10 秒）。
刚接触 AWS，有更好的方法吗？
将模型存储在 EFs 驱动器中，然后将 efs 附加到 lambda，您可以更快地进行计算