这是一个创建于 653 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近要将 S3 的日志数据导出到自建 clickhouse ，日志都是统一格式，但是数据量很大。尝试使用 goroutine 并发读写，但是发现在请求数过多时，aws s3 client 会报 read: connection reset by peer 的异常，导致并发数上不去，光是一天的日志就要请求将近几十分钟，想知道有什么实现好办法？
3 条回复 • 2023-03-18 17:06:16 +08:00
 |
1
Frankcox OP 还有就是考虑如何同步数据，可以用代码监控，不知道 lambda 表达式能不能支持。
|
 |
2
gtx990 2023-03-18 15:10:54 +08:00 via Android
replicate 到多个 bucket ，每个路径单独算 throttle 。
或者你这样，直接用 redshift (spectrum)，直接 query s3 ，或者 load 到 redshift managed 的 s3 ，性能完全不比 clickhouse 差。 |
Select Language