跳转到内容

大文件拆分为多个小文件

有一个很大的文本文件,想将其拆分为多个小文件,便于处理。

拆分时需要确保每一行都是完整的,不能从行中间截断。

可以使用程序 split 做到:

split -C 50m file_2024-06-05_000012 result_2024-06-05_000012

指定将文件file_2024-06-05_000012拆分为多个小文件,拆分后每个小文件的最大大小为 50Mb,拆分后的小文件以result_2024-06-05_000012为前缀。

最后生成的小文件名称示例如下:

result_2024-06-05_000012aa
result_2024-06-05_000012ab
...

文档:split invocation (GNU Coreutils 9.5)