批量压缩只有部分文件产出:四个方向逐层排查定位问题

批量压缩只有部分文件产出怎么排查

批量压缩之后产物比预期少,第一步不是乱试,而是把名单拉出来对照。

闪压的单次批量上限是一千个文件,超过这个量就得分批,分批的时候最容易出现漏了几个。先把源文件列表和输出目录里的产物列一遍,少的是哪些,是集中在某一批,还是零散分布。

零散分布通常是单个文件的问题,集中在同一批,多半是分批边界上的处理出了问题。

先数清楚少了哪几个

这一步很多人跳过,直接开始改设置,结果改了一圈还是找不到原因。

要弄清楚三件事:少了几个、少了哪些、少的有没有规律。

少了几个决定了这属于个别失败还是整批没跑。少了哪些决定了你从哪个文件开始查。有没有规律决定了你查源文件还是查流程。

一个实用做法是先手动压一个你觉得可疑的文件。如果单独压能出来,说明文件本身没问题,是批量流程里的环节出了问题;单独压也出不来,那问题在这个文件上。

源文件本身的问题

单个文件压不出来,常见原因就那几个。

文件正在被别的程序占用着,比如视频被播放器打开着,文档被编辑器锁着,这时候读不到完整内容。占用情况的排查思路见解压提示文件被占用的处理办法。

文件本身已经损坏,压缩读到最终校验不过,任务就停了。

文件名或路径里有系统不接受的字符,也会导致跳过。

路径和占用

输出路径太长,或者目标目录没有写权限,都会让任务在写产物的时候中断。

分批压缩的时候更要注意,不要把分批的中间产物全堆在同一个目录里,后面分不清哪一批出的问题。

磁盘与权限

压到一半磁盘空间耗尽,后续文件全部写不进去,表现就是产物只出了一部分。

压缩需要临时空间,不只是最终产物的空间。解压端的体积估算思路可以参考解压空间不足的估算办法,压缩端同理。

权限问题导致的失败,集中在输出目录不可写的情况。改路径、改权限,或者换个输出位置,都能绕开。

把这几条固化成一张检查清单,以后每次跑大批量之前先过一遍,能省掉大量重复排查的时间,这个投入很值得,做一次就用很久。任务卡住不动和失败是两回事,排查顺序不一样,按批量压缩进度条卡住怎么排查走一遍就能分开。

排查完还有一件事要做:把这次的结论记下来。

哪个文件压不出来、为什么压不出来,下次遇到同类文件直接跳过或者提前处理,不用再从头查一遍。批量任务里反复出现的失败,通常都是同一类原因。

把这几条固化成一个检查清单,以后每次跑大批量之前先过一遍,能省掉大量重复排查的时间。

另外,如果你的批量任务本身就是长期存在的,建议把任务拆得更细一些。分批处理的时候按目录或者按类型分开跑,哪一批出问题就只需要重跑那一批,不用整个重来。

这也是为什么很多人在批量压缩上会专门建一个待处理目录,把确认过的文件先集中过去,压完再清空。流程顺了,出问题时排查范围自然就小了。

排查完还有一件事要做:把这次的结论记下来。

哪个文件压不出来、为什么压不出来,下次遇到同类文件直接跳过或者提前处理,不用再从头查一遍。批量任务里反复出现的失败,通常都是同一类原因。

把这几条固化成一个检查清单,以后每次跑大批量之前先过一遍,能省掉大量重复排查的时间。

另外,批量任务本身也可以拆细一些。按目录或者按类型分开跑,哪一批出问题就只需要重跑那一批,不用整个重来。这也是为什么很多人在批量压缩上会专门建一个待处理目录,把确认过的文件先集中过去,压完再清空,流程顺了出问题时排查范围自然就小了。