“Il disco è pieno, ho già cancellato il file di log enorme – ma non si è liberato nemmeno un byte.” Un classico. Il file è sparito dalla cartella, ma il suo contenuto occupa ancora spazio.
Perché i file cancellati occupano ancora spazio
Su Linux rm rimuove solo la voce nella directory, cioè il nome. Il file system libera i dati solo quando nessun nome punta più al file e nessun processo lo tiene più aperto.
Se un servizio tiene aperto un file – tipicamente un web server, un database o un'applicazione con il suo file di log – lo spazio resta occupato. Spesso il processo continua persino a scriverci. Il file semplicemente non è più raggiungibile tramite un percorso.
Questo spiega la contraddizione fra due strumenti: df chiede al file system quanto spazio è occupato e conta anche quel file. du percorre le directory e non lo trova più.
Trovare i file cancellati ancora aperti
Per prima cosa confermare la differenza:
df -h /var
du -xsh /var
Se i valori sono molto distanti, lsof mostra i candidati. L'opzione +L1 elenca i file aperti con meno di un link, cioè già cancellati:
sudo lsof -nP +L1
Nell'output interessano soprattutto le colonne COMMAND, PID, FD, SIZE/OFF e il percorso con l'indicazione (deleted). Per limitarsi a un file system basta aggiungere il mount point:
sudo lsof -nP +L1 /var
Se lsof non è installato, aiuta /proc:
sudo find /proc/[0-9]*/fd -lname '*(deleted)' -printf '%p -> %l\n' 2>/dev/null
Liberare lo spazio
Ricaricare o riavviare il servizio. Di solito la via più pulita. Molti servizi riaprono i file di log al reload, per esempio:
sudo systemctl reload nginx
sudo systemctl restart nomeservizio
Il reload basta solo se il servizio riapre i log in quel momento. Altrimenti serve un riavvio – sui sistemi in produzione con attenzione e al momento giusto.
Svuotare il file tramite /proc. Se un riavvio adesso non è possibile, il file cancellato può essere troncato a zero byte tramite il suo descrittore. PID e numero FD vengono dall'output di lsof (per FD 4w il numero è 4):
sudo sh -c ': > /proc/1234/fd/4'
È una soluzione d'emergenza: dopo il contenuto è perso, quindi bisogna essere sicuri che si tratti davvero di un log di cui si può fare a meno.
Perché succede
- Cancellazione manuale di un file di log attivo con
rm. Meglio svuotarlo invece di cancellarlo, ad esempio contruncate -s 0 file.log. - Rotazione dei log senza riapertura. logrotate rinomina il file o elimina le vecchie rotazioni, ma il servizio continua a scrivere in quello vecchio. Rimedio: ricaricare il servizio nel blocco
postrotate, oppure usarecopytruncateper i servizi che non sanno riaprire i log. - Processi bloccati o dimenticati, come un vecchio worker mai terminato.
Non ogni differenza fra df e du ha questa causa. Altri candidati: file nascosti sotto un mount point montato in seguito sopra di loro e, su ext4, i blocchi riservati a root. E se df -h mostra spazio libero ma non si riesce a scrivere nulla, conviene guardare df -i – forse sono finiti gli inode.
Come verificare
- Confrontati
df -hedu -xshper lo stesso file system? - Eseguito
lsof -nP +L1e trovati processi con file(deleted)? - Ricaricato o riavviato il servizio e ricontrollato
df -h? - Verificata la configurazione di logrotate per il servizio (
postrotateocopytruncate)? - Esclusi inode con
df -ie mount point nascosti? - Impostato un monitoraggio dell'occupazione del disco?
Un disco pieno spesso è solo il sintomo. La causa è frequentemente un log che nessuno ruota – un bell'esempio del perché valga la pena guardare due volte.