Suchen und entfernen Sie doppelte Dateien in Linux
Wenn Sie Terabytes an Speicherplatz haben, können Sie sich keine Gedanken über doppelte Dateien machen. Wenn Sie jedoch an der Dateiorganisation interessiert sind, sollten Sie auf Ihrem Linux-System keine Duplikate verwenden. Sie können doppelte Dateien entweder über die Befehlszeile oder mit einer speziellen Desktop-App finden und entfernen.
Verwenden Sie den Befehl "Suchen"
Falls Sie mit diesem mächtigen Befehl nicht vertraut sind, können Sie dies in unserem Handbuch erfahren. Durch die Kombination von find
mit anderen essentiellen Linux-Befehlen, wie Xargs, können wir eine Liste von doppelten Dateien in einem Ordner (und allen seinen Unterordnern) erhalten. Der Befehl vergleicht zuerst die Dateien nach Größe und prüft dann ihre MD5-Hashes, bei denen es sich um eindeutige Informationen zu jeder Datei handelt. Um nach doppelten Dateien zu suchen, öffnen Sie Ihre Konsole, navigieren Sie zum gewünschten Ordner und geben Sie Folgendes ein:
find -not-empty -type f -printf "% s \ n" | sortieren -rn | uniq -d | xargs -I {} -n1 find -type f -size {} c -print0 | xargs -0 md5sum | sortieren | uniq -w32 --all-repeated = trennen
Dieser One-Liner macht folgendes:
find -not -empty -type f -printf "%s\n"
- sucht nach regulären Dateien, die nicht leer sind und gibt ihre Größe aus. Wenn Sie sich für die Dateiorganisation interessieren, können Sie doppelte Dateien einfach über die Befehlszeile oder mit einer speziellen Desktop-App finden und entfernen.
sort -rn
- sort -rn
die Dateigrößen in umgekehrter Reihenfolge.
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0
- druckt nur doppelte Zeilen. In diesem Fall Namen von doppelten Dateien.
xargs -0 md5sum | sort |
- Sortiert die MD5-Hashwerte der gescannten Dateien.
uniq -w32 --all-repeated=separate
- vergleicht die ersten 32 Zeichen von MD5-Hashes und gibt die Duplikate aus.
Beachten Sie, dass dieser Befehl nicht automatisch Duplikate entfernt - er gibt nur eine Liste aus und Sie können Dateien manuell löschen, wenn Sie möchten. Wenn Sie es vorziehen, Ihre Dateien in einer Anwendung zu verwalten, die mehr Optionen gleichzeitig bietet, könnte die nächste Lösung für Sie geeignet sein.
Setzen Sie dupeGuru ein
DupeGuru ist eine plattformübergreifende Anwendung, die in drei Editionen erhältlich ist: Standard (SE), Musik und Bild. Es wurde entwickelt, um doppelte Dateien basierend auf mehreren Kriterien (Dateinamen, Dateigröße, MD5-Hashes) zu finden und verwendet Fuzzy-Matching, um ähnliche Dateien zu erkennen. Windows- und OS X-Benutzer können die Installationsdateien von der offiziellen Website herunterladen, und Ubuntu-Benutzer können dupeGuru aus dem Repository abrufen:
sudo add-apt-repository ppa: hsoft / ppa sudo apt-erhalten update sudo apt-get installieren dupeguru
Um nach Duplikaten zu suchen, fügen Sie zunächst einige Ordner hinzu, indem Sie die Taste "+" drücken. Wenn Sie einen Ordnerstatus auf "Referenz" setzen, wird der Inhalt anderer Ordner mit diesem Inhalt verglichen. Bevor Sie auf "Scannen" klicken, überprüfen Sie den Dialog "Ansicht -> Einstellungen", um sicherzustellen, dass alles richtig eingerichtet ist.
Wenn Sie sich für die Dateiorganisation interessieren, können Sie doppelte Dateien einfach über die Befehlszeile oder mit einer speziellen Desktop-App finden und entfernen.
"Scan Type" variiert zwischen dupeGuru Editionen; In Standard können Sie Dateien und Ordner nach Inhalt und Dateiname vergleichen. Die Picture Edition bietet einen Vergleich mit EXIF-Zeitstempel und "Picture Blocks" - eine zeitaufwändige Option, die jedes Bild in ein Raster unterteilt und die durchschnittliche Farbe für jede Kachel berechnet. In der Music Edition können Sie "Felder", "Tags" und "Audioinhalt" analysieren. Einige Einstellungen hängen vom Suchtyp ab: "Wortgewichtung" und "Gleiche Wörter suchen" funktionieren nur, wenn Sie nach Dateinamen suchen. Umgekehrt gilt "Filterhärte" nicht, wenn Sie einen "Inhalts" -Scan durchführen.
DupeGuru kann kleine Dateien und Verknüpfungen (Verknüpfungen) zu einer Datei ignorieren und Sie können reguläre Ausdrücke verwenden, um Ihre Abfrage weiter anzupassen. Sie können Suchergebnisse auch speichern, um später daran zu arbeiten. Apple Fans werden die Tatsache lieben, dass dupeGuru iPhoto und Aperture Bibliotheken unterstützt und iTunes Bibliotheken verwalten kann.
Wenn dupeGuru Duplikate findet, öffnet sich ein neues Fenster mit blau markierten Referenzdateien und den unten aufgeführten Duplikaten. Die Symbolleiste zeigt grundlegende Informationen an und Sie können mehr über jede Datei sehen, wenn Sie sie auswählen und auf die Schaltfläche "Details" klicken.
Sie können doppelte Dateien direkt von dupeGuru verwalten - das Menü "Aktionen" zeigt alles, was Sie tun können. Wählen Sie Dateien aus, indem Sie das Kontrollkästchen aktivieren oder auf ihren Namen klicken. Sie können alle oder mehrere Dateien mit Tastenkombinationen auswählen (halten Sie die Umschalt- / Strg-Taste gedrückt und klicken Sie auf die gewünschten Dateien). Wenn Sie an Unterschieden zwischen doppelten Dateien interessiert sind, schalten Sie Delta Values um. Die Ergebnisse können neu priorisiert werden (so dass die als Dubletten aufgelisteten Dateien zu Referenzen werden) und nach verschiedenen Kriterien wie Änderungsdatum und -größe sortiert werden. Der offizielle dupeGuru-Benutzerhandbuch ist hilfreich und klar geschrieben, damit Sie sich darauf verlassen können, wenn Sie einmal hängen bleiben.
Natürlich wäre es praktischer, wenn dupeGuru nicht in drei Editionen aufgeteilt wäre - schließlich lieben die meisten Anwender One-Stop-Lösungen. Wenn Sie den Befehl find jedoch nicht verwenden möchten, bietet dupeGuru eine einfache und schnelle Möglichkeit, Duplikate aus Ihrem Dateisystem zu entfernen. Können Sie einige andere Tools zum Entfernen doppelter Dateien empfehlen? Bevorzugen Sie die Befehlszeile für diese Aufgabe? Erzähl uns in den Kommentaren.