Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

Отличная бесплатная программа для поиска дубликатов файлов (картинок, фотографий, музыки и т.д.).

Представим себе такую ситуацию… Полгода назад Вы приобрели новенький терабайтный винчестер. И вот при попытке скачать очередной фильмец с торрентов, Ваш ПК и говорит Вам, что, мол, так и так, а места на жестком диске-то больше и нет:). Кошмар!!! Караул!!! Как же так, ведь целый терабайт же ж был:(((?!!

А вся проблема может заключаться в том, что на новом винчестере скопилось слишком много дублированных файлов или даже целых папок.

Если Вы начнете вручную перерывать свои «сокровища» скачанные из Интернета, то можете потратить не один день на то, чтобы наконец найти два одинаковых инсталлятора одной и той же программы или несколько копий одной и той же песни!

А ведь можно поступить гораздо мудрее - поручить своему ПК провести «самокопание» и по итогам сего процесса определиться с тем, что нужно выбросить «фтопку», а что оставить.

Однако в базовой версии Windows функции поиска копий файлов не предусмотрено, поэтому нам придется для этого дела использовать стороннее ПО. Одним из лучших бесплатных решений данного рода проблем является программа DupKiller .

Она умеет практически все, что нужно для комфортного и быстрого поиска дубликатов файлов, поэтому вполне может соперничать с платными приложениями, например, Duplicate File Remover:

Сравнение программы DupKiller с платным аналогом Duplicate File Remover

Единственным достаточно крупным недостатком DupKiller является отсутствие поддержки NTFS Hard Links . То есть, программа не может создавать ссылки на выбранный файл для его работы с несколькими отдельными приложениями (без вреда для последних) :(.

Если же в папках с настроечными файлами разных установленных на ПК программ Вы рыться не собираетесь, то DupKiller, как раз тот инструмент, который позволит Вам навести порядок на жестком диске.

Установка DupKiller

Для установки программы нам нужно как всегда открыть скачанный архив и запустить инсталляционный файл. В первом появившемся окошке нас попросят выбрать язык инсталляции (выбираем, естественно, «Russian»), а дальше все сводится к простому принятию лицензионных соглашений и подтверждению всех предложений:). По завершению установки мы увидим рабочее окно DupKiller:

Интерфейс DupKiller

Интерфейс программы довольно прост и удобен. Вверху мы видим стандартную панель меню, которой мы пользоваться практически не будем, слева - панель разделов, а справа непосредственное рабочее пространство с нужными кнопками и опциями.

Довольно большим плюсом DupKiller является пошаговое автоматическое переключение вкладок на левой панели после выполнения Вами того или иного действия. Таким образом, реализуется нечто типа пошагового мастера работы с программой, что, несомненно, очень удобно для неосвоившегося в новом интерфейсе пользователя.

По умолчанию после запуска DupKiller мы попадаем на вкладку «Диски». Здесь мы можем при помощи галочек обозначить те разделы, которые следует подвергнуть сканированию на наличие дубликатов.

Первый раз советую произвести полное сканирование, дабы выяснить реальную картину того, что твориться у Вас на всем винчестере, поэтому не задерживаемся на данной вкладке и жмем кнопку «Сканировать».

После инициализации процесса сканирования жесткого диска мы автоматически попадаем во вкладку «Статистика»:

Здесь в наглядной форме отображается весь процесс сканирования винчестера. Помимо окна лог-файла, в котором записывается статистика работы DupKiller, некоторую информацию мы можем получить из статусной строки в самом низу рабочего окна программы.

В первую очередь - это количество найденных файлов. Находясь в разделе статистики, мы можем приостанавливать или же полностью отменять процесс сканирования, однако в последнем случае мы должны будем начинать новый поиск с самого начала.

Сканирование будет длиться не слишком долго (все зависит от размера Вашего жесткого диска). У меня, например, 80 Гигабайт было просканировано чуть меньше, чем за три минуты:). По окончанию процесса поиска дубликатов, мы будем сразу же перенаправлены в последний раздел «Список»:

Удаление дубликатов и других ненужных файлов

По сути, это самое главное окно программы, поэтому рассмотрим его в деталях. Первое, что я советую сделать - развернуть DupKiller либо на весь экран, либо растянуть его окно по горизонтали для того, чтобы удобно было видеть всю статусную строку внизу.

На ней мы увидим количество дублирующихся файлов, их общий размер, а при выборе дублей подлежащих безжалостному уничтожению, еще и общий размер, который освободится после их удаления.

Следующим шагом советую отсортировать все найденные дубли по количеству занимаемого ими на винчестере пространства. Для этого нужно всего лишь кликнуть левой кнопкой мыши по надписи «Размер» (четвертая колонка списка).

После этого все файлы будут отсортированы по возрастанию их «аппетитов» на пространство жесткого диска. То есть самые «тяжелые» файлы будут в конце таблички, а самые мелкие - вверху (можно сделать и наоборот, кликнув по «Размеру» еще раз и дождавшись составления нового списка).

Теперь можно приступить и к выделению ненужных файлов. В основном списке они разбиты по группам, которые отображают дубли одного и того же файла в разных папках (естественно, с их указанием).

Для некоторых типов файлов (текстовые и графические, а при активации плагина еще и звуковые) в DupKiller существует функция предпросмотра. То есть, как только Вы выбираете определенный файл, тут же выскакивает окошко, в котором можно лицезреть его содержимое, не открывая его.

Для мелких файликов использование сей функции представляется довольно таки удобным, однако большие файлы открываются достаточно долго, что сильно тормозит как работу программы, так и системы в общем.

Поэтому советую деактивировать данную функцию, кликнув кнопку «Отключить предпросмотр» (повторно включите его можно, нажав кнопку «Предпросмотр» на панели инструментов над списком файлов).

Когда, все приготовления будут окончены, нам останется только отметить галочками ненужные дублирующиеся файлы и нажать на панели инструментов кнопку «Удалить выделенные файлы». Все - мы избавились от лишнего балласта на жестком диске и освободили так нужное нам пространство для повторного захламления:).

Как видите, все оказалось достаточно просто - Вы с первого раза без никаких дополнительных установок смогли «отвоевать» внушительный объем пространства на винчестере.

Однако DupKiller никак не лишен тонких настроек, а наоборот просто изобилует ими. По мере того, как Вы будете разбираться в них, для Вас будут открываться все новые и новые функции программы! Рассмотрим самые важные из них.

Дополнительные функции

Итак, DupKiller позволяет производить сканирование не только всего жесткого диска сразу, но и отдельных папок:

Файлы и папки

Для настройки директорий подлежащих проверке на дубликаты файлов нужно перейти во вкладку «Файлы и папки». Здесь есть два раздела.

В верхнем («Искомые файлы») Вы можете указать, какие типы файлов нужно подвергать сличению (по умолчанию активированы все). А в нижнем («Искомые папки»), переключившись в режим «Только указанные папки», задать список папок, которые следует проверять на наличие дублей.

Папки можно добавлять, как при помощи кнопки «Добавить», так и простым перетаскиванием, что иногда может быть даже более удобным вариантом.

Исключения

Следующая вкладка - «Исключения» - позволяет нам наоборот указать те расширения файлов и папки, которые не должны быть включены в процесс сканирования:

Настройки

Работа с данной вкладкой аналогична предыдущей, поэтому не будем заострять свое внимание на ней, а перейдем к следующему разделу - «Настройки»:

Вот где разгуляться-то можно! :) Здесь мы можем задать критерии, по которым следует сопоставлять файлы, степень схожести, при которой файлы будут считаться одинаковыми, размеры обрабатываемых файлов, а также многие другие параметры.

Если же и этих настроек Вам маловато, то в DupKiller есть еще и «Другие настройки»:)

Если в предыдущем разделе находились параметры, касающиеся непосредственно процесса сканирования файлов и папок, то эти настройки больше касаются интерфейса программы.

Здесь Вы можете настроить приоритет процесса поиска, изменить некоторые параметры отображения списка дублированных файлов, а также поработать над сохранением и восстановлением настроек. По поводу последнего - есть небольшой секретик;).

DupKiller можно заставить работать в portable-режиме (с флешки или диска). Для этого нужно в меню «Файл» активировать пункт «Сохранить настройки» и сохранить файл с параметрами программы в папке, в которую установлен DupKiller (по умолчанию C:\Program Files\DupKiller ). Теперь осталось только скопировать вышеупомянутую папку на съемный носитель и все готово;).

Последняя группа настроек программы касается параметров «Удаления» файлов:

Здесь все настройки предельно понятны, поэтому мы не акцентируем на них внимания, а рассмотрим глобальные Достоинства и недостатки DupKiller.

Достоинства и недостатки DupKiller

• побайтное сравнение файлов;
• функция предпросмотра файлов;
• гибкие настройки сканирования;
• функция автовыбора файлов;
• возможность использовать в качестве portable-приложения.

• нет возможности создавать «жесткие» ссылки на файлы.

Выводы

Как видите, недостатков DupKiller практически не имеет, поэтому его можно советовать как идеальную бесплатную программу для войны с клонами файлов на Вашем жестком диске! Удачи Вам и да пребудет с Вами СИЛА!!! :)

P.S. Разрешается свободно копировать и цитировать данную статью при условии указания открытой активной ссылки на источник и сохранения авторства Руслана Тертышного.

и просто знакомые личности!!! Сегодня в данной статье поговорим о такой хорошей программе как Auslogics Duplicate File Finder - Это абсолютно бесплатная программа для поиска и удаления дубликатов файлов с вашего компьютера. С помощью данной программы Auslogics Duplicate File Finder вы сможете найти дубликаты файлов находящиеся на вашем компьютере, а также удалить их со своего компьютера.

Что такое дубликат файла:

Это копия какого либо файла, находящегося на компьютере в абсолютно другой директории, или же диске, папке и имеет то же название что и оригинальный файл, вес, а также расширение.

Дубликаты файлов практически есть на каждом персональном компьютере, даже если вы не делали копию, (дубликат) ваших файлов, (с целью каких либо сбоев в системе) , они всё равно будут на вашем компьютере.

Откуда берутся дубликаты файлов:

Например вы с интернета скачали два альбома песен одного и того же исполнителя, в основном композиции песен в сборниках повторяются, т.е. одинаковые, так же и с фотографиями — в разных папках одинаковые фото, со временем работы на компьютере этих дубликатов файлов становиться всё больше и больше соответственно они занимают много место на жестких дисках вашего компьютера или флешке, также это приводит к торможению работы системы вашего ПК.

По этому их необходимо периодически удалять. Удалив дубликаты файлов можно значительно увеличить свободное место на жестких дисках вашего ПК — Скачать данную программу можно по этой ссылке. Программа на русском языке и имеет интуитивно понятный интерфейс, так что разобраться в программе будет не так уж и сложно.

Установка программы:

Распаковываем архив, жмём на установочный файл программы, в открывшемся окне программы жмём «NEXT»

В следующем окне соглашаемся с лицензией «I accept the agreement» жмём "NEXT"

После чего ставим галочку "Create a desktor icon" создать ярлык на рабочем столе,жмём «Next»

Настройка программы:

Запускаем программу и в открывшемся окне слева выбираем нужный нам жёсткий диск или внешний носитель, рекомендую выбрать все диски для сканирования на дубликаты.

В центр окна выбираем те типы файлов, которые будет искать программа на ПК. Есть два варианта поиска. «Среди файлов всех типов» и «Среди только этих типов файлов„.

Рекомендую выбрать второй “Среди только этих типов файлов» для того чтобы избежать удаление нужных файлов, которые используются системой. Также вы можете убрать галочку с какого либо раздела, если не хотите его сканировать на дубликаты файлов. после выбора нужных настроек жмём «Далее».

В следующем окне будут настройки «игнорировать файлы размером меньше 1 МБ». Также можете выбрать настройку для «игнорировать файлы размер которых больше 1 ГБ».Созданные значения в программе вы также можете изменить на свои. Я поставлю галочки в обоих пунктах. Жмём «Далее».

В следующем шаге можете выбрать настройки поиска дубликатов, игнорируя имя и дату создания файла. По умолчанию, в программе стоит галочка на пункте "игнорирования даты создания файла".

Можете выбрать оба пункта, тогда программа сделает более широкое сканирование выбранных жёстких дисков. Выбираем нужные настройки и жмём «Далее».

В следующем окне выбираем что делать с найденными дубликатами. В программе по умолчанию установлено удаление в корзину, для того чтобы вы смогли восстановить те файлы, которые по вашему мнению, были удалены по ошибке.

Во втором пункте восстановление файлов будет происходить уже из созданного архива. В третьем пункте всё понятно, файлы с компьютера удаляются безвозвратно. Выбираем нужные настройки и жмём «Поиск».

Поиск дубликатов файлов:

Программа начнёт поиск дублирующих файлов. Сканирование жёстких дисков проходит в 3 этапа:

1. Программа определяет количество папок;

2. После этого программа находит те папки, которые содержат типы файлов, которые вы выбрали в настройках для поиска, затем проверяется дата и имя создания файла;

3. После чего производится полная проверка жёстких дисков и внешних носителей.

По завершению поиска откроется окно, с результатом сканирования программы на дубли. У меня на компьютере программа нашла 71 дубль файла, размером 635,88. В окне программы представлено имя файла, его местонахождение на диске, размер файла, и дата последнего изменения.

Далее жмём на кнопку "Выбрать" внизу окна и выбираем наиболее подходящий пункт для удаления дубликатов файлов. Я выбрал «Выбрать все дубликаты в каждой группе» далее жмём "Удалить выбранные файлы" и подтверждаем в открывшемся окне кнопкой ОК.

Также вы можете отметить файлы вручную, поставив галочку напротив выбранных файлов, после чего нажать на соответствующую кнопку удаления. Все дубликаты файлов которые вы отметили будут удалены, в ту директорию в которую ранее вы указали для их удаления, (в нашем случае это корзина).

После чего закрываем данную программу. Auslogics Duplicate File Finder предназначена для поиска дубликатов файлов на жёстких дисках и внешних носителях. На этом я буду заканчивать данный пост, надеюсь получился полезный. Всем ПОКА!!!

С Уважением,