Штатно проводник Windows таким функционалом не обладает.
Именно поэтому существует множество альтернативных, в том числе платных файловых менеджеров.

Однако можно это сделать в командной строке.

Чтобы не мучиться с путями к файлам откройте в проводнике папку с переименовываемыми файлами.
Затем кликните в адресную строку наверху, наберите CMD и нажмите [Enter].

Запустится интерфейс командной строки в нужной папке.

Далее наберите команду такого вида:

ren *.txt *.new

Где *.txt - шаблон исходных файлов, *.new - новое расширение.
* заменяет любые символы, можно написать что-то вида ren image25*.jpg *.jpeg если нужно переименовать только часть файлов.

источник