aşağıdaki site sayesinde txt dosyalarınızdaki aynı verileri temizleyebilirsiniz https://www.textfixer.com/tools/remove-duplicate-lines.php