Ошибки при очистке словарей

Всем добрый.
Не могу понять в чем дело. Пытаюсь очистить словари от дублей и отсортировать по длине командой в linux:
cat rockyou.txt | sort | uniq | pw-inspector -m 8 -M 63 > newrockyou.txt

На выходе получаю какую-то странную галематью с кирилицей, китайскими символами и грузинскими буквами.
счсч
токио1
угабуга
фивгфдш
фквжьись
фмкшд13
цфыыук
�ѹҹ�й�Ѽ
шфьыгзук
ы101982м
ыр17071994
ырщлщдфвлф
ыүлүиаү
ьсндвсхд89
ьфырф3003
юрист
яфйцук
яьфдйз1245
མི་དྲེད་
ნომედიგას
లలబకగూూబ
ခ့ငအအက
ၾ၆ူ။ည႑ာန
ာေစသနသကူေပ
ခ်စ္တယ္ထူးရယ္
0124271876
123654789
>#<#5556121#>#<
13610109
@[email protected] 1982
9101102838
(jeancarlos)31293

保存 到 我的东西 （推荐）
到 我的东西
尐淘氣
空0357871
聽日使唔使番牙你

Судя что длинна не соблюдается можно предположить что команда работает некорренктно.
Команда:
cat rockyou.txt | sort | uniq > newrockyou.txt
дает такой же выхлоп.
Кто может подсказать в чем дело? И вообще на каких языках rockyou.txt разве там не только латиница?

 

Попробуй так:
Сначала sed '/^[\t\n\r -~]*$/!d'
Не помешает sed 's/'"$(printf '\015')"'$//g'
Затем sort -u

Сортировка по длинне:
sed -n '/^.\{8\}/p'
sed -n '/^.\{63\}/!p'

Можешь воспользоваться этой утилитой,для очистки от кириллицы и кракозябр http://rgho.st/6NWPzsM6Y
Юзать: ./clean64.bin -src /rockyou.txt -new clean.txt remove
./clean64.bin -src /rockyou.txt -new clean.txt duplicate

 

Странно... вывод такой же. Может там и дожны присутствовать арабские, грузинские, иврит слова?? Из каких он (rockyou.txt) вообще языков состоит кто знает?

 

Дай ссылку на оригинальный словарь.
Утилиту пробовали?

 

git clone git://git.kali.org/packages/wordlists.git

Утилиту не пробовала. Запускать такие скрипты опасаюсь. мало ли руткит какой. Шутников хватает здесь) Не в обиду

 

вы можете доверять тем людям кто вам помагает

 

Держи. http://rgho.st/7L2PsnZh7
Без дублей.Длинна 8-63.Без кракозябр и кириллицы.

 

Спасибо. Но мне бы еще научится. Часто с этим сталкиваться буду. Научи как сделал? И почему у меня кракозябры?

 

sed '/^[\t\n\r -~]*$/!d' эта команда работает не всегда.
Юзай утилиту,и не будет этой "ошибки".
Вообще, рекомендую: https://antichat.com/threads/281655/ там найдёшь многие ответы на свои вопросы.

 

Юхуу. ну просто кладезь ништяков! Спасибо

 

всегда в первую очередь нужно tr -d '\r' < 1.dic > bezCR.dic делать - может быть что txt в винде создавался

 

а по чему сразу не удалить все неанглийские слова а потом сортировать его