Создание словарей, Exclusive Tool dictionaries

в новой версии 0.8.2 не может быстро находить почту [email protected] - зависает программа и всё не обрабатывает данные
текстовый документ размером 151 мегабайт Gmail
перезалил фаил
https://transfiles.ru/xawn3

 

*** Обновление 0.8.3 ***
-добавлен новый метод сравнения среди двух файлов(пока не слишком больших) по принципу хеш и хеш:пароль с записью результатов в два файла
-после многих переделок по оптимизации, найдено, исправлено и восстановлена работа для некоторых функций

Spoiler: Описание и пример для хеш и хеш:пароль

Содержимое файла hash:
a68e6f701d2fc2efee70b32368ef5410
2824b702fbcb928182279f98adec74bb
e183f5fa619e6af458abda70532fd7a3
d2ceedb9fa74e4c05312188aafd98e6a
4b1da3c1cb9f406575c54faadd70392b
76fcc095961984703d7f264ce88243a4
49bc104b6986695022ea17d1b4b9579d

Содержимое файла hash : pass
a68e6f701d2fc2efee70b32368ef5410:nizar21142004
2824b702fbcb928182279f98adec74bb:mj09296052000
703dfcc07f276959619846443a4ce882:vasya123

Вых. файл outLeft_5.txt... где 5- это кол-во hash-строк, что не найдены
e183f5fa619e6af458abda70532fd7a3
d2ceedb9fa74e4c05312188aafd98e6a
4b1da3c1cb9f406575c54faadd70392b
76fcc095961984703d7f264ce88243a4
49bc104b6986695022ea17d1b4b9579d

Вых. файл outFound_2.txt... где 2- это кол-во hash : pass-строк, что были найдены
a68e6f701d2fc2efee70b32368ef5410:nizar21142004
2824b702fbcb928182279f98adec74bb:mj09296052000

 

ещё одна ошибка в новой версии 0.8.3 - теперь работает функция эта находить почту [email protected]
просто при завершении не возможно открыть готовый фаил сразу - надо отключить программу тогда только открывается
так же при завершении работы уже отсканированного документа не возможно открыть сразу его так же после этого -- от 8 и логин + login из [email protected]
та же самая ошибка выходит через блокнот и EmEditor

 

*** Обновление 0.8.4 ***
- после многих переделок по оптимизации -уверенно возвращаемся к работоспособности некоторых функций, за найденное спс пользователю scooter

 

*** Обновление 0.8.5 ***
- новый метод сравнения двух файлов по принципу хеш и хеш:пароль теперь работает и для больших файлов
- добавлен еще один новый метод , который соединяет строку первого файла с каждой строкой второго файла через указанный разделитель.
При таком методе, размер файлов может значительно вырасти, в связи с этим в начале запуска, будет проанализирован предполагаемый размер выходного файла с выводом в лог, интересный расчет внизу спойлера.

Spoiler: Пример для соединения строк файлов

Укажем разделитель в качестве -

Файл 1:
aaa
bbb
ccc

Файл 2:
111
222
333

Выходной файл:

aaa-111
aaa-222
aaa-333
bbb-111
bbb-222
bbb-333
ccc-111
ccc-222
ccc-333

Два выходных файла - в их названии, содержатся в виде цифр найденные совпадения или те, что не были найдены , подробно в приложенной справке в архиве.
Что касается размеров, то необходимо учитывать их значительное увеличение, например возьмем два файла:
Файл 1 -размер файла 292 мегабайт строк - 9 345 004
Файл 2 -размер файла 40 байт строк - 4
Размер файла на выходе будет равен 1, 43 Гб

размер 1-файла * кол-во строк 2-файла + (кол-во строк 1-файла * (размер 2-файла - кол-во строк 2-файла))

299 991 593 * 4 + (9 345 004 * (40 - 4)) ==> 1 536 386 516 = 1, 43 Гб

Я не стал делать такой доскональный расчет в программе, хоть и пришлось вначале над этой формулой подумать, а ограничился примерным, через среднее значение размера части выходного файла умноженного на количество частей.

- в архив изменена и внесена справка с более подробным описанием пока что последних методов - как работает и с примерами
шапка темы обновлена

 

функция разбить по разделителю на NVME 500gb со скоростью 1700 , почему-то очень медленная и не нагружает , только в начале при создании кучи файлов по 200мб грузит в 100% после такое ощущение что даже не обращается, на обычном жестком диске, в 2,5 раза быстрее, да в сортировке вроде как все ровно, но чтобы в 100% загруженность еще не было, хз как настроить на полную мощь.

бывает пишет произошла одна или несколько ошибок, приходится делить по 10гб файлами "софт не хочет понимать и выдает ошибку" но если через редактор вручную удалять копии после чего софт начинает понимать файл

Автору выражаю респект, действительно полезный софт, вот бы еще в экспериментальном режиме по разделителю не пропускал заданные параметры было бы вообще пушка, NVME у меня будет до конца месяца, если автору нужны тесты, с удовольствием помогу

 

-Размер тестируемого файла 5,04 Гб.
Прочитанных строк: 168133744
Разделителей найдено: 168155725
Время обработки:
ExTDv072 - 14 мин 43 сек.
ExTDv082 - 08 мин 37 сек.
ExTDv082 экспериментальная - 02 мин 46 сек.
Cygwin x64 3.3.0 build 14393 - 04 мин 50 сек. команда

куда еще быстрей...))

используйте авто-обработку для входных файлов

на то оно и экспериментальная...просто показывает возможности))

и вам спс за добрые слова

 

хорошо б еще сделать делить файл по строкам. И что б можно было делить большие файлы на разные размеры
ждем обновлений .

 

Дело в том что на м2 никто не тестировал, тестировали только на жёстких дисках 60-100 и ссд 400-500 потому так, за тесты будет не только благодарность но уважение от других пользователей так как будущие в м2 накопителях где-то видел что до 10 тыс уже есть скорость)

 

@s9va Здравствуйте
"Используйте авто-обработку для входных файлов" - использую всегда но ошибки есть и успешно когда ошибка, а иногда полезная нагрузка есть но цикл за циклом до 100% и назад на 98%, в 85 версии вроде уже такого не замечено, но ошибки постоянно, если возможно по согласию пользователя делать скипы если есть такие траблы на пути софта было бы супер, с миллиона потеря 100 строк не так и страшно.

на NVME скорость 1700мб/с, на харде 140мб/с, при функции разбить по разделителю я вижу на харде 40-80мб/с постоянной полезной нагрузки, в тоже время на 2 пк где nvme происходит секундная нагрузка 60мб/с после тишина и разбиение длится очень долго и не нагружает систему, 2 пк с одинаковым файлом запускал и с жестким разделение было в 2,5 раза быстрее, да в сортировке с 96 потоков, 1024 памяти и 8 ядер все очень шустро.

просили выше обратную связь, поэтому это никак не камень в огород, а обратная связь для улучшения ПО

Вопрос к автору, кеш в жестком диске играет роль в сортировке или разделению, планирую купить жесткий для хранения фоток и затестить ради интереса, вот только с 256мб кеша цена кусается, спасибо

 

к-во заданных потоков учитываются программой и не всегда их может быть столько, сколько задано в настройках -зависит от длины файла, длины строк и подбираются не более чем указано значение макс..., что касается памяти, выведено в настройках нечто общее и не все настройки доступны, например, размеры буферов для входных-выходных файлов, размер разбивки куска файла, размер макс значения при котором начнется разбивка на части и т.д....если и их подогнать под определенное железо, то эффект значительно вырастет и появится нагрузка, но чтоб не было паники, они указаны оптимальными для всех и не настраиваются.
Для интереса, я кину в личку отдельный вариант с возможностью указать их, для теста.

 

Есть ли словари на имена? ну чтобы на каждое имя был отдельный словарик? ну хотя бы на самые распространенные имена.
а то бывает что имя точки например "Anastasia" и тут понятно что нужен словарик под это имя с разными вариациями имени и цыфрами.

 

@soundboom так вам дали лопату золотую, что вам еще нужно?))

 

даже одно имя имеет много вариаций-alex alexandr, sasha и тд.
ну сделаю я вариации с числами alex2020 2020alex но я не сделаю вариации из словами.
например онлайн взломщик недавно взломал пароль alexmoon, я охренел.
а всё что я могу сделать это просто имена из цифрами.

 

есть, аналог кота, в меню Генератор и на выбор по маске, описания присутствуют

 

блин)
зачем мне велосипед изобретать?
я спрашиваю встречал ли кто-то словари по именам)
а же не спрашиваю как создать.
как создать я знаю, но на эт нужно тратить много времени, в то время когда они уже есть, где-то)
онлайн взломщики уже имеют такие словарики, многие в открытом доступе аля словарей InSide.

 

Тема Словарей как бэ здеся!

 

*** Обновление 0.8.6 ***
-Метод - Поиск часто встречающихся паролей в файлах, она же Сравнение совпадений(по предложению AlexSP)

добавлен вариант записи в файл от меньшего к большему и наоборот ,для сортировки получившегося списка по кол-ву совпадений
-Добавлена еще одна скоростная экспери-ая ф-ция Разбить по разделителю - по нескольким (по предложению wirepank)
Через запятую укажите разделители в качестве символа

Spoiler: Например :

Code:

для строки :
Skystriker:[email protected]:72.231.153.137
укажем разделители через запятую :,@
получим на выходе :
Skystriker
croselius
gmail.com
72.231.153.137

- Внесены некие исправления в авто-обработку файлов (благодаря crack211)
Шапка темы обновлена.

 

проверял на неск файлах, зависаний не обнаруживал
поделите его по частям, меньшими по размеру, постарайтесь найти проблемный кусок, хотелось бы глянуть....илиже испробуйте в начале удалить непеч символы для файла

 

Скажите возможно ли добавить функцию "замена чего-то на что-то " до первого совпадения?
То есть если в строке есть одинаковые символы в разнвх словах ,то нужно заменить только первое ,а остальные не трогать.
Пример:

Code:

@ENGAGEPEO\test;[email protected]

После замены

Code:

;ENGAGEPEO\test;[email protected]

И так же на будущее добавить "замена что-то на что-то " только последние совпадения а не первые не трогать .

Code:

@ENGAGEPEO\test;P;ssw0rd