Создание словарей, Exclusive Tool dictionaries

бывает при объединении файлов, пишет сразу же что конечный файл создан и выполнено(что невозможно), а по факту продолжает работать.
Вопрос насчет удаления емаил, удаляет только с первого файла из указанных, так и задумано?

 

да, по одному файлу

 

Отправил в ЛС часть файла

 

Когда будет новая обнова?

 

в программе произошли существенные изменения, обо всем этом при релизе, будет как только сам протестирую основное

 

*** Обновление 0.8 ***

Spoiler

1. Ускорение работы программы для всех функций примерно на 30 %
2. Уменьшение количества временных файлов во время работы.
3. Осуществлена запись в выходной файл ,на случай, до момента сбоя при работе с файлом.
4. Правка кода при назначении переменной До.
5. Переделка функции Удаление пробелов в конце строки.
6. Установка диапазона от 1 до 2000мб для Файлы - Разбить на части.
7. Добавление сохранения русских символов (кирилицы) в авто-обработку для файлов кодировки ANSI.
8. Добавление в авто-обработку поля ввода для указания длины строки при удалении, по умолч. 8.
9. Соблюдение, там где это необходимо, для одинаковых кодировок файла на входе и выходе.
10. Добавление функции Удалить между двумя (на выбор) переменными От и До.
11. Добавление функции Разбить строку по нескольким разделителям, а именно:
В отличии от Разбить по указанным символам, является то, что разделителями могут быть слова, различные наборы нужных символов или даже целые предложения.

Разделители указываются через запятую
Например:

Code:

@mail.ru, @gmail.com, :

12. Правка функций Разбить по разделителю, иногда связанная с некорректным переносом на новую строку.
13. Добавление подсказок для некоторых функций.
14. К архиву с файлом теперь идут в наборе word-овский файл с подсказками-справкой-описанием работы программы(начало положено, желающие могут дополнить и прислать), а так-же файл extd.exe, который теперь не извлекается автоматически из ресурсов(чтобы не ругались АВ).
15. Коррекция запуска процесса при сортировке или сравнении.
Пока так... думаю, что производительность не дается просто так, возможно , что внесенные изменения могут сказаться на работе некоторых функций, но при тестировании не обнаружил, если что пишите в теме.
upd
0.8.1 исправлен недочет с подсчетом совпадений для нек файлов.

Шапка темы обновлена.

 

Спасибо за обнову .Тестирую.
Есть еще вопрос .
Например Есть база [email protected]:1234:[email protected] ,то как сделать чтобы выдало так :
[email protected]
1234:[email protected]
Просто раздетель встречается в пароле.

 

Для того чтобы узнать какая кодировка файла то юзаем linux

Code:

file -i /путь к файлу/mypoem_draft.txt

file -i /media/bezzumnuy/38413AA14D5979AE/Passwords/С\ Торрентов/12billion\ special\ for\ xss.is/rez_out.txt
/media/bezzumnuy/38413AA14D5979AE/Passwords/С Торрентов/12billion special for xss.is/rez_out.txt: text/plain; charset=us-ascii

Кстати можно добавить такую опцию в прогу.+ если кодировка отличается то можно еще запилить конвертер в ascii ,если конечно не будет добавлена обработка в других кодировках-UTF

 

Сначала удалить все что до , а потом все что после .. Слепить .
как вариант

 

Без понятния но опять где-то проблема .ЧТо Русскими что без русских .
Тестовый файл https://mega.nz/file/SQ1FjLiR#GjPD_ZEj0amRlseO973CCUC-jNL5AGlDX378LXllZOU
Насчет большого то тоже проработало 1.5 часа и потом завис на временных файлаъ, общий объем которых 65 гб из 90гб

 

Добавлю .
Вернулся на 7.2 версию
Поставил мелкий файл .
Наблюдаю за временными файлами.

 

Еще небольшой отчет .
Решил перевести в другу кодировку с UTF в ANSI (хотя думал что у меня небольшой файл был и так в ANSI)
Перекодировал.
Вот результат с уже разбивкой по разделителю.

Буду сейчас тестить на большом файле с перекодировкой.

 

И так, что я имею по обработке большого файла .
Входной файл -https://mega.co.nz/#!tVVFjQSA!095XR_Q-Bd3UhWNlaEImvjNWReCT4u2hSCPC85ujnV8
Первый скрин разбивка по разделителю без конвертации в ANSI .Время запуска видно. Второй скрин конвертация в ANSi .
Результат один и что-то мешает обработке.
Буду разбивать на части и смотреть что мешает .

 

Продолжаю эксперименты .
Паралельно запущено 2 экземпляра программы
1 экземпляр большой файл разбил на равные части по 2 гб(указан предел в программе) Думал так быстрее процесс пойдет
2 экземпляр разбит по 1 гб .
И так .
1)При обработке 1-ом экземпляре программа вылетает(сообщение по завершении программы) после окончания обработки, сразу после записи файлов и после конвертации в ANSI(думал сначала из-за кодировки)


2)программа не на что не гугается и не вылетает,уже обработало 2.7гб (27файл)

 

брал фаил 3 гига все тоже самое вылетает , а 1 гиг брал норм автор уже в курсе, отписал

 

Важно. Убрал из доступных для скачивания версию 081 для устранения найденной неполадки.
Файлы в неск гиг мной не тестировались и обнаружились нестыковки для вкладки Функции, а именно, после увелич производительности и прочего, недоглядел важный момент и теперь выходные файлы ограничены в размере...
после исправления будет еще дополнительно увеличение по скорости в след обновлениях.

 

Небольшой отчетик
Разбил файл 95 гб по 2 гб . Сейчас только добил последние файлы .
Конвертация не потребовалась.
Разбивка по разделителю прошла без ошибок. Только вылет проги .

 

версия 7.2 и ниже (8 не имею), вылетает на сортировке ошибка - "произошла одна или несколько ошибок"
в темпе при работе плодятся 0 файлы все длиннее и длиннее названием
файлик с которым проблема прикладываю(он конечно идиотский но тем не менее), с файлом в 2 раза меньше строк сортировка проходит, именно с этим и большим нет, насколько я понимаю проблема из-за длины имен файлов в темпе, доходят до лимита ос, как то видимо неправильно обрабатывается строка, что вызывает такое размножение файлов.
файл 1.95mb(134mb распакованный) https://yadi.sk/d/6F6XHvqq1OxtQQ

 

В скором времени появится обновление программы.
Из-за экспериментов и тестов на скорость, в котором участвовали для сравнения- новая версия 082, cygwin и последняя 072, пришлось задержаться с выпуском.

 

*** Обновление 0.8.2 ***
-реализован отказ от временных при сборке выходного файла, что в свою очередь немного нагрузило память, но увеличило скорость обработки, тем самым исключило лишние записи на диск, что сократило общее время.

Помимо прочих изменений, а так-же указанных этом посте добавлена экспериментальная функция, которая участвовала в тестах с cygwin на разных PC.
Результаты последних переделок при работе всех функций программы, сравнение с cygwin x64(виндоус версия) и посл рабочей версией ExTDv072 ниже.
Для примера была взята функция Разбить по разделителю.
-Размер тестируемого файла 5,04 Гб.
Прочитанных строк: 168133744
Разделителей найдено: 168155725
Время обработки:
ExTDv072 - 14 мин 43 сек.
ExTDv082 - 08 мин 37 сек.
ExTDv082 экспериментальная - 02 мин 46 сек.
Cygwin x64 3.3.0 build 14393 - 04 мин 50 сек. команда

Code:

sed 's/:/\n/g' input.txt > out.txt

Шапка темы обновлена для скачивания посл версии