Разбить txt файл на части

Linups_Troolvalds · 06-06-11 16:04:41

Lord_Evil пишет:

Linups_Troolvalds, проверь мой скрипт на скорость.

"time" -f "Затрачено времени: %e, Макс.резидентный размер процесса (Кбайт): %M" cat  text| ./split.pl 
Затрачено времени: 0.30, Макс.резидентный размер процесса (Кбайт): 2560

Отредактировано Linups_Troolvalds (06-06-11 16:04:52)

Дестер · 06-06-11 16:34:40

Linups_Troolvalds, и правда, страшно.
Ради интереса попробовал написать скрипт на повершелле, хоть и совсем не знаю этот язык.
Вот мой быдлокод:

$file = Get-Content file1.txt;        # Читаю файл file1.txt в массив строк
$numFiles = 0;                        # Порядковый номер выходного файла
$numStringPF = [System.Math]::Floor($file.Length / 5); # Число строк в выходном файле

for($i = 0; $i -lt $file.Length; $i++){                 # Перебираю строки
    if ($i % $numStringPF -eq 0  -and $numFiles -lt 5){ # Если выходной файл заполнился
        $numFiles = $numFiles +1                        # Увеличиваем номер выходного файла
    }
    echo $file[$i] >> "text$numFiles" 
}

-eq - это оператор сравнения,
-lt - меньше,
-gt - больше.

Linups_Troolvalds · 06-06-11 18:01:43

Дестер пишет:

Вот мой быдлокод:

Выполняется значительно медленнее, чем мой скрипт в cygwin. Памяти, само собой, меньше потребляет, потому что нативное приложение.
Для 1000 строк:

$ /usr/bin/time -f "Использовано времени: %e. Макс.объем в памяти: %M" ./split.sh text
Использовано времени: 0.26. Макс.объем в памяти: 2162688

$ /usr/bin/time -f "Использовано времени: %e. Макс.объем в памяти: %M" "powershell" "c:\cygwin\split.ps1"
Использовано времени: 2.87. Макс.объем в памяти: 230656

А теперь для миллиона строк:

$ /usr/bin/time -f "Использовано времени: %e. Макс.объем в памяти: %M" ./split.sh text
Использовано времени: 0.85. Макс.объем в памяти: 2097152

$ /usr/bin/time -f "Использовано времени: %e. Макс.объем в памяти: %M" "powershell" "c:\cygwin\split.ps1"
Command terminated by signal 2
Использовано времени: 82.14. Макс.объем в памяти: 226304

Извиняйте, не дождался. Когда прервал, файл «text1» имел размер 422 Кб.
Насчет памяти я не уверен, что тут можно что-то сказать. А вот насчет времени выполнения – убедитесь сами.

Отредактировано Linups_Troolvalds (06-06-11 18:03:14)

Дестер · 06-06-11 18:08:16

Да, PowerShell медлителен.

 (1..10000) > file1

выполнялось ~4 секунды.

Lord_Evil · 06-06-11 20:45:39

Linups_Troolvalds пишет:

Lord_Evil пишет:

Linups_Troolvalds, проверь мой скрипт на скорость.

"time" -f "Затрачено времени: %e, Макс.резидентный размер процесса (Кбайт): %M" cat  text| ./split.pl 
Затрачено времени: 0.30, Макс.резидентный размер процесса (Кбайт): 2560

Спасибо, тоже не плохой результат, если сравнить с пхп.. 0_0 и памяти сожрало меньше всех ))

Форум StopLinux

Объявление

#26 06-06-11 16:04:41

Re: Разбить txt файл на части

#27 06-06-11 16:34:40

Re: Разбить txt файл на части

#28 06-06-11 18:01:43

Re: Разбить txt файл на части

#29 06-06-11 18:08:16

Re: Разбить txt файл на части

#30 06-06-11 20:45:39

Re: Разбить txt файл на части

Подвал форума