Linux Server Profiling

Tiphon · 16-02-11 23:17:55

Условие: Есть сильно нагруженный интернет ресурс. Есть облачный сервис в котором висит сервер с linux+ngnix+mysql+php на котором крутится этот ресурс. Можно в очень широком диапазоне менять ресурсы доступные серверу, как то: гарантируемая и пиковая процессорная мощность, число процессоров, память, сторейдж и т.д.

Задача: Подобрать оптимальным образом ресурсы. Чтобы интернет ресурс работал без залипаний, а денег платить меньше.

Решение: Изучить под разными нагрузками: как, что и чем загружается. Выбрать ресурсы соответственно.

Вопрос: А как и чем делать под linux-ом соотвествующий профайлинг сервера?

Т.е. под той же виндой есть куча средств, начиная с xperf, который и сэмплинг, и инструментал, и вообще... достаточно все умеет делать и наглядно показывать. Под линуксом одно унылое говно вроде oprof и т.д. которые генерируют тонны нечитаемых логов с разношерстной, но не по делу информацией. Гугл даёт невразумительные ссылки, как сделать на перле парсер, чтобы засунуть в R и увидеть один несчастный график - это не работа, ребята, это детский сад.

Так как и чем под линуксом можно профайлить работу сервера?

Update Уточню, что примерно нужно: Включил профайлер, загрузил сервер, выключил профайлер, выкачал/открыл логи, разбираешь, что происходило в то время, пока была нагрузка. Что - куда писалось, что - что использовало, что фейлило, чем занимались процы, какие были процессы чем они занимались, чем занимались в это время другие процессы, когда эти процессы занимались тем, чем занимались (говорить скороговоркой). Я даже не прошу что-нибудь вроде вызовов процедур мне показывать, просто чтобы были тайм лайн, графики, таблицы и гистограммы в одном месте. Можно было бы легко устанавливать связи, причины и следствия.

P.S. Подозреваю, что в линуксе этого нет, а линуксоиды, которые 20 лет устраивают виндовс капец, даже не поймут, о чем идет речь и как такое может быть, чтобы в одном месте и удобно.

Отредактировано Tiphon (16-02-11 23:31:40)

petrun · 16-02-11 23:41:50

Tiphon пишет:

не по делу

А можно поподробней с этого места? Чего не хватает в oprof?

Майор Очевидность · 16-02-11 23:47:32

petrun,
судя по экспрессивному тону, это, увы, был не вопрос, а наброс.

Tiphon,
ну вот что мешает спокойно спросить совета, и не исходить на д распространяться в духе «все — дерьмо, я — Д'Артаньян»? neutral

P.S.
сервера целиком не профилировал, но в своё время мне существенно помог sysprof.
плюс ко всему, он GUI'шный.

Tiphon · 17-02-11 00:17:22

Майор Очевидность пишет:

сервера целиком не профилировал, но в своё время мне существенно помог sysprof.
плюс ко всему, он GUI'шный.

К сожалению на сервере нет ГУИ. Идея может быь в том, напимер, чтобы пустить, получить некий лог/дамп, скачать с сервера и удобно рассмотреть. sysperf --help привел меня к мысли, что его нельзя использовать без гуи.

petrun пишет:

А можно поподробней с этого места? Чего не хватает в oprof?

Всего. Вот давай ты подробнее, как его применить для вышеописанной ситуации? Очеивдно же, что нельзя.

Майор Очевидность пишет:

ну вот что мешает спокойно спросить совета, и не исходить на д распространяться в духе

Потому, что задолбался бесполезно тартить время на гугленье бесполезной инфы. Т.к. нет ничего унифицированного, никакого ценрализованного источника информации. Т.к. такой комплексной инфы нет даже для серьезных пакетов, не говоря про линукс в целом. Тк.к. на форумах сидят дебилы, которые отпаляют обратно в гугл, тк.к. им лень, а единсвтенный способ получить инфо, это разозлить дебилов и взять на слабо - что является еще большим доказательством их дебилизма и вгодняет в тугую, тяжелую печаль и мысли о победоносном шествии опен сорца.

Отредактировано Tiphon (17-02-11 00:19:05)

Майор Очевидность · 17-02-11 00:25:13

Tiphon пишет:

единсвтенный способ получить инфо, это их разозлить и взять на слабо

вывод неверен.
Вы путаете местами причину и следствие.
в Гугль Вас отсылают не потому что им лень, а потому что Вы повествуете о проблеме с такой вот претензией.
если честно, меня тоже подмывает сказать Вам что-то навроде «опенсорс — дрянь. Не используйте опенсорс. Он не для Вас».
тем не менее,
во-первых, sysprof ≠ sysperf.
во-вторых, для консольного режима в пакет включена отдельная утилита sysprof-cli.

Добавлено спустя 02 мин 39 с:
и впредь, просто будьте спокойнее smile
вот увидите, насколько изменится к Вам отношение аудитории.

Tiphon · 17-02-11 00:32:42

Майор, опять ты начинаешь придираться ко мне? Я пишу по-разному в разные места, что в этом сложного? Например на stackoverflow я кроток и любезен. Тут... Если писать о проблемах, которые я не могу решать вежливо - решения не будет вообще)) Проверял)

Майор Очевидность · 17-02-11 00:34:42

Tiphon пишет:

Если писать о проблемах, которые я не могу решать, вежливо - решения не будет вообще))

ну а если так, как сейчас — сочтут вбросом.

безысходность… big_smile

за сим, тему оставляю, в силу того, что у нас с Вами действительно несколько разные задачи.
для комплексного профилирования высоконагруженного сервера sysprof подойдёт вряд ли, т.к. не мониторит ввод-вывод.

Tiphon · 17-02-11 00:36:23

А можно ссылочку какую-нибудь на sysperf тк.к. я несколько путаюсь, о чем идет речь?

Майор Очевидность · 17-02-11 00:41:40

sysprof
sysperf

Tiphon · 17-02-11 00:58:20

Спасибо большое, но...

Майор Очевидность пишет:

sysperf

We proudly announce the new web based monitoring tools, written on DotNet and ASP.NET.
SysPerf Framework was engineered using Microsoft .NET technology and the latest web services technology to provide true enterprise-wide performance monitoring in a single Web browser.

???
Я боюсь, что это, мягко говоря, не даст возможности выполнить поставленную задачу. Или оно пожет смотреть, что проиходит внутри arch linux сервера?
SysPerf сайт сейчас лежит.

Майор Очевидность пишет:

sysprof

С кли я разобрался. Если я правильно понимаю, он даёт только сэмплинг загрузки проца. Что в данном случае... убого не то...

Майор Очевидность · 17-02-11 01:01:12

Tiphon пишет:

???

ну так не я его первым упомянул smile

Tiphon пишет:

он даёт только сэмплинг загрузки проца

именно так.
как я уже сказал, у нас с Вами разные задачи.

Tiphon · 17-02-11 01:04:51

Просто для примера, это xperf - бесплатный профайлер для винды. На картинке результат профайла базовым набором провайдеров (без использования памяти, например), для того, чтобы был понятен воркфлоу, там: открыта закладка возможных показателей, на график disk-io r/w ratio нанесен график активности диска для нужного процесса, плюс выведена сводная таблица по этому параметру для выделенной области.
Я легко могу таким образом пермещаться по любым показателям, процессам, потокам, ресурсам и все-все-все знать. Вплоть до вызова процедур и прерываний, если будет нужно.

Хоть где-нибудь 10% от этого в одном месте есть?

Добавлено спустя 01 мин 21 с:

Майор Очевидность пишет:

ну так не я его первым упомянул

ой))) Да, это я опечатался. Про линукс я все время говорил про sysprof

Отредактировано Tiphon (17-02-11 01:37:44)

IvanOFF · 17-02-11 01:32:52

Поддержу топикстартера, очень интересный вопрос. Мы давно пробовали найти приличный профайлер, но увы. Поэтому предлагаем клиентам линукс-сервера исключительно как решения начального уровня. Дальше вилы, затраты на то, чтобы оптимизировать сервер под запросы клиента в случае с линуксом в разы превосходят аналогичные затраты на винде.

petrun · 17-02-11 02:29:27

Tiphon пишет:

Всего. Вот давай ты подробнее, как его применить для вышеописанной ситуации? Очеивдно же, что нельзя.

А зачем вы пытались-то, если нельзя? Каков вопрос, таков и ответ.
Просто от вас можно было ожидать поста и покультурнее.
Насколько я знаю, утилиты все-в-одном нет.

Tiphon · 17-02-11 02:57:48

petrun пишет:

А зачем вы пытались-то, если нельзя?

Ну просто потому, что начинаешь искать гуглить по профайлам и вот тусклые ответы вроде "ну вот есть еще oprofile, им можно". А что им можно? Я его посмотрел, для поставленных задач, что его использовать, что просто нтоп запустить во время загрузки сервера и смотреть на глаз, сколько жрется памяти и проца. Это как гадание на кофейной гуще.

После поста Иванова я уже понял, что все, на нормальных интегрированных системах можно, как обычно, крест в линуксе ставить. Но мало ли, может это можно как-то криво, коряво, линукс-вей делать набором мелких утилит? Я пока не вижу как.

После поста Иванова надежд на вменяемость нет, но малоли, может еще никсадмин чего-то подскажет.

З.Ы. А почему такой тон? Ну просто потому, что линукс меня очередной раз поразил. Это как с тем, что под С++ ни одной нормальной IDE нет. Но там еще можно выктить eclipse и поспорить. Что с профалерами под С++ криво и не гладко... Но что с системными профайлерами - полная жопа... Что полная жопа с профайлерами там, где линукс реально используют, как продакшн системы - в серверах-???!!! НУ КАК ТАК МОЖНО ЖИТЬ И РАБОТАТЬ? Спецы, мля...

Отредактировано Tiphon (17-02-11 03:00:27)

IvanOFF · 17-02-11 03:14:59

Вот так и живут, а потом ищут заговоры и удивляются что их любимый линукс плетется где-то в заднице.

Сейчас на рынке серверов начального уровня крайне высок интерес к решениям на линуксе, оно и понятно, кризис, лишних денег нет. При этом клиента как правило не интересует техническая сторона вопроса, ему нужны работающие сервисы. Продавать линукс решения вполне можно, особенно продавая вместе с поддержкой, т.е. предлагая клиенту определенный набор услуг администрирования по подписке. Но при этом сразу и честно предупреждаем - это начальный уровень, дальше винда или придется сурово переплатить для достижения сходной производительности.

Нет, оно конечно можно поебаться с кучей утилит и поковыряться в логах, но кто будет за все это платить? Клиент? Оно ему нахуй нужно, ему нужен оптимизированный сервис, т.е. максимум производительности за минимум денег, оплачивать изыскания ему в х*й не впилось.

Поэтому удивляет позиция линуксоидов, вместо того, чтобы ткнуть носом: "возьмите это, это и это, не фонтан но жить можно", они пытаются строить из себя оскорбленную невинность. Несерьезно это, господа. Мне лично до пизды, что продавать винду или линукс, был бы спрос. Но мне при этом надо заработать денег, чтобы заплатить з/п сотрудникам, заплатить аренду, налоги и еще чтобы покушать осталось.

iUser · 17-02-11 04:01:23

IvanOFF пишет:

Нет, оно конечно можно поебаться с кучей утилит и поковыряться в логах, но кто будет за все это платить? Клиент? Оно ему на[beep] нужно, ему нужен оптимизированный сервис, т.е. максимум производительности за минимум денег, оплачивать изыскания ему в [beep] не впилось.

А почему бы не использовать коммерческие инструменты типа: www.solarwinds.com/
Или нужно бесплатное решение и с бесплатным, желательно, саппортом? smile Если так, то пилите гири самостоятельно: LinuxServerProfiling.pdf

Tiphon · 17-02-11 04:35:38

iUser пишет:

Если так, то пилите гири самостоятельно: LinuxServerProfiling.pdf

Видел я это презентацию, по поводу нее и написал: "рассказ, как написать парсер на перле, чтобы запихть в Р, чтобы написать в Р - построить один несчастный график."

iUser пишет:

А почему бы не использовать коммерческие инструменты типа: www.solarwinds.com/

А пому что их нет. Если я правильно понимаю, то, что ты привел, это не профайлер, а софт монитор, что соврешенно разные вещи. Поправь, если я не прав.

Отредактировано Tiphon (17-02-11 04:37:11)

Gendo Ikari · 17-02-11 04:39:57

iUser пишет:

Safari 3.2

Что-то тут не то...

iUser · 17-02-11 05:05:51

Tiphon пишет:

А пому что их нет. Если я правильно понимаю, то, что ты привел, это не профайлер, а софт монитор, что соврешенно разные вещи. Поправь, если я не прав.

Profiler_Installation_Guide.pdf
У компании не одна софтина.

Добавлено спустя 04 мин 29 с:

Gendo Ikari пишет:

iUser пишет:
Safari 3.2
Что-то тут не то...

Беспокоит Developer Mode c юзерагентом iPad'ного Safari?

Tiphon · 17-02-11 05:20:23

Не заметил её! Интересно. Попробую - отпишусь. Спасибо!

интригуют минимальные требования))
Memory: 2 GB
Storage: 50 GB

Добавлено спустя 25 мин 06 с:
Пока не нравится то, что все-таки набор разрозненных инструментов.

Gendo Ikari · 17-02-11 05:54:34

www.linuxhomenetworking.com/wiki/index. … erformance

Tiphon · 17-02-11 06:02:46

Gendo Ikari пишет:

www.linuxhomenetworking.com/wiki … erformance

Да-да, вот это и есть полное бессилие и просасывание линукса в области профайлинга. Спасибо за пример.

Gendo Ikari · 17-02-11 06:18:11

Tiphon пишет:

Да-да, вот это и есть полное бессилие

Скажи уж честно - ни осилил ^_^ шучу

IvanOFF · 17-02-11 10:54:56

Tiphon пишет:

Не заметил её! Интересно. Попробую - отпишусь.

Отпишись пожалуйста, а то времени нет с ней поковыряться, по описанию бегло пробежал - вроде как позаморачиваться можно.

Форум StopLinux

Объявление

#1 16-02-11 23:17:55

Linux Server Profiling

#2 16-02-11 23:41:50

Re: Linux Server Profiling

#3 16-02-11 23:47:32

Re: Linux Server Profiling

#4 17-02-11 00:17:22

Re: Linux Server Profiling

#5 17-02-11 00:25:13

Re: Linux Server Profiling

#6 17-02-11 00:32:42

Re: Linux Server Profiling

#7 17-02-11 00:34:42

Re: Linux Server Profiling

#8 17-02-11 00:36:23

Re: Linux Server Profiling

#9 17-02-11 00:41:40

Re: Linux Server Profiling

#10 17-02-11 00:58:20

Re: Linux Server Profiling

#11 17-02-11 01:01:12

Re: Linux Server Profiling

#12 17-02-11 01:04:51

Re: Linux Server Profiling

#13 17-02-11 01:32:52

Re: Linux Server Profiling

#14 17-02-11 02:29:27

Re: Linux Server Profiling

#15 17-02-11 02:57:48

Re: Linux Server Profiling

#16 17-02-11 03:14:59

Re: Linux Server Profiling

#17 17-02-11 04:01:23

Re: Linux Server Profiling

#18 17-02-11 04:35:38

Re: Linux Server Profiling

#19 17-02-11 04:39:57

Re: Linux Server Profiling

#20 17-02-11 05:05:51

Re: Linux Server Profiling

#21 17-02-11 05:20:23

Re: Linux Server Profiling

#22 17-02-11 05:54:34

Re: Linux Server Profiling

#23 17-02-11 06:02:46

Re: Linux Server Profiling

#24 17-02-11 06:18:11

Re: Linux Server Profiling

#25 17-02-11 10:54:56

Re: Linux Server Profiling

Подвал форума