Меню Рубрики

Установка atop ubuntu логирование

How to Install ‘atop’ to Monitor Logging Activity of Linux System Processes

by Marin Todorov | Published: April 24, 2015 | Last Updated: April 24, 2015

Atop is a full screen performance monitor that can report the activity of all processes, even the ones that have been completed. Atop also allows you to keep daily log of system activities. The same can be used for different purposes, including analysis, debugging, pinpointing the cause of a system overload and others.

Atop Features

  1. Check the overall resource consumption by all processes
  2. Check how much of the available resources have been utilized
  3. Logging of resource utilization
  4. Check resource consumption by individual threads
  5. Monitor process activity per user or per program
  6. Monitor network activity per process

The latest version of Atop is 2.1 and includes following features

  1. New logging mechanism
  2. New key flags
  3. New Fields (counters)
  4. Bug fixes
  5. Configurable colors

Installing Atop Monitoring Tool on Linux

1. In this article, I will show you how to install and configure atop on Linux systems like RHEL/CentOS/Fedora and Debian/Ubuntu based derivatives, so that you can easily monitor your system processes.

On RHEL/CentOS/Fedora

First you will need to enable epel repository under RHEL/CentOS/ systems, in order to install atop monitoring tool.

After you’ve enabled epel repository, you can simple use the yum package manager to install atop package as shown below.

Install Atop Using Epel Repo

Alternatively, you may download direct atop rpm packages using following wget command and continue with the installation of atop, with the following command.

Install Atop Using RPM Package

On Debian/Ubuntu

Under Debian based systems, atop can be installed from the default repositories using apt-get command.

Install Atop Under Debian Systems

2. After installing atop, make sure atop will start upon system start up, run the following commands:

Enable Atop at System Boot

3. By default atop will log all the activity on every 600 seconds. As this might not be that useful, I will change atop’s configuration, so all the activities will be logged in interval of 60 seconds. For that purpose run the following command:

Change Atop Log Interval Time

Now that you have atop installed and configured, the next logical question is “How do I use it?”. Actually there are few ways for that:

4. If you just run atop in terminal you will have top like interface, which will update every 10 seconds.

You should see a screen similar to this one:

Atop System Process Monitoring

You can use different keys within atop to sort the information by different criteria. Here are some examples:

5. Scheduling information – “s” key – shows scheduling information for the main thread of each process. Also indicates how many processes are in state “running”:

Shows Scheduling Information of Process

6. Memory consumption – “m” key – shows memory related information about all running processes The VSIZE column indicates the total virtual memory and the RSIZE shows the resident size used per process.

The VGROW and RGROW indicate the growth during the last interval. The MEM column indicates the resident memory usage by the process.

Shows Process Memory Information

7. Show disk utilization – “d” key – shows the disks activity on a system level (LVM and DSK columns). Disk activity is shown as amount of data that is being transferred by reads/writes (RDDSK/WRDSK columns).

8. Show variable information – “v” key – this option displays provides more specific data about the running processes like uid, pid, gid, cpu usage, etc:

Shows UID PID Information

9. Show command of processes – “c” key:

10. Cumulative per program – “p” key – the information shown in this window is accumulated per program. The most right column shows which programs are active (during the intervals) and the most left column shows how many process they have spawned.

Shows Active and Spawned Programs

11. Cumulative per user – “u” key – this screen shows which users were/are active during the last interval and indicates how many processes each user runs/ran.

Читайте также:  Установка лобового стекла с резиновым уплотнителем

12. Network usage – “n” key (requires netatop kernel module) shows the network activity per processes.

To install and active netatop kernel module, you need to have following dependency packages installed on your system from the distributor’s repository.

Next download the netatop tarball and build the module and daemon.

Go to the ‘netatop-0.3‘ directory and run the following commands to install and build the module.

After netatop module installed successfully, load the module and start the daemon.

If you want to load the module automatically after boot, run one of the following commands depending on the distribution.

Now check network usage using “n” key.

13. The directory where atop keeps its history files.

Where YYYY is the year, MM is the month and DD current day of the month. For example:

All files created by atop are binary. They are not log or text files and only atop can read them. Note however that Logrotate can read and rotate those files.

Let’s say you wish to see todays logs beginning 05:05 server time. Simply run the following command.

The atop options are quite a lot and you may wish to see the help menu. For that purpose in the atop window simply use the “?” character to see list of arguments that atop can use. Here is list of most frequently used options:

I hope you find my article useful and help you narrow down or prevent issues with your Linux system. In case you have any questions or would like to receive clarification for the usage of atop, please post a comment in the comment section below.

источник

Удобство наблюдения, atop

Добрый день, сообщество,
На Хабре уже говорилось о всевозможных TOP- овых утилитах, на этот раз, я хочу попробовать рассмотреть поближе утилиту atop. Постараюсь немного сравнить ее с существующими утилитами наблюдения за производительностью и научиться читать выводы данной команды.
У системных администраторов задача наблюдения за производительностью встает чуть ли не каждый день, и конечно же хотелось бы все это сделать в рамках одной утилиты и без особых танцев с бубном, как мне кажется удобнее всего в таком случае использовать команду atop.

Устроим краткий обзор по функционал самых популярных утилит просмотра производительности. В Linux присутствует богатый набор утилит для наблюдения за системой, но у каждой из них есть определенные ограничения и свойственные им недоработки. Попробуем описать основные параметры, которые администратор хочет считывать со своей системы:

  • утилита должна обязательно показывать ситуацию «он-лайн», но так как проблемы редко случаются на момент наблюдения, в нее должен быть включен функционал просмотра состояния за определенный прошедший период.
  • обязательно должна демонстрировать показатели 4 основных ресурсов: CPU, memory, disk I/O и сеть.
  • так как загрузка каждого из четырех ресурсов это определенно заслуга того или иного процесса, то утилита должна показывать зависимость загрузки ресурса от процесса.
  • должна уметь получать снимки (snapshot) системы, с определенным интервалом.

Если мы хорошенько всмотримся в данные требования, и попробуем наложить их на всем известные системы мониторинга, увидим следующее:
sar — показывает более чем достаточную информацию о необходимых нам четырех ресурсах системы, умеет «возвращаться в прошлое», но не умеет фокусироваться на процессах.
vmstat и iostat — могут мониторить CPU, память и использование диска только на системном уровне, но не на уровне процесса, также не умеют «возвращаться в прошлое».
top — как безусловно самая популярная утилита, мониторит CPU и память на уровне системы и на уровне процессов. Но как и многие другие показывает только текущую ситуацию, самым главным минусом на мой взгляд это то, что ее показания не всегда точны, используя утилиту top мы можем столкнуться с такой проблемой: система будет указывать нам что занять 90% CPU, а на самом деле сумма загруженности CPU на уровне процессов будет 40% (разница в 50% процентов указывает, что система показывают нам информацию между предыдущим и текущим снимком, хотя система в принципе уже свободна). Т.е достоверность и информативность немного хромает
Ниже приведена таблица сравнения этих систем по характеристикам.

Утилита atop по умолчанию умеет показывать загрузку по процессору, памяти, дискам и сети. Также доступен патч, который будет показывать использование сети по процессам. По умолчанию стандартным выводом команды является следующая информация:

Читайте также:  Установка проставки под колесами

Как и в стандартном выводе top экран разделен на две половины, в первой из них указаны данные о системе, а во второй данные по процессам.
В верхней половине видна не только информация по процессору и по памяти как в стандартном выводе top, а еще информация касательно сети и дисков. Если мы обратим внимание на 2 строку данного вывода, просуммировав значения (3+2+0+195+0) мы получим 200% — это означает, что система является 2 процессорной, и каждый из них имеет по 100%, ниже дается деление по каждому процессору, на сколько тот или иной занят. Ниже после этих строк указана оперативная память, информация по дискам, и сетевым интерфейсам.
Более подробное описание каждого столбца можно найти в man странице к данной утилите, кстати на редкость подробное описание.
Естественно мы можем менять ее вид так как нам захочется используя горячие клавиши, ниже я указал наиболее интересные из них,
m — выстроит процессы по занятой памяти
d — построит процессы по использованию диска
n — выстроит процессы по использованию сети (доступно только с установленным патчем)
v — покажет более подробную информацию о процессах (пользователя, дату и время начала процесса)
u — выстроит таблицу по самым прожорливым пользователям
Использование shift+(d,m,n) выстроит текущий список по выше указанным параметрам.
i — изменение времени проверки, по умолчанию 10 секунд.
g — вернет все в дефолтный вывод.

Теперь давайте посмотрим как все же пользоваться функцией «возврата в прошлое», у утилиты atop при стандартной установке есть такая полезная «фича», которая включает ночное логирование производительности системы. Утилита по дефолту снимает показания каждые 10 минут, и сбрасывает их в лог /var/log/atop-YYYYMMDD. У меня по умолчанию это дело отключено, не такой важный сервер просто:

В дальнейшем для анализа или просмотра лога можно использовать сам atop с ключом -r, или же если Вам нравится отчеты типа sar, можно воспользоваться утилитой atopsar. Кстати не мало важно уточнить, что сбор данных осуществляется в бинарном формате.
Таким образом мы можем сказать, что на сегодняшний момент лучшей утилиты, чем atop? которая смогла объединить в себе практически весь необходимый функционал для системного администратора нет. Ну по крайней мере это мое личное мнение.
Опровержения в комментариях приветствуются!

источник

Статистика нагрузки на сервер, atop

Мониторингов нагрузки на сервер много — zabbix, Icinga 2 и другие — но все они ставятся довольно долго, и для мониторинга требуется большое количество серверов.

Мы рекомендуем atop: устанавливается быстро, ресурсов потребляет мало. Единственный минус — работать с ним можно только через ssh. Если для вас это не проблема, расскажем, как поставить atop и пользоваться им.

Установка и настройка

Debian/Ubuntu
установка
apt-get install atop

автозапуск
update-rc.d atop defaults

запуск
/etc/init.d/atop start

Centos
установка
yum install atop

автозапуск
systemctl enable atop

запуск
systemctl start atop

Конфигурационный файл
/etc/default/atop

Пример конфигурацонного файла:

#Интервал через который делается снимок нагрузки сервера, в секундах.
INTERVAL=600

#Путь до логов atop.
LOGPATH=»/var/log/atop»

#хранить бэкапы за 10 дней.
keepdays = 10

Как пользоваться atop?

Команда atopsar — это встроенный анализатор логов atop, который позволит быстро найти проблему и смотреть лог в нужное вам время.

Основные ключи:
-b — с какого времени надо вывести лог
-e — до какого времени надо вывести лог

Общая нагрузка:
-d — нагрузка на каждый диск отдельно
-m — нагрузка на оперативную память и swap
-с — нагрузка на процессор, отдельно по каждому ядру
-p — количество процессов и тредов
-w — нагрузка на ipv4
-W — ошибки на ipv4
-i — нагрузка на интерфейс

Поиск отдельных процессов:
-O — top-3 процессов CPU
-G — top-3 процессов RAM
-D — top-3 процессов диск
-N — top-3 процессов сеть

Если вам этого недостаточно, можно посмотреть полный снимок нагрузки на сервер командой:
atop -r путь до лога , можно сразу указать временные рамки.

Например: atop -r /var/log/atop/atop_20190128 -b 09:35:01 -e 10:55:01

Откроется тот же atop, в котором видна вся нагрузка на сервере, где можно выставлять сортировку по процессам, но за только на нужное время. Чтобы открыть следующий снимок нагрузки, нажмите t , предыдущий снимок — T . Время снимка указано в первой строке посередине экрана. Больше информации в статье «Нагрузка на сервер: определение причин».

Читайте также:  Установка крепления вепрь супер

Пример: нагрузка на RAM с 09:35:01 до 10:55:01 28 января
# atopsar -r /var/log/atop/atop_20190128 -b 09:35:01 -e 10:55:01 -m

Нагрузка по сетевым интерфейсам
atopsar -r /var/log/atop/atop_20190128 -i -b 00:40:00 -e 01:30:00

Нагрузка на диски
atopsar -r /var/log/atop/atop_20190128 -d -b 01:10:00 -e 01:30:00

источник

Диагностика VPS с помощью Atop

Atop — интерактивный полноэкранный монитор производительности, с помощью которого можно проконтролировать загрузку ЦПУ, ОЗУ, HDD, сеть, а также произвести диагностику работы сервера на основании полученных данных.

Все действия необходимо производить через подключение по SSH: Как подключиться по SSH.

Для установки Atop выберите вашу операционную систему:

для настройки ротации логов в файле /etc/logrotate.d/atop измените следующие параметры:

вместо weekly укажите daily

вместо rotate 4 укажите rotate 7

Чтобы запустить Atop, введите команду: atop

В терминале будет запущен интерфейс atop, с помощью которого можно продиагностировать работу вашего VPS-сервера:

На что стоит обратить внимание?

Верхняя часть интерфейса

По умолчанию верхняя часть интерфейса разбита на 6 столбцов. В первом столбце перечислены основные ресурсы сервера, а в столбцах напротив указаны их параметры и нагрузка.

Нагрузка на CPU:

Данные показатели содержат информацию о распределении процессорного времени. Нагрузка на каждое ядро процессора отображается в отдельной строке (cpu). Суммарная нагрузка отображена в строке CPU.

В первом (sys) и втором (user) столбце дана информация о работе CPU по обработке процессов. Высокие показатели (95-100%) загрузки всех ядер на протяжении длительного времени указывают на то, что процессор загружен. Это может негативно влиять на скорость работы сайта. Если одно ядро загружено максимально, а у других — показатели в норме, то в данном случае стоит обратить внимание на другие показатели нагрузки.

Немаловажный показатель wait — время затраченное на обработку данных. Чем выше этот показатель, тем дольше процессы ожидают своей очереди на выполнение. Как правило, данная проблема может быть связана с медленной работой жесткого диска. Допустимое значение: не более 80%.

Потребление памяти (MEM):

В первом столбце отображен суммарный объем выделенной памяти (tot) на вашем VPS, а во втором — указана свободная память (free) на текущий момент. Свободную память заимствует дисковый кэш, позволяя приложениям загружаться и работать быстрее, тем самым показатель free не отображает доступную память на текущий момент. Если приложениям понадобится больше памяти, то они заберут его у дискового кэша.

Чтобы определить количество свободной памяти с учетом буфера и кэша, выполните команду: free -m

В строке -/+ buffers/cache, столбце free будет указан объем доступной памяти.

Оперативная память влияет на объем информации, которую способен обработать сервер. Если памяти недостаточно для своевременной обработки информации, могут возникнуть задержки в загрузке страниц и процессы будут выполняться дольше обычного или могут завершиться в аварийном режиме. Количество оперативной памяти влияет не только на скорость загрузки страниц, но и на одновременную обработку запросов и выполнение важных функций.

Load average(AVG):

Данный показатель отражает среднее значение нагрузки системы за определенный период, а именно за 1 минуту (avg1), за 5 минут (avg5) и за 15 минут (avg15).

  • Если значения равны 0.0, то система находится в состоянии простоя.
  • Если среднее значение для 1 минуты выше, чем для 5 или 15, то нагрузка растет.
  • Если среднее значение для 1 минуты ниже, чем для 5 или 15, то нагрузка снижается.
  • Если значение нагрузки выше, чем количество ядер процессора, то необходимо проанализировать список процессов disk await и другие характеристики.

Нижняя часть интерфейса.

Для более точной диагностики необходимо выявить причину, по которой создается нагрузка на сервер. В нижней части интерфейса отображаются запущенные процессы и потребляемый ими ресурс:

Для удобного просмотра отсортируйте запущенные процессы с помощью горячих клавиш:

  • Shift + m — сортировка по объему используемой памяти;
  • Shift + p — сортировка по загрузке процессора;
  • Shift + d — сортировка процессов по использованию диска;
  • Shift + n — сортировка процессов по использованию сети;

Исходя из результата можно выяснить, какие из параметров (CPU,MEM,DSK) потребляют больше всего ресурсов, и принять меры по их устранению.

Как решить проблему с нагрузкой сервера?

Одна из распространенных причин нагрузки сервера — недостаток мощности ресурсов. Для решение данной проблемы рекомендуем повысить тарифный план: Как повысить тариф VPS.

Для уменьшения нагрузки и потребления ресурсов рекомендуем оптимизировать скрипты вашего сайта.

источник

Добавить комментарий