Linux server performance tuning

Статическая настройка

Динамическая настройка

При динамической настройке настроенный демон отслеживает активность системы и корректирует настройки в зависимости от изменений поведения во время выполнения.

Динамическая настройка непрерывно регулирует настройку в соответствии с текущей рабочей нагрузкой, начиная с начальных настроек, объявленных в выбранном профиле настройки.

Установка Tuned

В системе Linux RHEL / CentOS 8/7 пакет установлен и включен по умолчанию.

Если вы хотите установить и включить пакет вручную на компьютере CentOS / RHEL, выполните команды:

Подтвердите статус сервиса после его запуска.

Выбор профиля tuned

Настроенные профили делятся на следующие категории:

• Performance-boosting profiles
• Power-saving profiles

• Низкая задержка хранения и сети
• Высокая пропускная способность для хранения и сети
• Производительность хоста виртуализации
• Производительность виртуальной машины

Мы будем использовать команду tuned-adm для изменения настроек демона tuned.

Источник

Tuned – Automatic Performance Tuning of CentOS/RHEL Servers

To maximize the end-to-end performance of services, applications and databases on a server, system administrators usually carry out custom performance tunning, using various tools, both generic operating system tools as well as third-party tools. One of the most useful performance tuning tools on CentOS/RHEL/Fedora Linux is Tuned.

Tuned is a powerful daemon for dynamically auto-tuning Linux server performance based on information it gathers from monitoring use of system components, to squeeze maximum performance out of a server.

It does this by tuning system settings dynamically on the fly depending on system activity, using tuning profiles. Tuning profiles include sysctl configs, disk-elevators configs, transparent hugepages, power management options and your custom scripts.

By default tuned will not dynamically adjust system settings, but you can modify how the tuned daemon operates and allow it to dynamically alter settings based on system usage. You can use the tuned-adm command-line tool to manage the daemon once it is running.

How to Install Tuned on CentOS/RHEL & Fedora

On CentOS/RHEL 7 and Fedora, tuned comes pre-installed and activated by default, but on older version of CentOS/RHEL 6.x, you need to install it using the following yum command.

After the installation, you will find following important tuned configuration files.

• /etc/tuned – tuned configuration directory.
• /etc/tuned/tuned-main.conf– tuned mail configuration file.
• /usr/lib/tuned/ – stores a sub-directory for all tuning profiles.

Now you can start or manage the tuned service using following commands.

Now you can control tuned using the tunde-adm tool. There are a number of predefined tuning profiles already included for some common use cases. You can check the current active profile with following command.

From the output of the above command, the test system (which is a Linode VPS) is optimized for running as a virtual guest.

Check Current Tuned Profile

You can get a list of available tuning profiles using following command.

List Available Tuned Profiles

To switch to any of the available profiles for example throughput-performance – a tuning which results into excellent performance across a variety of common server workloads.

Switch to Tuning Profile

To use the recommended profile for your system, run the following command.

And you can disable all tuning as shown.

How To Create Custom Tuning Profiles

You can also create new profiles, we will create a new profile called test-performance which will use settings from an existing profile called latency-performance.

Switch into the path which stores sub-directories for all tuning profiles, create a new sub-directory called test-performance for your custom tuning profile there.

Then create a tuned.conf configuration file in the directory.

Copy and paste the following configuration in the file.

Save the file and close it.

If you run the tuned-adm list command again, the new tuning profile should exist in the list of available profiles.

Check New Tuned Profile

To activate new tuned profile, issue following command.

For more information and further tinkering options, see the tuned and tuned-adm man pages.

That’s all for now! Tuned is a daemon that monitors usage of system components and dynamically auto-tunes a Linux server for maximum performance. If you have any questions or thoughts to share, use the feedback form below to reach us.

If You Appreciate What We Do Here On TecMint, You Should Consider:

TecMint is the fastest growing and most trusted community site for any kind of Linux Articles, Guides and Books on the web. Millions of people visit TecMint! to search or browse the thousands of published articles available FREELY to all.

If you like what you are reading, please consider buying us a coffee ( or 2 ) as a token of appreciation.

We are thankful for your never ending support.

Источник

Тюнинг сетевого стека Linux для ленивых

Сетевой стек Linux по умолчанию замечательно работает на десктопах. На серверах с нагрузкой чуть выше средней уже приходится разбираться как всё нужно правильно настраивать. На моей текущей работе этим приходится заниматься едва ли не в промышленных масштабах, так что без автоматизации никуда – объяснять каждому коллеге что и как устроено долго, а заставлять людей читать ≈300 страниц английского текста, перемешанного с кодом на C… Можно и нужно, но результаты будут не через час и не через день. Поэтому я попробовал накидать набор утилит для тюнинга сетевого стека и руководство по их использованию, не уходящее в специфические детали определённых задач, которое при этом остаётся достаточно компактным для того, чтобы его можно было прочитать меньше чем за час и вынести из него хоть какую-то пользу.

Чего нужно добиться?

Главная задача при тюнинге сетевого стека (не важно, какую роль выполняет сервер — роутер, анализатор трафика, веб-сервер, принимающий большие объёмы трафика) – равномерно распределить нагрузку по обработке пакетов между ядрами процессора. Желательно с учётом принадлежности CPU и сетевой карты к одной NUMA-ноде, а также не создавая при этом лишних перекидываний пакета между ядрами.

Перед главной задачей, выполняется первостепенная задача — подбор аппаратной части, само собой с учётом того, какие задачи лежат на сервере, откуда и сколько приходит и уходит трафика и т.д.

Рекомендации по подбору железа

Таким образом, если дано 2+ источника объёма трафика больше 2 Гбит/сек, то стоит задуматься о сервере с числом процессоров и NUMA-нод, а также числу сетевых карт (не портов), равных числу этих источников.

«Господи, я не хочу в этом разбираться!»

И не нужно. Я уже разобрался и, чтобы не тратить время на то, чтобы объяснять это коллегам, написал набор утилит — netutils-linux. Написаны на Python, проверены на версиях 2.6, 2.7, 3.4, 3.6.

network-top

Эта утилита нужна для оценки применённых настроек и отображает равномерность распределения нагрузки (прерывания, softirqs, число пакетов в секунду на ядро процессора) на ресурсы сервера, всевозможные ошибки обработки пакетов. Значения, превышающие пороговые подсвечиваются.

rss-ladder

Эта утилита распределяет прерывания сетевой карты на ядра выбранного физического процессора (по умолчанию на нулевой).

autorps

Эта утилита позволяет настроить распределение обработки пакетов между ядрами выбранного физического процессора (по умолчанию на нулевой). Если вы используете RSS, скорее всего вам эта утилита не потребуется. Типичный сценарий использования — многоядерный процессор и сетевые карты с одной очередью.

server-info

Данная утилита позволяет сделать две вещи:

1. server-info show : посмотреть, что за железо вообще установлено на сервере. В целом похоже на велосипед, повторяющий lshw , но с акцентом на интересующие нас параметры.
2. server-info rate : найти узкие места в аппаратном обеспечении сервера. В целом похоже на индекс производительности Windows, но опять же с акцентом на интересующие нас параметры. Оценка производится по шкале от 1 до 10.

Прочие утилиты

Господи, я хочу в этом разбираться!

Прочитайте статьи про:

Эти статьи вдохновили меня на написание этих утилит .

Также хорошую статью написали в блоге одноклассников 2 года назад.

Обычные кейсы

Но руководство по запуску утилит само по себе мало что говорит о том, как именно их нужно применять в зависимости от ситуации. Приведём несколько примеров.

Пример 1. Максимально простой.

• один процессор с 4 ядрами
• одна 1 Гбит/сек сетевая карта (eth0) с 4 combined очередями
• входящий объём трафика 600 Мбит/сек, исходящего нет.
• все очереди висят на CPU0, суммарно на нём ≈55000 прерываний и 350000 пакетов в секунду, из них около 200 пакетов/сек теряются сетевой картой. Остальные 3 ядра простаивают

• распределяем очереди между ядрами командой rss-ladder eth0
• увеличиваем ей буфер командой rx-buffers-increase eth0

Пример 2. Чуть сложнее.

• два процессора с 8 ядрами
• две NUMA-ноды
• Две двухпортовые 10 Гбит/сек сетевые карты (eth0, eth1, eth2, eth3), у каждого порта 16 очередей, все привязаны к node0, входящий объём трафика: 3 Гбит/сек на каждую
• 1 х 1 Гбит/сек сетевая карта, 4 очереди, привязана к node0, исходящий объём трафика: 100 Мбит/сек.

1 Переткнуть одну из 10 Гбит/сек сетевых карт в другой PCI-слот, привязанный к NUMA node1.

2 Уменьшить число combined очередей для 10гбитных портов до числа ядер одного физического процессора:

3 Распределить прерывания портов eth0, eth1 на ядра процессора, попадающие в NUMA node0, а портов eth2, eth3 на ядра процессора, попадающие в NUMA node1:

4 Увеличить eth0, eth1, eth2, eth3 RX-буферы:

Необычные кейсы

Не всегда всё идёт идеально:

• Встречались сетевые карты, теряющие пакеты (missed) в случае использования RSS на несколько ядер в одной NUMA-ноде. Решение странное, но рабочее — 6 RX-очередей привязаны к CPU0, в rps_cpus каждой очереди записана маска процессоров 111110, потери пропали.
• Встречались сетевые карты mellanox и intel (X710) продолжающие работать при прекратившемся росте счётчиков прерываний. Трафик в tcpdump имелся, нагрузка, создаваемая сетевыми картами висела на CPU0. Нормальная работа восстановилась после включения и выключения RPS. Почему — неизвестно.
• Некоторые SFP-модули для Intel 82599ES при обновлении драйвера (сборка ixgbe из исходников с sourceforge) «пропадают» из списка сетевых карт. При этом в lspci этот порт отображается, второй аналогичный порт работает, а в dmesg на оба порта одинаковые warning’и. Помогает флаг unsupported_sfp=1,1 при загрузке модуля ixgbe. По хорошему, однако, стоит купить supported sfp.
• Некоторые драйверы сетевых карт подстраивают число очередей только под равные степени двойки значения (что обидно на 6-ядерных процессорах).

Update: после публикации автор осознал, что люди используют не только RHEL-based дистрибутивы для сетевых задач, а тесты в debian на наборах данных, собранных в RHEL-based системах, не отлавливают кучу багов. Большое спасибо всем сообщившим о том, что что-то не работает в Ubuntu/Debian/Altlinux! Все баги исправлены в релизе 2.0.10

Update2. в комментариях упомянули то, что RPS всё же часто бывает полезен людям и я его недооцениваю. В принципе это так, поэтому в релизе 2.2.0 появилась значительно улучшенная версия утилиты autorps.

Источник

reterVision / notes.md

1.1 Linux process management

• process scheduling
• interrupt handling
• signaling
• process prioritization
• process switching
• process state
• process memory

A process is an instance of execution that runs on a processor.

task_struct -> process descriptor

Life cycle of processes

parent process -> fork() -> child process -> exec() -> child process -> exit() -> zombie process -> parent process

Kernel only assgins the new physical page to the child processes when the child process call exec() which copies the new program to the address space of the child process.

The child process will not be completely removed unitl the parent process knows of the termination of its child process by the wait() system call.

A thread is an execution unit generated in a single process. It runs parallel with other threads in the same process.

Thread creation is less expensive than process creation because a thread does not need to copy resources on creation.

Process priority and nice level

Process priority is a number that determines the order in which the process is handled by the CPU and is determined by dynamic priority and static priority.

Linux supports nice levels from 19(lowest priority) to -20(highest priority).

During process execution, information on the running process is stored in registers on the processor and its cache. The set of data that is loaded to the register for the executing process is called the context.

The interrupt handler notifies the Linux Kernel of an event. It tells the kernel to interrup process execution and perform interrup handling as quickly as possible because some device requires quick responsiveness.

Interrupts cause context switching

In a multi-processor environment, interrupts are handled by each processor. Binding interrupts to a single physical processor could improve system performance.

Every process has its own state that shows what is currently happening in the process.

• TASK_RUNNING
• TASK_STOPPED
• TASK_INTERRUPTIBLE
• TASK_UNINTERRUPTIBLE
• TASK_ZOMBIE

It is not possible to kill a zombie process with the kill command, because it is already considered dead. If you cannot get rid of a zombie, you can kill the parent process and then the zombie disappears as well.

Process memory segments

• Text segment
  • The area where executable code is stored
• Data segment
  • The data segment consists of these 3 areas.
    • Data: The area where initialized data such as static variables are stored
    • BSS: The area where zero-initialized data is stored. The data is initialized to zero.
• Heap segment
  • Heap: The area where malloc() allocates dynamic memory based on the demand. The heap grows towards higher addresses.
• Stack segment
  • The area where local variables, function paramenters, and the return address of a function is stored. The stack grows toward lower addresses.

Linux CPU scheduler

two process priority arrays

As processes are allocated a timeslice by the scheduler, based on their priority and prior blocking rate, they are placed in a list of processes for their priority in the active array. When they expire their timeslice, they are allocated a new timeslice and placed on the expired array.

When all processes in the active array have expired their timeslice, the two arrays are switched, restarting the algorithm.

1.2 Linux memory architecture

32-bit architectures — 4 GB address space (3 GB usesr space and 1 GB kernel space) 64-bit architectures — 512 GB or more for both user/kernel space.

Virtual memory manager

Applications do not allocate physical memory, but request a memory map of a certain size at the Linux kernel and in exchange receive a map in virtual memory.

VM does not necessarily have to be mapped into physical memory. If your app allocates a large amount of memory, some of it might be mmapped to the swap file on the disk subsystem.

Applications usually do not write directly to the disk subsystem, but into cache or buffers.

Page frame allocation

A page is a group of contiguous linear addresses in physical memory (page frame) or virtual memory.

A page is usually 4K bytes in size.

The Linux kernel maintains its free pages by using a mechanism called a buddy system.

The buddy system maintains free pages and tries to allocate pages for page allocation requests. It tries to keep the memory area contiguous.

When the attempt of pages allocation fails, the page reclaiming is activated.

Page frame reclaiming

kswapd kernel thread and try_to_free_page() kernel function are responsible for page reclaiming.

kswapd tries to find the candidate pages to be taken out of active pages based on LRU principle.

The pages are used mainly for two purposes: page cache and process address space The page cache is pages mapped to a file on disk. The pages that belong to a process address space are used for heap and stack.

swap

If the virtual memory manager in Linux realizes that a memory page has been allocated but not used for a significant amount of time, it moves this memory page to swap space.

The fact that swap space is being used does not indicate a memory bottleneck; instead it proves how efficiently Linux handles system resources.

1.3 Linux file systems

Virtual file system

VFS is an abstraction interface layer that resides between the user process and various types of Linux file system implementations.

non-journaling file system fsck checks all the metadata and recover the consistency at the time of next reboot. But when the system has a large volume, it takes a lot of time to be completed. The system is not operational during this process

journaling file system Writing data to be changed to the area called the journal area before writing the data to the actual file system. The journal area can be placed both in the file system or out of the file system. The data written to the journal area is called the journal log. It includes the changes to file system metadata and the actual file data it supported.

The extended 2 file system is the predeceessor of the extended 3 file system.

• no journaling capabilities.
• Starts with the boot sector and split entire file system into several small block groups contributes to performance gain because the i-node table and data blocks which hold user data can reside closer on the disk platter, so seek time can be reduced.

• Availability: Ext3 always writes data to the disks in a consistent way, so in case of an unclean shutdown, the server does not have to spend time checking the consistency of the ddata, thereby reducing system recovery from hours to seconds.
• Data integrity: By specifying the journaling mode data=journal on the mount command, all data, both file data and metadata, is journaled.
• Speed
• Flexibility

Mode of journaling

1.4 Disk I/O subsystem

Before a processor can decode and execute instructions, data should be retrieved all the way from sectors on a disk platter to the processor and its registers. The results of the executions can be written back to the disk.

I/O subsystem architecture

1. A process requests to write a file through the write() system call.
2. The kernel updates the page cache mapped to the file.
3. A pdflush kernel thread takes care of flushing the page cache to disk.
4. The file system layer puts each block buffer together to a bio struct and submits a write request to the block device layer.
5. The block device layer gets requests from upper layers and performs an I/O elevator operation and puts the requests into the I/O request queue.
6. A device driver such as SCSI or other device specific drivers will take care of write operation.
7. A disk device firmware performs hardware operations like seek head, rotation and data transfer to the sector on the platter.

Memory hierarchy

L1 cache, L2 cache, L3 cache, RAM and some other caches between the CPU and disk.

The higher the cache hit rate on faster memory is, the faster the access to the data.

Locality of reference

• The data most recently used has a high probability of being used in the near future.
• The data that resides close to the data which has been used has a high probability of being used.

Flushing a dirty buffer

When a process changes data, it changes the memory first, so at the this time the data in memory and in disk is not identical and the data in memory is refered to as a dirty buffer.

The dirty buffer should be synchronized to the data on the disk as soon as possible, or the data in memory could be lost if a suddden crash occurs.

The synchronization process for a dirty buffer is called flush.

kupdate — occurs on a regular basis.

/proc/sys/vm/dirty_background_ratio — the propotion of dirty buffers in memory.

The block layer handles all the activity related to block device operation.

The bio structure is an interface between the file system layer and the block layer.

Block sizes

The smallest amount of data that can be read or written to a drive, can have a direct impact on a server’s performance.

I/O elevator

• Anticipatory
• Complete Fair Queuing
• Deadline
• NOOP

I/O device driver

1.4 RAID and storage system

1.5 Network subsystem

Networking implementation

The socket provides an interface for user applications.

1. When an application sends data to its peer host, the application creates its data
2. The application opens the socket and writes the data through the socket interface.
3. The socket buffer is used to deal with the transfered data. The socket buffer has reference to the data and it goes down through the layers.
4. In each layer, appropriate operations such as parsing the headers, adding and modifying the headers, check sums, routing operation, fragmentation, and so on are performed. When the socket buffer goes down through the layers, the data itself is not copied between the layers. Because copying actual data between different layers is not effective, the kernel avoids unnecessary overhead by just changing the reference in the socket buffer and passing it to the next layer.
5. Finally, the data goes out to the wire from the network interface card.
6. The Ethernet frame arrives at the network interface of the peer host.
7. The frame is moved into the network interface card buffer if the MAC address matches the MAC address of the interface card.
8. The network interface card eventually moves the packet into a socket buffer and issues a hard interrupt at the CPU.
9. The CPU then processes the packeet and moves it up through the layers until it arrives at (for example) a TCP port of an application such as Apache.

Socket buffer

Network API(NAPI)

The standard implementation of the network stack in Linux focuses more on reliability and low latency than on low overhead and high throughput.

Gigabit Ethernet and modern applications can create thousands of packets per second, causing a large number of interruts and context switches to occur.

For the first packet, NAPI works just like traditional implementation as it issues an interrupt for the first packet. But after the first packet, the interface goes into a polling mode. As long as there are packets in the DMA ring buffer of the network interface, no new interrupts will be caused, effectively reducing context switching and the associated overhead. Should the last packet be processed and the ring buffer be emptied, then the interface card will again fall back into the interrupt mode. NAPI also has the advantage of improved multiprocessor scalability by creating soft interrupts that can be handled by multiple processors.

Netfilter

You can manipulate and configure Netfilter using the iptables utility.

• Packet filtering: If a packet matchs a rule, Netfilter accepts or denies the packets or takes appropriate action based on defined rules.
• Address translation: If a packeet matchs a rule, Netfilter alters the packet to meet the address translation requirements.

Netfilter Connection tracking

• NEW: packet attempting to establish new connection
• ESTABLISED: packet goes through established connection
• RELATED: packet which is related to previous packets
• INVALID: packet which is unknown state due to malformed or invalid packet

TCP/IP

• Connection establishment
• Connection close
  • The client sends a FIN packet to the server to start the connection termination process.
  • The server sends a ACK of the FIN back and then sends the FIN packet to the client if has no data to send to the client.
  • The client sends an ACK packet to the server to complete connection termination.

Traffic control

TCP/IP transfer window

• Basically, the TCP transfer window is the maximum amount of data a given host can send or receive before requiring an ACK from the other side of the connection.
• The windows size is offered from the receiving host to the sending host by the window size field in the TCP header.

Retransmission

• TCP/IP handles the timeouts and data retransmission problem by queuing packets and trying to send packets several times.

Offload

If the neetwork adapter on your system supports hardware offload functionality, the kernel can offload part of its task to the adapter and it can reduce CPU utilization.

• Checksum offload
• TCP segmentation offload

Bonding module

1.6 Understanding Linux performance metrics

Processor metrics

• CPU utilization
• User time
• System time
• Waiting
• Idel time
• Nice time
• Load average
• Runable processes
• Blocked
• Context switch
• Interrupts

Memory metrics

• Free memory
• Swap usage
• Buffer and cache
• Slabs
• Active versus inactive memory

Network interface metrics

• Packets received and sent
• Bytes received and sent
• Collistions per second
• Packets dropped
• Overruns
• Errors

Block device metrics

• lowait
• Average queue length
• Average wait
• Transfers per second
• Blocks read/write per second
• Kilobytes per second read/write

Источник

Вам также может понравиться

Windows или Linux: Что лучше выбрать?

Есть много причин выбирать между Windows и Linux, но

Файл владелец изменить linux

Команда Chown в Linux Chown Command in Linux (File

Установка шлюза по умолчанию linux

Настройка сети вручную Содержание Краткое описание

Чем разбить диск для linux

ИТ База знаний Курс по Asterisk Полезно — Узнать IP —