Rubén Ortiz » Virtuozzo

VZ 4.7 – problemas de memoria – caso práctico

Rubén Ortiz — Tue, 29 Nov 2011 11:33:33 +0000

Tenemos un VPS que nos da el siguiente error

1	Fatal resource shortage: privvmpages, UB 101.

Entramos en vps

1	vzctl enter 101

Comprobamos memoria

1
2
3
4
5

free -m
total used free shared buffers cached
Mem: 512 469 42 0 0 53
-/+ buffers/cache: 416 95
Swap: 0 0 0

Vemos que, está máquina tiene configurado 512MB. Nosotros sabemos que, venimos de un modo SLM en el que, 512MB era el softlimit mientras que el hardlimit es de 756MB. Problemas, en 4.7 no está el modo SLM y se ha sustituido por VSwap.

En el momento en que entramos, no tuvimos problemas pero otras veces vemos “Cannot Allocate Memory”. Estamos en un caso complejo de:

- VPS con problemas de recursos, ha sobrepasado el tiempo de gracia y se reduce su RAM a softlimit
- VPS con configuración 4.6 en VZ 4.7

Al mover nuestros VPS a 4.7, automáticamente todos empiezan a usar el nuevo esquema de RAM. En el caso de SLM es asi:

- el total de RAM lo marca slmmemorylimit
- el total de swap es 0
- el límite de memoria a alojar es el valor de slmmemorylimit por 1.5.

El nuevo esquema tiene este comportamiento:

1 You set for a Container a certain amount of RAM and swap space that can be used by the processes running in the Container.
2 When the Container exceeds the RAM limit set for it, the swapping process starts. The swapping process for Containers slightly differs from that on a standalone computer. The Container swap file is virtual and, if possible, resides in the Node RAM. In other words, when the swap-out for a Container starts and the Node has enough RAM to keep the swap file, the swap file is stored in the Node RAM rather than on the hard drive.
3 Once the Container exceeds its swap limit, the system invokes the OOM Killer for this container.
4 The OOM Killer chooses one or more processes running in the affected Container and forcibly
kills them.

En todo caso, estamos ante un problema de recursos, pero vamos a aplicar ya la nueva configuración.

1 2	cd /vz/private/VEID/ cp ve.conf ve.conf.bak

editamos ve.conf y eliminamos cualquier mención de SLM

1	vctl restart VEID

El vps no se va a levantar pues, no tiene parámetros UBC o Vswap que aplicar. Es justo lo que queremos.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

Resource parameter numproc is not set
Resource parameter numtcpsock is not set
Resource parameter numothersock is not set
Resource parameter vmguarpages is not set
Resource parameter kmemsize is not set
Resource parameter tcpsndbuf is not set
Resource parameter tcprcvbuf is not set
Resource parameter othersockbuf is not set
Resource parameter dgramrcvbuf is not set
Resource parameter oomguarpages is not set
Resource parameter lockedpages is not set
Resource parameter shmpages is not set
Resource parameter privvmpages is not set
Resource parameter numfile is not set
Resource parameter numflock is not set
Resource parameter numpty is not set
Resource parameter numsiginfo is not set
Resource parameter dcachesize is not set
Resource parameter physpages is not set
Resource parameter numiptent is not set
Not enough parameters to start the Container
Container is unmounted
Failed to start the Container

Ahora configuramos los parámetros teniendo en cuenta, las necesidades del VPS

1	vzctl set 101 --save --ram 1G --swap 512M

Rebotamos el VPS y miramos ahora la nueva configuración

1
2
3
4

total used free shared buffers cached
Mem: 1024 236 787 0 0 38
-/+ buffers/cache: 198 825
Swap: 512 0 512

Si abrimos el fichero veremos los dos parámetros añadidos

1 2	PHYSPAGES="262144:262144" SWAPPAGES="131072:131072"

PHYSPAGES muestra el valor total de RAM en páginas de 4KB, así como el valor de SWAPPAGES. Aún así desde la documentación oficial se nos “insta” a poder tunear el VPS a un nivel más granular con parámetros UBC.

Otro parámetro a tener en cuenta es overcommit. Lo que nos genera la duda, al menos a mí, sobre el nuevo esquema de memoria. La duda es sobre si se refiere exclusivamente a una app (application) de un template VZ o aplicaciones en general :-/ La teoría dice:

When an application starts in a Container, it allocates a certain amount of memory for its needs. Usually, the allocated memory is much more than the application actually requires for its execution. This may lead to a situation when you cannot run an application in the Container even if it has
enough free RAM.
To deal with such situations, the VSwap memory management scheme introduces a new parameter—VM_Overcommit. Using this parameter, you can configure the amount of memory applications in a Container may allocate, irrespective of the amount of RAM and swap space assigned to the Container.The amount of memory that can be allocated by applications of a Container is the sum of RAM and swap space set for this Container multiplied by a memory overcommit factor. In the default (basic) Container configuration file, this factor is set to 1.5. For example, if a Container is based on the default configuration file and assigned 1 GB of RAM and 512 MB, the memory allocation limit for the Container will be 2304 MB.

Bueno, ha sido una primera aproximación a este nuevo esquema de memoria.

Virtuozzo 4.X – eliminar Template EZ

Rubén Ortiz — Thu, 04 Aug 2011 10:55:43 +0000

El otro día para hacer pruebas instalé un EZ debian-6.0-x86_64, que necesito borrar. El problema es que para borrar primero el template EZ, hay que borrar antes todas las Applications del mismo. Lo haremos mediante un script.

1	# vzpkg list -O

Vemos toda la lista y seleccionamos los que queremos, y modificamos el script siguiente

1
2
3
4
5
6
7
8
9

#!/bin/bash
# saca la lista de applications del template y lo deja en un archivo
vzpkg list debian-6.0-x86_64 > lista.tmp
while read ezdistri apli
do
# borramos la aplicacion del template
vzpkg remove template -F $ezdistri $apli
done < lista.tmp
rm -rf lista.tmp

Ejecutamos, nos printará por pantalla las Applications que va quitando:

1
2
3
4
5
6
7

...
debian-6.0-x86_64 pp10-antivirus template was removed
debian-6.0-x86_64 pp10.3.0-antivirus template was removed
debian-6.0-x86_64 squirrelmail template was removed
debian-6.0-x86_64 pp10-tomcat template was removed
debian-6.0-x86_64 pp10.3.0 template was removed
...

Finalmente, borramos el EZ

1	# vzpkg remove template debian-6.0-x86_64

Virtuozzo – instalar template CentOS6.0

Rubén Ortiz — Mon, 18 Jul 2011 11:21:46 +0000

Después del lanzamiento de CentOS 6.0, Parallels tardado poco en lanzar los primeros templates para Virtuozzo 4.6. Están ya disponibles y listo para su uso. Vamos a ver como instalarlos.

1	# vzup2date -z

Comprobamos que ya tenemos instalados los templates EZ, veremos no obstante que faltaría actualizar la cache, se ve en que los EZ de Centos 6 no tienen fecha.

1
2
3
4
5
6
7

# vzpkg list -O
centos-5-x86 2011-05-10 10:10:33
centos-5-x86_64 2011-05-10 10:11:42
centos-4-x86 2011-05-10 10:12:45
centos-4-x86_64 2011-05-10 10:13:41
centos-6-x86
centos-6-x86_64

1
2
3
4

# vzpkg update cache
Update OS template
....
....

Listamos de nuevo y ya lo tendremos listo

1
2
3
4
5
6
7

# vzpkg list -O
centos-5-x86 2011-07-18 12:27:18
centos-5-x86_64 2011-07-18 12:33:21
centos-4-x86 2011-07-18 12:48:13
centos-4-x86_64 2011-07-18 12:51:19
centos-6-x86 2011-07-18 13:00:04
centos-6-x86_64 2011-07-18 13:01:23

Links
http://kb.parallels.com/1450

Virtuozzo 4.6 – Instalar PVA en Hardware Node

Rubén Ortiz — Tue, 05 Jul 2011 15:43:34 +0000

Hoy tocaba poner en marcha una infraestructura, remotamente desde BCN en Madrid. Y tocaba instalar el Panel de Control para virtuozzo 4.6, el afamado PVA. Vamos a ver como instalarlo posteriormente, es muy sencillo.

Nota: para crear el PVA, creamos un VPS con ID menor de 100 siempre

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# vzpkg clean centos-5-x86_64
# vzpkg remove cache centos-5-x86_64
# vzpkg create cache centos-5-x86_64
# vzctl create 50 --ostemplate centos-5-x86_64 --ipadd --hostname --config slm.512MB
# vzpkg install 50 -p perl-DBI
# vzctl set 50 --save --diskspace 40000000:40000000
# vzctl set 50 --onboot yes --save
# vzctl start 50
# vzctl enter 50
# passwd root
# cd /root/
# wget http://download.pa.parallels.com/pva/4.6/pva_mn-linux-x86_64.tar.gz
# tar xzf pva_mn-linux-x86_64.tar.gz
# cd pva_mn
# ./pva-setup action=install

Luego, simplemente, accederíamos al PVA por el nombre de dominio configurado. Faltarían, dentro de estas ordenes, editar los nameservers del container

Links
http://kb.parallels.com/en/9496

Virtuozzo 4.6 – High MLAT and Load average

Rubén Ortiz — Mon, 18 Apr 2011 08:15:58 +0000

Estas últimas dos semanas hemos estado entretenidos con un par de servidores. Ambos con el software Virtuozzo de virtualización de containers Linux. Este hardware en concreto era similar al utilizado en parte de la infraestructura o incluso mejor a nivel de I/O. Pero, sin embargo, el rendimiento de ambos era muy pobre.

Los síntomas eran que al comenzar a cargar con algunos VPS dichos anfitriones, el servicio se degradaba a niveles no asumibles. Junto con el personal técnico de KAOS, abrimos una incidencia a Parallels para investigar dicho problema. Parallels tiene diversos niveles de atención,(1,2 y 3) y como en todo equipo de soporte, para llegar al ingeniero que sabe lo que pasa, te hacen pasar un filtro de personas considerable.

Al final, el día 15 de Abril de 2011, han lanzado dos releases del kernel de VZ 4.0 y 4.6. Curiosamente, ambos fijan el problema que estábamos padeciendo desde hacía un mes. El problema era:

Running Containers with the CPULIMIT parameter set may cause the “top” utility to report high load average values and degrade the performance of applications running in these Containers. (PSBM-7334)

Lo bueno de este tema es que te confirmen que no eres un loco insensato que anda gritando incoherencias en medio del desierto

Links
http://kb.parallels.com/en/111141

Virtuozzo – restaurar container migrado

Rubén Ortiz — Thu, 07 Apr 2011 09:58:43 +0000

Cuando hacemos la migración (movemos) de un container a otro hardware node tenemos la opción de guardar la carpeta del container en el sistema de ficheros

1	# vzmigrate -r no DEST VID

DEST sería el hardware node destino y VID sería el VPS a mover. La utilidad de dejar el área del container ya migrado, es que en caso de desastre, podemos recuperar en el hardware node origen este mismo container. Todo esto a costa de utilizar más espacio en el disco claro.

Hace poco he tenido un problema grave con la base de datos de Zabbix. El día anterior la había movido de hardware, y debido a que, el error era una corrupción de la misma base de datos de Zabbix y oh! sorpresa, no habían backups de la misma, tuve que proceder así para restarurar el sistema de monitorización. Me acordé de mi mismo al ver que no tenía los backups. Lo subsané al momento claro.

1
2
3
4
5
6
7

# cd /etc/vz/conf/
# ls -ls
# ln -s VPSID.conf /vz/private/VPSID/ve.conf
# ln -s /vz/private/VPSID/ve.conf VPSID.conf
# vzlist -a
# vzctl start VPSID

Links
http://david.toribio.eu/2011/03/02/recuperar-vz-migrado/

Virtuozzo 4.6 Docs

Rubén Ortiz — Fri, 01 Apr 2011 11:46:29 +0000

Lo malo de este template, es tener que escribir siempre paja en la entradilla cuando simplemente quieres dejar dos links guardados en un post, aish…..

http://download.swsoft.com/pvc/46/lin/rtm/docs/en/VzLinuxUG.pdf

http://download.swsoft.com/pvc/46/lin/rtm/docs/en/VzLinuxReference.pdf

Virtuozzo 4.6 – nuevas funcionalidades

Rubén Ortiz — Thu, 31 Mar 2011 16:22:38 +0000

Es un copy/paste de la documentación oficial. Copio sólo lo que me interesa, para tenerlo en mente.

5. NEW FEATURES AND IMPROVEMENTS
Parallels Virtuozzo Containers 4.6 includes the following new features and improvements:
New Features
• Disk I/O limits
You can configure the bandwidth a Container is allowed to use for its disk input and output
(I/O) operations by means of the vzctl set –iolimit command. Limiting the disk I/O
bandwidth can help you prevent situations when high disk activities in one Container can slow
down the performance of other Containers on the Hardware Node.
• Disk I/O limits for backups and migrations
You can set disk I/O limits for backup, restore, and migration operations so that no Container
on the Node can exceed the specified limit when performing any of these operations. To set an
I/O limit, you need to configure the VZ_TOOLS_BCID and VZ_TOOLS_IOLIMIT parameters
in the global configuration file (/etc/vz/vz.conf).
• Disk I/O accounting
You can view disk input and output (I/O) statistics for Containers by using the vzstat utility or
examining the /proc/bc//iostat file. Using this statistics, you can easily identify
Containers that generate the highest disk I/O load on the Hardware Node.
• Modern Linux distributions support
You can install Parallels Virtuozzo Containers 4.6 on servers running the following Linux
distributions:
* CentOS 4 and 5
* Red Hat Enterprise Linux 4 and 5
* SUSE Linux Enterprise Server 10 with Service Pack 3
You can now create Containers running the following Linux distributions:
* CentOS 4 and 5
* Debian 5.0
* Fedora 12 and 13
* OpenSUSE 11 with Service Packs 1, 2, and 3
* Oracle Enterprise Linux Server 5.x
* Red Hat Enterprise Linux 4 and 5
* SUSE Linux Enterprise Server 9, 10, and 11
* Ubuntu 8.04, 9.10, 10.04, and 10.10
• Parallels Virtual Automation (PVA) 4.6.2 support
Parallels Virtual Automation 4.6.2 can now manage Hardware Nodes running Parallels
Virtuozzo Containers 4.6. You can choose to install the PVA components (PVA Agent and
PVA Master Node) during the Parallels Virtuozzo Containers 4.6 installation.
To set up the PVA Master Node component, an active Internet connection is required.
• Online migration improvements
* You can now migrate Containers with one or more Network File System version 3 (NFSv3)
directories mounted.
* You can now migrate Containers with one or more AutoFS mount points, including NFSv3
directories managed by AutoFS.
* You can now migrate Containers with processes that have open device files, named pipes,
and Unix sockets hidden by another filesystem that was mounted over the directory where
these objects resided.
• iotop support in Containers
You can now run the iotop utility in Containers to determine processes that generate the
highest disk I/O load.

Links
http://download.swsoft.com/pvc/46/lin/rtm/docs/en/README.pdf

Virtuozzo Linux 4.X – action scripts

Rubén Ortiz — Thu, 04 Nov 2010 15:27:54 +0000

A partir de la 4.0, los scripts específicos por VPS se encontrarán en:

1	/vz/private/CT_ID/scripts

Pueden haber los siguientes tipos:
global mount
This script runs immediately after vzctl mounts the Container private area. The Container itself is not yet running and the script is running in the Host OS context.
mount
This script runs immediately after the global mount script. The Container is still not running, and the scripts is called in the Host OS context.
start
After vzctl has started a Container, it runs the Container start script. The script is running already in the Container context.
stop
This script runs before the Container is stopped, in the Container context.
umount
After the Container has been already stopped, the umount script is executed, and the script runs in the Host OS context.
global umount
This script runs when vzctl is about to dismount the Container private area. It also runs in the Host OS context.

Yo probé de crear un “mount” dentro para un VPS en concreto que hacía un mapeo con mount a una carpeta del VPS de una carpeta del anfitrión. Luego paré, reboté, etc el VPS y la carpeta mapeada en el container aparecía correctamente. Tuve más problemas cuando probé con otros scripts pero esto para salir del paso ya me funcionó.

Links

http://download.swsoft.com/virtuozzo/virtuozzo4.0/docs/en/lin/VzLinuxReference/367.htm

Virtuozzo – recrear Container

Rubén Ortiz — Mon, 11 Oct 2010 10:33:05 +0000

In case you have downloaded Virtuozzo distributive already (example for 64-bit PVC 4.0) as file “virtuozzo-4.0.0-${build_version}-x86_64.sfx”, please extract it in the following way:
# mkdir -p /vz/full_distr
# bash /path/to/virtuozzo-4.0.0-${build_version}-x86_64.sfx -d /vz/full_distr –extract

You may create Service Container then using this command (make sure old Service Container #1 does not exist):
# vzsveinstall -v -D /vz/full_distr -s SERVICE_CT_IP

Links

http://kb.parallels.com/1089