Topics covered: EC2, EBS
Tenemos una RDS en producción que por temas de cualquier índole, queremos convertir en RDS con encriptación “at rest”, es decir, los datos a nivel almacenamiento están encriptados. En un hipotético caso de robo de datos (algo practicamente imposible) los datos no podrían descifrarse sin la pertinente llave KMS.
Rápido recordatorio de encontrar fácilmente (no es 100% seguro, dependerá de las distros) si estamos usando systemd/upstart/systemV
if [[ `/sbin/init --version` =~ upstart ]]; then echo using upstart;
elif [[ `systemctl` =~ -\.mount ]]; then echo using systemd;
elif [[ -f /etc/init.d/cron && ! -h /etc/init.d/cron ]]; then echo using sysv-init;
else echo cannot tell; fistrings /sbin/init | grep -q "/lib/systemd" && echo SYSTEMD
strings /sbin/init | grep -q "sysvinit" && echo SYSVINIT
strings /sbin/init | grep -q "upstart" && echo UPSTARTMáquina de pruebas es una Amazon Linux AMI release 2017.09
El primer test
# bash check_bash.sh
using upstart
El segundo test
UPSTART
El caso en concreto para este Linux AWS AMI es que funciona con una mezcla de systemV y upstart y me despistó un poco. Un ejemplo de upstart script sería:
description "node-exporter from prometheus"
start on filesystem or runlevel [2345]
stop on runlevel [!2345]
respawn
umask 022
chdir /
# console log - uncomment log stdout/stderr to /var/log/upstart/
# console none # Ubuntu 12.04++ requires explicitly saying we don't want to log anything
exec /usr/local/bin/node_exporter
# initctl list
# sudo initctl start node-export
node-export start/running, process 21704
# sudo initctl status node-export
node-export start/running, process 21704
El mismo caso pero en systemd
[Unit]
Description=Node Exporter
[Service]
User=prometheus
ExecStart=/usr/local/bin/node_exporter
[Install]
WantedBy=default.target
# systemctl daemon-reload
# systemctl enable node_exporter.service
# systemctl start node_exporter.service
Links
Peleando con Terraform. Llamo a un módulo que crea un aws lc y un aws asg pero contiene un error, que hace actualizar el lc todo el rato. Me vuelvo loco y borro los recursos por la fuerza y Terraform se buggea. Obtengo este error:
- module.celery_asg.aws_launch_configuration.lc-app (deposed)
In essence terraform complains, if I understand it correctly, about not being able to remove non-existent resource that is a dependency for another non-existent resource.
Lo que pude hacer para resolverlo fue, primero lógicamente corregir los errores en las variables que le pasaba al módulo (condicionales en otro módulo) y luego
$ terraform plan
[...]
Plan: 20 to add, 0 to change, 1 to destroy.
Me detecta cosas a destruir que no existen
$ terraform state rm module.eks.aws_launch_configuration.eks
1 items removed.
Item removal successful.
$ terraform plan
[...]
Plan: 21 to add, 0 to change, 0 to destroy
Terraform está muy bien pero hay cosas que me cuestan siempre de recordar. Y esta es una muy simple seguramente pero no hay manera de que recuerde bien como funciona en general. Continue reading
Recientemente un cliente empezó a experimentar lentitud en su aplicación. En parte motivado por el propio diseño de la misma: ausencia de caché tanto en frontend, como backend, base de datos monolítica, carga de trabajo de operativa y analítica en la misma RDS, etc. Continue reading
Nota rápida sobre activar debug
export TF_LOG=TRACE
Deshabilitar
export TF_LOG=
Links
Breves apuntes de consulta rápida, se irá actualizando poco a poco.
A DaemonSet ensures that all (or some) Nodes run a copy of a Pod. As nodes are added to the cluster, Pods are added to them. As nodes are removed from the cluster, those Pods are garbage collected. Deleting a DaemonSet will clean up the Pods it created.
Un caso práctico sería, desplegamos daemont Set que genera pod con un container de fluentd que monta los volumnes de /var/lib/docker/containers, fluentd lo envía a un Splunk. Con Daemon Set tendremos un pod en cada nodo.
Ejemplo práctico: un despliegue de blackbox exporter dentro del namespace production. Queremos poder acceder via http a ese pod:puerto localmente para consultar métricas. Mapeamos con port-forward como sigue:
kubectl port-forward blackbox-exporter-prometheus-blackbox-exporter-79c8455888-r57kx 9115:9115 -n productionpod multicontainer
kubectl logs apo-api-analitica-1560416400-7bf2l --all-containerskubectl top pod --all-namespaces, pipe it to sort:
kubectl top pod --all-namespaces | sort --reverse --key 3 --numeric \ | head -10
kubectl top pod --all-namespace Muestra la información de top de todos los pods en todos los namespaces.sort --reverse --key 3 --numeric Ordena el input acorde con los valores numéricos encontrados en la columna 3 y orden descendiente.head -10 Muestra solo las diez primeras líneas.Topics covered: Cloudfront,Storage Gateway, Snowball
Virtual Hard Disks presented at on-premises via iSCSI and you backup them to S3. Data written to these volumes can be asynchronously backed up as point-in-time snapshots of your volumes and stored as EBS snapshots. Snapshots are incremental.
Let you store your primary data locally while asynchronously backing up that data to AWS. Low latency access to their entire datasets, with durable backups. Data written to your stored volumes is stored on your on-premises storage hardware. This data is backed up to AWS S3 in the form of EBS Snapshots.
Escenario: tenemos un terraform que no contempla un S3 que necesitamamos configurar. En este caso, queremos configurar el CORS de ese bucket.