Saltar al contenido
ES EN
Tema: automático

Cómo diagnosticar timeouts de la API de Kubernetes que apuntan al kernel

Guía práctica para investigar timeouts intermitentes hacia el plano de control de GKE, a partir del caso de Google con tres fallos en capas distintas.

Ingeniería de software

Hace poco Google detalló cómo fallos intermitentes de conectividad hacia la API de Kubernetes acabaron bloqueando a unos 800 desarrolladores que no podían desplegar a producción. La causa no era una sola: eran tres errores en capas distintas que se combinaban. Esta guía convierte ese caso, resumido por InfoQ, en un método para investigar problemas parecidos en tu propio entorno.

En 30 segundos Si los pods sufren timeouts intermitentes al llegar al plano de control privado, captura tráfico en varias capas, correlaciona con cambios recientes y comprueba la versión del kernel de tus nodos. En el caso de Google, el origen final fue un fallo del kernel con sockets atascados en FIN_WAIT_2.

Lo que necesitas

Necesitas acceso a los nodos o a un pod con herramientas de red para capturar paquetes, el historial de cambios de tu infraestructura (versiones, despliegues, reglas de red) y saber qué versión de GKE y de kernel ejecutan tus nodos. Si usas acceso privado al plano de control mediante Private Service Connect, incluye también ese componente en el inventario.

Un aviso importante: este método sirve para investigar, no garantiza que tu problema sea el mismo. El análisis original es un caso anonimizado que, como señala un comentarista, no aporta una tasa de fallo general ni explica todos los timeouts de API.

Esquema de capas de red entre un pod, el servicio de conexión privada y el plano de control de Kubernetes
El mismo síntoma puede nacer en cualquiera de las capas del camino.

El método paso a paso

  1. Acota el síntoma: anota si el error es un timeout de E/S en conexiones que nunca llegan a completarse y desde qué clústeres o redes ocurre.
  2. Captura paquetes en más de una capa a la vez: en el pod o nodo cliente y, si puedes, en el punto intermedio del acceso privado.
  3. Busca anomalías en el establecimiento de conexión, como respuestas ACK que pertenecen a conexiones ya cerradas.
  4. Lista los cambios recientes (servicio de conexión privada, proxies, versiones de nodo) y compáralos en el tiempo con el inicio de los fallos.
  5. Revisa el estado de los sockets en los nodos para detectar conexiones que permanecen indefinidamente en un estado intermedio de cierre.
  6. Comprueba la versión del kernel de los nodos y si el fallo ya está corregido aguas arriba y disponible como backport en tu versión.
  7. Aplica una corrección cada vez y vuelve a medir: distingue entre que el síntoma remita y que el estado se corrija de verdad.

Qué comprobar en los nodos

Para el paso de los sockets atascados, una consulta con ss te da una primera idea del volumen de conexiones en cada estado. Es un ejemplo de lectura, no un diagnóstico definitivo:

# Resumen de sockets TCP por estado
ss -tan | awk 'NR>1 {c[$1]++} END {for (s in c) print s, c[s]}'

# Versión del kernel del nodo
uname -r

Si ves una cifra anormalmente alta de FIN-WAIT-2 que no baja con el tiempo, merece la pena investigar. En el caso descrito, los tres fallos eran el reordenamiento de paquetes en el servicio de conexión privada, el comportamiento de semicierre del proxy Envoy y un error del kernel que descartaba ciertos paquetes FIN reordenados.

Terminal mostrando una captura de paquetes TCP con conexiones en estado de cierre
Capturar en varias capas fue clave para ligar los tres fallos.
Truco Antes de tocar nada, guarda las capturas y la línea temporal de cambios. Según el relato, correlacionar los síntomas de red con los cambios de infraestructura fue lo que permitió conectar los tres errores. Y revisa tu versión: el parche entró en Linux 6.9.7, se llevó a las ramas LTS 6.6 y 6.1, y llegó a GKE en la versión 1.33.5 y posteriores.

Cómo se resolvió y qué te llevas

Google actuó en tres tiempos durante varias semanas: revirtió un cambio en Private Service Connect para recuperar la conectividad, corrigió el manejo del protocolo del proxy añadiendo pruebas de regresión y, por último, aplicó el parche del kernel. La enseñanza es que ninguna capa, por sí sola, explicaba el fallo, y que apuntar a una causa única habría dejado el problema a medias.

Si gestionas clústeres, programa revisiones de la versión del kernel de tus nodos y anota qué correcciones llegan por backport a tu rama. Para seguir aprendiendo sobre diagnóstico de sistemas en producción, hay charlas y certificaciones en QCon, aunque la fuente principal sigue siendo el análisis original de Google.

Para saber más: Chinese edition.

Fuente original: infoq.com

Artículo generado mediante AI.larebelion

Kernel

· Dirección de tecnología · España

«Cuando todas las capas tienen una explicación plausible, la única salida es medir en varias a la vez y cruzarlo con los cambios desplegados.»

Comentarios (0)

Todavía no hay comentarios. Puedes ser el primero.

Escribe un comentario