Reduzca la presión de memoria de PostgreSQL en Matrix Synapse.

Si PostgreSQL consume más memoria de la esperada para Matrix Synapse, primero determine si la memoria se encuentra en búferes compartidos, en operaciones de consulta activas, en la limpieza automática de la base de datos o en un gran número de conexiones. Luego, ajuste una fuente a la vez y vuelva a medir. Los procesos Python de Synapse también consumen una cantidad considerable de memoria, por lo que debe confirmar que los procesos de PostgreSQL o el contenedor de la base de datos son la fuente del consumo antes de modificar la configuración de la base de datos.

Comprender qué significa “alta memoria”

PostgreSQL utiliza memoria compartida para su caché, memoria privada para cada conexión y consulta del servidor, y caché de páginas del sistema operativo. En Linux, la memoria que aparece como "usada" puede incluir caché del sistema de archivos recuperable; este dato por sí solo no demuestra que la base de datos esté bajo presión. Busque niveles bajos y sostenidos de memoria disponible, actividad de intercambio, eventos de falta de memoria o un contenedor que se acerque a su límite de memoria. Compare estas señales con las métricas de procesos de Synapse y PostgreSQL.

Un backend de PostgreSQL es un proceso de servidor que gestiona una conexión de cliente. El grupo de conexiones de base de datos de Synapse puede abrir varios backends por proceso, y cada trabajador de Synapse tiene su propio grupo. Por lo tanto, aumentar el número de trabajadores o el tamaño del grupo puede incrementar el trabajo concurrente de la base de datos y la demanda de memoria. Acción: antes de ajustar PostgreSQL, verifique los procesos de Synapse, el número de trabajadores, la configuración del grupo, las conexiones de PostgreSQL y el límite de memoria del host o contenedor.

Encuentra la fuente principal antes de sintonizar.

Conéctese a la base de datos de Synapse como administrador e inspeccione la configuración que controla la memoria y las conexiones:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_bufferses la caché compartida de PostgreSQL y se asigna cuando se inicia el servidor. work_memes un presupuesto por operación de consulta para ordenaciones y tablas hash, no un límite por servidor; una consulta puede usar varias de estas operaciones, y muchas conexiones pueden ejecutarlas a la vez. La memoria de mantenimiento y autovacuum también puede multiplicarse cuando se ejecutan varios procesos de mantenimiento. Acción: compare los valores configurados con la RAM disponible, la concurrencia y el número de conexiones Synapse, en lugar de asumir que la configuración más grande es la mejor.

Utilice esta consulta para ver cuántas sesiones de cliente están conectadas y si están activas o inactivas:

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Si su implementación lo permite, inspeccione el límite de memoria del contenedor de PostgreSQL y utilice sus métricas o las métricas de procesos y cgroups del host. Sumar la memoria residente de todos los procesos de PostgreSQL puede sobreestimar el número de páginas compartidas. Acción: utilice el recuento total de memoria del contenedor o del host para verificar la presión y, a continuación, utilice las estadísticas de conexión y consulta para identificar la causa probable.

Elija los cambios basándose en la evidencia.

Si la memoria de consulta aumenta durante períodos de mucha actividad

Primero, revise work_mem. Un valor alto puede consumir mucha memoria cuando las consultas concurrentes realizan múltiples operaciones de ordenación o hash. Redúzcalo con precaución si las mediciones muestran que la concurrencia de consultas está multiplicando el uso de memoria; la desventaja es que las operaciones grandes pueden generar archivos temporales y ejecutarse más lentamente. Evite copiar valores genéricos de otro servidor, ya que la carga de trabajo de Synapse y la versión de PostgreSQL son importantes.

La documentación de PostgreSQL describe shared_buffersla caché compartida principal y recomienda un 25 % de RAM como punto de partida razonable solo para un servidor de base de datos dedicado con al menos 1 GB de RAM. También señala que asignar más del 40 % probablemente no sea útil para la mayoría de las cargas de trabajo, ya que PostgreSQL también depende de la caché del sistema operativo. Acción: utilice estas cifras como referencia, no como objetivo para un host Synapse compartido; si los búferes compartidos ya consumen una gran parte de la memoria total, evalúe un valor menor durante un reinicio planificado.

Si el número de conexiones es la presión principal

database.args.cp_minRevise los cp_maxvalores de Synapse homeserver.yamlen los archivos de configuración de los trabajadores. La guía de Synapse para PostgreSQL muestra estos ajustes como el tamaño mínimo y máximo del grupo de conexiones. Cuando hay muchos trabajadores, cada uno con su propio grupo, el número total de conexiones posibles puede ser mucho mayor que el valor especificado en un solo archivo. Reducir este valor cp_maxpuede limitar los backends de base de datos concurrentes y su consumo de memoria, pero un grupo demasiado pequeño puede provocar que las solicitudes esperen una conexión.

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

Los valores anteriores son solo ilustrativos; no constituyen una recomendación universal. Cuente los pools en el proceso principal y en cada trabajador, y deje margen para la administración, las migraciones, la monitorización y otros clientes. PostgreSQL asigna algunos recursos en función de max_connections, por lo que aumentar ese límite «por si acaso» puede incrementar la presión de memoria base. Acción: limite los pools de Synapse a un nivel que su concurrencia medida requiera y asegúrese de que el límite de conexiones de PostgreSQL tenga espacio para todos los servicios más el acceso administrativo.

Si el mantenimiento o el autovacío coinciden con picos

PostgreSQL puede asignar memoria de mantenimiento para el vaciado automático de tablas y el trabajo de indexación. La memoria de vaciado automático se puede asignar por cada proceso de vaciado automático, por lo que una configuración grande combinada con varios procesos puede aumentar el uso máximo. No desactive el vaciado automático para reducir la memoria: realiza el mantenimiento necesario de las tablas. Acción: inspeccione los registros y la actividad durante el pico y luego ajuste maintenance_work_memla configuración autovacuum_work_memsolo si se confirma que esas operaciones contribuyen al problema.

Aplique los cambios y verifique el resultado.

Primero, realice una copia de seguridad de la configuración de PostgreSQL y Synapse. Modifique una variable o límite de pool a la vez, conserve las credenciales existentes de forma segura y utilice la ruta de configuración adecuada para su paquete o contenedor. Algunos parámetros de PostgreSQL, incluidos shared_buffersy max_connections, requieren reiniciar el servidor; la configuración recargable se puede aplicar con el mecanismo de recarga compatible con PostgreSQL. Verifique el contexto de la configuración antes de asumir que se aplicó una recarga.

Tras el cambio, supervise el uso máximo de memoria, los eventos de intercambio y falta de memoria, las conexiones activas, la latencia de las consultas, la actividad de archivos temporales y los retrasos en las solicitudes de Synapse durante un período de alta actividad representativo. El cambio resulta útil si reduce la presión sobre la memoria sin provocar esperas prolongadas en las conexiones, consultas más lentas ni una acumulación creciente de solicitudes. Si Synapse es el proceso que consume RAM, en lugar de PostgreSQL, ajuste el comportamiento de la caché de Synapse y el número de procesos de trabajo por separado; la configuración de PostgreSQL no solucionará el problema de la memoria ocupada por los procesos de Python.

No establezca work_memun valor igual a la RAM total del servidor, no aumente el consumo max_connectionssin calcular los totales del pool ni desactive la función de autovacuum como solución general. Si el consumo de memoria sigue siendo elevado, capture métricas durante el pico de uso y revise las consultas en ejecución y las fuentes de conexión antes de agregar hardware o realizar cambios de configuración importantes.

Referencias oficiales

Dejar un comentario

Reduzca la presión de memoria de PostgreSQL en Matrix Synapse.

Determine si la memoria de PostgreSQL proviene del trabajo de consultas, búferes compartidos, conexiones o mantenimiento, y luego realice los cambios necesarios de forma segura para Synapse.

¿Por qué las conexiones de sala de Matrix Synapse son lentas y qué revisar?

¿Por qué las conexiones de sala de Matrix Synapse son lentas y qué revisar?

Antes de cambiar la configuración de Synapse, analice si hay problemas con las conexiones lentas de salas Matrix a un servidor remoto, el retroceso de la federación, la carga de la base de datos local o una cola de envío saliente.

Cerrar registros de Matrix o requerir tokens de invitación en Synapse

Impida la creación de cuentas abiertas en un servidor Synapse autogestionado o mantenga los registros solo por invitación con tokens de registro de uso limitado.

Advertencia sobre la identidad de la sesión de Element: verifique su inicio de sesión de forma segura.

Elimina la advertencia de sesión no verificada de Clear Element mediante el uso de un dispositivo de confianza o una clave de recuperación, con comprobaciones que protegen tu historial de chat cifrado.

Evita los tiempos de espera de bloqueo de archivos de ownCloud con el backend adecuado.

Distinga entre la contención de bloqueos de base de datos y los bloqueos WebDAV caducados, y luego elija y configure la solución adecuada para ownCloud 10.

Qué comprobar cuando ownCloud Web se abre en una página en blanco.

Qué comprobar cuando ownCloud Web se abre en una página en blanco.

Mediante comprobaciones específicas, puede rastrear el problema de una pantalla web de ownCloud en blanco hasta la caché del navegador, la falta de recursos web, errores del servicio o la configuración de la URL del proxy inverso.

Borre la advertencia de memoria PHP de ownCloud en el entorno de ejecución correcto.

Establezca el límite de memoria PHP web de ownCloud, reinicie el servicio correspondiente y verifique el valor activo sin confundirlo con la configuración de la CLI o los límites de carga.

Solución de problemas de conexión a MySQL en ownCloud 10

Averigua si MySQL, PHP, la configuración de sockets o los permisos de la base de datos están bloqueando ownCloud 10 y, a continuación, verifica si existe una solución segura.

Establece un límite de caducidad estricto para los enlaces públicos de ownCloud.

Establece un límite de caducidad estricto para los enlaces públicos de ownCloud.

En ownCloud Classic, haga obligatoria la caducidad de los enlaces públicos, establezca una duración máxima y compruebe los recursos compartidos existentes que puedan necesitar una limpieza por separado.

Agregue el inicio de sesión de dos factores TOTP a ownCloud Infinite Scale con Keycloak.

Agregue el inicio de sesión de dos factores TOTP a ownCloud Infinite Scale con Keycloak.

Habilite TOTP a través de Keycloak, registre usuarios de forma segura y comprenda cuándo se aplican las configuraciones de MFA a nivel de ruta de Infinite Scale.