Saltar a contenido

Logs

tai-storage registra en el logger tai-storage de tai-alphi, la librería de logging de la plataforma. Así se ve qué ha hecho un pipeline: qué ha leído, qué ha escrito, qué ha borrado y cuánto ha tardado.

Qué se registra, y en qué nivel

Nivel Qué Ejemplo
INFO Lo que cambia algo: escribir, borrar, copiar, mover, crear o borrar carpetas Escrito 'informes/enero.csv' de SharePoint contoso.sharepoint.com/sites/Ventas (2,3 MB, 1,4 s)
INFO Conectar a un origen Conectado a SharePoint contoso.sharepoint.com/sites/Ventas
INFO Leer un DataFrame Leído 'Clientes/pedidos.xlsx': 5.003 filas × 9 columnas (xlsx, 0,8 s)
DEBUG Cada lectura y cada listado Leyendo 'Clientes/pedidos.xlsx' de … · 12 ficheros en 'Clientes' de …
DEBUG Cada petición HTTP, sin la query GET https://graph.microsoft.com/v1.0/drives/…/root:/Clientes:/children → 200 (180 ms) al listar 'Clientes' de …
WARNING Lo anómalo que se ha recuperado HTTP 429 al listar 'Clientes' de SharePoint …: reintento 1/5 en 2,0 s · SharePoint (contoso.sharepoint.com) rechazó el token al …: se pide uno nuevo
WARNING Los avisos al leer datos 'ventas.csv': la columna 6 no tiene nombre en la cabecera: se llama 'col_6'

Las reglas:

  • Una operación es una línea. move_to() registra «Movido», y no además la copia y el borrado que hace por dentro. Con dev_mode, la caché no repite las líneas del servicio.
  • Un error no se registra: se lanza, con su mensaje y su solución. Lo registra quien lo captura, una vez.
  • Nunca hay secretos: ni tokens, ni claves, ni URL firmadas. Las peticiones se registran sin la query, porque en las URL de descarga y de subida de SharePoint el permiso va ahí.

Verlo en un pipeline

La librería declara WARNING como nivel por defecto: una aplicación que no configura nada solo ve lo anómalo. Para seguir lo que hace:

from tai_storage import configure_logger

configure_logger("INFO")          # lo que cambia algo y los DataFrames leídos
configure_logger("DEBUG")         # además, cada lectura y cada petición
[09:00:01][INFO] [tai-storage] Conectado a SharePoint contoso.sharepoint.com/sites/Ventas
[09:00:03][INFO] [tai-storage] Leído 'Clientes/Entrada/pedidos.xlsx': 5.003 filas × 9 columnas (xlsx, 0,8 s)
[09:00:04][WARNING] [tai-storage] 'Clientes/Entrada/pedidos.xlsx': la cabecera 'importe' está repetida: la repetición se llama 'importe_2'
[09:00:05][INFO] [tai-storage] Escrito 'Informes/pedidos.csv' de SharePoint contoso.sharepoint.com/sites/Ventas (812,4 KB, 0,6 s)
[09:00:06][INFO] [tai-storage] Movido 'Clientes/Entrada/pedidos.xlsx' a 'Clientes/Procesados/pedidos.xlsx' en SharePoint contoso.sharepoint.com/sites/Ventas (0,4 s)

Con la configuración de tai-alphi de la aplicación

Si la aplicación ya configura sus loggers con tai-alphi, tai-storage es uno más. Vale antes o después de importar tai_storage:

from tai_alphi import Alphi

Alphi({
    "mi-etl": {"consola": {"log_level": "INFO"}},
    "tai-storage": {"consola": {"log_level": "INFO"}},
})

Con tai-alphi se pueden mandar también a Teams, a un fichero o a una base de datos. Ver su documentación.

No es un logger de logging

tai-alphi crea sus propios loggers, que no cuelgan del raíz de logging. Por eso logging.basicConfig() y caplog de pytest no los ven: se configuran con tai-alphi. En un test, se puede colgar un handler directamente del logger (Alphi.get_logger_by_name("tai-storage").addHandler(...)).

Desde tai-sql

tai-sql crea su almacén de backups con el logger de tai-storage en ERROR, para que un tai-sql backup no llene la consola. La configuración de la aplicación sigue mandando sobre ese valor.