Logs¶
tai-storage registra en el logger tai-storage de tai-alphi,
la librería de logging de la plataforma. Así se ve qué ha hecho un pipeline: qué ha leído, qué ha
escrito, qué ha borrado y cuánto ha tardado.
Qué se registra, y en qué nivel¶
| Nivel | Qué | Ejemplo |
|---|---|---|
INFO |
Lo que cambia algo: escribir, borrar, copiar, mover, crear o borrar carpetas | Escrito 'informes/enero.csv' de SharePoint contoso.sharepoint.com/sites/Ventas (2,3 MB, 1,4 s) |
INFO |
Conectar a un origen | Conectado a SharePoint contoso.sharepoint.com/sites/Ventas |
INFO |
Leer un DataFrame | Leído 'Clientes/pedidos.xlsx': 5.003 filas × 9 columnas (xlsx, 0,8 s) |
DEBUG |
Cada lectura y cada listado | Leyendo 'Clientes/pedidos.xlsx' de … · 12 ficheros en 'Clientes' de … |
DEBUG |
Cada petición HTTP, sin la query | GET https://graph.microsoft.com/v1.0/drives/…/root:/Clientes:/children → 200 (180 ms) al listar 'Clientes' de … |
WARNING |
Lo anómalo que se ha recuperado | HTTP 429 al listar 'Clientes' de SharePoint …: reintento 1/5 en 2,0 s · SharePoint (contoso.sharepoint.com) rechazó el token al …: se pide uno nuevo |
WARNING |
Los avisos al leer datos | 'ventas.csv': la columna 6 no tiene nombre en la cabecera: se llama 'col_6' |
Las reglas:
- Una operación es una línea.
move_to()registra «Movido», y no además la copia y el borrado que hace por dentro. Condev_mode, la caché no repite las líneas del servicio. - Un error no se registra: se lanza, con su mensaje y su solución. Lo registra quien lo captura, una vez.
- Nunca hay secretos: ni tokens, ni claves, ni URL firmadas. Las peticiones se registran sin la query, porque en las URL de descarga y de subida de SharePoint el permiso va ahí.
Verlo en un pipeline¶
La librería declara WARNING como nivel por defecto: una aplicación que no configura nada
solo ve lo anómalo. Para seguir lo que hace:
from tai_storage import configure_logger
configure_logger("INFO") # lo que cambia algo y los DataFrames leídos
configure_logger("DEBUG") # además, cada lectura y cada petición
[09:00:01][INFO] [tai-storage] Conectado a SharePoint contoso.sharepoint.com/sites/Ventas
[09:00:03][INFO] [tai-storage] Leído 'Clientes/Entrada/pedidos.xlsx': 5.003 filas × 9 columnas (xlsx, 0,8 s)
[09:00:04][WARNING] [tai-storage] 'Clientes/Entrada/pedidos.xlsx': la cabecera 'importe' está repetida: la repetición se llama 'importe_2'
[09:00:05][INFO] [tai-storage] Escrito 'Informes/pedidos.csv' de SharePoint contoso.sharepoint.com/sites/Ventas (812,4 KB, 0,6 s)
[09:00:06][INFO] [tai-storage] Movido 'Clientes/Entrada/pedidos.xlsx' a 'Clientes/Procesados/pedidos.xlsx' en SharePoint contoso.sharepoint.com/sites/Ventas (0,4 s)
Con la configuración de tai-alphi de la aplicación¶
Si la aplicación ya configura sus loggers con tai-alphi, tai-storage es uno más. Vale antes o
después de importar tai_storage:
from tai_alphi import Alphi
Alphi({
"mi-etl": {"consola": {"log_level": "INFO"}},
"tai-storage": {"consola": {"log_level": "INFO"}},
})
Con tai-alphi se pueden mandar también a Teams, a un fichero o a una base de datos. Ver su documentación.
No es un logger de logging
tai-alphi crea sus propios loggers, que no cuelgan del raíz de logging. Por eso
logging.basicConfig() y caplog de pytest no los ven: se configuran con tai-alphi. En un
test, se puede colgar un handler directamente del logger
(Alphi.get_logger_by_name("tai-storage").addHandler(...)).
Desde tai-sql¶
tai-sql crea su almacén de backups con el logger de tai-storage en ERROR, para que un tai-sql
backup no llene la consola. La configuración de la aplicación sigue mandando sobre ese valor.