dev_mode¶
Mientras desarrollas un ETL lo ejecutas decenas de veces, y en cada una descargas los mismos
Excel de SharePoint. dev_mode guarda una copia local de lo que lees y la reutiliza mientras
el fichero no cambie en el servicio.
from tai_storage import StorageFactory
origin = StorageFactory.create_sharepoint(dev_mode=True) # copias en .cached_storage/
origin = StorageFactory.create_sharepoint(dev_mode=True, dev_cache_path="/tmp/cache")
Funciona con cualquier origen. Lo normal es activarlo con una variable de tu proyecto:
Lo que hace, y lo que no¶
dev_mode es una caché, no otro backend: solo cambia de dónde salen los bytes al leer.
| Operación | Con dev_mode |
|---|---|
read(), open_read(), get_data() |
Pide los metadatos al servicio (1 petición). Si el fichero no ha cambiado, lee la copia local; si ha cambiado, lo descarga y actualiza la copia |
list_files(), exists(), metadatos |
Van al servicio, como sin caché |
write(), upload_file(), delete(), copy_to(), move_to() |
Van al servicio, y olvidan la copia de ese fichero |
Así, lo que existe, los valores por defecto y los errores son exactamente los del servicio. Lo prueba la suite de contrato, que pasa entera también con la caché.
Para saber si la copia sigue valiendo se compara el etag del servicio (en SharePoint, el cTag,
que solo cambia con el contenido). Si un servicio no lo da, se comparan la fecha de modificación
y el tamaño. Si el fichero ha desaparecido del servicio, se borra también su copia.
Lo que cuesta¶
| Sin caché | Con dev_mode, copia válida |
|
|---|---|---|
| Leer un Excel de 30 MB de SharePoint | 2 peticiones + 30 MB | 1 petición, sin descarga |
Leer 5 hojas del mismo Excel con get_data() |
1 descarga (el lector guarda los bytes) | 1 petición |
La carpeta de la caché¶
.cached_storage/
sharepoint/contoso.sharepoint.com/Ventas/default/ ← una por origen (origin.cache_key)
files/Clientes/Entrada/pedidos.xlsx ← la copia
meta/Clientes/Entrada/pedidos.xlsx.json ← su etag, fecha y tamaño
Añade .cached_storage/ a tu .gitignore: son datos del cliente.
origin.clear_cache() # toda la de este origen
origin.clear_cache("Clientes/Entrada") # la de una carpeta o un fichero
Cuándo no usarlo¶
- En producción: no ahorra peticiones en una ejecución que lee cada fichero una vez, y deja copias de los datos en disco.
- Para escribir más rápido: escribir va siempre al servicio.
- Sin conexión: cada lectura pregunta al servicio, así que sin red falla como sin caché. Esto es a propósito, para que nunca se lea una copia vieja sin saberlo.