Saltar a contenido

dev_mode

Mientras desarrollas un ETL lo ejecutas decenas de veces, y en cada una descargas los mismos Excel de SharePoint. dev_mode guarda una copia local de lo que lees y la reutiliza mientras el fichero no cambie en el servicio.

from tai_storage import StorageFactory

origin = StorageFactory.create_sharepoint(dev_mode=True)                 # copias en .cached_storage/
origin = StorageFactory.create_sharepoint(dev_mode=True, dev_cache_path="/tmp/cache")

Funciona con cualquier origen. Lo normal es activarlo con una variable de tu proyecto:

import os

origin = StorageFactory.create_sharepoint(dev_mode=os.getenv("ENTORNO") == "local")

Lo que hace, y lo que no

dev_mode es una caché, no otro backend: solo cambia de dónde salen los bytes al leer.

Operación Con dev_mode
read(), open_read(), get_data() Pide los metadatos al servicio (1 petición). Si el fichero no ha cambiado, lee la copia local; si ha cambiado, lo descarga y actualiza la copia
list_files(), exists(), metadatos Van al servicio, como sin caché
write(), upload_file(), delete(), copy_to(), move_to() Van al servicio, y olvidan la copia de ese fichero

Así, lo que existe, los valores por defecto y los errores son exactamente los del servicio. Lo prueba la suite de contrato, que pasa entera también con la caché.

Para saber si la copia sigue valiendo se compara el etag del servicio (en SharePoint, el cTag, que solo cambia con el contenido). Si un servicio no lo da, se comparan la fecha de modificación y el tamaño. Si el fichero ha desaparecido del servicio, se borra también su copia.

Lo que cuesta

Sin caché Con dev_mode, copia válida
Leer un Excel de 30 MB de SharePoint 2 peticiones + 30 MB 1 petición, sin descarga
Leer 5 hojas del mismo Excel con get_data() 1 descarga (el lector guarda los bytes) 1 petición

La carpeta de la caché

.cached_storage/
  sharepoint/contoso.sharepoint.com/Ventas/default/   ← una por origen (origin.cache_key)
    files/Clientes/Entrada/pedidos.xlsx               ← la copia
    meta/Clientes/Entrada/pedidos.xlsx.json           ← su etag, fecha y tamaño

Añade .cached_storage/ a tu .gitignore: son datos del cliente.

origin.clear_cache()                       # toda la de este origen
origin.clear_cache("Clientes/Entrada")     # la de una carpeta o un fichero

Cuándo no usarlo

  • En producción: no ahorra peticiones en una ejecución que lee cada fichero una vez, y deja copias de los datos en disco.
  • Para escribir más rápido: escribir va siempre al servicio.
  • Sin conexión: cada lectura pregunta al servicio, así que sin red falla como sin caché. Esto es a propósito, para que nunca se lea una copia vieja sin saberlo.