Saltar a contenido

De la 0.1 a la 0.2

La 0.2 reescribe el núcleo, los cuatro backends y el módulo de datos. La forma de la API que usan los ETL se mantiene: los mismos nombres y parámetros en StorageFactory, get_folder, list_files, get_data().to_dataframe…. Lo que cambia es el comportamiento: lo que antes se perdía en silencio, ahora avisa o falla.

Lo que cambia

0.1 0.2
StorageFactory.set_dev_mode(True), global para todo el proceso dev_mode=True en cada create_*
upload_file con dev_mode sobrescribía Nunca sin overwrite=True
delete(recursive=False) en SharePoint, Drive o un container de Azure lo borraba todo FolderNotEmptyError
get_folder() comprobaba que la carpeta existía en los remotos No habla con el servicio: lo que no existe falla al usarse
get_metadata() devolvía un dict Devuelve FileInfo/FolderInfo (.to_dict() da las claves de antes)
Local: fechas sin zona; Folder.path absoluto; pattern con re.match Fechas en UTC; rutas relativas al origen (LocalFile.local_path es la absoluta); re.search
LocalOrigin(root) creaba la carpeta al construirse La crea connect() con create=True, que es lo que hace create_local
get_folder("..") en Local salía de la raíz InvalidPathError
exists() devolvía False ante cualquier error (un token caducado, la red) False solo si no existe; si no, lanza
Las excepciones se llamaban como las de Python sin heredar de ellas FileNotFoundError, FileAlreadyExistsError, PermissionDeniedError e InvalidPathError heredan de las de Python
UploadError, WriteError, ValidationError FileAlreadyExistsError, StorageUnavailableError, InvalidRequestError
SharePoint: un token que no se renovaba; listados de 200 como mucho; subidas de 250 MB como mucho Token renovado, paginación, subida por sesión sin límite
Azure: get_folder('.') daba IndexError; move_to borraba sin esperar a la copia container= como raíz; la copia se espera
requests y google-api-python-client httpx (extras sharepoint y googledrive)
data: la inferencia perdía decimales con coma, ceros a la izquierda y fechas en un segundo formato Inferencia conservadora y formato español: nunca introduce un nulo
data: with_fields con una columna que no existía daba un WARNING y un DataFrame sin ella MissingColumnsError
data: un CSV se leía con sep=',' por defecto El separador se detecta
to_dataframe_from_excel() leía la hoja Hoja1 por defecto La primera hoja
Excel: la lectura se cortaba en la primera fila en blanco y tras un hueco en la cabecera Hasta la última fila y columna con datos
data: CSVReader, ExcelReader, TypeInferencer, df.profile read(), read_with_report(), Column; df.profile pasa a tai_storage.analysis.analyze(df) (extra analysis)
El extra data instalaba matplotlib, seaborn y tabulate Ya no
Los logs se configuraban al importar Un valor por defecto que la aplicación sobrescribe (Logs)

Desde la 0.2.1

  • Logs: lo que cambia algo se registra en INFO, y lo anómalo en WARNING. El nivel por defecto pasa de INFO a WARNING: si dependías de ver algo en consola, llama a configure_logger("INFO").
  • Un backend propio implementa _open_read() y _delete() en lugar de open_read() y delete(), que ahora viven en la base. Ver Extender.
  • Un .jsonl o .ndjson se lee por líneas sin pasar lines=True.

Cómo migrar un ETL

  1. Pon techo a la versión en el proyecto mientras no lo pruebes: tai-storage>=0.1,<0.2.
  2. Cambia a tai-storage[…]>=0.2,<0.3 y ejecuta el ETL con un fichero real, sin infer_types=False.
  3. Lo que antes se perdía ahora sale en reader.report o como un error con su línea. Declara los tipos que conoces en columns= y quita las conversiones a mano con errors="coerce".
  4. Si usabas StorageFactory.set_dev_mode(True), pasa dev_mode=True a cada create_*.
  5. Si capturabas UploadError, captura FileAlreadyExistsError (o TaiStorageError).