De la 0.1 a la 0.2¶
La 0.2 reescribe el núcleo, los cuatro backends y el módulo de datos. La forma de la API que
usan los ETL se mantiene: los mismos nombres y parámetros en StorageFactory, get_folder,
list_files, get_data().to_dataframe…. Lo que cambia es el comportamiento: lo que antes se
perdía en silencio, ahora avisa o falla.
Lo que cambia¶
| 0.1 | 0.2 |
|---|---|
StorageFactory.set_dev_mode(True), global para todo el proceso |
dev_mode=True en cada create_* |
upload_file con dev_mode sobrescribía |
Nunca sin overwrite=True |
delete(recursive=False) en SharePoint, Drive o un container de Azure lo borraba todo |
FolderNotEmptyError |
get_folder() comprobaba que la carpeta existía en los remotos |
No habla con el servicio: lo que no existe falla al usarse |
get_metadata() devolvía un dict |
Devuelve FileInfo/FolderInfo (.to_dict() da las claves de antes) |
Local: fechas sin zona; Folder.path absoluto; pattern con re.match |
Fechas en UTC; rutas relativas al origen (LocalFile.local_path es la absoluta); re.search |
LocalOrigin(root) creaba la carpeta al construirse |
La crea connect() con create=True, que es lo que hace create_local |
get_folder("..") en Local salía de la raíz |
InvalidPathError |
exists() devolvía False ante cualquier error (un token caducado, la red) |
False solo si no existe; si no, lanza |
| Las excepciones se llamaban como las de Python sin heredar de ellas | FileNotFoundError, FileAlreadyExistsError, PermissionDeniedError e InvalidPathError heredan de las de Python |
UploadError, WriteError, ValidationError |
FileAlreadyExistsError, StorageUnavailableError, InvalidRequestError |
| SharePoint: un token que no se renovaba; listados de 200 como mucho; subidas de 250 MB como mucho | Token renovado, paginación, subida por sesión sin límite |
Azure: get_folder('.') daba IndexError; move_to borraba sin esperar a la copia |
container= como raíz; la copia se espera |
requests y google-api-python-client |
httpx (extras sharepoint y googledrive) |
data: la inferencia perdía decimales con coma, ceros a la izquierda y fechas en un segundo formato |
Inferencia conservadora y formato español: nunca introduce un nulo |
data: with_fields con una columna que no existía daba un WARNING y un DataFrame sin ella |
MissingColumnsError |
data: un CSV se leía con sep=',' por defecto |
El separador se detecta |
to_dataframe_from_excel() leía la hoja Hoja1 por defecto |
La primera hoja |
| Excel: la lectura se cortaba en la primera fila en blanco y tras un hueco en la cabecera | Hasta la última fila y columna con datos |
data: CSVReader, ExcelReader, TypeInferencer, df.profile |
read(), read_with_report(), Column; df.profile pasa a tai_storage.analysis.analyze(df) (extra analysis) |
El extra data instalaba matplotlib, seaborn y tabulate |
Ya no |
| Los logs se configuraban al importar | Un valor por defecto que la aplicación sobrescribe (Logs) |
Desde la 0.2.1¶
- Logs: lo que cambia algo se registra en
INFO, y lo anómalo enWARNING. El nivel por defecto pasa deINFOaWARNING: si dependías de ver algo en consola, llama aconfigure_logger("INFO"). - Un backend propio implementa
_open_read()y_delete()en lugar deopen_read()ydelete(), que ahora viven en la base. Ver Extender. - Un
.jsonlo.ndjsonse lee por líneas sin pasarlines=True.
Cómo migrar un ETL¶
- Pon techo a la versión en el proyecto mientras no lo pruebes:
tai-storage>=0.1,<0.2. - Cambia a
tai-storage[…]>=0.2,<0.3y ejecuta el ETL con un fichero real, sininfer_types=False. - Lo que antes se perdía ahora sale en
reader.reporto como un error con su línea. Declara los tipos que conoces encolumns=y quita las conversiones a mano conerrors="coerce". - Si usabas
StorageFactory.set_dev_mode(True), pasadev_mode=Truea cadacreate_*. - Si capturabas
UploadError, capturaFileAlreadyExistsError(oTaiStorageError).