Saltar a contenido

Números, fechas y tipos

Números

Por defecto, formato español (number_format="es"): la coma es el decimal y el punto separa los miles.

Se lee No se lee (se queda como texto)
"es" 3, -1,5, 1.234, 1.234.567,89 1.5, 12.34: los miles van de tres en tres
"en" 3, -1.5, 1,234, 1,234,567.89 1,5, 12,34

Que 1.5 no se lea en formato español es a propósito: o es un número inglés, o es un error, y convertirlo en 15 o en 1,5 sería adivinar.

Fechas

Se lee No se lee
"es" 31/01/2024, 31-01-2024, 31.01.2024, con hora (31/01/2024 10:30) 31/01/24 (año de dos cifras: ambiguo), 31/02/2024
"en" 01/31/2024, con hora 31/01/2024
siempre ISO: 2024-01-31, 2024-01-31T10:30:00, 2024-01-31T10:30Z —

Una columna puede mezclar ISO con el formato local. Para un formato propio, strftime:

reader.to_dataframe(date_format="%d%m%Y")                               # todo el fichero
reader.to_dataframe(columns={"alta": Column("date", format="%d%m%Y")})  # una columna

La inferencia

Con infer_types=True (por defecto), cada columna de texto pasa al tipo más estricto en el que encajan todos sus valores:

Tipo Si todos los valores… Nunca, si…
boolean son sí/no, true/false, verdadero/falso son 1/0: eso es un entero
integer (Int64) son enteros tienen ceros a la izquierda (08001) o más de 15 cifras (EAN, IBAN, un id)
float (Float64) son números —
date / datetime son fechas (datetime si alguna tiene hora) se mezclan fechas con zona y sin zona
string — —

Si un solo valor no encaja, la columna se queda como string y el informe dice cuál y dónde:

importe  3  string  0  texto: 'pendiente' (línea 4, columna 3) no es un número en formato 'es'

Lo que llega ya tipado se respeta: los números, fechas, horas y booleanos de Excel, los tipos de JSON y todo Parquet. Con infer_types=False, todo lo que viene de un CSV llega como texto, tal cual.

Los tipos de pandas

tai-storage pandas Vacío
string string <NA>, nunca el texto "nan"
integer Int64 <NA>: un entero con vacíos sigue siendo entero
float Float64 <NA>
boolean boolean <NA>
date, datetime datetime64 NaT

Son los tipos con vacíos de pandas, y se cargan tal cual en una base de datos: un Int64 con vacíos no se convierte en float, ni un string en object.

Tipos declarados

Cuando sabes qué tipo tiene una columna, decláralo. Lo declarado manda, y un valor que no encaja es un error con su posición:

from tai_storage.data import Column

df = reader.to_dataframe(columns={
    "codigo": "string",                               # string, integer, float, boolean, date, datetime
    "importe": Column("float", number_format="en"),   # un formato propio para esa columna
    "alta": Column("date", format="%d%m%Y"),
    "activo": "boolean",                              # declarado, también acepta 1/0
})
# ColumnTypeError: 2 valores de la columna 'importe' no son números: 'pendiente' (línea 3, columna 2), 'n/d' (línea 4, columna 2). Solución: Corrige esos valores…
  • date falla si un valor tiene hora. Para eso está datetime.
  • Las columnas que no se declaran se infieren como siempre.
  • Declarar una columna que no existe es un MissingColumnsError.

Dejar vacío lo que no encaja

Cuando un valor que no encaja debe quedar vacío, se pide explícitamente:

df, report = read_with_report(file, columns={"importe": "float"}, errors="null")
report.column("importe").nulled       # cuántos se han vaciado

errors="null" solo afecta a las columnas declaradas: la inferencia nunca vacía nada.

El informe de lectura

read_with_report() devuelve, junto al DataFrame, un ReadReport. Con file.get_data() está en reader.report:

report.source, report.format, report.rows, report.blank_rows   # y sheet, range, encoding, separator
report.warnings                                                  # los avisos, como textos
col = report.column("importe")
col.source_ref       # dónde estaba en el fichero: la columna del CSV (3) o la letra de Excel (C)
col.kind             # el tipo con el que ha quedado
col.declared         # si venía de columns=
col.reason           # por qué se quedó como texto, si se quedó
col.nulls, col.nulled

print(report) lo resume en una tabla (ver el ejemplo). Los avisos (una cabecera repetida, una columna sin nombre) también salen en el log, en WARNING.