Saltar a contenido

Actualizar a la 0.8.8

La 0.8.8 cambia qué escribe un upsert del cliente generado. Hasta la 0.8.7, upsert_many decidía qué columnas actualizar con el primer registro de la lista y sin sus None, así que dejaba columnas sin escribir sin dar ningún error. Arreglarlo cambia lo que hace una llamada que antes funcionaba: por eso esta guía.

Trae además tres arreglos que no piden nada a tu código:

  • upsert_many guarda hasheada una contraseña en una tabla sin otras columnas cifradas ni calculadas;
  • upsert no escribe en el log los valores protegidos;
  • tai-sql feed no reescribe created_at/created_by.

El schema y el push no cambian.

Los pasos

pip install -U 'tai-sql==0.8.8'
tai-sql generate -s <schema>      # por cada schema: el cliente generado es el que cambia
tai-sql rules install             # las reglas del asistente, si las usas

Si otro proyecto lleva un cliente generado copiado (tai-api lleva el del schema auth), regenéralo también. Después, revisa en tu código lo que dice cada apartado de abajo.

Lo que rompe

Un None que se pasa a un upsert se escribe como NULL

upsert, upsert_many, from_dataframe(mode='upsert') y t.upsert/t.upsert_many escriben lo que se ha dicho al construir cada DTO:

El campo… Si la fila es nueva Si la fila ya existía
se pasa con valor ese valor ese valor
se pasa como None NULL NULL (antes no se tocaba)
no se pasa el default de la columna no se toca (antes, a veces, el default del DTO)

La excepción es una columna server_now: pasada como None cuenta como no pasada, porque es NOT NULL y la pone la base de datos.

Antes, un None no se escribía nunca, y las columnas que upsert_many actualizaba salían del primer registro: con fecha_baja=None en el primero, la fecha_baja de los demás no se escribía. Un campo con default en el DTO que no se pasaba (libros_publicados = 0) se reescribía con su default en cada carga; ya no.

Qué hacer: si construyes los DTO con todas las claves y None donde no hay dato, contando con que no pise, quita esas claves:

UsuarioCreate(**{k: v for k, v in fila.items() if v is not None})

o acota lo que se actualiza con update_columns (abajo).

from_dataframe(mode='upsert'): un NaN es un NULL

Cada columna del DataFrame se escribe en todas sus filas, y un NaN o un None es un NULL. Antes no se escribía. Una columna que no está en el DataFrame no se toca, aunque fill_missing_nullable=True la añada para validar.

Qué hacer: para no pisar una columna, quítala del DataFrame o usa update_columns.

Claves repetidas y anidados en upsert_many son un error

  • Dos registros con la misma clave (match_fields) en una llamada son un ValueError antes de escribir nada. Antes, PostgreSQL fallaba si caían en la misma sentencia y, si no, ganaba el último en escribirse; MySQL se quedaba siempre con el último.
  • Un registro sin valor en alguna columna de match_fields es un ValueError.
  • Un registro con filas anidadas es un ValueError. Antes fallaba con un error de SQLAlchemy.

Qué hacer: quita los repetidos antes de llamar; las anidadas, con el DAO de su tabla o con create_many().

Una contraseña no se reescribe en una fila que ya existe

Una columna hash=True se escribe al crear la fila y, si ya existía, solo si se nombra en update_columns. Es la regla que ya seguía tai-sql feed: relanzar una carga con la contraseña inicial devolvía a su valor de fábrica la que alguien ya había cambiado.

Qué hacer: para cambiar una contraseña, update() o upsert_many(..., update_columns=['password']).

La auditoría del upsert masivo es la de create() y update()

Sin triggers, upsert_many escribía created_by/updated_by con el default del schema y no tocaba updated_at en una fila que ya existía. Ahora pone el usuario de username_context() al insertar y actualiza updated_at/updated_by, como update(). created_* no cambia nunca en una fila que ya existía.

Si de lo dicho no hay nada que actualizar, la fila queda como estaba, updated_at incluido.

Lo nuevo

update_columns

Un parámetro por nombre de upsert, upsert_many, from_dataframe(mode='upsert'), t.upsert y t.upsert_many. Dice qué columnas se actualizan en las filas que ya existían, sin cambiar qué se inserta en las nuevas:

dao.upsert_many(articulos, update_columns=['precio'])     # en las existentes, solo el precio
dao.upsert_many(categorias, update_columns=[])            # crear lo que falte
dao.upsert_many(usuarios, update_columns=['password'])    # reescribir también la contraseña

En un trigger, update_columns pasa a ser un nombre reservado de t.upsert, como match_fields: una columna que se llamara así no se puede pasar como dato.

Ver Upsert.

Plantilla chatbot: la hora de cada valoración

Mensaje tiene feedback_timestamp (cuándo se valoró, o se cambió la valoración, por última vez), y la vista valoracion la da; en las valoradas antes de existir la columna, la hora de la respuesta. La plantilla solo la escriben los proyectos nuevos (tai-sql new-schema): en uno que ya existe se añaden a mano la columna y la línea de la vista, y se hace push. Es lo que necesita tai-chat feedback para sacar una respuesta antigua valorada después del último informe.

Lo que se arregla sin cambiar tu código

  • upsert_many guardaba la contraseña en claro en una tabla con una columna hash=True y ninguna cifrada ni calculada: el paso que la hashea antes de escribir solo se generaba si había una de las otras dos. Si tienes una tabla así y has usado upsert_many, las contraseñas que escribió están en claro: tai-sql hash-migrate -t <tabla> -c <columna> las hashea y deja como están las que ya eran un hash.
  • upsert escribía en el log los valores protegidos (cifrados y hasheados, en claro, tal como llegaban). Ahora van enmascarados, como en update.
  • upsert_many pisaba con NULL una columna cifrada opcional que el registro no traía.
  • Un lote que mezclaba filas con y sin una columna server_now fallaba entero por NOT NULL.
  • En MySQL, upsert_many sin columnas que actualizar era un INSERT a secas, y la segunda carga fallaba por clave duplicada. Lo mismo en tai-sql feed.
  • tai-sql feed reescribía created_at y created_by de todas las filas en cada ejecución.