Actualizar a la 0.8.8¶
La 0.8.8 cambia qué escribe un upsert del cliente generado. Hasta la 0.8.7, upsert_many
decidía qué columnas actualizar con el primer registro de la lista y sin sus None, así que
dejaba columnas sin escribir sin dar ningún error. Arreglarlo cambia lo que hace una llamada que
antes funcionaba: por eso esta guía.
Trae además tres arreglos que no piden nada a tu código:
upsert_manyguarda hasheada una contraseña en una tabla sin otras columnas cifradas ni calculadas;upsertno escribe en el log los valores protegidos;tai-sql feedno reescribecreated_at/created_by.
El schema y el push no cambian.
Los pasos¶
pip install -U 'tai-sql==0.8.8'
tai-sql generate -s <schema> # por cada schema: el cliente generado es el que cambia
tai-sql rules install # las reglas del asistente, si las usas
Si otro proyecto lleva un cliente generado copiado (tai-api lleva el del schema auth),
regenéralo también. Después, revisa en tu código lo que dice cada apartado de abajo.
Lo que rompe¶
Un None que se pasa a un upsert se escribe como NULL¶
upsert, upsert_many, from_dataframe(mode='upsert') y t.upsert/t.upsert_many escriben
lo que se ha dicho al construir cada DTO:
| El campo… | Si la fila es nueva | Si la fila ya existía |
|---|---|---|
| se pasa con valor | ese valor | ese valor |
se pasa como None |
NULL | NULL (antes no se tocaba) |
| no se pasa | el default de la columna | no se toca (antes, a veces, el default del DTO) |
La excepción es una columna server_now: pasada como None cuenta como no pasada, porque es NOT
NULL y la pone la base de datos.
Antes, un None no se escribía nunca, y las columnas que upsert_many actualizaba salían del
primer registro: con fecha_baja=None en el primero, la fecha_baja de los demás no se
escribía. Un campo con default en el DTO que no se pasaba (libros_publicados = 0) se reescribía
con su default en cada carga; ya no.
Qué hacer: si construyes los DTO con todas las claves y None donde no hay dato, contando
con que no pise, quita esas claves:
o acota lo que se actualiza con update_columns (abajo).
from_dataframe(mode='upsert'): un NaN es un NULL¶
Cada columna del DataFrame se escribe en todas sus filas, y un NaN o un None es un NULL.
Antes no se escribía. Una columna que no está en el DataFrame no se toca, aunque
fill_missing_nullable=True la añada para validar.
Qué hacer: para no pisar una columna, quítala del DataFrame o usa update_columns.
Claves repetidas y anidados en upsert_many son un error¶
- Dos registros con la misma clave (
match_fields) en una llamada son unValueErrorantes de escribir nada. Antes, PostgreSQL fallaba si caían en la misma sentencia y, si no, ganaba el último en escribirse; MySQL se quedaba siempre con el último. - Un registro sin valor en alguna columna de
match_fieldses unValueError. - Un registro con filas anidadas es un
ValueError. Antes fallaba con un error de SQLAlchemy.
Qué hacer: quita los repetidos antes de llamar; las anidadas, con el DAO de su tabla o con
create_many().
Una contraseña no se reescribe en una fila que ya existe¶
Una columna hash=True se escribe al crear la fila y, si ya existía, solo si se nombra en
update_columns. Es la regla que ya seguía tai-sql feed: relanzar una carga con la contraseña
inicial devolvía a su valor de fábrica la que alguien ya había cambiado.
Qué hacer: para cambiar una contraseña, update() o upsert_many(..., update_columns=['password']).
La auditoría del upsert masivo es la de create() y update()¶
Sin triggers, upsert_many escribía created_by/updated_by con el default del schema y no
tocaba updated_at en una fila que ya existía. Ahora pone el usuario de username_context() al
insertar y actualiza updated_at/updated_by, como update(). created_* no cambia nunca en
una fila que ya existía.
Si de lo dicho no hay nada que actualizar, la fila queda como estaba, updated_at incluido.
Lo nuevo¶
update_columns¶
Un parámetro por nombre de upsert, upsert_many, from_dataframe(mode='upsert'), t.upsert
y t.upsert_many. Dice qué columnas se actualizan en las filas que ya existían, sin cambiar qué
se inserta en las nuevas:
dao.upsert_many(articulos, update_columns=['precio']) # en las existentes, solo el precio
dao.upsert_many(categorias, update_columns=[]) # crear lo que falte
dao.upsert_many(usuarios, update_columns=['password']) # reescribir también la contraseña
En un trigger, update_columns pasa a ser un nombre reservado de t.upsert, como
match_fields: una columna que se llamara así no se puede pasar como dato.
Ver Upsert.
Plantilla chatbot: la hora de cada valoración¶
Mensaje tiene feedback_timestamp (cuándo se valoró, o se cambió la valoración, por última
vez), y la vista valoracion la da; en las valoradas antes de existir la columna, la hora de la
respuesta. La plantilla solo la escriben los proyectos nuevos (tai-sql new-schema): en uno que
ya existe se añaden a mano la columna y la línea de la vista, y se hace push. Es lo que
necesita tai-chat feedback para sacar una respuesta antigua valorada después del último
informe.
Lo que se arregla sin cambiar tu código¶
upsert_manyguardaba la contraseña en claro en una tabla con una columnahash=Truey ninguna cifrada ni calculada: el paso que la hashea antes de escribir solo se generaba si había una de las otras dos. Si tienes una tabla así y has usadoupsert_many, las contraseñas que escribió están en claro:tai-sql hash-migrate -t <tabla> -c <columna>las hashea y deja como están las que ya eran un hash.upsertescribía en el log los valores protegidos (cifrados y hasheados, en claro, tal como llegaban). Ahora van enmascarados, como enupdate.upsert_manypisaba con NULL una columna cifrada opcional que el registro no traía.- Un lote que mezclaba filas con y sin una columna
server_nowfallaba entero por NOT NULL. - En MySQL,
upsert_manysin columnas que actualizar era unINSERTa secas, y la segunda carga fallaba por clave duplicada. Lo mismo entai-sql feed. tai-sql feedreescribíacreated_atycreated_byde todas las filas en cada ejecución.