Introduce Liquibase changeset 005 for IAM schema v2: CRUD permission codes,
tenant-scoped roles with system tenant_admin, role_permissions by role_id,
user scope fields and user_projects, RLS policies, and full RPC suite for
roles and users. Add core changeset 031 for technical project document types.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
- Añade cost_modules_test.ts con CRUD de gastos, almacén, control presupuestal e IAM
- Amplía crud-smoke-test.sh para cubrir todos los endpoints HTTP nuevos
- Corrige migración IAM: grants de core.rpc_* movidos a changeset core-027
- Corrige ambigüedad PL/pgSQL en _cost_settings que rompía fn_expense_create
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Implementa el módulo integral de costos según el plan acordado:
- Esquema Liquibase: expense_entries, almacén (central + obra), IVA,
tenant_cost_settings, permisos IAM y RLS
- Funciones RPC core: gastos, almacén, control presupuestal, sync nómina,
cierre de almacén al concluir proyecto
- API HTTP: expenses_http, warehouse_http, cost_control_http, iam_http
- Middleware requirePermission con matriz IAM
- UI web-panel: /gastos, /almacen, /control-presupuesto, /usuarios
- Componentes BudgetItemPicker, CostSemaphore y semáforos CSS
- Smoke tests extendidos para gastos/almacén/control
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
<!-- CURSOR_AGENT_PR_BODY_BEGIN -->
## Resumen
Sustituye SQLite por **PostgreSQL** (2 bases: `panels_platform` + `panels_product` / esquemas `iam` y `core`), **Redis** (sesiones y cache) y **Cloudflare R2** para archivos. Validado en Coolify: Liquibase en el job `migrate`, API healthy, login SaaS tras `bootstrap-admin.ts platform`.
## Qué entra
- Changelogs Liquibase Postgres, roles `_owner` / `_app`, RLS por `tenant_id`.
- API Deno con postgres.js + Redis; sin FFI SQLite ni JRE en la imagen de tráfico.
- `docker-compose.yml` de Coolify: `migrate` (one-shot, `!dev`) → `api` → `web-panel` / `web-saas`. Overlay local en `overlays/compose.local.yml` (no mezclar en Coolify).
- `migrate` y `api` unidos a la red `coolify` para resolver UUIDs internos de Postgres/Redis.
- R2: ListObjects (no HeadBucket); Deno `--allow-sys` para el SDK AWS.
## Coolify / ops (no olvidar)
- Compose **solo** `docker-compose.yml`. Hosts = URL **internal**, no CONTAINER ID.
- 6 `DATABASE_URL_*` + 2 `REDIS_URL_*` expandidas; `DOCS_KEY` 64 hex; `SESSION_SECRET`; `S3_*`; `DENO_ENV=production`.
- Primer admin SaaS: `docker exec` → `bootstrap-admin.ts platform`. Usuario `admin` / `SEED_PASSWORD`. No se crea en cada boot.
## Cómo probar
- `/v1/health` con core, platform, redis y `storage.backend: "s3"`.
- Login SaaS `admin` + `SEED_PASSWORD` tras el bootstrap.
Base: `main`.
<!-- CURSOR_AGENT_PR_BODY_END -->
<div><a href="https://cursor.com/agents/bc-556d1a5c-47ed-4a0b-bd66-06f84a8f41e1?cursor_ref=pr_footer&cursor_cta=open_in_web"><picture><source media="(prefers-color-scheme: dark)" srcset="https://cursor.com/assets/images/open-in-web-dark.png"><source media="(prefers-color-scheme: light)" srcset="https://cursor.com/assets/images/open-in-web-light.png"><img alt="Open in Web" width="114" height="28" src="https://cursor.com/assets/images/open-in-web-dark.png"></picture></a> <a href="https://cursor.com/background-agent?bcId=bc-556d1a5c-47ed-4a0b-bd66-06f84a8f41e1&cursor_ref=pr_footer&cursor_cta=open_in_cursor"><picture><source media="(prefers-color-scheme: dark)" srcset="https://cursor.com/assets/images/open-in-cursor-dark.png"><source media="(prefers-color-scheme: light)" srcset="https://cursor.com/assets/images/open-in-cursor-light.png"><img alt="Open in Cursor" width="131" height="28" src="https://cursor.com/assets/images/open-in-cursor-dark.png"></picture></a> </div>
El cliente S3 lee osRelease; sin --allow-sys el ping a R2 falla
con NotCapable aunque endpoint y bucket estén bien.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Cloudflare R2 suele devolver 403 en HeadBucket con token acotado
al bucket, y eso tumba el fail-fast de arranque. El ping ahora
lista o escribe una sonda y registra el error S3.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Tras Liquibase, Coolify marca api unhealthy si el fail-fast tira
antes de Deno.serve. Los logs ahora dicen qué ping falló.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
El host qzegekm3sr2bevgxl4wh4th2 es el UUID interno de Postgres;
solo resuelve en esa red. Sin ella Liquibase lanza UnknownHostException.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Coolify no imprime stdout de Liquibase; el job migrate seguía
saliendo 1 por DNS. Preflight deja el host JDBC en los logs del
contenedor y corta si parece un ID de 12 caracteres.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Coolify Reload Compose mezclaba docker-compose.local.yml y marcaba
PLATFORM_*_PASSWORD / IAM_* / CORE_* / *_REDIS_PASSWORD como Required.
Esas variables son solo para provision local; en Coolify van las URLs.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Liquibase falla con UnknownHostException si DATABASE_URL usa el
CONTAINER ID (p. ej. c72dde7d6b47) en lugar del hostname de Postgres URL (internal).
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Coolify usa docker-compose.yml: migrate aplica schema (!dev) y la API
espera a que termine. Postgres/Redis locales quedan en docker-compose.local.yml.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
El SDK de AWS v3 manda checksums CRC32 que R2 no acepta; se calculan
solo cuando el API lo exige. Docs y .env.example apuntan a R2.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Scripts create-accesses / verify-connectivity para un Postgres+Redis+bucket
por ambiente. /v1/health y el arranque de la API incluyen sonda de storage.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Fase 5 (migracion de datos):
- api/scripts/migrate-sqlite-to-postgres.ts: ETL unico SQLite -> Postgres.
Pre-flight (CURP/RFC duplicados case-insensitive, FKs huerfanas,
tenant_id invalido, fechas mal formateadas) -> carga por base/esquema
con credenciales _owner (setval de secuencias, OVERRIDING SYSTEM VALUE,
ON CONFLICT DO NOTHING idempotente) -> verificacion de conteos y sumas
de dinero con tolerancia. Probado end-to-end contra un dataset SQLite
legacy sintetico y un Postgres limpio (solo schema+catalogos, sin
contexto dev): 100% de las filas migradas, sumas de dinero exactas,
snapshot de uploaded_by/created_by resuelto correctamente.
- db/RUNBOOK-corte.md: checklist go/no-go para el corte por ambiente.
- Fix de bug real encontrado al probar: sin --context-filter explicito,
Liquibase corre TAMBIEN los changesets context=dev (comportamiento por
defecto, no "modo seguro") -- documentado en db/README.md con el
ejemplo correcto (--context-filter='!dev' para staging/produccion).
Fase 5b: patron de compensacion para createTenant ya resuelto en el
rewrite de saas.ts (fase 3/4).
Fase 6 (backups): db/backups/ con plantillas pgBackRest por base,
politica de retencion, nota de persistencia minima de Redis (RDB, sin
retencion de negocio), checklist de simulacro de restauracion mensual,
y la validacion pendiente de si Coolify permite WAL archiving antes de
comprometerse a PITR real.
Fase 7 (limpieza y CI):
- Dockerfile.api simplificado (sin JRE/Liquibase/FFI). Dockerfile.migrate
y Dockerfile.provision nuevos, de un solo uso, para el paso explicito
de deploy (nunca sirven trafico).
- docker-compose.yml: postgres+redis+provision+migrate para dev local
end-to-end; api ya no arranca hasta que migrate termina bien.
- docs/coolify.md y .env.example actualizados al modelo de 2 bases +
Redis + Contabo.
- api/schema.sql eliminado (desincronizado, competia con Liquibase como
fuente de verdad).
- .github/workflows/ci.yml: Postgres+Redis de servicio, aprovisiona
roles/ACLs, dry-run de Liquibase (updateSQL) antes de aplicar,
verify-isolation.sh, deno check + deno test, build de los dos frontends.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
Fase 2 (driver):
- api/pg.ts: adaptador delgado sobre postgres.js (prepare/get/all/run,
placeholders ? -> $n, withTenant con set_config para RLS), con parsers
de tipo custom (numeric/date/timestamp(tz)/bigint) para que el resto
del codigo heredado de SQLite (fechas/montos como string, ids como
number) siga funcionando sin reescribir cada call-site a mano.
- api/platform_db.ts, api/iam_db.ts (nuevo), api/db.ts: pools separados
por base/esquema (panels_platform, panels_product.iam,
panels_product.core), owner pool para bootstrap/scripts/lookups
administrativos que cruzan tenant a proposito.
- api/redis.ts: clientes iam/core separados (ACL panels_iam_redis /
panels_core_redis).
- api/sessions.ts + auth.ts: sesiones ahora en Redis (cookie = id opaco,
no HMAC autocontenido); revocacion real (logout, cambio de password).
- api/storage.ts (Fase 4c): documentos/PDFs via Contabo Object Storage
(S3), con fallback a disco local si no hay credenciales S3 (dev).
- api/scope.ts: middleware withCoreScope/requireCoreAuth que abre la
transaccion con app.tenant_id fijado (RLS) para cada request.
- api/cache.ts (Fase 4e): cache Redis con tenant_id obligatorio en la
llave; aplicado a /v1/catalogs.
Fase 3 (reescritura SQL, ~80 endpoints en main.ts/companies.ts/budget.ts/
payroll.ts/payroll_http.ts/excel.ts/saas.ts/smtp.ts):
- Todo async/await, sintaxis Postgres (COALESCE, ~ regex, ON CONFLICT,
now()/current_date, booleanos reales, RETURNING via lastInsertId()).
- IDOR cross-tenant cerrado: GET/PATCH /v1/projects/:id, /v1/workers/:id
ya no dependen de que el handler recuerde el WHERE tenant_id -- Row
Level Security lo hace estructuralmente (verificado con un segundo
tenant real: 404 en vez de fuga de datos).
- API key ya no ve todos los tenants: ahora exige X-Tenant-Id explicito.
Fase 3b (tests): api/test_helpers.ts corre cada test en una transaccion
que siempre se revierte, contra el mismo baseline de Liquibase que
produccion (ya no un esquema SQLite escrito a mano). payroll_test.ts
reescrito con fixtures reales; 11/11 pasan contra Postgres.
Fase 4 (IAM/RBAC): iam.roles/permissions/role_permissions formalizados
(ver db/iam ya en fase 1); uploaded_by/created_by ahora son snapshot
desnormalizado (uploaded_by_id/name); seed() en runtime eliminado,
reemplazado por scripts/bootstrap-admin.ts (one-shot).
Fase 4d (zona horaria): nuevo endpoint /v1/configuracion (GET/PUT),
PAYROLL_TZ hardcodeado reemplazado por tenant_settings.timezone,
document_validity.ts ya no usa new Date() crudo.
Verificado end-to-end contra Postgres+Redis reales: login, sesiones,
catalogos con cache, alta de trabajador, subida/descarga de documento
cifrado, y el fix de IDOR probado con un segundo tenant real (403/404
en vez de fuga de datos).
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
- Fase 0: scripts de aprovisionamiento (db/provision/) para roles, dos
bases de datos separadas (panels_platform / panels_product con
esquemas iam+core) y ACLs de Redis por modulo, con verificacion
automatizada de aislamiento (verify-isolation.sh) y setup local
reproducible (dev-local.sh).
- Fase 1: changelogs de Liquibase reescritos para Postgres
(db/platform, db/iam, db/core reemplazan db/app + los changesets
SQLite de platform). Baseline como estado final (no replay literal),
tipos traducidos (IDENTITY, TIMESTAMPTZ/DATE, NUMERIC, BOOLEAN,
CITEXT), contexts dev vs. schema/catalogos, RLS por tenant_id como
defensa en profundidad, uploaded_by/created_by como snapshot
desnormalizado (sin FK hacia iam).
- Migraciones ya no corren en el arranque de la API: paso explicito de
deploy via db/update.sh con credenciales _owner.
Verificado end-to-end contra Postgres 16 + Redis local.
Co-authored-by: alberto.martinez <alberto.martinez@mrdev.mx>
