Feature/integration cuenca catalana

functions/src/functions/scraping-functions.ts

@@ -11,13 +11,23 @@ export async function scrapingsFunction(
   const responseCuencaMediterranea =
     await embalsesRepository.actualizarCuencaMediterranea();
 
+  const responseCuencaCatalana = await embalsesRepository.actualizarCuencaCatalana();
+
   if (responseCuencaMediterranea) {
     context.log(`Se han actualizado los embalses de la cuenca Mediterránea`);
   } else {
     context.log(
       "No se han podido actualizar los embalses de la cuenca Mediterránea"
     );
   }
+
+  if (responseCuencaCatalana) {
+    context.log(`Se han actualizado los embalses de la cuenca Catalana`);
+  } else {
+    context.log(
+      "No se han podido actualizar los embalses de la cuenca Catalana"
+    );
+  }
   await dbServer.disconnect();
 }
 

integrations/scraping-cuenca-catalana/package.json

@@ -4,10 +4,16 @@
   "private": "true",
   "type": "module",
   "exports": {
-    ".": "./src/index.js"
+    ".": "./dist/index.js"
   },
+  "main": "./dist/index.js",
+  "types": "./dist/index.d.ts",
   "scripts": {
-    "start": "tsx --watch src/console-runner.ts"
+    "start": "tsx --watch src/console-runner.ts",
+    "build": "run-p clean type-check build:scraping-cuenca-catalana",
+    "build:scraping-cuenca-catalana": "tsc",
+    "clean": "rimraf dist",
+    "type-check": "tsc --noEmit --preserveWatchOutput"
   },
   "dependencies": {
     "db-model": "^1.0.0"

integrations/scraping-cuenca-catalana/src/api/cuenca.api.ts

@@ -1,6 +1,6 @@
 import axios from 'axios';
-import { EmbalseCatalanApi } from './cuenca.api-model';
-import { mapApiToEmbalses } from '../cuenca.mapper';
+import { EmbalseCatalanApi } from './cuenca.api-model.js';
+import { mapApiToEmbalses } from '../cuenca.mapper.js';
 import { EmbalseUpdateSAIHEntity } from 'db-model';
 
 /**

integrations/scraping-cuenca-catalana/src/api/index.ts

@@ -1 +1 @@
-export * from "./cuenca.api";
+export * from "./cuenca.api.js";

integrations/scraping-cuenca-catalana/src/console-runner.ts

@@ -1,6 +1,5 @@
-import { integracionCuencaCatalana } from "./integrations";
-import { URL } from "./integrations";
+import { integracionCuencaCatalana } from "./integrations.js";
 
 console.log("Estados de las Cuencas Catalanas:");
-const result = await integracionCuencaCatalana(URL);
+const result = await integracionCuencaCatalana();
 console.log(JSON.stringify(result, null, 2));

integrations/scraping-cuenca-catalana/src/cuenca.mapper.ts

@@ -1,6 +1,6 @@
-import { EmbalseCatalanApi } from './api/cuenca.api-model';
+import { EmbalseCatalanApi } from './api/cuenca.api-model.js';
 import { EmbalseUpdateSAIHEntity } from 'db-model';
-import { formatApiDate, formatVolumeToFixedTwo } from './business';
+import { formatApiDate, formatVolumeToFixedTwo } from './business.js';
 
 export function mapApiToEmbalses(
   apiData: Record<string, EmbalseCatalanApi>

integrations/scraping-cuenca-catalana/src/index.ts

@@ -1 +1 @@
-export * from "./integrations";
+export * from "./integrations.js";

integrations/scraping-cuenca-catalana/src/integrations.ts

@@ -1,10 +1,10 @@
 import { EmbalseUpdateSAIHEntity } from 'db-model';
-import { getCuencaCatalana } from './api';
+import { getCuencaCatalana } from './api/cuenca.api.js';
 
-export const URL =
+const URL =
   'https://aplicacions.aca.gencat.cat/aetr/vishid/v2/data/public/reservoir/capacity';
 
-export async function integracionCuencaCatalana(URL: string) {
+export async function integracionCuencaCatalana() {
   const embalses: EmbalseUpdateSAIHEntity[] = await getCuencaCatalana(URL);
   return embalses;
 }

integrations/scraping-cuenca-catalana/tsconfig.json

@@ -1,17 +1,16 @@
 {
   "compilerOptions": {
     "target": "ESNext",
-    "module": "ESNext",
-    "moduleResolution": "bundler",
+    "module": "nodenext",
+    "moduleResolution": "nodenext",
+    "outDir": "dist",
     "skipLibCheck": true,
     "isolatedModules": true,
     "esModuleInterop": true,
-    "baseUrl": "./",
-    "paths": {
-      "@/*": ["src/*"],
-      "@/api/*": ["src/api/*"],
-      "@/scraper/*": ["src/scraper/*"]
-    }
+    "verbatimModuleSyntax": false,
+    "declaration": true,
+    "baseUrl": "./"
   },
-  "include": ["src"]
+  "include": ["src/**/*"],
+  "exclude": ["dist", "node_modules"]
 }

packages/db/package.json

@@ -28,6 +28,7 @@
     "@types/prompts": "^2.4.9",
     "arcgis": "*",
     "prompts": "^2.4.2",
-    "scraping-cuenca-mediterranea": "*"
+    "scraping-cuenca-mediterranea": "*",
+    "scraping-cuenca-catalana": "*"
   }
 }

packages/db/src/dals/embalses/embalses.mappers.ts

@@ -34,3 +34,18 @@ export const mapperFromCuencasMediterraneaToArcgis = new Map<
   [379, { nombre: "Jarrama", idArcgis: 358 }],
   [380, { nombre: "Andévalo", idArcgis: 355 }],
 ]);
+
+// OJO Pasteral, Gaià, Siurana, Foix, Cavallers (no sale en el scraping)
+
+export const mapperFromCuencasCatalanaToArcgis = new Map<
+  number,
+  InfoDestinoArcgis
+>([
+  [171169001, { nombre: "Susqueda", idArcgis: 301 }],
+  [170600001, { nombre: "Boadella", idArcgis: 53 }],
+  [430537001, { nombre: "Riudecanyes", idArcgis: 259 }],
+  [83036001, { nombre: "Sau", idArcgis: 290 }],
+  [81419003, { nombre: "La Llosa del Cavall", idArcgis: 178 }],
+  [82687001, { nombre: "La Baells", idArcgis: 36 }],
+  [250753004, { nombre: "Sant Pons", idArcgis: 280 }],
+]);

packages/db/src/dals/embalses/embalses.repository.ts

@@ -1,7 +1,8 @@
 import { scrapeSeedEmbalses } from "arcgis";
 import { getEmbalsesContext } from "./embalses.context.js";
-import { mapperFromCuencasMediterraneaToArcgis } from "./embalses.mappers.js";
+import { mapperFromCuencasMediterraneaToArcgis, mapperFromCuencasCatalanaToArcgis } from "./embalses.mappers.js";
 import { scrapeCuencaMediterranea } from "scraping-cuenca-mediterranea";
+import { integracionCuencaCatalana } from 'scraping-cuenca-catalana';
 import { parseDate } from "./embalses.helpers.js";
 
 export const embalsesRepository = {
@@ -72,4 +73,57 @@ export const embalsesRepository = {
 
     return actualizados > 0;
   },
+  actualizarCuencaCatalana: async (): Promise<boolean> => {
+    const embalsesCatalana = await integracionCuencaCatalana();
+
+    console.log(
+      `Se han scrapeado ${embalsesCatalana.length} embalses de la Cuenca Catalana`
+    );
+
+    let actualizados = 0;
+    let noEncontrados = 0;
+    let sinMapper = 0;
+
+    for (const embalse of embalsesCatalana) {
+      const infoDestino = mapperFromCuencasCatalanaToArcgis.get(embalse.id);
+
+      if (!infoDestino) {
+        sinMapper++;
+        console.warn(`Sin mapper para ID ${embalse.id} - ${embalse.nombre}`);
+        continue;
+      }
+
+      console.log(
+        `🔍 Mapeando: ID scraping ${embalse.id} -> _id BD ${infoDestino.idArcgis} (${infoDestino.nombre})`
+      );
+
+      const { matchedCount } = await getEmbalsesContext().updateOne(
+        { _id: infoDestino.idArcgis.toString() },
+        {
+          $set: {
+            aguaActualSAIH: embalse.aguaActualSAIH,
+            fechaMedidaAguaActualSAIH: parseDate(embalse.fechaMedidaSAIH),
+          },
+        }
+      );
+
+      if (matchedCount > 0) {
+        actualizados++;
+        console.log(
+          `Actualizado: ${infoDestino.nombre} (_id: ${infoDestino.idArcgis}) -> ${embalse.aguaActualSAIH} hm³`
+        );
+      } else {
+        noEncontrados++;
+        console.warn(
+          `No encontrado en BD: _id ${infoDestino.idArcgis} - ${infoDestino.nombre}`
+        );
+      }
+    }
+
+    console.log(
+      `Resumen Cuenca Catalana: ${actualizados} actualizados, ${noEncontrados} no encontrados, ${sinMapper} sin mapper`
+    );
+
+    return actualizados > 0;
+  }
 };