vreau-digital/services/seap-scraper/STRATEGIC-PLAN.md

Strategic plan — vreaudigital.ro firms+procurement DB

Sintetizat 2026-05-08 din 9 research agents paraleli.

Acest document e plan de implementare pentru extinderea bazei de date de la "firmă + financiale + SEAP + ANAF" (curent live) la "cea mai completă bază publică pentru analize, investigații, urbanism, transparență, competitivitate".

Stare curentă (recap)

Asset	Coverage
firms.entities	3.97M firme RO (ONRC bulk + ANAF v9)
firms.financials	3.86M records WEB_UU + 250K WEB_BL_BS_SL (5 ani)
firms.financials_ong	250-300K NGO firm-years (în populare)
firms.financials_banks	~100 bank firm-years (în populare)
firms.reprezentanti_if	122,956 reprezentanți întreprinderi familiale
firms.sucursale_ue	235 sucursale RO în 20 state UE
GIS lat/lng	70.5% (postal+UAT) + Photon overnight la housenumber
seap.announcements	642K contracte SEAP/TED/datagov
Cron timers	daily ANAF, weekly ONRC, nightly MV refresh

Cele 4 join-uri unice anti-corupție (CEL MAI MARE UNLOCK)

Combinația de 4 surse adăugate peste ce avem dă vreaudigital.ro un poziționare unică în RO civic-tech — niciun alt proiect (Demoanaf, Banipartide, Expert Forum, Funky Citizens) nu le are pe toate 4 împreună:

1. ANI declarații avere/interese × SEAP — "ce oficial deține firme care au câștigat contracte?" — federated PDF crawl per instituție
2. AEP donații politice × SEAP — "ai donat partidului X, ai luat contractul Y" — XLS per partid prin finantarepartide.ro
3. ANPC sancțiuni consumatori × SEAP — "furnizor amendat care vinde la stat" — WP REST API verified working
4. EU funds (SMIS/AFIR/FTS) × SEAP — "double-dippers" UE + national — data.gov.ro CKAN bulk

Plus killer feature urbanism: E-PRTR polluters × SEAP — "poluatori care vând la stat" prin EEA bulk download.

---

TIER 1 — Quick wins (1-2 zile total per item)

Ordinea = impact × ușurință. Toate au format bulk + license deschisă.

A. INS Tempo per-UAT (gov2-ro/tempo-ins-dump) — IMPACT MAXIM

• Repo deja construit cu 3,706 Parquet files, FastAPI + DuckDB
• Pull populație, salariu mediu, șomaj, învățământ per UAT × an
• Killer use: color the map with population/income/education metrics
• 1 zi — clone + adapt pentru PG ingest

B. Recensământ 2021 per UAT

• XLSX direct de la recensamantromania.ro (rezultate definitive)
• Etnie, educație, locuințe, vârstă per UAT
• Combinat cu A → "spending pe școli vs % populație <18 ani"
• 1 zi

C. ANI declarații (gov2-ro/declaratii-integritate)

• Existing scraper, deja popolat
• Per oficial: shareholdings + administrator positions + salarii
• Activates anti-corruption join #1
• 1-2 zile pentru integrare

D. ANPC sancțiuni (WP REST API)

• https://anpc.ro/wp-json/wp/v2/posts?search=...&per_page=100&page=N
• Verified working — JSON paginated
• Regex extract S.R.L./S.A. names → fuzzy match la firms.entities
• Activates join #3
• 2 zile

E. AFIR FEGA/FEADR beneficiari (CAP funds per CUI)

• XLSX per an la afir.ro/rapoarte/beneficiari-de-fonduri-europene/
• 600K+ ferme/agri-firme/an
• 1 zi

F. EU FTS (Financial Transparency System)

• 18 annual XLSX, filter Country=Romania
• Horizon, LIFE, Erasmus+, CEF beneficiaries
• Match by name (no CUI) — fuzzy
• Activates join #4
• 1 zi

G. CORDIS Horizon EU R&D

• CSV bulk separat organization.csv cu filter country=RO
• ~2.5K RO orgs, <50MB
• Signal "real R&D player"
• 1 zi

H. EEA E-PRTR (poluatori facility-level)

• MS Access + CSV bulk de la eea.europa.eu
• ~700 RO facilități cu CUI (NationalID field)
• Activates "polluter ↔ public money" killer story
• 1 zi

I. EEA Natura 2000 + SEVESO shapefile

• ~600 RO Natura sites + ~280 SEVESO amplasamente
• Geo overlay cu firms — "construcții în zone protejate"
• 1 zi

J. Industrial parks (MDLPA)

• 100 parks, 1518 operatori, 76K angajați
• HTML table → CSV → geocode
• Map vizual instant
• 0.5 zi

K. ONRC missing CSVs (REPREZENTANTI_IF + SUCURSALE_UE)

• ✅ DONE 2026-05-08

L. WEB_BL_BS_SL financials

• ✅ DONE 2026-05-08 (5 ani, ~250K records)

M. ONG + bank financials separate tables

• ✅ în populare 2026-05-08 (~300K total)

N. Geocoding postal + UAT centroid + Photon

• ✅ DONE postal/UAT
• ✅ Photon JAR running, 70%+ housenumber overnight

---

TIER 2 — Medium effort (3-7 zile per item)

O. ANI declarații federated crawler (per-instituție)

• Per-instituție config (URL pattern, PDF list selector)
• Start: Parlament + 41 Consilii Județene + top 100 primării
• Camelot/pdfplumber pentru tabele declarații
• 1-2 săptămâni
• Datasetul cel mai valoros pentru transparency — bridges officials → firms

P. AEP financing parser

• finantarepartide.ro XLS per partid-an
• Donori >25K RON itemized
• 1 săptămână
• Activates join #2

Q. Code4Romania romanian-elections-data

• Direct git ingest, BEC results per polling station back to 1992
• 1 zi setup, then incremental
• "Candidat X câștigat Sector 3 → Mayor X semnat contract Y la 60 zile"

R. data.gov.ro proiecte-contractate (fonduri EU 2014-2024)

• 114 XLSX per OP × snapshot, 108MB total
• Dedup by latest snapshot per OP
• 1 zi

S. CKAN poller generic (data.gov.ro)

• Walks package_search?q=* paginated
• Daily cron, dedup by (dataset_id, resource_id, mtime)
• Unblocks ~150 datasets care touch firms
• 1 zi

T. SITUR — turism (cazare, agenții, ghizi, pârtii)

• 4 datasets, refresh zilnic, ~30K cazare + 3K agenții
• 1 zi

U. ANSVSA — registre sanitar-veterinar per județ

• 42 județe × multiple categorii → CUI per autorizație food sector
• 1 săptămână (county aggregation)

V. License registries scrape (ANRE, ANCOM, ASF, ANRSC, etc.)

• Per regulator: tabel paginat HTML
• ~50K firme cu flag "licență X"
• 3-5 zile

W. EBRD + EIB + IFC project lists

• 3 separate CSV/HTML scrapes
• ~500 RO projects total cu nume + sumă
• Fuzzy match name → CUI
• 2 zile

X. EUIPO Trademark API (RO TM holders)

• REST JSON + sandbox
• Filter applicant country=RO
• 1-2 zile

Y. ANOFM vacancies (real-time labor demand)

• 5-day legal disclosure → ~8K vacancies live
• Daily snapshot + diff
• 1 săptămână

Z. SEVESO XLSX consolidat per județ ANPM

• 42 PDFs/XLSX → consolidat
• 2 zile

AA. ANRE licențe scrape (centrale regenerabile)

• Singurul registru centralizat producători energie
• ~5000 entries
• 1-2 zile

BB. CNCD discrimination decisions

• 14K decisions HTML+PDF
• Sancțiuni angajatori
• 3 zile

CC. ASF sancțiuni (PDF per decision)

• ~500/an
• 2 zile

DD. ANSPDCP GDPR fines

• WP REST sau scrape
• 2 zile

EE. INS Tempo dump (gov2-ro existing)

• (Deja în Tier 1 dar reluat: 1700 indicatori, integrare instantă)

FF. ANP penitenciare (statistici lunare)

• 34 unități, locații publice, populații
• 1 zi

GG. UEFISCDI BrainMap + ERRIS

• 17K cercetători + 1.4K research infrastructures
• PDF lists per call PCE/PD/TE
• 1 săptămână (PDF heavy)

HH. GTFS feeds (TPBI + Tranzy.app)

• VERDE — București + Cluj + Iași + Timișoara + Botoșani
• Live transit overlay 20s refresh
• 1 zi

II. ANRSC operatori apă-canal/salubrizare per UAT

• HTML scrape per județ
• 3 zile

JJ. CFR + drumuri OSM

• Filter PBF Romania pentru railway/highway
• 1 zi

KK. CIMEC muzee + RAN situri arheologice

• 840 muzee + 25K situri
• 2 zile

LL. portal.just.ro instanțe locații

• Lista completă scrape + geocodare
• 1 zi

---

TIER 3 — Heavy effort (1+ săptămâni) sau valoare scăzută

MM. HCL POC (top UATs)

• Cluj-Napoca + 3 sectoare București + Timișoara + Iași
• PDF OCR + Tesseract + unstructured layout
• 80h per pattern
• Total 4-6 săptămâni pentru POC
• Justified pentru "Mayor approves contract for connected firm" thesis

NN. cdep.ro voting + legislative pipeline

• Fork cristian-sima/cdep-live
• 4 săptămâni pentru ingest complet
• "Cine a votat ce" — payoff analitic mare

OO. Curtea de Conturi PDF crawl

• 14K rapoarte audit IDs sequential
• OCR + LLM extraction
• 3-5 zile minimum
• Defer until use case clarifies

PP. CNSC contestații

• 16K decizii PDF
• Heavy parsing
• 1 săptămână

QQ. SUMAL wood traceability

• Per-firm flow data NOT bulk public (police-controlled)
• Defer until MMAP publishes 2025 transparency datasets

RR. portal.just.ro ECRIS per-CUI scrape

• ~3h batch pentru top 50K firme cu SEAP
• Dossier metadata only (no decision text)
• 2 zile coding

SS. ROLII / REJUST per-CUI

• ❌ ROLII mort 2022, REJUST anonimizat — IMPOSSIBLE
• Skip

TT. BPI insolvency

• ❌ Paywalled (~$30K/year subscription via ONRC RECOM)
• Skip until commercial deal

UU. ONRC UBO registry

• ❌ Paywall + e-signature per query
• Use rep_legali (administrators) ca proxy

VV. ONRC puncte de lucru

• ❌ Nu există bulk
• Cerere oficială Lege 544/2001 (incertă)

WW. ANAF Inactivi/Lista Albă/Datornici

• ❌ Captcha pe TOATE 3 (verified 2026-05-08)
• Skip until OCR captcha service justificat

XX. portal.just.ro decision text per case

• Există dossier metadata, dar text decizii anonimizat
• Skip

YY. DGAF / DNA / Vamă per-firmă

• Doar agregate sau prose press releases
• Defer (LLM extraction cost-benefit incert)

ZZ. RoTLD .ro domains per CUI

• WHOIS redactat persoane fizice; PJ vizibile dar nu bulk
• Multi-week scrape, semnal slab
• Skip

---

Roadmap recomandat 4 săptămâni

Săptămâna 1 — backbone macro + 2 corruption joins

1. INS Tempo dump (gov2-ro/tempo-ins-dump) — A
2. Recensământ 2021 — B
3. ANI declarații (gov2-ro existing) — C
4. ANPC sancțiuni WP REST — D
5. EEA E-PRTR + SEVESO — H, I, Z (combinate)
6. AFIR + FTS + CORDIS — E, F, G

Săptămâna 2 — Photon optimization + license registries

1. Photon address-bias optimization (improve housenumber rate)
2. ANRE energie + ANCOM telecom + ASF + ANRSC scrape — V
3. Industrial parks MDLPA — J
4. SITUR turism — T
5. EUIPO trademark API — X

Săptămâna 3 — investigative joins

1. AEP donații politice (finantarepartide.ro) — P
2. EBRD/EIB/IFC project lists — W
3. data.gov.ro proiecte-contractate (fonduri EU) — R
4. CKAN poller generic — S
5. ANSVSA food sector — U

Săptămâna 4 — civic + transit overlay

1. Code4Romania romanian-elections-data ingest — Q
2. cdep.ro voting (fork cdep-live) — NN
3. GTFS feeds — HH
4. UEFISCDI BrainMap+ERRIS — GG
5. ANI federated crawler MVP (Cluj + 4 București sectoare) — O

Săptămâna 5+ — long tail

• ANRE renewable producers
• ANP penitenciare
• CIMEC muzee
• portal.just.ro instanțe + ECRIS
• HCL POC (Cluj + 4 sectoare București)
• CNCD/ASF/ANSPDCP sanctions

Structură DB nouă (propusă)

Adoptăm convention: nou schema per categorie majoră, table per source.

firms.*           — DEJA: entities, financials, financials_ong, financials_banks,
                            reprezentanti_if, sucursale_ue, postal_codes
seap.*            — DEJA: announcements + 9 MVs
external.*        — NOU: tabele per dataset CKAN (fonduri EU, AFIR, etc.)
ani.*             — NOU: declaratii_avere, declaratii_interese, oficiali
political.*       — NOU: donatii, partide, candidati, alegeri
sanctions.*       — NOU: anpc, cncd, asf, anspdcp, consiliul_concurentei
licenses.*        — NOU: anre, ancom, ansvsa, anrsc, anmdmr, etc. (per regulator)
research.*        — NOU: cordis, uefiscdi, brainmap, erris, euipo
fonduri.*         — NOU: smis, fts, afir, ebrd, eib, ifc
geo.*             — NOU: osm_*, anp_penitenciare, cimec_muzee, lmi, parcuri_industriale
env.*             — NOU: eprtr, seveso, natura2000, calitateaer
demografic.*      — NOU: tempo_*, recensamant_*
transit.*         — NOU: gtfs_* per oraș

Fiecare tabelă păstrează source + fetched_at + foreign key implicit pe cui (text) sau siruta (text) sau geom (PostGIS) către firms/seap.

Composite "real player" score

După Săptămâna 1+2, putem calcula un scor per firmă:

real_player_score = 
  (anaf_active_vat ? 1 : 0) * 1.0 +
  (financials_filed_recent ? 1 : 0) * 1.5 +
  (seap_contracts_count > 0 ? 1 : 0) * 1.0 +
  (afir_beneficiar ? 1 : 0) * 1.0 +
  (ebrd_eib_ifc_borrower ? 1 : 0) * 2.0 +
  (cordis_participant ? 1 : 0) * 1.5 +
  (euipo_trademark_holder ? 1 : 0) * 0.5 +
  (any_regulator_license ? 1 : 0) * 1.0 +
  (anofm_recent_vacancies ? 1 : 0) * 1.0

Score 0 = paper company / dormant (justified red flag for procurement audit). Score >5 = real economic player.

"Pollue ↔ Public Money" — first killer story

Combo Săptămâna 1:

1. EEA E-PRTR loaded (~700 RO facilities cu CUI + emisii)
2. JOIN seap.announcements pe supplier_cui
3. Output: "Top 50 polluters care au câștigat >X RON contracte publice"
4. Per facility: link la profil firmă cu emisii + contracte
5. Mapă cu pin-uri (Photon already done): poluatori scalați după emisii

Deliver-able în 3 zile cu data deja accesibilă.

"Bani și voturi" — second killer story

Combo Săptămâna 1+3:

1. ANI declarații (oficiali → firme deținute)
2. AEP donații (donatori → partide)
3. SEAP contracte (firme → autorități)
4. Triple JOIN: oficiali ai partidului X care dețin firme care au câștigat contracte de la autorități controlate de partidul X
5. Per oficial: dashboard cu firmele lor + contracte + donații date

Memorie + automatizare

• Cron daily: ANAF delta (deja live), CKAN poller (S), ANPC poll (D), AEP poll (P), GTFS-RT (HH)
• Cron weekly: ONRC bulk (deja live), ANI declarații, license registries, ANSVSA per județ
• Cron monthly: Recensământ check (deși static), Tempo refresh, EEA mirror

Surse de respect/skip

Nu pierde timp pe:

• BPI (paywalled)
• ROLII/REJUST (mort/anonimizat)
• ONRC UBO (paywalled)
• ANAF Inactivi/Lista Albă/Datornici (captcha)
• OSIM patente (DB națională broken)
• Per-supplier actual payments (ForexeBug nu publică)
• imobiliare.ro / olx (ToS interzic, GDPR risk)
• WHOIS bulk RoTLD (GDPR redaction)

Excelent dar deja făcut de alții — fork sau parteneriate:

• gov2-ro/tempo-ins-dump (INS)
• gov2-ro/declaratii-integritate (ANI)
• code4romania/romanian-elections-data (BEC/AEP)
• code4romania/czl-scrape (legislative)
• expertforum.ro/banipartide.ro (AEP donații curate)
• hcl.usr.ro (HCL aggregator — partner)
• funky.ong/banipublici.ro (budget viz — partner)
• Tranzy.app (GTFS-RT 5 orașe)

Sursa de adevăr a planului

Acest fișier = STRATEGIC-PLAN.md. Update după fiecare iterație.

PROMPTS.md §0a referențiază acest plan pentru next-session context.

Memory project_firms_registry.md urmează roadmap-ul aici.