DevLog #1 - ValidateLite Construint una eina de validació de dades sense configuració
Quantes vegades un enginyer de dades ha dedicat quatre hores a validar dades manualment? Quantes vegades un analista ha perdut la confiança en un panell per dades inconsistents? Aquestes situacions em van motivar a crear ValidateLite, una eina de validació lleugera, orientada al codi i pensada per posar-se en marxa en 30 segons.
A Q2BSTUDIO, empresa de desenvolupament de programari i aplicacions a mida, especialistes en intel·ligència artificial, ciberseguretat i molt més, creiem que la qualitat de les dades no ha de ser una barrera per a la presa de decisions. La nostra resposta és ValidateLite, una eina open source i preparada per a entorns cross cloud que respecta l'arquitectura existent i accelera els fluxos de treball.
Problema habitual: els equips perden temps valuós perquè les comprovacions de qualitat són manuals o les eines disponibles exigeixen una configuració complexa. Resultat: enginyers consumint hores en comprovacions, analistes desconfiant de les seves insights, administradors despertant a mitjanit per fallades en pipelines i equips de compliance trobant sorpreses en auditories.
Filosofia 30 segons: ValidateLite es basa en un principi senzill: codi primer, llest en 30 segons. Res de YAML infinit ni lock in de frameworks. Apunta a les teves dades, defineix les teves regles i obtens resultats accionables.
Arrencada sense configuració: executa una comanda simple o integra una crida des d'un script i comença a validar. No necessites aprendre un framework nou ni reescriure els teus pipelines.
Independència de frameworks: funciona amb pandas en un notebook, amb fitxers CSV i Excel, amb connexions a bases de dades i amb automatització per shell. El seu disseny permet integrar-lo fàcilment en processos existents de dades i BI.
Arquitectura simple i escalable: tres capes clares: CLI, Core, Shared. El Core conté el motor de regles amb optimització de consultes que agrupa comprovacions sobre la mateixa taula per reduir crides a la base de dades fins a un 80%. Disseny plugable per afegir fonts o tipus de regles i un registre de tipus de regla que facilita estendre l'eina en tres passos.
Suport multi font: bases de dades com MySQL, PostgreSQL, SQLite, fitxers CSV i Excel que es poden convertir temporalment a SQLite per executar validacions SQL, i espai per estendre cap a emmagatzematge al núvol, APIs i dades en streaming.
Abast MVP: comprovacions de no nuls, unicitat, validació de rangs per a números i dates, compliment d'enumerats i consistència de formats de data. Aquestes comprovacions cobreixen la major part de problemes que trenquen pipelines i dashboards.
Integració quotidiana: pensat per utilitzar-se on ja treballes. Exemple d'ús ràpid des de la línia de comandes: vlite check examples/orders.csv --rule not_null(id) --rule unique(email) --report report.json i després revisar l'informe report.json. També disponible per empaquetar en Docker i executar en entorns aïllats o CI.
Ganxos d'extensibilitat: l'arquitectura inclou punts per a regles multi taula, validació creuada entre bases de dades, regles personalitzades, monitorització en temps real i expansió cap a interfícies web o serveis SaaS.
Enfocament de desenvolupament: practiquem vibe coding, documentació conduïda i implementació assistida per IA. Escrivim casos de prova clars, deixem que models d'IA proposin implementacions i revisem cada línia per mantenir control arquitectònic i qualitat de codi.
Propers passos: versió 1 centrada en regles per taula amb camí clar cap a relacions multi taula, validació cross database, monitorització en temps real i una interfície web. L'objectiu no és substituir la infraestructura de dades, sinó fer la validació tan fàcil que es converteixi en un hàbit diari.
Per què això importa: la mala qualitat de dades és un problema de confiança. Quan els equips no confien, els projectes s'alenteixen i les decisions perden solidesa. ValidateLite busca restaurar aquesta confiança regla a regla.
Sobre Q2BSTUDIO: som una empresa de desenvolupament de programari a mida i aplicacions a mida amb especialització en intel·ligència artificial (IA) per a empreses, agents IA, ciberseguretat, serveis al núvol (AWS i Azure), serveis d'intel·ligència de negoci i solucions amb Power BI. Combinem experiència en programari a mida amb investigacions pràctiques en IA per oferir solucions que van des d'aplicacions empresarials fins a arquitectures segures al núvol.
Si t'interessa millorar la qualitat de les teves dades i accelerar la confiança en les teves insights, contacta amb Q2BSTUDIO per explorar integracions personalitzades, serveis d'intel·ligència de negoci i projectes d'intel·ligència artificial dissenyats per al teu negoci.
Proper lliurable: DevLog
