De la rendibilitat d’Open Data i Big Data

Big Data triomfarà (està triomfant) com a generador de grans volums de negoci, Open Data no (i trigarà a fer-ho).

Big Data té darrere tot l’interès econòmic de les empreses: permet comercialitzar amb un producte (la informació), donar-li valor, modificar-lo i revendre’l. I si saps posar-li un embolcall ben maco (una presentació visual resultona), encara ven més.

Open Data és, a dia d’avui, una opció política i un intent d’obertura de (bàsicament) l’administració i de generació d’oportunitats de negoci, basat en el retorn i el re-aprofitament de dades públiques.

La informació sempre ha estat poder i ara encara ho és més. Abans era informació reservada, a petita escala, clau per accedir a alguns llocs o obrir portes. Avui la informació que genera més benefici (i de vegades poder) està formada per petites peces que es recullen massivament; i qui millor fa això son les empreses com xarxes socials, bancs, supermercats, o llibreries, entre d’altres, que fan seva la nostra informació sense gairebé cap obligació de retre’ns comptes. La clau és la exclusivitat en la possessió d’aquesta informació, l’avantatge de només tenir-la elles, i ningú més.

Aquesta exclusivitat els permet oferir oportunitats de negoci a d’altres, sigui per extreure resultats, sigui per combinar dues o més fonts de dades i generar altres informacions, consells i orientacions que poden, al seu torn, vendre.

Així, el gestor d’aquestes dades es transforma en un poderós mitjancer, que no només recol·lectarà o comprarà dades, sinó que donarà eines (APIs) per obrir els seus serveis (és a dir, incrementar l’ús i recollir més dades). A poc a poc, es tendeix a l’agrupació al voltant d’uns quants actors.

L’Open Data, en canvi, no té aquest model centralitzat: tot i seguir uns estàndards, les dades es poden distribuir en centenars o milers d’orígens (administracions de tot tipus, empreses), cosa que dificulta la seva recopilació. Alhora, el mateix tipus de dada moltes vegades té un interès més social que no pas econòmic, cosa que fa més difícil també trobar una aplicació comercialitzable: no és doncs només la sintaxi i la distribució de les dades, sinó la seva pròpia semàntica el que fa més difícil el negoci. Qui s’hi dediqui ha de conèixer més el mercat a qui es dirigeix, ser més un especialista que un gran mitjancer.

Però aquesta és una aproximació estrictament de negoci, econòmica, d’actors en joc, i per això es fa la comparació de dos elements que son també complementaris: Open Data pot ser una de les fonts de dades d’un projecte de Big Data, i les tècniques de Big Data s’usen per investigar conjunts heterogenis però relacionats de dades obertes.

Serà interessant veure si el negoci del Big Data evoluciona cap a la gestió d’enormes conjunts de dades privades, o bé la presència de l’Open Data ens permet mantenir un cert control distribuït d’aquesta informació.

Seguretat i privacitat, clau de la confiança


El camí cap a la smart city suposa una oportunitat de millora de la gestió, d’optimització de recursos, prevenció, seguretat, estalvi i eficiència, sens dubte. Si s’aprofita bé l’oportunitat, és un camí no només a nivell administratiu, si no també de gestió política i administrativa si es lliga bé amb govern obert, open data i transparència (de fet, no s’hauria d’entendre una cosa sense altra, donat que son dues cares de la mateixa moneda). En última instància, doncs, el camí cap a la smart city ens pot dur a un canvi social: una major participació en la presa de decisions, una major informació i per tant una major implicació de tota la societat en el govern de si mateixa (hom podria arribar a pensar en alguna mena de democràcia assembleària total mitjançant petits gests diaris, micro-revisions i aportacions d’informació).

Però aquest camí ni és curt, ni està exempt de desviacions ni perills.

Un amic em comenta que el perill de fer ciutats més connectades i més centralitzades és que aquestes siguin més vulnerables, i no li falta part de raó:

  • Els sistemes de captació de dades poden ser totalment passius, i poden emetre dades en obert (una mena d’open big data plà) o bé només donar-les a determinats centres receptors (es poden establir recol·leccions de dades des de determinats punts, o l’enviament de dades des dels sensors a recol·lectors identificats, per exemple)… sigui com sigui, només emetran dades. Quin perill pot haver-hi en l’emissió de dades de volum de trànsit, o d’intensitat lumínica, o consum d’aigua o contaminació? No gaire.
  • Els actuadors, per contra, poden obrir i tancar semàfors o vàlvules: caldrà doncs filar molt prim amb la seguretat d’aquests elements, i son tasques que ja s’estan fent. Sona apocalíptic? Potser… però si sistemes vitals com distribució d’aigua o electricitat s’automatitzen, poden ser accedits remotament, i per tant s’han de protegir, i de la mateixa manera s’ha de fer amb qualsevol actuador.

Es tracta doncs de veure la smart city com un sistema flexible, capaç de llegir el seu entorn i respondre a canvis, d’extreure patrons i proposar millores, però sense substituir la gestió sobre el terreny, en tot cas millorant-la i ampliant-la.

Les dades generades pels ciutadans (xarxes socials, interaccions, desplaçaments, geolocalització) també seran un conjunt molt important per estudiar, donat que reflecteixen el pols viu de la ciutat. I aquest, precisament, és un altre camp a tenir en compte: tant la seguretat com la privacitat de les dades dels “sensors ciutadans“:

  • Qualsevol enviament de dades des d’un dispositiu mòbil o xarxa social porta un conjunt de metadades que permet perfilar o identificar la persona que l’emet, i per tant caldrà disposar també de mecanismes que garanteixen l’anonimat de l’enviament, per tal de poder tractar les dades en brut sense identificar ningú (pensem en desplaçaments o el seguiment de tags en xarxes socials relacionats amb la ciutat, en entrades/sortides d’edificis públics o equipaments per valorar-ne l’ús…)
  • La interacció amb serveis i aplicacions on-line (apps, web mòbil, canals on-line diversos) o els sistemes de videovigilància poden acabar conformant un registre de desplaçaments i accions de caire sensible que ha de permetre ser ben custodiat, anonimitzat i esborrat, en funció de les circumstàncies (cal garantir la no traçabilitat horària o geogràfica per garantir la privacitat, per exemple).

Com? De nou, amb transparència i Open Data, per una banda; i d’altra, amb la publicació del codi font que es faci servir per recollir (1) i anonimitzar aquestes dades: només la revisió a nivell de codi font del software que s’estigui usant, i la seguretat que allò publicat és el que s’està usant pot donar garanties sobre el tractament de les dades.

Com dèiem, no és un camí curt, però si s’hi arriba serà un gran canvi, tant pel resultat final com pel que haurem après arribant-hi (a nivell tant tècnic com ciutadà, social).

(1) Per exemple, Sentilo és una plataforma de base per una estructura de smart city, amb el codi font publicat a GitHub, que permet la lectura i actuació dels sensors i és expansible modularment.

Smart cities: millor coneixement, millor gestió

Les administracions son enormes organitzacions que ofereixen multiplicitat de serveis, i que gestionen (i necessiten per gestionar) grans quantitats d’informació.

De fa uns anys, estan immerses en processos de millora i optimització, i en molts casos s’ha fet i s’està fent una molt bona feina, tenint en compte els punts de partença, els recursos que s’hi destinen i les resistències que moltes vegades la mateixa organització imposa (qualsevol organització gran té una enorme resistència al canvi).

Aquestes millores, però, es centren moltes vegades en processos purament informacionals o operatius, interns: processos administratius, serveis econòmics, administració electrònica… bàsicament, en tot allò que comporta manegar la pròpia informació. Perquè? Perquè és, en un principi, del que més informació es disposa: la mateixa maquinària que gestiona informació es mou per uns processos definits i genera metadades sobre el seu funcionament, per tant, és d’on més coneixement es pot extreure i on més clarament s’hi pot actuar i comprovar l’eficàcia dels resultats.

Això no vol dir que en la resta dels àmbits no es tingui aquesta informació, però és molt més difusa, o no es recull, o els mètodes i intervals de recollida son poc definits, quan n’hi ha.

Fins ara, potser.

Núvol de paraules amb conceptes de smart city
L’aplicació de les tecnologies associades als conceptes de smart city pot permetre disposar en temps real d’indicadors de la gestió de la ciutat, del que està passant en cada moment en el món físic. Això obre les portes a poder generar processos de recollida de dades i anàlisi, al disseny de respostes i solucions molt més complert i ajustat que l’actual, és a dir, permet que l’administració (local, en aquest cas) disposi d’eines per millorar la gestió de la ciutat equivalents a les que disposa per millorar-se a si mateixa.

El creuament de totes aquestes noves fonts d’informació de la ciutat (sensòrica: il·luminació, reg, humitat, consums, desplaçaments, transport, emissions) amb elements més tradicionals (habitants, densitats de població, distribució, coneixement del territori, serveis, empreses, comerços…) i d’altres generats pels propis ciutadans (xarxes socials: tags sobre problemes de circul·lació o obres, apps per denunciar problemes o mancances, serveis o espectacles) podrien arribar a donar una visió global tant del funcionament dels serveis com de la percepció del funcionament d’aquests serveis.

Dit d’una altra manera, permetria transformar una maquinària de vegades massa administrativa en una maquinària més coneixedora del territori i dels seus habitants i de les seves necessitats… és una oportunitat de millora de la gestió de la ciutat.

Pronòstics tecnològics* per al 2014

A principis d’any és habitual trobar-se algunes prediccions del que pot passar durant l’any, i l’àmbit de les tecnologies no és diferent (la gent d’Experts Exchange han fet un recopilatori prou interessant).

Algunes prediccions i idees que m’apunto per seguir:

  • Els tablets no substituiran els ordinadors: Portant la contra al que sembla dir tothom, els de Experts Exchange prediuen menys marges de benefici i per tant menys interès en fabricar-ne. És un bon argument, però de vegades el mercat no és racional del tot, i per tal de mantenir posicions caldrà veure si s’arrisquen a pèrdues. A més, aquest Nadal ha estat el boom dels tablets, i la tabloidització dels continguts de la web hi ajuda molt. Segurament no els substituiran completament: en funció dels usos i els llocs. A la oficina i feina complementaran, a casa segurament si.
  • TV i internet, al mateix lloc. Triomfaran finalment les smartTV? Potser. Però això implica serveis de pagament, i en un país tant acostumat al “m’ho baixo” com el nostre és un gran repte. A banda, el model d’emissió associat, serà també amb anuncis, per petits que siguin al davant? Caldrà veure quina oferta de contingut hi ha. El que sembla clar és que el concepte de Internet (correu, xarxes) a la tele no ha triomfat: és portar un ús privat a la sala de casa, on ho veu tothom. Tsk, tsk…
  • Smartphones més lligats a d’altre hardware de la casa: cotxes, neveres, seguretat… Segur que la internet de les coses hi ajudarà. Però ull amb l’spam (1), perquè pot multiplicar-se i donar lloc a nous riscos de seguretat. Ho tindrem en compte? Internet és una finestra oberta, gairebé sempre. I com més connectats, més sabran de nosaltres.
  • L’any de l’HTML5: augment d’ús, noves funcionalitats i estandarització. I, de postres, la llargament anunciada mort de Flash (no estaria malament, vistes algunes webs). Ara només faltarà que hi implementin característiques de seguretat (certificats, signatura) i la festa serà complerta (jo pago alguna copa si és així!)
  • Social mining en expansió: data mining del de sempre, ben combinadet amb tota la informació que publiquem i anem deixant a la xarxa i als registres electrònics. Big data i enginyeria social: ja se n’ha parlat bastant del que pot suposar. Canviant de registre, però, l’aplicació de big data pot ajudar, i molt, a la ciència: modelat de planetes per cercar-ne de nous, tractament de les dades dels acceleradors de partícules, previsions d’enfermetats, indicadors de pobresa, establiment i estudi de tendències socio-econòmiques o estudis complexos d’ecologia i biodiversitat
  • Del desenvolupament i desplegament tradicionals en servidors propis al desplegament en núvol i el software com a servei: escalabilitat, resposta, flexibilitat. Transformació de despeses CAPEX en OPEX, evolució dels departaments de tecnologia cap a la gestió. I a nivell intern, el desplegament definitiu de les màquines virtuals, el núvol privat que farà indiferent (fins a cert punt) els clients on s’executen els programes. Màquines dintre de màquines, transparents per als usuaris. Tornem, sota noves tecnologies, al “the network is the computer” i, si voleu, al host (només que ara és distribuït i flexible, no un armari de ferro).

A més llarg termini també tenen cabuda altres coses(2) de les quals també en sentirem a parlar més aquest any: impressió 3D, més núvol, ús eficient d’energia i emmagatzematge, renovables, el núvol digital, vehicles auto-conduits, la internet de les coses i l’automatització de treball intel·lectual (treballadors de coll blanc, tremoleu… o reinventeu-vos).

I a nivell local? Smart citys, aparcaments, transports, il·luminació, open data, transparència, energies…

Pinta un any interessant, sens dubte.

* Una selecció de prediccions totalment personal, gens referenciable.
(1) via Pere Quintana
(2) via Diplomaticat

Big data: un doble repte per l’Administració

El big data és el següent pas de la xarxa per explorar i explotar comercialment. El conjunt immens d’informació de tot tipus que es genera i s’emmagatzema, i la possibilitat d’interconnexió de les diferents sitges i de recerca i extracció de dades, resultats i tendències és un mercat que ningú vol desaprofitar.

L’Administració, com a actor econòmic i social de primer ordre, també té interessos i és part en aquest terreny: d’una banda, com a impulsora de solucions que facin ús d’aquest concepte i de proveïdora de dades; de l’altra, actuant com a reguladora i aplicant lleis i controls per garantir la privacitat de la ciutadania.

En el primer cas, l’Administració Local (sobretot) comença a jugar un paper molt important com impulsora en projectes de smart cities, que fan un ús molt intensiu del big data: la sensorització dels aparcaments i del trànsit en viu, la il·luminació pública i el reg, per esmentar els exemples més habituals, necessiten de l’extracció de patrons de comportament i la deducció de necessitats dels grans conjunts de dades que es generaran, per poder millorar l’eficiència i els serveis als ciutadans i la seva gestió.

Sembla clar que un primer conjunt de dades com sensors d’aparcament per camp magnètic o per infraroigs, o bé sensors d’humitat o de llum no han de ser un gran risc a la privacitat de les persones, però també estar atents a l’ús de dades de les càmeres de trànsit en temps real, que si que poden identificar vehicles individualment, per exemple, i que també poden fer-se servir com solucions de smart city per avaluar la càrrega de trànsit en vies i redirigir el flux rodat mitjançant panells o semàfors, o l’ús de mòbils per buscar aparcaments, rutes o fer pagaments de serveis públics, dades que també es poden creuar posteriorment. Aquest segon conjunt de dades si necessita de processos d’anonimització, més si es té en compte que en molts casos aquests serveis estaran en mans d’empreses privades que poden no tenir tant clar el dret de privacitat.

En el segon cas, com a reguladora, la mateixa Administració ha de ser conscient del dret a la privacitat, i ha de vetllar per la seva aplicació, mitjançant la redacció de lleis i mesures protectores. Ho ha de fer amb l’aplicació de mesures de control a les empreses que tractin amb aquesta informació, i donant exemple aplicant-se ella mateixa aquesta regulació en els seus propis processos interns: gestiona immensos paquets de dades molt sensibles de les persones (personals, econòmics, sanitaris, socials) que ara per ara encara poden estar en sitges diferents (donant una falsa sensació de seguretat) però que a mesura que avancin les capacitats d’interconnexió entre administracions poden donar lloc a temptatives d’usar-les en conjunt, ja sigui ella o per part de tercers.

L’Administració, doncs, s’enfronta a un doble repte al món del big data: saber impulsar solucions i promoure el seu ús, generant valor econòmic i social, i alhora fer que tot això es desenvolupi dins del marc del respecte a la privacitat, davant de la temptació i la pressió de grups amb diferents interessos que puguin voler barra lliure de dades.