Trascrizione
Jarmul: Benvenuto al mio discorso, svelando il tecno-soluzionismo, o altrimenti noto come, come mi sono innamorato dell'apprendimento automatico etico. Sono Katharine Jarmul. Sono un attivista per la privacy e uno dei principali data scientist di Thoughtworks. Sono entusiasta di parlare con te di come possiamo separare il tecno-soluzionismo. Da dove inizieremo, però, è come mi sono innamorato dell'apprendimento automatico etico. Eccomi. È stato il mio primo keynote in assoluto che sono stato invitato a presentare, ed è stata un'esperienza davvero straordinaria, al PyData di Amsterdam. Avevo iniziato a pensare e lavorare nello spazio dell'apprendimento automatico etico a causa dei cambiamenti che avevamo visto nella modellazione del linguaggio naturale. Lavoravo principalmente nella PNL o nell'elaborazione del linguaggio naturale e nella modellazione. Questo è stato il momento in cui ci siamo spostati verso vettori di parole e vettori di documenti, per poi provare anche a metterli insieme in modi nuovi e pensare ai problemi. Avevo passato del tempo a indagare sui vettori di parole e a trovare cose davvero problematiche. Poi ho trovato, ovviamente, il lavoro di apprendimento automatico etico, di FAT ML, quindi equità, responsabilità e trasparenza nell'apprendimento automatico. Sono stato davvero ispirato da tutto questo lavoro.
Ho pensato tra me e me, molte più persone hanno solo bisogno di sentire parlare di questo lavoro. Se più persone sentono parlare di questo lavoro e sono a conoscenza di questo lavoro, allora forse avremo alcune domande fondamentali sui dati che usiamo. Avremo alcune domande fondamentali sul modo in cui elaboriamo quei dati, il modo in cui ci alleniamo con quei dati. Finiremo per risolvere il problema. Forse non risolvendo il problema, faremo almeno dei progressi. Eccomi che presento solo pensando davvero, questo è un campo davvero fantastico e interessante. Come arriveremo lì? Questo è adesso, fondamentalmente, quasi sei anni dopo da quando ho scritto il discorso. Stiamo generando dashboard con YAML e Python. Questo non è quello che mi aspettavo o volevo. Non credo che questo sia ciò che qualcuno nel campo dell'IA responsabile si aspetta o vuole. Questo è ciò di cui parleremo, è come mantenere effettivamente i principi fondamentali di forse una parte dell'ispirazione per il tecno-soluzionismo, senza cadere effettivamente nella trappola del tecno-soluzionismo. Questo non vuol dire che il lavoro di intelligenza artificiale responsabile che molte persone stanno facendo, sia in Microsoft Research che in molti altri luoghi, non sia in alcun modo utile. Vale a dire che una dashboard non risolverà l'apprendimento automatico etico.
Che cos'è il tecno-soluzionismo?
Per prima cosa, dobbiamo capire cos'è il tecno-soluzionismo? Se non riusciamo a identificarlo, probabilmente non riusciamo a trovarlo. Copriamo di cosa si tratta. Ecco un buon grafico che penso lo scomponga nel modo più semplice. Abbiamo un cattivo stato. Quindi abbiamo una scatola tecnologica magica. Quando spingiamo il cattivo stato attraverso la magica scatola della tecnologia, ne esce fuori in uno stato molto bello e felice. Queste possono essere persone. Penso che dovremmo pensarci spesso nelle persone anche se quello che stiamo facendo è ottimizzare un servizio, stiamo ottimizzando un prodotto o qualcosa del genere. Influirà sulle persone. Questa è una delle cose a cui dobbiamo pensare quando parliamo di tecno-soluzionismo, è con il problema delle persone cattive che sta attraversando la tecnologia magica e sta diventando migliore. Questa è la visione del mondo come tecno-soluzionista.
Un'altra cosa che spesso vedrete o sentirete o conoscerete, se state pensando, o con cui state parlando, o voi stessi siete nel profondo del tecno-soluzionismo, è questo mito, che la tecnologia è uguale al progresso. Che ovviamente il progresso è positivo. Il progresso ha questa nozione che è positivo o buono, o che la tecnologia in sé e per sé è completamente neutra. Non possiamo mai criticare la tecnologia perché la tecnologia è neutra, ma sono le persone che sono cattive o buone, o qualcosa del genere. Qui ho la prima formula scritta per la polvere da sparo, che in realtà è stata scoperta da ricercatori cinesi che stavano cercando di scoprire l'elisir per la vita. Penso che sia proprio un ottimo esempio di tecno-soluzionismo. È come se volessimo trovare l'elisir di lunga vita, perché vogliamo che la vita sia buona per sempre. Se riesci a trovare il modo di avere la vita, sarebbe fantastico. Allora sarà tutto fantastico. Finì per inventare la polvere da sparo, che, ovviamente, cambiò la storia di gran parte del mondo. Principalmente, la maggior parte delle persone sarebbe d'accordo in modo piuttosto negativo, ha ucciso molte persone, uccide ancora molte persone. In sostanza, era una tecnologia che poteva essere utilizzata dal colonialismo, e così via, per consolidare il potere e opprimere le persone, e per compiere genocidi e acquisizioni ostili di intere aree del mondo.
Possiamo vedere chiaramente qui che la polvere da sparo non è né neutra, né è necessariamente progresso se la affiliamo al cambiamento della società, ciò significa che le persone sono felici e ne traggono beneficio. È un ottimo esempio, perché quando si guarda indietro al processo scientifico, a come si sono sviluppate le tecnologie e così via, spesso è più simile a questo. C'è una tecnologia che abbiamo trovato, scoperto, inventato, immaginato un nuovo utilizzo. Quindi quella tecnologia crea vincitori e vinti, e potenzialmente anche molte altre cose. La tecnologia farà del male ad alcune persone e aiuterà alcune persone. La tecnologia, quindi, non è neutra. Sì, certo, dipende da come usi la tecnologia e da chi ha la tecnologia alla fine. Non è come se fosse un vuoto magico che ha effetti neutri, o che significa intrinsecamente un progresso che è positivo in qualsiasi modo, forma o forma. Una volta che iniziamo a guardare il mondo in questo modo, possiamo iniziare a mettere in discussione il tecno-soluzionismo. Questa è una vera narrativa che contrasta la finta narrativa.
Mitologia antica
Come è iniziata la finta narrativa? C'è molta mitologia in esso. C'è anche molta storia in esso. Possiamo entrare in un lungo dibattito sulla portata più ampia della tecnologia nella storia umana, almeno di ciò che sappiamo, e così via. Penso che ci siano molte ricerche davvero sorprendenti sull'intersezione tra tecnologia e consolidamento del potere sulla tecnologia, sul colonialismo, sul feudalesimo e così via. Ingrandiremo la tecnologia nel nostro campo, che in particolare inizia con l'informatica, e forse i dati, l'apprendimento automatico e così via. Quando lo ingrandiamo, spesso finiamo nel brusio della Silicon Valley. Questa prima mitologia, e qui abbiamo Jobs e Wozniak, è incentrata sulla cultura o sulle sottoculture che esistevano nella Silicon Valley, all'inizio del personal computing, così come sull'espansione dei data center e di Internet e così via.
Siamo in quest'epoca, dalla fine degli anni '70 fino alla metà degli anni '90. Siamo in questa zona, in questo periodo qui. A quel tempo, questa mitologia permetteva alle persone di combinare i movimenti, o la storia all'epoca permetteva alle persone di combinare i movimenti dell'attivismo hippie, e rivoluzionare le cose, e non fare come si faceva prima. Pensa fuori dagli schemi. Combatti il potere. Sei il perdente. Conquisterai e creerai un nuovo paradigma, e tutta questa roba. Questo era come gran parte della lingua all'epoca. Quindi, la Silicon Valley in particolare ha combinato quello spirito rivoluzionario hippie con l'imprenditorialità e essenzialmente come una ricerca di ricchezza da yuppie. Questa idea che l'idea migliore vincerà sempre. Questa idea che è geniale, e quindi, dovresti essere in grado di essere pagato un sacco di soldi per questo, e questo ethos. Queste due cose si sono scontrate per creare questo robusto individualismo, la tecnologia come parte del cambiamento sociale, e diventeremo ricchi. Quella era l'era di questo, e penso che anche un grande gioco in alcune delle convinzioni o della filosofia fondamentali attorno al tecno-soluzionismo.
Mentalità californiana
Parte del motivo per cui è stato possibile farlo e parte di ciò che ha reso la Silicon Valley così speciale per questo è la mentalità californiana. Sono un nativo di Angeleno di Los Angeles. Conosco profondamente questa mentalità californiana. Lascia che ti parli un po' della mentalità californiana. Ecco un'immagine della corsa all'oro che ha portato un intero gruppo di nuova popolazione diversa in California, alla ricerca di ricchezza. Penso che non si possa rimuovere la corsa all'oro e anche la mentalità pionieristica dalla California. Era l'idea che qui ci fosse questa aspra landa selvaggia, come se non fosse occupata. Questo posto dove se solo potessimo addomesticarlo e usarlo, ci renderebbe ricchi. Ci porterebbe la felicità. Potremmo iniziare una nuova vita, tutte queste cose. Questi erano principalmente coloni bianchi che venivano dal Midwest, che venivano con questa idea sognatrice del destino manifesto. Che è il destino dell'America, quasi da un aspetto religioso, controllare l'intero continente nordamericano. Certo, è l'idea di portare progresso, tecnologia e civiltà. Stiamo quindi cambiando la natura del luogo e, naturalmente, cambiando anche le persone del luogo. Non dimentichiamo che c'erano molti First American che erano già lì e che furono uccisi e sfollati. Il genocidio è stato commesso come parte della "sistemazione" della California. Questa mentalità californiana gioca nella tecno-soluzione, perché è questa idea che se hai un modo migliore di fare le tue cose, puoi semplicemente sostituire le persone e puoi prendere le cose. Inoltre, questa idea del tipo, l'oro è ovunque, l'oro è nella terra, ma se riesci a trovarlo, è tuo.
Echi del passato coloniale
Questo è importante da ricordare, perché anche questo fa parte della storia del modo in cui vediamo numerose idee di tecno-soluzionismo nel nostro mondo di oggi, è l'idea che ci siano risorse là fuori di cui abbiamo solo bisogno, se hai un modo migliore per farlo, vincerai, diventerai ricco, ed è tuo per la presa. Questi sono, ovviamente, echi del passato coloniale, non solo della California, ma di numerosi altri luoghi. Dove se puoi essere il più potente per comandare quelle risorse e se puoi usare la tecnologia per controllarle, allora meriti i benefici di quello, e così via. Kate Crawford è un'incredibile scienziata informatica e anche una pensatrice. Ha un enorme lavoro su cui ha lavorato, uno che gli artisti hanno chiamato Atlas of an AI. È fantastico perché sta davvero iniziando ad andare contro questa narrativa di tecno-soluzionismo, perché guarda all'intero sistema di intelligenza artificiale. Sembra anche dall'inizio del prelievo di metalli preziosi dal suolo in Africa centrale, spesso con l'aiuto del lavoro minorile, o almeno in minima parte, e dei soldati, e così via, per poi trasformarli in chip, come TPU e GPU, e così via. Quindi attraverso l'intera raccolta dei dati, la classificazione, il processo di formazione e quindi l'implementazione di questi sistemi e il modo in cui vengono utilizzati.
Questo è un piccolo zoom nel mezzo, ma voglio sottolinearlo qui, perché lo sfruttamento dei dati non è molto diverso dallo sfruttamento dell'estrazione dell'oro. Non è molto diverso dal dire, prendiamo un po' di tecnologia più un'idea. Prendiamo anche manodopera a basso costo e trasformiamola in valore. Ciò che vediamo qui è anche la natura gerarchica del lavoro che è anche correlata a un sistema di intelligenza artificiale. Quando pensiamo a questo nel concetto di come funziona oggi l'ecosistema dei dati, spesso possiamo anche paragonarlo abbastanza facilmente a una società feudale, in cui possiamo pensare al vertice, ai re che distribuiscono i soldi alle idee o ai VC . Scendiamo fino in fondo, lavoratori della conoscenza, quelli di noi che sono ingegneri dell'apprendimento automatico e così via, forse lavoratori della raccolta dati, ingegneri dei dati, sistemi che lo supportano. Quindi fino ai produttori di dati, o quelli che devono rispondere a questi sistemi, che potremmo paragonare ai gig worker, per esempio. Possiamo essenzialmente vedere la natura coloniale di gran parte della tecnologia che abbiamo.
Il lavoro di Joseph Weizenbaum
Non c'era solo quella narrativa. Sembra piuttosto sciocco. Devono esserci narrazioni alternative, tutto questo mito della Silicon Valley, e fornisce qualcosa, e questa idea di, se ho la tecnologia, allora merito di prenderla e trarne valore. Non sono le uniche voci. Non sono nemmeno le uniche voci quando guardiamo alla storia dei dati e dell'apprendimento automatico nel nostro mondo. Mi piace parlare del lavoro di Joseph Weizenbaum, perché è un ottimo esempio di qualcuno che non stava accettando la narrativa tecno-soluzionista del suo tempo, o dei tempi che ha visto dopo aver lasciato l'atto e il campo della programmazione. Eccolo qui, SSH-ing o teletrasporto nel suo computer al MIT. È stato professore per molto tempo. Prima di allora ha costruito il primo OCR, il primo sistema di riconoscimento automatizzato dei caratteri. Ha anche costruito quello che molti considerano il primo modello di PNL. Ha visto l'impatto di ciò sul mondo. Ha visto l'impatto della lettura automatica degli assegni, che è ciò che ha costruito per Bank of America, molti decenni fa. Ha visto che ciò ha effettivamente consentito a Bank of America di espandersi molto rapidamente rispetto alla concorrenza.
Cosa pensava della tecnologia? In un'intervista negli anni '80, nel periodo in cui il mito della Silicon Valley stava sfornando profondamente nuovi modi in cui i computer avrebbero "rivoluzionato" il mondo, Joseph Weizenbaum ne aveva già visto un mucchio. Dice: "Penso che il computer sia stato fin dall'inizio una forza fondamentalmente conservatrice. Ha reso possibile il salvataggio delle istituzioni praticamente com'erano, che altrimenti avrebbero dovuto essere cambiate". Una netta differenza che vediamo qui. Non vediamo i computer come progresso. Vediamo i computer come consolidamenti di potere e risorse. Vediamo i computer nelle mani di istituzioni che sono sempre state e sempre saranno, piuttosto che nelle mani di un "rivoluzionario". C'è un intero gruppo di tecnologi, esperti di etica, pensatori e persone che hanno invocato il tecno-soluzionismo e richiamato ciò che vedono in questo, per decenni. Spero che tu sia qui. Non sei solo. Noi non siamo soli. Vogliamo trovare i Weizenbaum del nostro tempo. Vogliamo sostenerli. Vogliamo forse farne parte. Come lo faremo?
Come individuare il tecno-soluzionismo
Prima di tutto, dobbiamo prima individuare il tecno-soluzionismo. Ho fatto qualche prova qui. È garantito un elenco incompleto. Queste sono alcune cose che ho sicuramente visto che so di essermi innamorato anche di me stesso. Mi sono innamorato di pensare, sì, se mettiamo solo per buono alla fine, come se fossero dati per sempre. Quindi, sicuramente, sarà una buona roba di dati. Dovremmo solo fare solo dati per sempre. Ciò significa che risolviamo il problema e altre cose del genere. Perché è abbastanza seducente quando pensiamo al tecno-soluzionismo, perché, ovviamente, penso che molti di noi vogliano contribuire con qualcosa di positivo al mondo. Amiamo la matematica, i computer o la tecnologia, qualunque cosa ti abbia portato in questo campo. Vuoi sentire che quella combinazione è quasi intrinseca. Ecco perché la storia del tecno-soluzionismo diventa così inebriante, perché fondamentalmente dice, continua a fare tecnologia, perché è buona. Se continui a farlo, lo cambierai positivamente. È facile da fare, tutti d'accordo. Molti di noi lo hanno fatto. Totalmente comprensibile dal punto di vista psicologico.
Ecco alcuni test. Un test, stai ottimizzando una metrica che tu o qualcun altro avete inventato? Se partecipi a riunioni e stai pianificando qualcosa, stai facendo ricerche su qualcosa, stai costruendo qualcosa e ogni singola persona concorda su quanto sarà fantastico, quanto cambierà il mondo per sempre e poi quello. Se riesci a riformulare l'affermazione del problema come, se avessimo solo spazio vuoto, risolverebbe tutto. Se ti ritrovi a usare questa mitologia parla, rivoluziona, cambia, progredisci e così via. Se noti quando le persone sollevano problemi, o mettono in dubbio qualcosa, o respingono, non su una semplice scelta tecnologica, ma forse sull'impatto delle cose, e ti rendi conto che quelle persone erano quindi escluse alla conversazione. Forse sei stato anche tu a un certo punto. Se ti rendi conto che nessuno nel team ha nemmeno testato o pensato a una soluzione non tecnica al problema, anche solo essenzialmente avere una contro-narrativa. Se hai detto di sì a qualcuno di questi, potresti essere nel tecno-soluzionista. Probabilmente ci sono altri test a cui puoi pensare. Creiamo un elenco davvero carino su cui riflettere e notare quando siamo lì.
Lezione 1: contestualizzare la tecnologia
Se ti accorgi di essere nel tecno-soluzionista, quello che spero è che tu sia qui sulla pista staff-plus, il che significa che capisci molto di tecnologia. Probabilmente capisci molto anche di aziende e aziende. Molto probabilmente sei stato in giro per alcuni diversi ad un certo punto nel tempo, e forse capisci anche quel lato della tecnologia. Potenzialmente hai anche molto potere nell'organizzazione. Quando ti rendi conto che sta accadendo, ci sono alcune cose che possono essere fatte che possono aiutare a spostare l'intera conversazione. Questo può finire con tutti i diversi tipi di risultati. Penso che spostare la conversazione sia il passo più cruciale e importante per contrastare effettivamente il tecno-soluzionismo. La prima lezione che posso trarre dall'esperienza duramente appresa è, prima fare un passo per contestualizzare la tecnologia in termini di società, mondo e spazio più ampio della storia. Abbiamo una tecnologia che abbiamo trovato, scoperto, inventato o creato per un nuovo utilizzo e quindi stiamo ottimizzando tutto ciò che abbiamo fatto. Dove vogliamo prima guardare è, a che punto siamo nel corso della storia su questo problema, e anche su questa soluzione, e anche su questa tecnologia? Consiglio vivamente di espandere le connessioni che hai nel mondo oltre il mondo della tecnologia e di trovare modi per connetterti e parlare con ricercatori in altri campi, per parlare con storici, bibliotecari e scienziati in tutte le altre aree. Per iniziare a capire e conoscere cosa è successo prima di questa tecnologia, e cosa è successo anche con questa tecnologia prima, e immergersi davvero in quella ricerca. Potresti non avere il tempo o la capacità per farlo. Se non sei tu, deve essere qualcuno che lo sta facendo, o deve essere un gruppo di persone che lo sta facendo.
Quindi direi, pensa all'ipotesi nulla. Se questa tecnologia non fosse mai stata rilasciata e mai disponibile, cosa sarebbe lo stesso? Cosa sarebbe diverso? Quindi, voglio anche che inizi a mappare e pensare al panorama competitivo non tecnico. Oltre a questa tecnologia, quali sono le soluzioni a questo problema? Voglio darti un esempio molto chiaro qui in modo che tu abbia qualcosa, o come puoi guardare questo. Perché di solito quando abbiamo un panorama competitivo, specialmente se hai formato una startup, lanci solo un mucchio di altri nomi di startup che sono nello spazio, e li metti in classifica, e dici, noi siamo meglio perché, qualunque cosa. Questo è davvero profondo nel tecno-soluzionismo lì. Quando pensi a un panorama competitivo non tecnico, vuoi capire come le persone risolvono il problema non usando la tecnologia oggi o in passato? Quindi pensi anche a modi nuovi e creativi per combattere quel problema. Questo coinvolgerà anche i 5 perché e chiedere davvero perché.
C'è stata una startup qui a Berlino per un piccolo momento, che ha promesso di consegnare medicine a casa tua in meno di 10 minuti. La medicina qui in Germania è un sacco di volte in piccole farmacie, e ce ne sono parecchie, di solito, nella maggior parte dei quartieri e così via, in una grande città come Berlino. Mi chiedevo, quando ho visto gli annunci, quale problema sta risolvendo? La maggior parte dei quartieri ha queste piccole farmacie, e di solito c'è un farmacista lì, e naturalmente hanno medicine e così via. Potrebbe essere necessario camminare per più di 10 minuti o prendere un autobus per più di 10 minuti. Inoltre, improbabile, sarei sorpreso, quindi dovresti andare fuori città forse abbastanza lontano. Non era lì che si trovava la startup. Poi ho iniziato a pensare, alcune di queste farmacie, a volte chiudono tipo alle 6:00 o alle 7:00 di sera. Forse il problema è che qualcuno vuole che le medicine vengano consegnate la sera tardi o qualcosa del genere, e non vogliono andare in ospedale o qualcosa del genere. Poi ho pensato tra me e me, non sapevano che avevano bisogno di medicine prima? Potrebbero essere usciti dal lavoro 20 minuti prima o 30 minuti prima ed essere andati in farmacia? Quindi inizi a capire che ci sono tutti questi altri potenziali modi per risolvere questo problema. Ti fa anche domandare, qual è il problema che stiamo effettivamente risolvendo? Entrambi sono davvero importanti.
Lezione 2: ricerca sull'impatto, non solo sulla tecnologia
Mentre stai cercando di capire il contesto, e ora che hai una migliore comprensione del paesaggio, puoi anche iniziare a capire qual è l'impatto. Solo quando hai il contesto, puoi anche iniziare a ricercare l'impatto. Avrai l'impatto a breve termine. Ciò significa trovare persone che saranno danneggiate dalla tecnologia e trovare persone che saranno aiutate dalla tecnologia. Probabilmente stai già parlando con quelle persone. Probabilmente alcuni di loro sono tuoi clienti. Se è difficile per te capire la parte danneggiata, allora probabilmente devi tornare al contesto, parlare con più persone al di fuori del campo e ottenere un contesto più ampio di come questa tecnologia potrebbe danneggiare le persone. Assicurati di ottenere quelle voci e di documentare quegli impatti a breve termine. È anche oltre il pensare al breve termine. Non è l'anno successivo al rilascio della tecnologia. Sono passati cinque anni dal rilascio della tecnologia. Diciamo che la tecnologia fa tutti i sogni che vuoi che faccia, e inizia effettivamente a cambiare il modo in cui le persone si comportano, o il modo in cui accadono certe cose della comunità, o il modo in cui avvengono i modelli di traffico, o qualunque cosa sia.
Quindi devi iniziare a pensare, qual è l'impatto umano? Qual è l'impatto sulle scuole, sul sistema educativo? Qual è l'impatto sul settore dei trasporti? Qual è l'impatto sul governo? Qual è l'impatto sulle reti logistiche? Qual è l'impatto sull'infrastruttura critica di un luogo? Qual è l'impatto sui lavoratori, sia i lavoratori dell'azienda in cui lavori ma anche i lavoratori di altri luoghi? Qual è l'impatto sulla filiera? Qual è l'impatto sulle fabbriche e sulla produzione delle cose? Questo è il tuo impatto a medio termine. Quindi, mentre pensi all'impatto a lungo termine, pensi, cos'è questa interazione? Come interagisce con altri sistemi e processi nel mondo? In che modo questo influisce sulle persone in altre regioni del mondo? In particolare quando pensi a questi, e guardi in un contesto nordamericano o qualcosa del genere, devi pensare a come questo influisce sugli esseri umani, sulle persone e sulle comunità e sul lavoro nel Sud del mondo? In che modo ciò influisce su altre intere aree e regioni che potresti non aver nemmeno immaginato che utilizzeranno la tecnologia, se effettivamente utilizzano la tecnologia o se un concorrente nel tuo spazio inizia a utilizzare la tecnologia in un altro luogo? Che impatto ha? Non conoscerai tutte le risposte. Avrai bisogno di quell'aiuto esterno. Ecco perché è bene iniziare con il contesto perché inizi ad avere persone su cui puoi fare affidamento e con cui avere queste conversazioni, e potenzialmente anche avviare comunità nella tua azienda o organizzazione che possono effettivamente avere una conversazione più approfondita e istruita su questo , con esperti di altri campi con conoscenze, idee e lavoro da altri spazi. Inoltre, come è l'effetto dell'interazione sulla distribuzione della ricchezza e sui sistemi di capitale nel mondo e così via.
Lezione 3: Fai spazio e impara da coloro che sanno
Ora hai una buona idea dell'impatto. Se tutto va bene, ti sei imbattuto in alcune organizzazioni davvero interessanti. Quando uso il termine esperto, non intendo dire che devono avere un dottorato di ricerca dopo il loro nome. Nessuno è un esperto dell'esperienza di un'altra persona, a parte quella persona. Non puoi essere un esperto dell'esperienza di qualcun altro. Sono gli esperti. Ciò significa che quando pensi in particolare a potenziali danni, quindi quando pensi a danni a livello di comunità, società o istituto o livello di sistema, devi iniziare a pensare alle persone oppresse nel mondo e a come funziona con sistemi di oppressione. In che modo le persone che sono sottovalutate o sottorappresentate e spesso sottovalutate nei sistemi tecnologici, come questo avrà un impatto su di loro. Quando mi sono allontanato dall'apprendimento automatico etico, perché non solo mi stavo rendendo conto, non mi sembrava che questo fosse un posto in cui mi sento di poter contribuire.
Perché penso che ci sia un bel po' di rumore, e non mi sento di essere fondamentalmente essenziale per aiutare a migliorare questo. Vedo anche molto tecno-soluzionismo, e questo mi fa arrabbiare. Ho iniziato a pensare, quali sono le fette più piccole di apprendimento automatico etico su cui voglio davvero concentrarmi? Ciò su cui alla fine mi sono concentrato è la privacy nell'apprendimento automatico e nella scienza dei dati. Gran parte di ciò è stato ispirato dal fare spazio e imparare dalle persone che sono state colpite dai sistemi di apprendimento automatico.
Mi sono imbattuto nel lavoro di Stop LAPD Spying, vicino e caro al mio cuore di essere un Angeleno, e vedendo da vicino e personalmente l'oppressione del sistema di polizia di Los Angeles. Il loro lavoro è iniziato con la documentazione non solo dell'infrastruttura di sorveglianza, come i droni che la polizia di Los Angeles stava schierando principalmente nelle comunità a basso reddito, di colore, principalmente comunità nere e latine a Los Angeles, e come ciò stava creando un sistema di rinforzo in cui ne venivano schierati di più . Naturalmente, quindi, se è stato scoperto il crimine, ne hanno schierato di più. Questo era, ovviamente, un modo per fare più sorveglianza automatizzata e polizia automatizzata, e così via. Hanno lavorato contro questo e molte altre cose, e hanno incontri settimanali, e puoi donare a loro, e così via. Quando trovi gruppi come questo, che hanno già lavorato sugli impatti di questi sistemi, fai loro spazio, impara da loro, ascolta. Si spera che tu abbia ancora quell'idea della mentalità del principiante, anche se sei uno staff plus. Si spera che tu abbia imparato che non c'è niente di meglio che tenere la mente aperta per imparare. Quando dico fai spazio, intendo fare spazio per loro nella conversazione. Portali nella stanza. Tieni lo spazio per loro. Usa i tuoi privilegi e il tuo spazio al tavolo per alzare quelle voci. Se necessario, crea uno spazio permanente per loro o allontanati e rinuncia al tuo spazio per loro. Questo è il modo in cui possiamo usare il potere e il progresso che abbiamo in questo mondo per assicurarci che le voci giuste, le voci più colpite e le voci spesso inascoltate facciano parte della conversazione.
Lezione 4: Riconoscere il cambiamento del sistema e parlargli chiaramente
Mentre lo fai, probabilmente inizierai a cambiare se non hai già cambiato la tua idea di cambiamento di sistema. Sembrerà meno l'Amazon Go del mondo, che Amazon Go rivoluzionerà la comodità della vendita al dettaglio. Comincia a sembrare confuso, perché la rivoluzione è un gruppo di umani che possono unirsi e che possono cambiare un sistema che di solito li opprime, per un risultato migliore. Amazon Go ha pochissime persone e queste persone che fanno acquisti, e ci sono sistemi che le tengono traccia. Quindi non ci sono quasi persone che lavorano, perché questo è il punto di Amazon Go. Smetti di pensare alla rivoluzione in questi termini, e forse inizi a pensare alla rivoluzione in questi termini. Inizi a riconoscere il sindacato amazzonico e il lavoro che hanno svolto e il lavoro che hanno continuato a fare per cercare di cambiare un sistema che li opprime attivamente. Parla alla rivoluzione con parole così, molto chiaramente. Parla loro in un modo che non assuma una visione asociale e astorica, perché non puoi avere una rivoluzione senza le persone.
Lezione 5: Lotta per la giustizia, non solo per le architetture
Trovare i Weizenbaum dei tuoi campi e del tuo mondo, e assicurarti che le loro voci siano alzate, farà in modo che ci siano discussioni sulla giustizia al lavoro, non solo sulle architetture. Questo significa che non hai una squadra omogenea perché hai fatto spazio e hai creato uno spazio per menti brillanti come le due qui presenti. Timnit Gebru e Margaret Mitchell sono stati licenziati da Google per aver svolto letteralmente il loro lavoro di ricercatori etici di intelligenza artificiale. Sono stati assunti per fare ricerca etica sull'IA. Quando lo hanno fatto e hanno criticato le pratiche di apprendimento automatico dell'azienda, sono stati licenziati senza tante cerimonie. Assicurati di fare spazio per combattere per la giustizia e assicurati di provare a creare uno spazio sicuro, psicologicamente sicuro e anche letteralmente licenziando giustizia sicura, modi per parlare di giustizia e cambiamento nella tua organizzazione. Se fai queste cose, potresti trovare un campo, un'area, un prodotto o una tecnologia in cui credi davvero, davvero. Ho trovato la privacy dei dati. Ho trovato la tecnologia della privacy. È sia intellettualmente avvincente che estremamente stimolante in termini di come può cambiare il modo in cui lavoriamo con i dati, come li raccogliamo e come li usiamo.
Conclusione
Vi lascio con alcune domande, perché vi ho dato molto su cui riflettere. Ora conosci forse alcuni modi e forse passi attraverso quei passaggi, e forse ti rendi conto che non mi sento davvero connesso a ciò su cui sto lavorando in questo momento. Fantastico se lo fai, e fantastico se puoi continuare a farlo in un modo che non è una cosa tecno-soluzionista. Continua a continuare. Voglio che pensi, e se ti rendi conto come me, forse non stai lavorando sulla parte giusta del problema. Poi voglio che tu chieda, cosa potresti fare se non stessi costruendo quello che stai facendo adesso? Voglio che tu pensi a cosa potresti cambiare se ti concentrassi sul cambiamento e non sulla tecnologia? Il cambiamento stesso, era il cambiamento che vuoi vedere? Voglio pensare che questa sia una stanza piena di brillanti tecnologi con molti anni di esperienza tecnologica, e quindi molto potere collettivo e molta responsabilità collettiva, probabilmente in molte diverse organizzazioni tecniche. E se ci assumessimo collettivamente la responsabilità del futuro del mondo invece che del futuro della tecnologia? E se usiamo la genialità ingegneristica a cui tutti dobbiamo pensare, qual è il futuro del mondo che vogliamo? La tecnologia è una questione di seconda mano di cui ci occuperemo in seguito.
Domande e risposte
Nardon: Siamo nella pista staff-plus engineer, il che significa una pista in cui discutiamo delle scelte e delle abilità che devi avere se vuoi rimanere nel percorso tecnico. Nel tuo campo di lavoro, la scienza dei dati, vedo molti problemi in questo campo, come il pregiudizio sulla privacy dei dati e cose di cui hai parlato. Se non abbiamo ingegneri più esperti in questo campo, in particolare, forse sarà difficile persino rilevare che questi problemi si stanno verificando. Voglio sentire i tuoi pensieri sull'importanza di avere più ingegneri più personale, o ingegneri più esperti che rimangano nella pista tecnica, per essere in grado di risolvere questi complessi problemi che abbiamo. Quali competenze pensi che dovrebbero avere queste persone, per convincere anche i loro capi che questo è un problema, perché probabilmente hai bisogno non solo di competenze tecniche, ma anche di competenze trasversali per poter avere queste conversazioni?
Jarmul: Penso che tu sappia anche dal tuo lavoro sul campo, quanto sia difficile all'inizio della tua carriera nei dati, nell'apprendimento automatico e così via, persino vedere che i problemi si stanno verificando. Penso anche, come una cosa che sto notando, e probabilmente lo stai notando anche tu, anche dal campo è come se l'apprendimento automatico ora stesse diventando più facile da fare. Ci sono molti modelli disponibili, dove forse non si capisce il pericolo di come un modello potrebbe essere utilizzato, o come potrebbe essere implementato, o quali sono i pericoli oi rischi. Solo un rapido esempio, dagli eventi recenti, è uscito Stable Diffusion. Tutti ne sono entusiasti. In realtà ci sono suggerimenti che puoi dare a Stable Diffusion dove puoi vedere le esecuzioni dell'ISIS. Ci sono prompt in cui puoi dare diffusione stabile in cui puoi vedere pornografia non consensuale e altre cose come questa. Anche i team esperti, anche i ricercatori esperti finiscono per commettere errori. È normale.
Penso che quello che hai notato tu, e quello che ho notato io sul campo, e probabilmente anche alcune persone, è che se sei in questo campo da un po' e hai un occhio critico verso i problemi che possono accadere. Può diventare più facile prevedere che queste cose accadranno e quindi la tua opinione di esperto e il tuo contributo a quelle conversazioni sull'analisi dei rischi è ancora più essenziale. Penso che il motivo per cui continuo a dire la parola rischio è che penso che in realtà sia l'approccio migliore che possiamo usare come tecnologi, è che ci viene chiesto di essere gli esperti non solo della tecnologia, ma anche dei rischi e dei benefici dell'utilizzo di quella tecnologia. Essere quindi il proprietario dei rischi della tecnologia che scegli di implementare nei prodotti può aiutarti a posizionarti per avere il potere in una conversazione di evidenziarlo al top management e così via. Ciò significa prendersi del tempo per sedersi, delinearli tutti, istruire il proprio team, parlarne con il management. A volte alcune squadre sono più brave in questo rispetto ad altre. Penso che esercitarsi, anche se non sei una squadra che attualmente eleva le voci tecnologiche a livello dirigenziale, almeno provarci, sia un buon inizio.
Nardon: Penso che parte di questo movimento di avere persone più esperte che rimangono nel campo tecnico sia una vittoria. Non è solo per le persone che non hanno competenze manageriali e vogliono restare nel campo tecnico. Si tratta più di avere persone più esperte che hanno voce nelle aziende. Vedo che molte aziende si stanno rendendo conto che hanno bisogno di avere persone più esperte nel campo tecnico, per risolvere meglio i loro problemi. Inoltre, avere queste voci con uno status in azienda che consenta loro di fornire una visione tecnica che possa evitare molti problemi nei dati. Lavoro anche nei dati. Di solito, può essere un grosso problema per le aziende se non fanno le cose nel modo giusto. Immagino che molti altri campi abbiano qualcuno che ha molta esperienza nella tecnologia, in grado di andare dal management e dire: "Non dovresti farlo, perché questo avrà questi problemi". Probabilmente sarà anche finanziariamente interessante per le aziende. Penso che questo sia parte di ciò che dobbiamo fare come personale più ingegneri è creare maggiore consapevolezza di quanto queste persone siano importanti per l'azienda, e anche dare loro il giusto status è importante. È una bella conversazione da fare.
Qual è la lezione più importante che hai imparato quando sei diventato un ingegnere con più personale?
Jarmul: Penso che probabilmente la cosa più importante che ho imparato sia imparare quando fare spazio. Sapendo che probabilmente ci sono altre persone che stanno pensando la mia stessa cosa e sapendo quando fare spazio per far brillare anche gli ingegneri più giovani del team. Penso che questo abbia aiutato molto la mia vita. Ha aiutato, si spera, alcuni dei giovani che ho avuto la possibilità di guidare e allenare. Dà anche spazio a nuove idee. Penso che spesso come staff plus ci venga chiesta la soluzione, e va bene, probabilmente conosci già la soluzione quando ti viene chiesta. Può esserci questo punto molto critico di lasciare un po' di silenzio e potenzialmente imparare allo stesso tempo. Mi do piccoli promemoria sul mio calendario così me lo ricordo, perché può essere molto facile abituarsi ad ascoltare le proprie idee. È importante rimanere in qualche modo umili, aperti e principianti nel tuo approccio anche dopo molti anni. È difficile, ma è qualcosa che penso sia utile.
Vedi altropresentazioni con trascrizioni