Sådan lytter du til data

Sådan lytter du til data

Hvorfor se på data, når du kan lytte til det?

Det er spørgsmålet, som nogle videnskabsmænd, komponister og programmører undersøger i et forsøg på at præsentere data på kreative måder. Når folk 'hører' data, går tankerne, identificerer de hurtigt og intuitivt tendenser og anomalier og reagerer mere visceralt på informationen.



Generelt forventer såkaldte 'data sonifiers' ikke, at deres arbejde erstatter datavisualiseringer, men snarere supplerer de fakta og tal, de skildrer. Nogle tager faktisk kunstnerisk licens med deres kompositioner, mens andre holder sig mere stramt til, hvad dataene afslører. Uanset hvad fortæller sedlerne en historie om tallene.

Science Friday talte med et par data-sonifiers om deres tilgange.

Brian Foo, datadrevet DJ
Om dagen digitaliserer computerprogrammør Brian Foo materialer til New York Public Library, 'tænker på, hvordan vi kan gøre materialerne mere tilgængelige online,' siger han. Hans regelmæssige koncert - som indebærer 'at åbne nogle datasæt og lave fede ting med [dem]' - supplerer et personligt projekt, som han lancerede i 2015, kaldet Datadrevet DJ . Det involverer at tage forskellige datasæt, såsom indkomstulighed i New York City eller kyst Louisianas jordtab gennem mange årtier, og konvertere dem til sange.

'Det var mest mig, der prøvede at tænke på andre måder at kommunikere data på ud over datavisualisering eller diagrammer,' siger Foo. Som kunstner begrænsede arbejdet med visuelle data mig i forhold til at kurere en specifik oplevelse omkring et datasæt, siger han. Foo kunne godt lide ideen om at bruge musik, fordi det kunne vække følelser. Og hvis en sang bliver en øreorm , 'det underliggende emne sidder forhåbentlig også fast i dit hoved.'

Foo starter med at søge efter datasæt, der er i det offentlige domæne, normalt leveret af regeringen eller universiteter. Han fører et regneark over dem, der skiller sig ud æstetisk eller emnemæssigt, og ser på en blanding af faktorer, når han overvejer en ny komposition. 'Den ene er blot den generelle form af dataene,' siger han. 'Hvis du visualiserer dataene, og det bare er meget fladt, vil du sandsynligvis få en flad sang.'

'Flade' data hjalp med at understrege et punkt i hans sang om repræsentationer af køn, race og etnicitet i storfilm . 'Det er klart, at [de repræsentationer] ikke er forskellige, så jeg blev tvunget til at lave en sang, der var meget monoton,' siger han. En enkelt 'A' klavertone – der repræsenterer de hvide mænds roller – dominerer klart den dystre komposition. Det er måske ikke komplekst, men 'det formidler dataene,' siger han.

Foo er forsigtig med, hvordan han repræsenterer information. 'Jeg skal bare tænke over, hvad der er den rigtige slags oplevelse' for lytteren, siger han. Udfordringen er at beslutte, om man objektivt skal kommunikere dataene eller forsøge at fremkalde et specifikt svar. 'Det bliver vanskeligt med mere følsomme data. Så ligesom for indkomstulighed vil jeg ikke få de fattigere områder til at lyde tristere eller af mindre kvalitet, siger han. I potentielt følsomme tilfælde vælger han generelt en ligetil tilgang, såsom at repræsentere aspekter af dataene gennem ændringer i volumen.

For hver sang bruger Foo en kombination af Python (til at analysere dataene) og ChucK (et programmeringssprog) for at skabe en algoritme, der sætter alle lydene sammen. Han prøver generelt forskellige sange og kunstnere, der er relateret til det aktuelle emne - hans sonificering af New York Citys indkomstniveau omfatter for eksempel lokale musikere. (Al hans kodning er open source, og han inviterer andre til at bruge den til at skabe deres egne sonifikationer.)

Indtil videre har Foo færdiggjort 10 sange og udforsker nu andre måder at repræsentere data på. 'Generelt leder jeg i dataene efter en historie eller en form for fortælling eller en form for oplevelse for at bringe lytterne igennem fra start til slut,' siger han.

Lauren Oakes og Nik Sawe
Efter tre somres feltforskning havde Lauren Oakes, en økolog og natursystemforsker, et robust datasæt om det gule cedertræ og nabotræer i den nordlige del af Alexander Archipelago i det sydøstlige Alaska. Som en del af hendes ph.d. forskning ved Stanford University, havde hun undersøgt, hvordan skovsamfundet reagerede på en årtier lang nedgang i gul cedertræ, og hvordan disse ændringer påvirkede de mennesker i regionen, som længe havde stolet på træet.

Oakes havde allerede udgivet artikler om sin forskning, da en ph.d. studerende, Nik Sawe, udsendte en masse-e-mail sidste forår til kolleger, der anmodede om datasæt, som han kunne lave om til musikalske kompositioner. Oakes var fascineret.

'Jeg tænkte bare med det samme, at ideen er fascinerende, at være i stand til at formidle en videnskabelig opdagelse gennem i det væsentlige, hvad der er et universelt sprog' - hvilket betyder musik, siger Oakes, som nu er foredragsholder og forsker ved Stanford. 'Når jeg præsenterer [data] som videnskabsmand, tror jeg, at fakta og data og grafer er vigtige, men det er historien også, og hvordan vi formidler disse budskaber.'

Oakes og Sawe begyndte at dele ideer med det samme. Sawe, som nu er neuroøkonom hos Stanford, byggede et computerprogram, hvor han kunne tage datapunkter og oversætte dem til forskellige tangenter, tonehøjder og instrumenter. Duoens endelige komposition er et let, klassisk musikstykke, der sporer ændringer i træbestanden i Alexander-øgruppen fra nord til syd, og fremhæver individuelle træer, arter og endda trædødsfald, som er præget af stilhed.


'I stykket repræsenterer hver tone et træ,' forklarer Oakes. 'Hver art 'spiller' også et andet instrument, og så er der aspekter som træhøjde og diameter, der påvirker tonen og varigheden af ​​tonen.'

Midt i sangen bliver travlt med et ensemble af instrumenter, der repræsenterer forskellige træarter, der konkurrerer om at regenerere. Mod slutningen af ​​stykket bliver det, der engang var en melodi domineret af klaver - der repræsenterer den gule ceder - centreret på en fløjte, der symboliserer hemlocks.

Sangens afslutning overraskede Sawe. Mens han nøje vælger, hvordan han skal repræsentere forskellige data i sine sonifikationer, 'Jeg aner ikke, hvordan det kommer til at lyde, før jeg hører det hele,' siger han.

Sawe ser musik som en kortfattet måde at præsentere en stor mængde data på. Når videnskabsmænd analyserer deres data, siger han, er de nødt til at finde måder at forenkle flere grafer og dimensioner på, hvilket kan tage lang tid. Men en datasonificering kan kombinere alle disse elementer til et spor, som øret nemt kan følge. 'Det er en stor fordel for at få en rå fornemmelse af dine data,' siger han.

Oakes siger, at selvom de tog nogle stilistiske valg for kompositionen, forbliver fakta og tal fra hendes forskning rygraden i projektet. 'Der er selvfølgelig nogle fortolkninger og beslutninger taget, men det er tro mod datasættet,' siger hun. 'Jeg føler, at det er komplementært til videnskaben på en eller anden måde.'

Oakes og Sawe håber på at samle et band af musikere til en liveopførelse af kompositionen i foråret.

Domenico Vicinanza og Genevieve Williams
Genevieve Williams er en bevægelsesforsker, der studerer biomekanik, og Domenico Vicinanza er fysiker og komponist. Begge arbejder på Anglia Ruskin University i Storbritannien, og bundet over en fælles interesse: cykliske fænomener.

'Næsten alt i vores krop er på en eller anden måde relateret til cyklusser - at vågne op og sove, eller endda på et lille mikroskopisk niveau, hvis du ser på celler, biologiske systemer,' siger Vicinanza. 'Begrebet cyklusser, eller regelmæssighed, er så vigtigt, så afgørende, også i musik.'

Duoen indså, at en måde, de kunne formidle data om den menneskelige krop på, kunne være gennem musik. For deres første samarbejde, i 2015, fokuserede de på rytmerne af fingerlogning. Du kan selv prøve dette eksperiment: Hold dine hænder fladt foran dig, med pegefingrene pegende mod hinanden. Begynd at logre med fingrene op og ned i modsatte retninger, og øg din hastighed. På et tidspunkt vil dine fingre ende med at bevæge sig i forening, op og ned.

'Vi ville prøve at lytte til denne overgang og prøve at bruge musik til at beskrive dens udvikling,' siger Vicinanza.

Forskerne placerede bevægelsessensorer på spidserne af en deltagers pegefingre og sporede og målte derefter forskellene i accelerationen af ​​hver finger. De kortlagde derefter bevægelsen til noder ved hjælp af en specialfremstillet algoritme, de udviklede med programmeringssproget Java. Resultatet er en klaverkomposition, der starter livligt for derefter at blive næsten monoton i slutningen - en finale, der repræsenterer, hvordan logrende fingre i sidste ende bevæger sig i fase.

'De lave og høje klavertoner er henholdsvis små og store forskelle i acceleration af de to fingre,' siger Williams.

På et tidspunkt i kompositionen spiller en meget lav tone, hvilket betyder, at den ene finger (i dette tilfælde den venstre) bliver i fase med den anden.

'Den ene af de to fingre måtte ændre retning skarpt for at indhente den anden,' siger Vicinanza. Og 'den pludselige ændring i acceleration var ansvarlig for den meget lave tone, der startede den nye melodi.'

De to forskere ser anvendelser i den virkelige verden af ​​en datasonificering som denne. Sig, at du skader din arm og skal til fysioterapi. Din fysioterapeut vil vise dig øvelser, som du bør gøre for at hjælpe dig med at komme dig. ”Men ofte, når du kommer hjem, kæmper du med at huske, hvilke øvelser du har lavet; man stiller spørgsmålstegn ved, om man gør det rigtigt,” siger Williams.

Forestil dig nu, hvis du kunne spore din arms bevægelse og bevægelsesområde gennem lyd - du kunne få øjeblikkelig feedback om, hvorvidt du lavede en terapiøvelse korrekt eller ej.

'Din terapeut kan bare ordinere en melodi i stedet for en øvelse,' siger Vicinanza. 'Det rigtige tempo og den rigtige rækkefølge af noder ville være indikationen på, at øvelsen er den rigtige.'

Parret fortsætter med at arbejde på alle former for datasonifikationer, inklusive en med fokus på forskellige miljømæssige og kulturelle aspekter af en landsby i Frankrig.