Ugeseddel 6 - Max-Jitter

I skal finde et eksempel på kamera-baseret interaktion (CV: computer vision), evt. på www.digitalexperience.dk, men I må vælge frit. Find et eksempel, der er lidt interessant. I skal dels kort beskrive systemet med fokus på interaktionen, dels forsøge at gennemskue, hvordan interaktionen er lavet rent teknisk.

Interaktionen i Cuelight
Vi har valgt at se på Cuelight, som er et kamerabaseret softwaresystem med bevægelsesdetektion og tracking. Indledningsvist vil det gavne læseren at stifte bekendtskab med Cuelight på digitalexperience.dk og Youtube.

Systemet tracker kuglerne på et poolbord, hvor der projiceres et digitalt levende billedlag ned på den analoge overflade. Derved bliver spillet til en kunstnerisk oplevelse, hvor man interagerer med poolbordet ved at spille som normalt. Interaktionen kræver dog fysiske genstande i bevægelse, dvs. at interaktionen også kan foregå ved brug af fx hænder.

Kuglerne fordrer at blive skubbet, og straks ser man det visuelle feedback. Systemet i sig selv fordrer ikke bevægelse, da det netop er bevægelsen, der 'aktiverer' systemet. Man kan ikke umidelbart ikke se det digitale lag på den analoge overflade, så en uvidende bruger ville ikke kunne se, hvad han/hun skulle gøre for at aktivere systemet. Men her kommer de fysiske genstande ind i billedet, da det er dem, brugeren koncentrerer sig om, og de dermed er de primære fordingsfaktorer.

Feedback er centralt for systemet, da det tilbagesender information om den handling, der er blevet udført. Hvis der ikke var feedback til brugeren, ville der ikke være et system. Det forventes af systemet, at feedback'en kommer øjeblikkeligt, da udtrykket ellers ikke ville passe med objekterne aktuelle placering og brugeren i sidste ende ville komme i tvivl, om han/hun har interageret korrekt med systemet.

Som alt kunst er det subjektivt, hvad man syntes om Cuelight. Det giver en anderledes oplevelse af at spille pool, hvilket kan være underholdende. Det giver også brugerne nogle udfordringer, idet man får sværere ved at koncentrere sig om selve spillet. Dette kan dog også være frustrende eller endda irriterende.

Cuelight er interessant for os, fordi man forholdsvist nemt kan bruge teknologien til noget, der kan blive fedt.

Hvordan er interaktionen lavet rent teknisk?
Rent teknisk består CueLight af følgende hardware- og softwaredele: 1) Et kamera tracking system med bevægelsessensorer som lokaliserer enhver bevægelse af et givne objekter (i dette tilfælde billardkugler) på og i nærheden af et afgrænset område (her størrelsen af et poolbord). Bevægelsessensorerne er så...
2) tilsluttet en projektor som er placeret over den valgte overflade og visualiserer med højtopløselige animationer, der reagerer i realtid ved hver bevægelse. Projektoren styres så af... 3) et lille trådløst, mobilt apparat som nemt kan ændre på projektorens visuelle udtryk samt interaktive formål.

Nogle af apparatets forudprogrammerede animationer inkluderer bl.a. bevægelser i form af vandringe, ild eller brug af billardkuglerne til afsløring af et valgt billede i takt med intensiteten af bevægelser på overflade (billede 4). Den digitalt forstærkede videooplevelse som projektoren og det trådløse apparat skaber bygger på... 4) software, programmeret på en computer i et arbitrært program. Man kunne fx godt forestille sig det er blevet skabt i programmeringssproget- og softwareprogrammet JAVA.

Prøv også at give et bud på, hvordan man kunne lave det i Max/Jitter. I behøver ikke at implementere det, men I skal i hvert fald kunne pege på, hvilke (centrale) objekter der skal bruges, og hvordan flowʼet er (evt. vha. et Jitter patch, en tegnet skitse eller en state machine). I skal aflevere tekst (max 2400 tegn) og et diagram/patch.

Download patch (højreklik og gem)

Patchen illustrerer hvordan man vha. et kamera kan tracke ballernes bevægelse. De forskellige blobs skal så via en projektor projiceres ned på poolbordet. For at efterligne Cuelight skal vi ikke bruge grønne cirkler som i patchen ovenfor, men vand og ild i bevægelse. Om vi kan få Max til dette er et endnu ubesvaret spørgsmål.

(Senest) på øvelserne mandag skal I (8) gå i gang med at lave et lille interaktivt system baseret på det, I har lært med Max og Jitter. I har frit slag, men det skal som minimum tage et sensor-input (fx kamera eller lyd) og have et eller andet output. I har masser af input, fx fra jeres kanoner. I må gerne lave en tyverialarm eller et loginsystem. :-) Men alt (interaktivt) er tilladt.

Download patch (højreklik og gem)

Ugeseddel 4: Lav en u-Kliche-kanon

I skal (1) opstille en kanon over klicheer inden for ubiquitous/pervasive computing. Der skal være ti emner på kanonen. I må gerne tilføje flere på en runners-up-liste. Som en del af opgaven skal I (2) diskutere, på hvilket abstraktionsniveau det er hensigtsmæssigt at præsentere de enkelte klicheer. Der findes jo mange systemer, som i bund og grund er den samme kliche. I skal (3) kort skrive konklusionen på jeres diskussion ned (ca. en halv side).

10 klicheer inden for ubiquitous/pervasive computing:
1. Kortlæg og tilføj dine venner på et kort: facebook-eksempel, hvor man
2. Hologramkonferencesystemer (fx Minority Report, Mission Impossible, James Bond, u-Vision)
3. Touchscreens blot for nice-effekten, Midttrafiks billetautomater, iPhone, tankstationer, supermarkeder.
4. Identifikation via finger-aftryk og iris-scanner og stemmegenkendelse. (Mission Impossible, James Bond)
5. Overdreven transparens – immidiacy: man må endelig ikke se teknologien/mediet.
6. Køleskabet: vi bestiller hjemmefra
7. Elektronisk klædeskab – vi tager tøjet på i en virtuel verden
8. Statusopdateringer – Facebook, Twitter – ubiquitous da vi altid har adgang til nettet og kan være online
9. Teknologien skal være mindre just because – youtube.com: ”The Future Technology”
10. Perfekt trådløs teknologi – ingen udfald!

Runners-up-liste
11. Applikationer til fx iPhone. Alt skal være en app selv om et minisite måske ville egne sig bedre.
12. Overvågning

Abstraktionsniveau
Applikationer over det hele (11), statusopdateringer overalt (8) og det at kunne plotte sine venner ind på et kort (1) er klicheer på samme abstraktionsniveau. Det drejer sig om software og teknologi. Hardwarevalg osv. spiller ikke en hovedrolle.

Hologramkonferencesystemer (2), identifikation via fingeraftryk, iris osv. (4), det intelligente køleskab (6), det elektroniske klædeskab (7) og den perfekte trådløse teknologi (10) er klicheer der fokuserer på det tekniske. Identifikationen skal ikke foregå sådan, men sådan og sådan. Klicheerne er også på samme metaniveau fordi det er noget vi har set præsenteret utallige gange som færdige produkter - perfekte teknologier. Alligevel er de smarte hologramkonferencesystemer og den perfekte trådløse teknologi ikke blevet demonstreret i kommerciel sammenhæng endnu.

Touchscreens blot for nice-effekten (3), overdreven transparens (5) og det at teknologien skal være mindre blot for at være det (9) har metaniveauet tilfælles fordi det i alle tilfælde er noget man stræber efter eller implementerer fordi "det er sådan man er ung med de unge i dag". Vi er 2010 og alt der ikke er touchscreen ligner noget fra før vor tidsregning. At nogen kan finde på at udstyre bussers med touchscreenautomater er et eksempel på at niceness-effekten og convinience (automaterne kan "nemt" opdateres) sommetider skubber brugbarheden ud.

Konklusion
I vores diskussion om klicheer indenfor pervasive computing kom vi hurtigt ind på den floskel, som er teknologiens stræben efter hele tiden at blive mere transportabel og mindre i format for at passe ind i vores mobile kultur. Da ubiquitous computings karakteristika netop er at være allestedsnærværende, synes det heller ikke så mærkeligt, at dette er en af dens meget åbenlyse klicheer. Man kan netop også se på produkter som iPod Nano, Shuffle og iPad, at producenten Apple og mange andre forsøger at presse så mange teknologier og funktioner ned i så små gadgets som muligt. Sådanne tendenser bygger everyware i høj grad videre på - i en grad så det fremstår som en kliche for os.

Noget andet der sprang os i øjnene var transparens som synes at være et gennemgående tema indenfor både ubiquitous computing og arkitektur for tiden. Alt skal være gennemsigtigt og klart. Strømninger som synes at hænge sammen med immediacy-begrebet - nemlig en visuel præsentation hvis formål er at få brugeren til at glemme mediets ydre fremtoning. I en medie- og teknologistyret verden stræber pervasive computing netop efter at lade teknologien flyde sammen med det urbane liv, og transparens er derfor blevet en meget brugt tanke inden for everyware.

Andre klicheer som er blevet brugt adskillige gange i hollywoodfilm som Minority Report er teknologier som hologrammer og video-konferencesystemer, intuitive og interaktive touchscreens som set brugt på iPhone og sikkerheds- og identifikationsteknologier som finger-aftryk, stemmegenkendelse og iris-scanner bl.a. set i Mission Impossible-filmene. Sådanne teknologier er som sagt i adskillige år blevet brugt i sci-fi film men indenfor de sidste par år lykkes realiseret. Vi blev enige om, at disse teknologier i høj grad er i fokus for pervasive computing, men da de længe har været brugt i film, føles de knap så originale og i stedet lettere banale.

En sidste ting vi kom ind på i vores diskussion var everywares målsætning om altid at være online. Fremtidige U-citys, som den der pt. bygges i Seoul, er i høj grad afhængig af et trådløst net, hvor der hele tiden er mulighed for at være ”på”. Med vores 3G og Wifi-telefoner og facebook-kultur med konstante status-opdateringer er det da også sådan vi i lang tid har været på vej mod. Ikke desto mindre er dette et fokuspunkt inden for ubiquitous computing, som har været brugt længe og derfor omend foregiver originalitet men opleves som banal.