Multimodalitet i norsk på yrkesfag
Heftet «Multimodalitet. Samspillet mellom tekst, bilde og lyd» er et fint startpunkt for å arbeide med sammensatte tekster i norskfaget, både i grunnskolen og på vgs. Denne nettressursen bygger videre på heftet og fyller ut med flere eksempler.
Om ressursen
Denne ressursen og heftet Multimodalitet - Samspillet mellom tekst, bilde og lyd ble til i 2015 som en del av satsingen FYR - Fellesfag, yrkesfag, relevans. Målet var å gi norsklærere på yrkesfag i videregående en inngang til å utforske sammensatte tekster, digitale ferdigheter og multimodalitet sammen med elevene. Slik kunne de bli inspirert til å bruke andre modaliteter enn tradisjonell verbaltekst i undervisning og oppgaveløsing.
Vi opplevde snart at selv om heftet var myntet på norsklærere og videregående skole, så ble det også populært blant grunnskolelærere på ulike trinn og fag, som syntes det var inspirerende å ta utgangspunkt i eksemplene våre og tilpasse dem til egne formål. Derfor har vi latt heftet og denne nettressursen leve videre, selv om FYR-satsingen er over. Vi håper at heftet fortsatt kan være en appetittvekker som gir lærere og elever lyst til å gå i gang med de multimodale tekstene og skaffe seg mer kunnskap enn de smakebitene vi kan presentere her.
Innledning
I norskfaget er det tradisjon for å operere med et bredt tekstbegrep, som inkluderer både muntlige, skriftlige og sammensatte tekster der skrift, lyd og bilder spiller sammen. Det brede tekstbegrepet er gyldig for alle deler av faget. Tydeligst er det kanskje beskrevet i læreplanteksten om digitale ferdigheter:
«Digitale ferdigheter i norsk er å kunne finne, vurdere og bruke digitale kilder i arbeid med tekst. Det innebærer å bruke digitale ressurser kreativt til å skape sammensatte tekster og å utvikle kritisk og etisk bevissthet om det å framstille seg selv og andre digitalt. Utviklingen av digitale ferdigheter i norsk går fra å lage enkle sammensatte tekster til å planlegge, utvikle og redigere sammensatte tekster basert på kunnskap om hvordan de forskjellige uttrykksformene virker sammen. Utviklingen innebærer også å vise en stadig større grad av selvstendighet og dømmekraft i valg og bruk av digitale kilder.»
Heftet og denne nettressursen er på ingen måte en lærebok i multimodalitet, men vi innfører noen enkle basisbegrep som gjør det mulig å snakke om hvordan de forskjellige uttrykksformene (modalitetene) virker sammen i sammensatte (multimodale) tekster.
Undervisning i multimodalitet handler om både persepsjon og produksjon. Elevene skal kunne forstå forholdet mellom formål, form og innhold i tekster de selv møter, og de skal kunne «kombinere virkemidler og uttrykksformer kreativt i egen tekstskaping».
For at elever skal kunne produsere egne tekster, er digital kompetanse nyttig. Dette heftet inneholder da også mange eksempler på at digitale verktøy er tatt i bruk for å løse oppgavene. Vi ønsker likevel å vise at det å bruke ulike meningsbærende ressurser i egen tekstproduksjon ikke nødvendigvis betyr bruk av avanserte digitale verktøy. Ulike fonter, farger, størrelser og enkle illustrasjoner er i seg selv multimodalitet. Det kan være lurt å begynne der, slik at besnærende teknikk ikke overskygger formålet med tekstproduksjonen. Det handler om å bruke de tilgjengelige mediene og modalitetene på en hensiktsmessig måte for å skape mening.
Formålsteksten framhever at norskfaget skal gi rom for både opplevelse og refleksjon. De multimodale tekstene inneholder både affektive og kognitive element, og dermed åpner de for andre måter å uttrykke seg på enn de tradisjonelle norskfaglige. Det går an å uttrykke stemning og opplevelse av en litterær tekst ved hjelp av farger, bilder og musikk. Multimodale tekster som uttrykker opplevelse kan være like gyldige tolkninger av tekst som mer tradisjonelle litterære tolkninger. På den måten kan de multimodale uttrykkene åpne litteratur for tenåringer.
Elever på yrkesfag vil møte mange typer sammensatte tekster i programfaget sitt. Det er knapt mulig å skrive en arbeidsbeskrivelse, en logg eller en rapport uten å bruke bilder, tabeller, tegninger og lignende. Eksempeltekster fra elevenes eget programområde skal inn i norskfaget. For å arbeide seriøst og formålsrettet med dette må elever og lærer også ha et felles språk som brukes om de ulike modalitetenes muligheter og begrensninger og samspillet mellom dem. I dette heftet blir det ikke plass til eksempler fra alle programfag, men eksemplene og begrepene som innføres, kan forhåpentligvis inspirere til å videreutvikle tverrfaglig samarbeid også om de multimodale tekstene.
Film: Fagspråk om multimodalitet
Funksjonell spesialisering og affordans
Tegneserier er et eksempel på tekster der flere ulike modaliteter brukes for å kommunisere med leseren. Det kan være nyttig å utforske hva de ulike modalitetene bidrar med hver for seg og sammen. Studer utdraget av tegneserien «Fallteknikk» av Inga Sætre (2011) under. Hva får vi vite hvis vi bare tar for oss verbalteksten?
Vurder så hva vi får vite hvis vi bare tar for oss de nonverbale modalitetene (tegneserierammene, illustrasjonene, snakkeboblene).
Verbalteksten gir oss meningsinnholdet i dialogen i denne tegneserien. Verbaltekst egner seg godt til å beskrive dialog, abstrakte konsepter, tanker eller at tiden går. Dette er det vi kaller verbaltekstens affordans. Derfor er det ofte disse rollene verbalteksten får i tegneserien. Det er for eksempel vanskelig å se for seg hvordan en tegneserie skal vise at to uker har gått mellom to rammer ved hjelp av bare bilder. Det er ikke en umulig oppgave, men det er betydelig mer effektivt å bare skrive "To uker senere." Samtidig er det mye informasjon verbalteksten ikke gir leseren. Hvem prater? Hvem sier hva? Hva er settingen? Hvilke linjer hører sammen? Hvordan sier de det?
I leserens sinn fyller de ulike modalitetene ut en historie som blir til noe mer enn historien hver av modalitetene alene forteller. Dette er styrken til det multimodale samspillet - det engasjerer oss på mange måter.
I tegneserien over har de ulike modalitetene fått hovedansvaret for hver sin side av kommunikasjonen med leseren. Den multimodale teksten har stor grad av funksjonell spesialisering.
Hvordan ville den samme teksten sett ut dersom verbalteksten og de nonverbale modalitetene ikke fordelte ansvaret for kommunikasjonen? Studer følgende eksempel:
I denne teksten forsøker verbalteksten å kommunisere alt. Bildene har nå kun som funksjon å illustrere verbalteksten. Denne teksten har liten grad av funksjonell spesialisering, fordi alle modalitetene forteller det samme. Dermed oppstår det overflødighet av informasjon (redundans). Hvis formålet med teksten er å kommunisere tydeligst mulig for å unngå misforståelser, kan det å illustrere være et svært hensiktsmessig virkemiddel. Det hadde for eksempel av og til gjort seg om instruksjonene fra IKEA hadde kommet med noen oppklarende ord i tillegg til de grafiske fremstillingene. Hvis formålet derimot er å gi leseren mulighet til selv å kunne tolke teksten og fylle inn sine egne erfaringer i historien, vil slik overflødighet av informasjon oppleves som begrensende og passiviserende for leseren.
Bildebokskaperen Shaun Tan er en av mesterne av funksjonell spesialisering. I «Ankomsten» (Tan, 2008) fortelles handlingen kun ved hjelp av bilder. Hva hadde skjedd hvis verbaltekst ble introdusert til bildene? Hva ville teksten ha tjent på det, og hva ville gått tapt?
Det er ikke bare tegneserier som kommer med ulik grad av funksjonell spesialisering. En musikkvideo kan også klassifiseres som multimodal tekst, der bilder, bevegelse, lydeffekter, musikk og verbaltekst er noen av modalitetene. Å sammenligne to musikkvideoer som benytter ulik grad av funksjonell spesialisering, kan være nyttig for å bevisstgjøre elevene på forskjellen mellom bilder som illustrerer verbalteksten trofast, og bilder som i ulik grad fortolker eller motsier verbalteksten.
Hvilken av videoene gir størst mulighet for tolking og innlevelse? Hvilken av videoene er best hvis formålet var å kommunisere tydelig og unngå misforståelser?
Eksempelet under viser at ulike modaliteter kan gi diktet en endret eller utvidet mening. Det ikoniske diktet fra 1930-tallet får en ny mening og sammenheng når det blir illustrert med bilder fra Syria.
