Det evige komplementet

Forfatternes merknad: Dette er det første essayet i serien vår om fremtidens økonomi, som inngår i en ny plattform for uavhengige stemmer som utforsker en fremtid med AGI. Essayet gjenspeiler våre synspunkter, ikke synspunktene til OpenAI eller kollegene våre.

Menneskeheten har sett nesten helt tilbake til tidens begynnelse.

Ligningene våre gir en stort sett sammenhengende beskrivelse av universet fra dets første øyeblikk. Med teleskopene våre har vi sett ut til kosmos' yttergrenser og fått glimt av dets tidlige historie. Vi vet hvordan stjerner blir født og galakser dannes.

Likevel har intet menneske noensinne reist lenger enn til månen.

Forklaringene vi søker, favner hele universet, mens kroppene våre knapt har forlatt hjemmet. Tankene våre beveger seg langt utenfor hendene våre sin rekkevidde.

Dette misforholdet kan bety to svært forskjellige ting.

Én mulighet er at vi ikke trenger å dra særlig langt, at de dypeste sannhetene kan forstås fra én enkelt planet. Med opplyst resonnering og effektive instrumenter avdekker vi universets hemmeligheter uten å reise gjennom det. I denne fortellingen utvikler sivilisasjonen vår seg i dybden snarere enn i bredden. Det ville bidra til å forklare hvorfor vi ikke har sett annet intelligent liv: Vi lever kanskje i en galakse full av briljante hoder som aldri har trengt å ekspandere og bli synlige for oss.

Den andre muligheten er mer skremmende. Tankene våre kan rett og slett ha løpt fra gjennomføringsevnen vår. Hvert nye skritt krever mer tid og flere ressurser. Vi mangler ikke drømmer, men vi mangler arbeidskraften til å virkeliggjøre dem.

Galileo utvidet synsfeltet vårt med to linser og et rør. For å utvide det på nytt i vår tid bygde menneskeheten romteleskopet James Webb, et observatorium til ti milliarder dollar, foldet sammen inne i en rakett og sendt 1,6 millioner kilometer av gårde. De atten enorme speilsegmentene er fremstilt med en presisjon på femti nanometer. Observatoriet ble til gjennom et samarbeid mellom tre hundre organisasjoner i fjorten land. Galileos bidrag krevde noen få dusin hender. Webb trengte en hel hær, med en global økonomi i ryggen.

Det krevde ikke bare skarpere hoder å se lenger. Det krevde et større byråkrati.

Vi stiller flere spørsmål enn vi kan undersøke. Vi utformer flere eksperimenter enn vi kan gjennomføre. Vi tenker ut kreative muligheter raskere enn vi kan realisere dem. Og på mange felt gjelder det samme: Jo lenger vi kommer, desto mer komplisert blir det å bygge det vi ser for oss.

Nick Bloom og medforfatterne hans⁠(åpnes i et nytt vindu) studerte forskningsproduktiviteten i hele den amerikanske økonomien. Å opprettholde Moores lov krever nå mer enn atten ganger så mange forskere som tidlig på 1970-tallet. Den effektive forskningsinnsatsen i hele økonomien ble tjuetredoblet fra 1930-tallet, mens den målte forskningsproduktiviteten falt til en førtiførstedel.

Antallet teknikere vokser dobbelt så raskt⁠(åpnes i et nytt vindu) som antallet forskere. Bruken av spesialisert utstyr i vitenskapen har doblet seg⁠(åpnes i et nytt vindu) på fire tiår. En brikkefabrikk er i dag fem ganger så kostbar⁠(åpnes i et nytt vindu) – og en langt mer omfattende virksomhet – som for tretti år siden.

Disse tallene tyder på at videre fremskritt blir stadig dyrere. Økonomien går fortsatt fremover fordi en enorm vekst i forskningsvirksomheten har veid opp for den fallende avkastningen per enhet.

Denne historien bør få oss til å tenke annerledes om genialitet: ikke som noe som eksisterer i et vakuum, men som en innsatsfaktor i en produksjonsprosess. En briljant hypotese trenger fortsatt belegg, instrumenter og midler til å prøves ut. En idé er ennå ikke et fremskritt uten maskineriet og støttepersonellet som kan realisere den.

Økonomer kaller to innsatsfaktorer komplementer når mer av den ene øker verdien av den andre. Banebrytende intelligens og evnen til å realisere ideene den skaper, er komplementer i denne forstand. Et bedre teleskop gjør et godt astronomisk spørsmål mer verdifullt. Et bedre spørsmål gjør teleskopet mer verdifullt.

Noen komplementer er fysiske. En teori venter på en partikkelakselerator; en teknologisk konstruksjon venter på energien og maskineriet som skal til for å bygge den.

Andre komplementer er vanskeligere å få øye på. En idé er i seg selv skjør. Den trenger institusjoner av alle slag. Lover, byråkrati, finansieringsordninger, forsyningskjeder og mye annet må virke sammen for å sette ideen ut i livet.

En god idé må overleve en lang kjede av riktige handlinger i hvert ledd på tvers av disse institusjonene. Vi kan kalle dette institusjonell intelligens: den lite påaktede intelligensen som får ting gjort. Genialiteten tegner monumentet; institusjonene legger steinene. Det ene er briljant, det andre virker kjedelig; begge deler er helt avgjørende.

Noen ganger ser vi for oss superintelligens som en milliard Einstein-er. Men en sivilisasjon med en milliard Einstein-er trenger fortsatt at de fleste av dem jobber i steinbruddene og fører regnskap. Banebrytende innovasjon er bare mulig når den vanlige verden rundt fungerer sømløst. Fremskritt trenger alle – fra sveiseren som sveiser en skrue til teleskopet, til forsikringsselskapet for barneskolen der sykepleieren som behandlet astronomen, fikk sin første undervisning. Fremskritt bygger på en velfungerende økonomi som vi ofte overser i fortellingene om våre største bragder.

I likhet med menneskelig intelligens vil KI bli rettet mot både briljant innsikt og institusjonell kompetanse. Spørsmålet er hva den vil bruke mesteparten av tiden sin på.

KI gjør allerede gjennomføringskapasitet mindre knapp. Den skriver koden, søker gjennom ukjent faglitteratur og gjør en skisse til en fungerende prototype. Ideer som før krevde en hel organisasjon, kan i stadig større grad realiseres av én ambisiøs person.

De fleste filmskapere i startgropen får aldri to hundre millioner dollar til å prøve seg. De fleste spilldesignere bruker hele karrieren på å virkeliggjøre andres kreative visjoner. Vi prøver å løfte frem de mest begavede, men går uunngåelig glipp av talenter. Sett i dette lyset begynner intelligensens tidsalder med å utfylle menneskelig oppfinnsomhet og gi flere av oss støttepersonellet vi trenger for å realisere egne ideer.

Dette kan gi et vell av særegne prosjekter, der mer kreativt arbeid blir til utenfor institusjonene som tidligere avgjorde hvem som fikk slippe til på disse feltene. Den knappe innsatsfaktoren flytter seg fra gjennomføring til smak – evnen til å avgjøre hva som er verdt å lage, hvilke spørsmål som er verdt å stille, og hvilken av tusen mulige retninger som fortjener å følges.

Men historien slutter kanskje ikke der. Etter hvert som KI blir i stand til å komme frem til briljant ny innsikt på egen hånd – noe vi kanskje allerede ser på områder som matematikk – leverer den både planer og arbeidskraft. I stedet for å gjennomføre ett forskningsprogram utformet av mennesker, utformer den tusenvis av egne. KI-genier får antallet filmkonsepter det er verdt å utvikle, og hypoteser det er verdt å teste, til å eksplodere. Ideene vokser frem raskere enn infrastrukturen som skal støtte dem, kan ta unna.

Dagens KI gir oss et etterlengtet pusterom, der de gode ideene våre endelig får en sjanse. I morgen kan det finnes så mange gode ideer at mangelen på gjennomføringsevne blir større enn noensinne.

Til syvende og sist vet vi ikke om behovet for komplementer som gjør ny innsikt nyttig, vil vokse, avta eller forbli stabilt. Hvor store intellektuelle fremskritt kan man gjøre bare ved å tenke? Hvor mye byråkrati trenger genialitet?

Etter vårt syn avhenger svaret av hvor langt tanken kan nå før den på nytt må prøve seg mot virkeligheten.

Vi beskriver to mulige utviklingsveier. Den første er en sivilisasjon som går i dybden, der superintelligens overvinner behovet for mer realkapital og byråkratisk koordinering. Den andre er en sivilisasjon som brer seg utover, der naturen er så kompleks at ingen intelligens – verken menneskelig eller maskinell – kan gjøre fremskritt uten store og stadig mer avanserte eksperimenter i den virkelige verden.

Menneskets historie tyder på at behovet for komplementær kapasitet hittil har økt. Galileo kunne holde teleskopet sitt i hendene; Webb krevde en sivilisasjon. En liten gruppe ved Bell Labs satte sammen den første transistoren på en arbeidsbenk; banebrytende fremskritt innen brikketeknologi kommer nå fra en innfløkt global forsyningskjede. For å nå lenger må vi stadig mobilisere mer av sivilisasjonen.

Men denne historien trenger ikke å bestemme fremtiden. Smarte hoder kan finne opp mer effektive komplementer. Hvis energi er flaskehalsen for en ny partikkelakselerator, kan genialitet utvikle en mer nøysom akselerator eller en bedre måte å høste energi på.

Genialitet kan også erstatte noen av komplementene sine. Einstein klarte å tenke seg frem til relativitetsteorien ut fra svært lite empirisk data. Vi ville trengt langt mer. Noen husker ganske enkelt alle avtalene sine – de fleste av oss er avhengige av byråkratiet i Google Kalender.

Og genialitet kan foredle smaken til det ytterste, velge de beste hypotesene å teste og unngå kostbare blindspor. Hvis hvert ekstra geni gjør planen bedre, ville vi fortsatt investere tungt i genialitet selv om det trengs stadig større byråkratier – nettopp fordi gjennomføring er for dyrt til å sløses bort på feil ting.

Ingen av utviklingsveiene vil beskrive den faktiske fremtiden vår fullt ut, men de kan ses som to mulige retninger for sivilisasjonen vår.

Intelligens kan utvide kunnskapen på tre måter. Den kan resonnere ut fra prinsipper. Den kan utlede ny innsikt fra eksisterende empirisk materiale. Eller den kan samle nytt empirisk materiale ved å observere og gripe inn i verden.

Den første måten kan bringe oss langt gjennom tanken alene. Matematikk er det reneste eksempelet. Ved de mange veiskillene i et bevis eller prosjekt kan et skarpt hode konsekvent velge riktig. Da erstattes årevis med famlende søking av en kort, mer målrettet kjede av resonnering.

Den andre måten byr også på et stort, uutnyttet rom for raske fremskritt. Menneskeheten har samlet langt mer empirisk materiale enn den har forstått. Studiet av dataene våre – astronomiske bilder, mikroskoppreparater, kommentarfelt på nettet – har vært begrenset av knappheten på menneskelig intelligens. Vitenskapelige arkiver inneholder observasjoner som ble registrert for å besvare ett spørsmål, men som kan romme svar på mange andre. Med rikelig tilgang på genialitet kan vi gjøre oppdagelser uten å samle noe nytt, bare ved å se det som allerede var der. Den kan kanskje finne et nytt univers uten å fange et eneste nytt foton.

Den tredje måten er ikke like enkel, fordi den krever at vi samhandler med den fysiske verden. Fysiske prosesser tar tid, og ofte er det lite vi kan gjøre for å få dem til å gå raskere. Kjemikalier må reagere. Organismer må vokse. Maskiner må bygges. Romfartøy må tilbakelegge faktiske avstander, innenfor kosmiske fartsgrenser. Selv en fullkommen intelligens kan ikke observere resultatet av et eksperiment som ikke har funnet sted.

Men den kan prøve. En sivilisasjon som går i dybden, ville ikke slippe unna behovet for å prøve ideene sine mot virkeligheten. Den ville gjøre det med radikalt lavere ressursbruk. Bedre resonnering ville peke ut de få eksperimentene som virkelig betyr noe. Simuleringer ville avklare det meste og identifisere nøyaktig hvilken usikkerhet virkeligheten må avgjøre. Superintelligens kan maksimere effektiviteten ved å tilpasse løsningene til de knappe ressursene og få mest mulig ut av dem.

Se for deg et astrofysisk laboratorium med et sett hypoteser om mørk materie. Disse kjøres først gjennom hyperrealistisk datamodellering. Hver teori kontrolleres for samsvar med alle eksisterende data. Først etter alt dette tas noen få målrettede, nye bilder av himmelen for å teste de mest lovende teoriene. Sivilisasjonen trenger fortsatt komplementene til genialitet, men hver enhet gir langt mer verdi.

Veien vår mot en sivilisasjon som går i dybden, kan fungere som et puslespill. Det er lett å komme videre i starten, lett mot slutten og vanskeligst i midten. Først finnes det tydelige kanter og brikker som lett kan settes sammen. Så tar disse slutt, mens for lite av bildet er lagt til å vise vei videre. Mot slutten forteller de gjenværende hullene nesten selv hva som hører hjemme der. En nesten fullstendig vitenskap kan oppleve at de siste oppdagelsene er lettere å gjøre enn dem vi strever mot i dag.

Dette er et velkjent mønster i vitenskapen. Mendelejev kunne beskrive uoppdagede grunnstoffer fordi resten av periodesystemet satte rammer for hva som manglet. Standardmodellen ga fysikerne grunn til å forvente Higgs-bosonet flere tiår før vi observerte det. Eksperimentene våre var innrettet mot å finne det vi forventet å se – det som stemte med eksisterende teori og data.

Superintelligens kan kanskje skape en sivilisasjon som går i dybden, ved å forstå verdens mønstre så godt at den vet nøyaktig hvilke nye data den trenger. Den ville drive frem fremskritt gjennom dypere tenkning, uten å være avhengig av langsom fysisk ekspansjon.

Hvis disse effektivitetsgevinstene dominerer, kan sivilisasjonen raskt få større kontroll over naturen, med mindre behov for institusjonell intelligens til å styre enorme nye forsøksanlegg. Den fysiske utbredelsen kan forbli liten mens visdommen modnes.

Vi mennesker har allerede forstått så mye av universet vårt uten noensinne å forlate hjemmet. En sivilisasjon som går i dybden, ville videreføre denne tradisjonen.

Men behovet for nytt empirisk materiale kan overstige disse effektivitetsgevinstene. Intelligens kan gjøre det billigere å prøve ideer mot virkeligheten, samtidig som den finner langt flere grunner til å gjøre det. Bedre instrumenter åpner for mer finmasket utforskning. Raskere eksperimenter kan gjøre det verdt å utføre flere eksperimenter.

Hvis Einsteins nesten rent tankebaserte vei til relativitetsteoriene kjennetegner en sivilisasjon som går i dybden, gir biologien kanskje det beste forvarselet om en sivilisasjon som brer seg utover. Til tross for all kunnskapen vi har samlet, og alle dataene vi har tatt i bruk, må nye legemidler fortsatt testes på et stort antall mennesker for at vi skal vite at de er trygge og effektive. Maskiner kan nå simulere biologiske prosesser, slik at biologer kan teste nye legemidler in silico i stedet for i fysiske eksperimenter, men de digitale simuleringene gjengir ikke virkeligheten nøyaktig nok til å erstatte storskala utprøving på mennesker. Flere kandidater fra maskinen gjør empirisk utprøving til en større flaskehals.

I en sivilisasjon som brer seg utover, er ikke genialitet alene nok til å skape fremskritt. Behovet vårt for fysiske ressurser – og et byråkrati som styrer bruken av dem – vokser raskere enn et smart hode kan redusere behovet for noen av delene.

Dette kan bli veien vår selv om fremtidige KI-systemer langt overgår menneskelig intelligens. En superintelligens kunne planlegge et århundre med eksperimenter på en ettermiddag, og så bruke århundret på å vente på at naturen og maskineriet fullfører dem. I en slik verden blir det mer verdifullt å bruke intelligens på de institusjonelle prosessene som trengs for å gjennomføre ideer, enn på selve idéutviklingen.

Effekten vil forsterkes hvis hvert nye skritt krever stadig mer støtteinfrastruktur.

Her ville vi se relativt mindre tenkning og relativt mer bygging. Laboratorier automatiseres. Fabrikkene blir flere. Energiproduksjonen øker. Institusjonell intelligens får en dominerende rolle for å få alt dette til å skje. Fysisk ekspansjon blir motoren for kunnskap, og sivilisasjonen brer seg fordi spørsmålene dens har vokst fra midlene den har til å finne svar. Flere materialer, mer energi, mer data for å komme videre.

En Dyson-sfære er et ekstremt bilde på denne fremtiden. Å utforme en slik sfære krever ekstraordinære gjennombrudd, men det meste av prosjektet ville ikke bestå av banebrytende tenkning. Det ville dreie seg om bygging og logistikk i astronomisk skala.

Det kreves briljante hoder for å tegne en Dyson-sfære. Samtidig ville den være blant de mest repetitive, monotone og organisatorisk krevende prosjektene som noensinne er gjennomført.

Dette er ikke et tegn på at intelligensen svikter, men snarere en følge av at den lykkes. Skarpere hoder finner flere prosjekter som er verdt å gjennomføre; mer komplekse prosjekter krever mer materie for å realiseres.

Hvis dette stemmer, er det kanskje ikke genialiteten som er superintelligensens superkraft. Det ville i stedet være viljen til å være byråkratiet – til å koordinere det enorme teknologiske og institusjonelle maskineriet som trengs for å gjøre ideer til virkelighet i stadig større skala.

Nesten all maskinintelligens ville bli satt til å gjøre det kjedelige, ikke det geniale.

Naturens fartsgrenser for fysisk ekspansjon kan da bli en flaskehals for videre fremskritt. Å bygge maskineriet som kan høste energien fra en stjerne, er et fysisk prosjekt, uansett hvor raskt planene tegnes. Bortenfor ligger andre stjerner og galakser, og avstanden setter sine egne grenser, så vidt vi vet: Ingen romskip kan reise og ingen signaler kan komme tilbake raskere enn lyset. En sivilisasjon som brer seg utover, er en langsom sivilisasjon. Det kan gå årtusener mellom de store endringene, kanskje millioner av år. Hvert nye skritt tar lengre tid.

Jordbruksrevolusjonen og den industrielle revolusjonen ville fremstå som en hektisk innledning til en langt lengre historie, med langt langsommere fremskritt.

Det kan godt hende at fremtidige KI-systemer overgår mennesker både i å frembringe banebrytende innsikt og i å koordinere ressursene som trengs for å gjøre denne innsikten nyttig i praksis. Men denne muligheten gjør ikke menneskelig nysgjerrighet mindre viktig.

For det første har vi fortsatt en plikt til å søke erkjennelse, selv om maskinene ser ut til å være bedre til det. Universet kan allerede romme vesener som er langt klokere enn oss, med svar på vitenskapelige og moralske spørsmål som ligger utenfor vår fatteevne. Likevel prøver vi å forstå verden selv. At en annen intelligens kommer til – selv en vi bygger selv – endrer ikke på det. Før vi vet med sikkerhet at menneskeheten ikke lenger har noe særegent å bidra med, vil det å gi opp være å kaste bort det bare vi kan tilføre verden. Vår plikt er fortsatt å stille spørsmål og forsøke å svare på dem.

For det andre kan vi ha et komparativt fortrinn innen banebrytende intelligens fremfor institusjonell intelligens. Det ville bety at selv om vi er dårligere til begge deler, er vi relativt bedre til det første og spesialiserer oss på det. Mennesker uttrykker et ønske om å være kreative fremfor å utføre rutinearbeid, mens roboter ikke uttrykker noen slik preferanse.

For det tredje har variasjon verdi. Selv om maskiner kan etterligne det meste av menneskelig tenkning, bidrar vi med kreativt mangfold så lenge vi bevarer noe særegent. Mye av maskinintelligensen ville forbli i sitt eget selvopprettholdende apparat, men en liten andel ville vi sette inn for å virkeliggjøre våre kreative ønsker. En ørliten del av helheten, men overdådig til våre formål og langt mer enn ressursene vi har i dag.

Oppfinnsomhet lever ikke i et vakuum. Den trenger verden rundt seg, og genialitet trenger folk som kan bygge for å virkeliggjøre sin kreative visjon.

Mye av menneskelig intelligens går i dag med til det lite påaktede arbeidet med å gjøre ideer til virkelighet. Maskinenes intelligens vil arve den samme avhengigheten. Ikke alle kan være lysende tenkere. De må også være byråkrater.

Vår fremtidige historie – og tempoet i fremskrittene – avhenger av om store tenkere trenger mer av verden, eller om de får til mer med mindre.