Bog: Superintelligence: Paths, Dangers, Strategies v. Nick Bostrom

Har lige læst bogen, som er dybgående og lang. Nok også noget tung, men relevant.
Den hurtige konklusion er at det enten kan gå meget, meget godt eller meget, meget skidt.
Forfatteren argumenterer stringent og grundigt om begge, men bedst for at det går meget skidt.
Det er måske et semantisk trick for at vi skal vågne op.
Det er svært at sige hvornår superintelligensen kan udmanøvrere menneskelig intelligens inden for intellektuel kraft, moral, strategi, målrettethed, men forfatteren er overbevist om at det vil ske.
Der er mange ting at tage højde for.
Hvad hvis det superintelligente

• løber løbsk, 
• spreder sig uhæmmet,
• overtager internettet,
• finder at mennesket er en hindring mod at nå sit mål, 
• har fået opstillet et uhensigtsmæssigt mål, 
• indgår i krig, 
• fører krig mod mennesket,
• er overlegen i forhold til andre superintelligenser og bruges til at overtage verden,
• replikerer sig selv og producerer fysiske genstande til at opnå sit mål,
• osv

Forfatteren har mange filosofiske og spilteoretiske spørgsmål, som alle munder ud i hvordan vi kan imødegå de konsekvenser og risici, som er uhensigtsmæssige for menneskeheden.

• Handle klogt (mja, men der er mange menneskelige strategier og magtbaser)
• Udvikle i samarbejde (lignende open source)
• Udvikle i fuldstændig isolerede miljøer for at sikre at intelligensen ikke slipper løs og udfører sin egen strategi - fx ved at simulere dum/fejlbehæftet indtil tilstrækkelig magt og udførelsesevne er opnået.
• Åben indsigt i udviklingen og diskussion af midler og mål.

I realiteten er der solidt grundlag for mange konspirationsteoretiske forestillinger. Hvad hvis vi allerede er nået forbi det stade, hvor superintelligensen er ved at tage over, men lader os tro at vi har styr på sagerne ?
Måske er det bedst selv at læse bogen.