The poetics of autopoiesis : visual arts, autonomy and artificial intelligence

Abstract

Abstract This thesis project starts an inquiry: is it possible for an artificial entity to create art in a manner completely autonomous from humans? As a practice-based artistic research project, the thesis is guided by the production of five works of art, presented during the study: Photosynthesis, Crank of Life, AiKU, Post-colonialism and Supervision.

An initial framing of historical efforts to create mechanical artists is followed by an investigation into the development of methods to replicate systems of thought. How can reasoning be represented? Once this challenge is overcome, a path to an artificial thinking machine might appear. This leads us from the development of symbolic logic, starting from Leibniz, onto the works of Charles Babbage and Ada Lovelace, and finally to the inception of the first computing systems as well as the conceptualisation of the Turing machine. It also takes us to art proposals that detach themselves from the materiality of objects towards a conceptualising stance. In concept art, which also appeared in the early 20th century, craft becomes less relevant than idea. I suggest that such artworks can be reduced to instructions like “send a urinal to an exhibition”, a paradigm that would actually be fully adopted and put to practice by later conceptualists like Sol Lewitt and Fluxus.

In the field of computer science, the task of building an artificial mind begins to be tackled in the 1950s. At the time, emerging fields like cybernetics, systems theory, and artificial intelligence are addressing this challenge. However, a fundamental paradox arises: Can an artificial entity truly act autonomously if bound by its creator's rules? Similar paradoxes arise in various fields: in particular, whether mathematics is self-contained – that is, does it need an external, dogmatic axiom, or can it derive all solutions by using rules that can prove themselves? It is widely accepted that Kurt Gödel proved the first hypothesis, undermining the possibility that an artificially created system can develop autonomous agency. The research looks into two theories that face this dilemma, one most recent and pragmatic, by Karl Frison, and the more poetic approach of Douglas Hofstadter. The task is clearly beyond the possibilities of this project and remains open. It seems unlikely that an artificial entity will show complete autonomous creativity in the distant future, and in any case it is certainly not happening now. Hence, we turn the research towards understanding the poetics that the efforts towards autonomous creativity can yield. The first artistic component is then presented as a reflection on this potential. Photosynthesis is a piece powered by sunlight, with no battery storage or electrical input. Every time it is hit by sun rays, it will draw a silhouette of a tree on a black and white screen, proposing a human-made type of autonomous artistry.

The search for self-organisation continues with the development of the sciences of autonomy and the artistic expressions around them. The paramount concept of autopoiesis (by Maturana and Varela) describes biological systems as defined by their boundaries and self-maintenance capacity. Another artistic component, Crank of Life, implements John Conway‘s Game of Life, a landmark in complex simulation systems. My version makes the machine’s external reliance very explicit, as it requires the user to crank a dynamo to produce the energy to run the simulation.

The breakthroughs of last decade’s artificial intelligence revolution, I argue, were fueled exactly by the need to endow it with the ability to understand the world visually, and with the semantic capacity to interpret it. The “solution” to the ImageNet challenge came to cement the dominance of neural networks as the preferred path within AI research, since the project that managed to recognise image categories with accuracy similar to humans was coded with this technology. As a deference to the influence of ImageNet, I propose Supervision, a mechanical curation of 12.864 digital images belonging to the Finnish Museum of Photography, powered by the model.

In 2014, the invention of the Generative Adversarial Network (GAN) triggered the explosion of generative visual AI. The plethora of GANs, with their different goals and purposes, is used to introduce a key idea in the thesis, the Autopoietic Agential Arrangement. This concept leans on the work of artists who incorporate technology as an essential part of their practice. Many of these pieces consist of systems that output artwork such as images, text, sound or even performances. My claim is that the most important creative aspect of this practice is not their outputs (which I call the by-products), but the system itself (which I call the arrangement). The search for a poetics of autopoiesis could end with the argument that the transcendence of these artworks lies precisely in their potential for creative autonomy and self-maintenance.

However, the invention of text to image models waged a profound impact on creative autonomy and culture. The artwork AIKU, a haiku generator that takes inspiration from images found on Wikipedia, represents my take on generative AI. The widespread adoption of these systems has societal and environmental consequences: the artistic component Post-colonialism is commentary on biases in generative visual neural networks. These models have issues of visual taste bias, and pose challenges to the very concept of copyright and the place of the artistic craft in society.

Yet, the relation between image and written word presents new affordances for autopoietic arrangements. Such processes open new exploratory paths in poetic production. How proficiently do the models synthesise metaphors? How is polysemy represented in the latent creative space of the neural networks? How well can abstract concepts be translated visually?

In conclusion, this thesis proposes the challenge of the construction of an autonomous creative entity to navigate the intricate landscape of artificial creativity. Whilst the project demonstrates that complete autonomy in artistic creativity by artificial entities remains elusive, it unveils a tapestry of potentials in the combined practice of art, technology in general, and artificial intelligence in particular. As technology continues to evolve, this research lays a foundation for the ongoing dialogue about the role of AI in art, the nature of creativity, and the continued quest for poetic artificial autopoietic systems.

Tiivistelmä Tämä opinnäytetyö haluaa esittää kysymyksen: voiko keinotekoinen entiteetti luoda taidetta täysin ilman ihmisen apua? Tämä opinnäytetyö on käytäntöön perustuva taiteen tutkimushanke ja sitä ohjaavat viisi tutkimuksen aikana esiin nostamaani taideteosta: Photosynthesis, Crank of Life, AiKU, Post-colonialism ja Supervision.

Aluksi käsittelen mekaanisten taiteilijoiden luomiseen tähtääviä kokeiluja historiassa, minkä jälkeen tutkin ajatusjärjestelmien toisintamiseksi luotujen menetelmien kehittämistä. Miten päättelyä voidaan toisintaa? Ajattelukoneen luominen saattaa onnistua, kun tämä haaste on ratkaistu. Tämän kautta käsittelen symbolisen logiikan kehittämistä Leibnizistä Charles Babbagen ja Ada Lovelacen työhön ja lopulta siirryn käsittelemään ensimmäisten tietojenkäsittelyjärjestelmien luomista sekä Turing-koneen konseptointia. Tämä kautta käsittelen myös teoskuvauksia, jotka irtautuvat kohteiden materiaalisuudesta kohti käsitteellisempää ajattelutapaa. Käsitteellisessä taiteessa, joka myöskin sai alkunsa 1900-luvun alussa, taidosta itsessään tulee vähemmän relevantti kuin ideasta. Ehdotan, että tällaiset teokset voidaan pelkistää sellaisiksi käskyiksi kuin "lähetä urinaali näyttelyyn", mikä onkin sellainen paradigma, jota myöhemmät käsitteelliset artistit, kuten Sol Lewitt ja Fluxus-taiteilijat, käyttivät ja toteuttivat.

Tietojenkäsittelytieteen alalla keinotekoisen mielen rakentaminen alkoi 1950-luvulla. Tuolloin haaste pyrittiin selvittämään uusien alojen, kuten kybernetiikan, systeemiteorian ja tekoälyn, avulla. Tämä kuitenkin johti perustavanlaatuisen pulman syntyyn: Voiko keinotekoinen entiteetti todella toimia itsenäisesti, jos sitä sitovat sen luojan antamat säännöt? Samankaltaisia paradokseja nähdään muillakin aloilla, erityisesti kysymyksessä siitä, onko matematiikka itsensä perusteleva järjestelmä, eli tarvitseeko se ulkoisen, dogmaattisen perusolettaman vai voiko se päätyä kaikkiin ratkaisuihin käyttämällä sääntöjä, jotka se osaa itse perustella? Kuten tunnettua, Kurt Gödel todisti ensiksi mainitun hypoteesin todeksi, mikä heikensi mahdollisuutta, että keinotekoisesti luotu järjestelmä voisi kehittyä itsenäiseksi toimijaksi. Tutkimuksessa tarkastellaan kahta tätä ongelmaa käsittelevää teoriaa: yhtä uusimmista eli Karl Frisonin pragmaattista teoriaa sekä Douglas Hofstadterin runollisempaa lähestymistapaa. Ratkaisu on selvästi tämän tutkimuksen mahdollisuuksien ulkopuolella ja jää avoimeksi. Vaikuttaa epätodennäköiseltä, että keinotekoinen entiteetti pystyisi osoittamaan täydellistä autonomista luovuutta edes hamassa tulevaisuudessa. Ainakaan tällä hetkellä se ei tähän pysty. Siksi tutkimus suuntautuukin erittelemään ilmaisumuotoja, jota autonomisen luovuuden edistäminen voi tuottaa. Tutkimuksen ensimmäinen taiteellinen osa esitelläänkin juuri tämän potentiaalin pohdintana. Photosynthesis on auringonvaloa hyödyntävä teos, jossa ei ole akkua tai ulkoista virtalähdettä. Kun auringon säteet osuvat teoksen valokennoon, sen mustavalkoiselle näytölle piirtyy puun siluetti, mikä viittaa ihmistekijän kaltaiseen autonomiseen taiteilijatyyppiin.

Itsenäisen järjestäytymisen etsiminen jatkuu autonomiaa tutkivien tieteiden ja niiden ympärille kehkeytyvien taiteellisten ilmaisujen kehittymisen muodossa. Tärkeä käsite ”autopoieesi” (Maturana ja Varela) kuvaa biologisia järjestelmiä niiden rajojen ja itsenäisen ylläpitokyvyn kautta. Tutkimuksen toinen taiteellinen osa, Crank of Life, toteuttaa John Conwayn Game of Life -ajatusleikkiä, joka on monimutkaisten simulointijärjestelmien virstanpylväs. Versioni tekee koneen ulkoisen riippuvuuden erittäin selväksi, koska siinä käyttäjän täytyy vääntää dynamon kampea, jotta hän voi tuottaa energiaa simulaatiota varten.

Uskon, että viime vuosikymmenen tekoälyvallankumouksen läpimurtoja ruokkivat juurikin tarve antaa tekoälylle kyky ymmärtää maailmaa visuaalisesti ja tulkita sitä semanttisesti. ImageNet-haasteen "ratkaisu" vahvisti neuroverkkojen valta-aseman tekoälytutkimuksen parhaana väylänä, koska projekti, joka onnistui tunnistamaan kuvakategoriat ihmisen tarkkuuden vertaisesti, koodattiin tällä teknologialla. Kunnianosoitukseksi ImageNetin vaikutukselle voidaan nähdä Suomen Valokuvamuseossa esitetty teos Supervision. Teos perustuu kyseisen mallin avulla toteutettuun, 12 864 digitaalisen kuvan mekaaniseen kuratointiin.

Vuonna 2014 Generative Adversarial Networkin (GAN) keksiminen käynnisti generatiivisen visuaalisen tekoälyn räjähdyksen. Esittelemällä lukuisia eri GAN:eja, joilla kaikilla on eri tavoitteet ja käyttötarkoitukset, tuon esille opinnäytetyön keskeisen idean eli autopoieettisen toimijuuden luomisen (Autopoietic Agential Arrangement). Käsite nojaa teknologiaa olennaisena työvälineenä käyttävien taiteilijoiden työhön. Monet näistä teoksista koostuvat järjestelmistä, jotka tuottavat esimerkiksi kuvia, tekstiä, ääntä tai jopa esityksiä. Väitän, että tämän käytännön tärkeimpänä luovana näkökohtana eivät ole sen tuotokset (joita kutsun sivutuotteiksi) vaan itse järjestelmä (jota kutsun sovitukseksi viittauksena musiikkiin). Autopoieesin runouden etsiminen voisi päättyä väitteeseen, jonka mukaan näiden taideteosten transendenssi johtuu nimenomaan niiden luovan autonomian ja itseylläpidon mahdollisuuksista.

Tekstiä kuvaksi muuttavien mallien keksiminen vaikutti kuitenkin merkittävästi luovaan autonomiaan ja kulttuuriin. Haiku-generaattori AIKU, joka saa inspiraationsa Wikipediasta löytyvistä kuvista, edustaa minun näkökulmaani generatiiviseen tekoälyyn. Näiden järjestelmien laajamittaisella käyttöönotolla on yhteiskunnallisia ja ympäristövaikutuksia: taiteellinen osa Post-colonialism on kommentti generatiivisiin visuaalisiin neuroverkkoihin kirjautuneista ennakkoasenteista. Näihin malleihin liittyy visuaalisen maun vääristymisen ongelmia. Ne asettavat myös haasteita tekijänoikeuden käsitteelle ja taiteellisen työn taidon reunaehdoille yhteiskunnassa.

Kuvan ja kirjoituksen välinen suhde tuo kuitenkin uusia tarjoumia autopoieettisiin sovituksiin. Tällaiset prosessit avaavat uusia tutkimuspolkuja runolliseen tuotantoon. Kuinka taitavasti mallit osaavat tulkita metaforia? Miten monimerkityksisyys näkyy hermoverkkojen piilevässä luovassa tilassa? Kuinka hyvin abstraktit käsitteet voidaan kääntää visuaalisesti?

Lopuksi tämä opinnäytetyö muotoilee haasteen luoda autonominen, luova kokonaisuus, jonka avulla voitaisiin sukkuloida keinotekoisen luovuuden monimutkaisessa maailmassa. Vaikka hanke osoittaa, että keinotekoisten kokonaisuuksien täydellinen autonomia taiteellisessa luovuudessa ei ole vielä toteutunut, se paljastaa potentiaalien kirjon taiteen, teknologian ja tekoälyn yhteisellä kentällä. Teknologian kehittyessä tämä tutkimus luo perustaa jatkuvalle vuoropuhelulle tekoälyn roolista taiteessa, luovuuden luonteesta ja runollisten, keinotekoisten ja autopoieettisten järjestelmien jatkuvasta etsinnästä.

Abstrakt Denna doktorsavhandling ger upphov till en frågeställning: är det möjligt för en artificiell entitet att skapa konst helt oberoende av människor? Som ett praktikbaserat konstnärligt forskningsprojekt styrs avhandlingen fem producerade konstverk som presenteras under undersökningen: Photosynthesis, Crank of Life, AiKU, Post-colonialism and Supervision.

En inledande inramning av historiska försök att skapa mekaniska konstnärer följs av en undersökning om utvecklingen av metoder för att replikera tankesystem. Hur kan resonemang representeras? Så snart denna utmaning är övervunnen kan en väg till en artificiell tänkande maskin se dagens ljus. Detta leder oss från utvecklingen av symbolisk logik, med början hos Leibniz, till arbetena av Charles Babbage och Ada Lovelace, och slutligen till uppkomsten av de första datorsystemen samt konceptualiseringen av Turingmaskinen. Den tar oss också till förslag på konst som tar avstånd från objektens materialitet mot en konceptuell ställning. Inom konceptillustrering, som också dök upp i början av 1900-talet blir hantverket mindre relevant än idén. Jag menar att sådana konstverk kan reduceras till instruktioner av typen "skicka en urinoar till en utställning", ett paradigm som senare skulle anammas och omsättas i praktiken av konceptualister som Sol Lewitt och Fluxus.

Inom datavetenskapen började man på 1950-talet att ta sig an uppgiften att bygga ett artificiellt sinne. Vid den tiden tar framväxande områden som cybernetik, systemteori och artificiell intelligens an denna utmaning. Emellertid uppstår det en grundläggande paradox: Kan en artificiell entitet verkligen agera självständigt om den är bunden till sina skapares regler? Liknande paradoxer uppstår inom olika områden, i synnerhet kan man fråga sig om matematiken är självständig, dvs. om den behöver ett externt, dogmatiskt axiom, eller om den kan härleda alla lösningar genom att använda regler som kan bevisa sig själva? Det är allmänt vedertaget att Kurt Gödel bevisade den första hypotesen och underminerade möjligheten att ett artificiellt skapat system kan utveckla autonomt handlande. Forskningen undersöker två teorier som möter detta dilemma, den senaste och mest pragmatiska, av Karl Frison, och den mer poetiska av Douglas Hofstadter. Uppgiften ligger klart bortom möjligheterna för detta projekt och förblir öppen. Det verkar osannolikt att en artificiell entitet kommer att visa fullständig autonom kreativitet inom en lång framtid, och i vilket fall som helst händer det verkligen inte nu. Därför vänder vi forskningen mot att förstå den poetik som en strävan mot autonom kreativitet kan ge upphov till. Den första konstnärliga delen presenteras sedan som en reflektion över denna potential. Fotosyntes är ett verk som drivs av solljus, utan batterilagring eller elektrisk tillförsel. Varje gång den träffas av solstrålar kommer den att rita en silhuett av ett träd på en svartvit skärm, vilket föreslår en mänskligt skapad typ av autonom konstnärlighet.

Sökandet efter självorganisering fortsätter med utvecklingen av vetenskaper inom autonomi och de konstnärliga uttrycken kring dem. Det centrala konceptet autopoiesis (av Maturana och Varela) beskriver biologiska system som definieras av sina gränser och sin förmåga till självunderhåll. En annan konstnärlig del, Crank of Life, implementerar John Conways Game of Life, en milstolpe inom komplexa simuleringssystem. Min version synliggör maskinens externa beroende mycket tydligt, eftersom den kräver att användaren vevar en dynamo för att producera energi för att köra simuleringen.

Jag hävdar att genombrotten inom artificiell intelligens under förra decenniets revolution drevs just av behovet att ge den förmågan att förstå världen visuellt och med den semantiska förmågan att tolka den. "Lösningen" på ImageNet-utmaningen kom att cementera de neurala nätverkens dominans som den föredragna vägen inom AI-forskning, eftersom projektet som lyckades känna igen bildkategorier med noggrannhet som liknar människors var kodat med denna teknologi. Som en aktning till ImageNets inflytande föreslår jag Supervision, en mekanisk kuratering av 12 864 digitala bilder som tillhör Finlands fotografiska museum, drivet av modellen.

År 2014 utlöste uppfinningen av Generative Adversarial Network (GAN) en explosion av generativ visuell AI. Den stora mängden av GANs med olika mål och syften, används för att introducera en nyckelidé i avhandlingen, the Autopoietic Agential Arrangement. Detta koncept bygger på verk av konstnärer som inkorporerar teknologi som en väsentlig del av verksamheten. Många av dessa verk består av system som genererar konstverk såsom bilder, text, ljud eller till och med framträdanden. Min tes är att den viktigaste kreativa aspekten av denna praxis inte är deras resultat (som jag kallar biprodukter) utan själva systemet (som jag kallar arrangemanget). Sökandet efter en poetics of autopoiesis kan sluta med argumentet att transcendensen hos dessa konstverk ligger just i deras potential för kreativ autonomi och självunderhåll.

Uppfinningen av text-till-bild-modeller utgjorde dock en djupgående inverkan på den kreativa autonomin och kulturen. Konstverket AIKU, en haiku-generator som hämtar inspiration från bilder på Wikipedia, representerar mitt perspektiv på generativ AI. Den breda användningen av dessa system har samhälleliga och miljömässiga konsekvenser: den konstnärliga delen Post-colonialism är en reflektion om partiskhet i generativa visuella neurala nätverk. Dessa modeller har problem med visuell partiskhet när det gäller smak och ställer utmaningar för själva konceptet med upphovsrätt och det konstnärliga hantverkets plats i samhället.

Ändå presenterar förhållandet mellan bild och skrivet ord nya möjligheter för autopoietiska arrangemang. Sådana processer öppnar nya utforskande vägar inom poetisk produktion. Hur effektivt kan modellerna syntetisera metaforer? Hur representeras polysemi i de neurala nätverkens latenta kreativa utrymme? Hur väl kan abstrakta begrepp översättas visuellt?

Sammanfattningsvis föreslår denna avhandling att det finns en utmaning att konstruera en autonom kreativ entitet för att navigera i det komplicerade landskapet av artificiell kreativitet. Även om projektet visar att fullständig autonomi inom konstnärlig kreativitet genom konstgjorda entiteter fortfarande är svår att beskriva, avslöjar det en mångfald av potentialer i den kombinerade praktiken av konst, teknologi i allmänhet och artificiell intelligens i synnerhet. Eftersom teknologin fortsätter att utvecklas lägger denna forskning grunden för en fortlöpande dialog om AI:s roll i konsten, kreativitetens natur och den fortsatta strävan efter poetiska artificiella autopoietiska system.