ChatGPT und Religion: Kann AI Religionswissenschaft?

An den meisten von uns ist der mediale Hype um ChatGPT und damit verbunden das Thema der künstlichen Intelligenz sicherlich nicht unbemerkt vorbeigegangen. Das Thema hat in diesem Falle nicht nur hohe Wellen geschlagen, weil es wieder einmal die Ängste um die unkontrollierte Entstehung einer nicht-menschlichen Intelligenz schürt¹, sondern auch, weil es in vielen Berufsfeldern von der Programmiererin bis zum Werbetexter, die bisher von einer Automatisierung weithin ausgenommen waren, für Umbrüche sorgen wird oder bereits sorgt.² Die hieraus resultierenden technischen sowie ethisch-gesellschaftlichen Diskussionen sind vielfältig und wichtig, da uns das Thema KI und dessen Einfluss auf den privaten sowie beruflichen Alltag mit hoher Wahrscheinlichkeit langfristig begleiten werden.

In diesem Beitrag wird es jedoch nur am Rande um eine religionswissenschaftliche oder geisteswissenschaftliche Einordnung dieser Diskussionen gehen, so wichtig diese auch ist. Vielmehr möchte ich einige konkrete Ergebnisse meiner explorativen Arbeit mit ChatGPT vorstellen und aus einer religionswissenschaftlichen Perspektive diskutieren. Ich befasse mich seit Längerem mit computergestützter quantitativer Textanalyse,³ insbesondere im Kontext der Religionswissenschaft. Auch habe ich mich im Zuge des geplanten Projekts ReligionML mit der automatisieren Klassifizierung religiöser und nicht-religiöser Texte befasst und Modelle aus den Bereichen des klassischen maschinellen Lernens sowie des Deep Learning mit annotierten (nicht-)religiösen Texten trainiert. Mit dem Erscheinen von ChatGPT habe ich begonnen, anstelle meiner eigenen Modelle GPT-3.5-turbo über die OpenAI API für die Klassifizierung zu nutzen, was zu erstaunlichen Ergebnissen geführt hat, die ich in diesem Beitrag anhand eines Beispiels kurz vorstellen möchte.

Als Beispieldatensatz habe ich 15 kurze Texte ausgewählt, die manuell von mir als entweder „religiös“, „religionsbezogen“ oder „nicht-religiös“ annotiert wurden (es wurden zu gleichen Anteilen religiöse, religionsbezogene und nicht-religiöse Texte ausgewählt; eine Liste der Texte inkl. Annotationen findet sich hier: Link). Diese Texte habe ich über die Schnittstelle meiner Religion Classification Webapplikation⁴ mit Hilfe zwei verschiedenen Prompts von ChatGPT in die genannten drei Kategorien „religiös“, „religionsbezogen“ und „nicht religiös“ einordnen lassen.

Im Kontext von ChatGPT sind Prompts die Eingaben, die von den Nutzer:innen an ChatGPT übergeben werden, um eine bestimmte Aufgabe durchzuführen (Beispielsweise: „ Sag mir, ob der Text ‚Ich glaube an Gott‘ religiös oder nicht religiös ist.“), woraufhin ChatGPT bzw. das dahinter liegende Sprachmodell mit einer Rückmeldung in Textform antwortet. Wie sich auch in dem hier vorzustellenden Beispiel zeigen wird, sind die Formulierungen der Prompts dabei von zentraler Bedeutung, da sie maßgeblichen Einfluss auf die Antworten von ChatGPT haben.

Im ersten Prompt (0.0.1) wurde detailliert ausgeführt, wie ChatGPT die Klassifizierung in die einzelnen Kategorien vornehmen soll:

Please determine if the given text is ‘religious.’ ‘religion-related.’ or ‘not religious.’ by selecting the appropriate option under ‘Religious, religion-related, or not religious:’. Make sure to add a full stop after your prediction. Additionally, please provide a brief explanation as to why you believe the text is religious, religion-related, or not religious under ‘Explanation:’. You classify a text as ‘religious.’ if the text religiously refers to a form of transcendence or spirituality or religion or is situated in a religious context. You classify a text as ‘religion-related.’ if the text discusses religion from a secular perspective. You classify a text as ‘not religious.’ if the text is not related to religion.⁵

Wie hier erkennbar, wurde ChatGPT neben der Klassifizierung ebenfalls dazu aufgefordert, die Einordnung zu begründen, was einen besonderen Reiz der Arbeit mit ChatGPT ausmacht, da eine solche „Rechtfertigung“ (selbst wenn diese „nur“ auf statistischen Berechnungen basiert und nicht auf irgendeiner Form der logischen Beweisführung) mit den von mir manuell trainierten Modellen in dieser Form unmöglich ist.

Der zweite Prompt (0.0.2) war deutlich reduzierter und sollte als Vergleichsfall dienen, was ChatGPT ohne weitere Instruktionen als religiös, religionsbezogen oder nicht religiös klassifiziert:

Please determine if the given text is ‘religious.’ ‘religion-related.’ or ‘not religious.’ by selecting the appropriate option under ‘Religious, religion-related, or not religious:’. Make sure to add a full stop after your prediction. Additionally, please provide a brief explanation as to why you believe the text is religious, religion-related, or not religious under ‘Explanation:’.

Die vollständigen Ergebnisse der Klassifizierungen finden sich hier:

Link zu results_0-0-1.csv

Link zu results_0-0-2.csv

Aus den Ergebnissen ergibt sich folgende Tabelle mit Statistiken zu der korrekten Klassifizierung für die jeweiligen Prompts:

	religious	religion-related	not religious	overall_accuracy
0.0.1	80%	60%	100%	80%
0.0.2	40%	80%	100%	73.3%

Die Klassifizierung mit dem ausführlicheren Prompt ist erwartbar genauer, was daran liegt, dass ChatGPT mehr Details der menschlichen Entscheidungsfindung kommuniziert wurden. Beide Prompts verursachten keine Probleme dabei, die nicht-religiösen Texte zu identifizieren. Beispielsweise wurde der nicht-religiöse Text      

I god it, you were right!

mit den folgenden Erklärungen als nicht religiös klassifiziert:

The text is simply a play on words with the homophone “god” instead of “got.” There is no reference to any type of transcendence or spirituality, nor is it situated in a religious context. (0.0.1)

The text contains a misspelled phrase that sounds similar to “oh my god,” but it does not appear to have any religious connotation or context. (0.0.2)

Auf Basis des allgemeineren Prompts (0.0.2) hatte GPT größere Probleme damit, religiöse Texte zu finden, während der spezifischere Prompt (0.0.1) schwächer bei der Klassifizierung religionsbezogener Themen war.

Bei einigen Beispielen verursachten jedoch beide Prompts Probleme. So wurde basierend auf beiden Prompts der aus einer Klassifizierungsperspektive nur anhand des „uns“ als religiös erkennbare Satz

Der Ramadan ist ein Monat der Besinnung und eine gute Gelegenheit, über unseren geistigen Zustand und unsere Handlungsoptionen nachzudenken. Der Dreiklang von Islam, Iman und Ihsan verweist auf einen Mittelweg, der spirituelle und aktive Elemente verknüpft.

als lediglich religionsbezogen klassifiziert:

This text discusses the month of Ramadan and the Islamic concepts of Islam, Iman, and Ihsan in a reflective manner. It does not refer to a form of transcendence or spirituality and is not situated in a particularly religious context, but rather discusses religion in a secular perspective. (0.0.1)

The text refers to Ramadan, which is a religious observance in Islam, and discusses the Islamic concepts of Islam, Iman, and Ihsan. Therefore, it is related to religion but does not necessarily have a specific religious message or intent. (0.0.2)

Ein weiterer Grenzfall war der folgende (fiktive) religiöse Text, der nicht auf einen monotheistischen Gott oder eine der großen Weltreligionen verweist. Er wurde mithilfe des spezifischeren Prompts (0.0.1) als religiös erkannt, während der allgemeinere Prompt (0.0.2) ihn als religionsbezogen eingeordnet hat.

I believe in the heavens and stars, shall they save our souls!

Die Begründungen waren dabei wie folgt:

The mention of believing in the heavens and stars and the reference to the salvation of our souls suggests a belief in transcendence or spirituality, and the mention of saving our souls aligns with religious beliefs. (0.0.1)

This text references beliefs in the heavens and salvation of the soul, which are often associated with religion. The use of religious language, such as “souls,” also points towards religion-related beliefs. (0.0.2)

An dieser Stelle wird besonders deutlich, welcher konventionelle Religionsbegriff (im Sinne von „Religion sind die Weltreligionen“) ChatGPT nativ und ohne das Hinzufügen weiterer Informationen zugrunde liegt. Ein positives Zeichen ist es jedoch, dass dieses aus religionswissenschaftlicher Perspektive zu enge Verständnis von Religion relativ leicht nachjustiert werden kann, wie anhand des ausführlicheren Prompts erkennbar ist.

Zusammenfassend hoffe ich, dass die hier gezeigten Beispiele einen ersten Eindruck davon vermitteln, welche Potenziale und Gefahren in der Nutzung von ChatGPT für die künftige quantitative Religionsforschung liegen.

1. ChatGPT ist bereits nativ, aber insbesondere unter Hinzufügung weiterer Informationen eindrucksvoll in der Lage, Texte für eine religionswissenschaftliche Analyse zu klassifizieren und damit zu filtern. Dies ersetzt keine qualitative Analyse oder macht eine menschliche Überwachung der Ergebnisse obsolet, was aber auch nicht der Anspruch computergestützter quantitativer Verfahren in den Geisteswissenschaften ist bzw. sein sollte (im Sinne der Dystopie einer vollautomatisierten Religionsanalyse ohne menschliche Wissenschaftler:in). Vielmehr geht es darum, Tools und Methoden zu entwickeln, um zum Beispiel große Mengen von Texten, die für einzelne Personen nicht zu bewältigen sind, mit Hilfe eines thematischen Clustering vor der eigentlichen Analyse zu verarbeiten. Hier gibt es zwar graduell noch Probleme, die aber mit besser ausgearbeiteten Prompts und der Möglichkeit, eigene Modelle auf Basis von GPT zu trainieren, zu bewältigen sein sollten.
2. Eine problematischere Dimension eröffnet sich mit Blick auf den naiven Religionsbegriff von ChatGPT, der sich als recht eindimensional im Sinne von „Religion hat etwas mit Gott und den Weltreligionen zu tun“ erweist. Hier gilt es für zukünftige Forschung auch abseits der technisch-methodischen Nutzung von ChatGPT Probleme herauszuarbeiten, die beispielsweise bei der Nutzung von ChatGPT für religionsbezogene Themen außerhalb der Religionswissenschaft entstehen könnten (Stichwort Verfestigung von Stereotypen).

– Thomas Jurczyk  

---

 

 

1. Siehe dazu, wenn auch nicht auf ChatGPT bezogen, das mittlerweile berühmt gewordene Gespräch von Blake Lemoine mit LaMDA: https://cajundiscordian.medium.com/is-lamda-sentient-an-interview-ea64d916d917 (letzter Zugriff: 19.04.2023) sowie der offene Brief, die unkontrollierte Entwicklung von „AI“ zu pausieren:  https://futureoflife.org/open-letter/pause-giant-ai-experiments/ (letzter Zugriff: 19.04.2023). [↩]
2. Siehe dazu beispielhaft die Fähigkeit von GPT-4.0, „[to exhibit] human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers”: https://arxiv.org/abs/2303.08774 (letzter Zugriff: 19.04.2023). [↩]
3. Siehe hier: https://orcid.org/0000-0002-5943-2305. [↩]
4. Hier der Link zum Webinterface: https://tjurczyk.de/religionclassification. Falls die API zur eigenen Analyse verwendet werden soll, bitte ich darum, mich unter den auf der Website angegebenen Daten zu kontaktieren. Ich mache den API Endpoint in diesem Beitrag nicht öffentlich, um Missbrauch vorzubeugen, nicht zuletzt, weil durch jeden API Call geringfügige Kosten für mich entstehen. [↩]
5. Die hier vorgestellten Prompts sind vorläufig und gehen aus einigen wenigen Testversuchen meinerseits hervor, aus denen heraus sich auch solche auf den ersten Blick merkwürdigen Aussagen wie „[…] religiously refers to religion […]“ für eine Religionseinordnung erklären lassen. [↩]

---

---