Τεχνητή νοημοσύνη και confirmation bias
Κάποιους μήνες πριν είχε κυκλοφορήσει ευρέως - από μεγάλα ΜΜΕ μέχρι νομπελίστες οικονομολόγους - ένα paper από έναν διδακτορικό φοιτητή του ΜΙΤ που έλεγε ότι η τεχνητή νοημοσύνη συνέβαλλε σημαντικά στην παραγωγικότητα μιας ομάδας ερευνητών υλικών μεγάλης Αμερικάνικης εταιρείας. Συγκεκριμένα ότι τους βοήθησε να ανακαλύψουν καινούργια υλικά βάσει των χαρακτηριστικών που θα ήθελαν αυτά να έχουν.
Ήταν σημαντικό data point στον διάλογο του αν η ΤΝ και τα LLMs βοηθούν να ανέβει το πάτωμα - δηλαδή να βοηθάει ανθρώπους λιγότερο εξοικειωμένους με ένα αντικείμενο - ή το ταβάνι - δηλαδή να βοηθάει ειδικούς σε ένα αντικείμενο. Για πρώτη ίσως φορά υπήρχε σοβαρή ένδειξη για το δεύτερο. Θυμάμαι να διαβάζω για το paper και να σκέφτομαι με τι τρόπους θα μπορούσε κι η δική μου επαγγελματική δημιουργικότητα να βοηθηθεί επιπλέον από την ΤΝ. Δυστυχώς φαίνεται ότι η δημοσίευση ήταν ψευδής.
Από το The BS Detector substack:
Unfortunately for everyone involved, the work is entirely fraudulent. MIT put out a press release this morning stating that they had conducted an internal, confidential review and that they have “no confidence in the veracity of the research contained in the paper.” The WSJ has covered this development as well. The econ department at MIT sent out an internal email so direly-worded on the matter that on first glance, students reading the email had assumed someone had died.
Εδώ η επίσημη ανακοίνωση του ΜΙΤ.
Το ενδιαφέρον είναι ότι εκ των υστέρων καταλαβαίνουμε ότι η έρευνα ήταν πολύ καλή για να είναι αληθινή. Μεγάλη εταιρεία με πάνω από χίλιους ερευνητές τρέχει τέλεια στημένη τυχαιοποιημένη μελέτη η οποία ξεκίνησε το 2022 (όταν το ChatGPT ήταν ακόμα βρέφος) και δίνει πρόσβαση σε έναν φοιτητή προτού αυτός πάει στο ΜΙΤ.
Ο συντάκτης του κειμένου στο BS Detector στον επίλογο αναφέρει πώς η επιστημονική κοινότητα θα πρέπει να είναι αρκετά πιο προσεκτική.
In general, the lesson I think we should learn is to be much more skeptical of these sorts of research findings. Learning new things about the world is hard, and generally randomized trials on such a complex topic should show much more ambiguous results. The fact that the data was so beautiful and fit such a perfect narrative should have raised alarm bells, rather than catapulting the results to international attention.
Η δική μου σκέψη είναι ότι η πράγματι εκπληκτική πρόοδος της ΤΝ έχει δημιουργήσει έναν κύκλο από «πιστούς»1, έτοιμους να δεχθούν κάθε αποτέλεσμα που επιβεβαιώνει τη θεωρία τους ότι ο κόσμος αλλάζει τάχιστα, ακόμα κι αν οι ίδιοι θα έπρεπε να γνωρίζουν καλύτερα.
Εκτιμώ αφάνταστα τον Tyler Cowen αλλά θα περίμενα να σχολιάσει αυτή τη ιστορία σε μεγαλύτερο βάθος αντί να παραθέσει απλώς ένα link ανάμεσα στα πολλά.↩