Ο Dwarkesh για το χρονοδιάγραμμα της τεχνητής νοημοσύνης
Μόλις σήμερα έβλεπα στο κανάλι του Dwarkesh Patel το βίντεο που ο Scott Alexander κι ο Daniel Kokotajlo περιγράφουν το γιατί περιμένουν εκρηκτική βελτίωση της ΤΝ το 2027 και τον κόσμο να βιώνει δραματική αλλαγή.
Είμαι από τη φύση μου σκεπτικός απέναντι σε σενάρια που μου φαίνονται υπεραισιόδοξα και που περιμένουν ότι τα τρέχοντα trends θα συνεχιστούν ακριβώς με τον ίδιο τρόπο. Από την άλλη αν αντί για σκεπτικός είμαι συντηρητικός και προτιμώ να σκέφτομαι ότι ο κόσμος δε θα αλλάξει και τόσο ώστε να κοιμάμαι πιο ήσυχος τα βράδια; Άλλωστε ο Alexander κι ο Kokotajlo είναι εξαιρετικά ευφυείς άνθρωποι, ποιός είμαι εγώ να τους κρίνω.
Υπάρχουν άνθρωποι που έχουν δέσει την ταυτότητά τους με ένα από τα δύο σενάρια και βλέπουν παντού την επιβεβαίωση του ενός ή του άλλου. Ο Gary Marcus νομίζω ακόμα αρνείται ότι τα LLMs είναι τρομερά.
Όλα αυτά τα γράφω ως πρόλογο για να εξηγήσω γιατί μου φάνηκε τόσο ουσιαστική η θέση του Dwarkesh:
I think the LLMs of today are magical. But the reason that the Fortune 500 aren’t using them to transform their workflows isn’t because the management is too stodgy. Rather, I think it’s genuinely hard to get normal humanlike labor out of LLMs. And this has to do with some fundamental capabilities these models lack.
[..] the fundamental problem is that LLMs don’t get better over time the way a human would. The lack of continual learning is a huge huge problem. The LLM baseline at many tasks might be higher than an average human's. But there’s no way to give a model high level feedback. You’re stuck with the abilities you get out of the box. You can keep messing around with the system prompt. In practice this just doesn’t produce anything even close to the kind of learning and improvement that human employees experience.
The reason humans are so useful is not mainly their raw intelligence. It’s their ability to build up context, interrogate their own failures, and pick up small improvements and efficiencies as they practice a task.
Κι εξηγεί με παραδείγματα γιατί ο τρόπος που δίνουμε feedback αυτή τη στιγμή σε ένα LLM δε θα δούλευε σε ένα σενάριο του «πραγματικού κόσμου», όπως να μάθει ένα παιδί να παίζει σαξόφωνο.
Από την άλλη, πιστεύει ότι είμαστε σε θέση να το λύσουμε κι αυτό. Απλώς ίσως όχι τόσο γρήγορα:
Eventually the models will be able to learn on the job in the subtle organic way that humans can. However, it’s just hard for me to see how that could happen within the next few years, given that there’s no obvious way to slot in online, continuous learning into the kinds of models these LLMs are.
Τι σημαίνει «οχι τόσο γρήγορα»; Για τον Dwarkesh σημαίνει μέσα στα επόμενα 5-7 χρόνια, που για τους περισσότερους απο εμάς είναι εξαιρετικά γρήγορα, αν μιλάμε για σκεπτόμενες μηχανές:
When we do solve continuous learning, we’ll see a huge discontinuity in the value of the models. Even if there isn’t a software only singularity (with models rapidly building smarter and smarter successor systems), we might still see something that looks like a broadly deployed intelligence explosion. AIs will be getting broadly deployed through the economy, doing different jobs and learning while doing them in the way humans can. But unlike humans, these models can amalgamate their learnings across all their copies. So one AI is basically learning how to do every single job in the world. An AI that is capable of online learning might functionally become a superintelligence quite rapidly without any further algorithmic progress.
Τέλος, εξηγεί γιατί αν το breakthrough δε συμβεί μέσα στα επόμενα λίγα χρόνια, μάλλον θα χρειαστούν δεκαετίες:
AI progress over the last decade has been driven by scaling training compute of frontier systems (over 4x a year). This cannot continue beyond this decade, whether you look at chips, power, even fraction of raw GDP used on training. After 2030, AI progress has to mostly come from algorithmic progress. But even there the low hanging fruit will be plucked (at least under the deep learning paradigm). So the yearly probability of AGI craters.
Όλο το κείμενο αξίζει μια ανάγνωση.