Το paper του Sutton "the bitter pill" έλεγε ότι όταν η υπολογιστική ισχύς βελτιώνεται εκθετικά τότε οι αλγόριθμοι που θα κυριαρχήσουν είναι αυτοί που είναι σχεδιασμένοι να την εκμεταλλευτούν, οχι οι έξυπνοι, περίπλοκοι και τελικά unscaleable.
Η τεράστια πρόοδος των LLMs που χρησιμοποιούν αδιανόητη ενέργεια και πετυχαίνουν αποτελέσματα που ούτε να ονειρευτούμε πριν κάποια χρόνια έδειξε να τον επιβεβαιώνει. Ο ίδιος όμως δεν πιστεύει ότι τα LLMs είναι ο τρόπος που θα οδηγηθούμε στην γενική τεχνητή νοημοσύνη.
Ο Dwarkesh προσπαθεί να καταλάβει γιατί. Του φέρνει ως παράδειγμα τα ανθρώπινα βρέφη που «μαθαίνουν μιμούμενα». Ο Sutton το αμφισβητεί. Η θέση του είναι ότι τα θηλαστικά μαθαίνουν με αλληλεπίδραση με το περιβάλλον, με δοκιμή και σφάλμα.
Τα ζώα επίσης μαθαίνουν διαρκώς - δεν έχουν διακριτά στάδια «εκπαίδευσης» και «χρήσης της γνώσης». Έχουν στόχους, δεν προσπαθούν να προβλέψουν το επόμενο token.
Ο Sutton πιστεύει πώς αν καταφέρουμε να καταλάβουμε και να μιμηθούμε την ευφυία ενός σκίουρου θα είμαστε πολύ κοντά στην ανθρώπινη.