🍓 "As useful as a GOOD grad student" ― Surpasses Human Capability on Many Tasks (but not all!)

Comment évaluer l'intelligence de Strawberry ?

Introduction à Strawberry

• L'intervenant partage ses réflexions sur la version préliminaire de Strawberry, notant une accumulation d'opinions et de faits qui l'ont interpellé.

• Un tweet d'un mathématicien renommé compare Strawberry à un étudiant diplômé médiocre, suggérant qu'il est plus intelligent que la moyenne des humains sans éducation.

Évaluations par des chercheurs

• Un ami chercheur en océanographie a testé Strawberry et a constaté qu'il pouvait presque obtenir les bonnes réponses dès le premier essai, bien que le jargon utilisé soit complexe.

• Un autre utilisateur a demandé à Strawberry de créer un projet majeur sur le traitement du cancer, ce qui a été réalisé rapidement avec des idées créatives et des considérations stratégiques.

Comparaisons et opinions divergentes

• Plusieurs chercheurs postdoctoraux estiment que Strawberry est aussi utile qu'un bon étudiant diplômé, bien que cette opinion ne soit pas universelle.

• La comparaison avec les étudiants diplômés fait écho aux prédictions antérieures sur l'intelligence artificielle.

Progrès dans l'évaluation de l'intelligence

• L'intervenant collecte des données pour évaluer la performance de Strawberry, notant une amélioration significative dans ses capacités.

• Une avancée notable passe d'une performance médiane (25%) à environ 85%, indiquant un changement paradigmatique dans l'apprentissage machine.

Implications pour l'avenir

• Les progrès rapides sont souvent associés à des découvertes majeures en intelligence artificielle; cela pourrait signaler une direction prometteuse pour les futures recherches.

Comprendre l'impact des modèles d'IA sur la science et l'économie

Évaluation des modèles d'IA

• OpenAI utilise ses propres benchmarks internes, mais il est crucial de recevoir des retours pratiques de personnes réelles confrontées à des problèmes concrets. Les opinions et les benchmarks sont importants, mais leur valeur peut être limitée.

• Les benchmarks ont une valeur supérieure pour évaluer l'intelligence des modèles par rapport aux évaluations basées sur les opinions. L'impact pratique sur la science et l'économie est essentiel pour juger de leur efficacité.

Comparaison entre les versions de GPT

• Le modèle 01 Preview pourrait avoir un QI estimé à 115, représentant une augmentation significative par rapport aux versions précédentes. Cela suggère que chaque nouvelle version apporte une amélioration substantielle en intelligence.

• La progression entre GPT-3 (56) et GPT-4 (83) montre une avancée notable, bien que le saut en codage soit moins prononcé. Cependant, GPT-4 excelle dans les questions scientifiques au niveau doctorat.

Évolution de la technologie IA

• Les comparaisons évoluent : alors que GPT était autrefois comparé à un élève du secondaire, il est maintenant mis en parallèle avec des étudiants diplômés. Cela indique une montée en compétence continue des modèles d'IA.

• Le modèle 01 Preview semble encore basé sur GPT-4 mais introduit un nouveau paradigme d'entraînement qui pourrait augmenter considérablement son intelligence fonctionnelle.

Débats autour de l'intelligence artificielle

• La discussion sur ce qui constitue réellement "l'intelligence" est complexe. L'accent doit être mis sur la sortie produite par ces systèmes plutôt que sur leurs processus internes.

• Même si certains remettent en question la nature véritablement intelligente de ces systèmes, leur utilité économique et scientifique reste primordiale pour évaluer leur impact réel.

Perspectives futures

• Avec le développement continu de techniques comme le Chain of Thought et Monte Carlo tree search, on observe une augmentation exponentielle des capacités intelligentes dans les nouvelles générations d'IA.

Qu'est-ce que l'intelligence véritable ?

Philosophie et impact technologique

• La discussion sur ce qui constitue une "vraie intelligence" est considérée comme un leurre, détournant l'attention des impacts scientifiques et économiques réels de la technologie.

• Il est souligné que même si le coût d'utilisation de cette technologie peut être élevé (1 000 à 2 000 dollars par mois), son potentiel intellectuel comparable à celui d'un bon étudiant diplômé pourrait justifier cet investissement.

• L'intervenant admet qu'il pourrait avoir sous-estimé la valeur de cette technologie, suggérant que les bénéfices pourraient finalement en valoir la peine.

• Une réflexion collective est encouragée pour évaluer le consensus du groupe sur ces questions, tout en reconnaissant la complexité des débats autour de l'intelligence artificielle.