Quelques notes de Sarath pour les potentiels futurs étudiant·e·s :

Mon groupe de recherche travaille dans différents domaines d’apprentissage machine (ML). Les publications du laboratoire dans la page publications et les intérêts de recherche des membres du laboratoire dans la page membres fournissent un bon résumé des problèmes de recherche auxquels le laboratoire s’intéresse actuellement.

Je maintiendrai une liste de mes intérêts actuels de recherche ici. Lorsque vous m’envoyez un courriel, mentionnez le sujet de recherche et les sous-sujets qui vous intéressent.

  • Apprentissage continu / Lifelong Learning - perte de plasticité, oubli catastrophique, expansion de la capacité, transfert en avant, architectures neuronales dynamiques, réseaux neuronaux modulaires, mémoire pour l’apprentissage tout au long de la vie et acquisition de connaissances.
  • Apprentissage profond - Meilleures architectures Transformer, modèles d’espace d’états et autres modèles de RNN, architectures hybrides, modélisation des dépendances à long terme et architectures augmentées par la mémoire.
  • Grands modèles de langage - entraînement efficace, RL pour l’entraînement des LLM, consolidation des connaissances, pré-entraînement continu, LLM actualisables, biais/équité, interprétabilité.
  • Apprentissage par renforcement - apprentissage par renforcement tout au long de la vie, apprentissage par renforcement basé sur un modèle, apprentissage par renforcement multi-agents, généralisation dans l’apprentissage par renforcement, apprentissage par renforcement hiérarchique, apprentissage par renforcement efficace par échantillonnage, apprentissage par renforcement pour la découverte de médicaments, agents d’apprentissage par renforcement basés sur le langage.
  • Optimisation - compréhension de la dynamique d’apprentissage des modèles sur-paramétrés, meilleurs optimiseurs capables d’explorer le paysage des pertes, formation accélérée, apprentissage de l’optimisation, optimisation pour l’apprentissage continu, et optimisation pour RL.
  • IA pour la science - Modèles fondamentaux pour la biologie (modèles pour les protéines, les petites molécules, les séquences d’ADN, d’ARN), IA/ML/RL pour la découverte scientifique (découverte de médicaments, découverte de matériaux), modèles fondamentaux pour la physique/chimie.

Pour l’automne 2025, je prévois de recruter plusieurs étudiant·e·s en MSc/PhD. Je recruterai également des étudiant·e·s pour des co-directions avec Ross Goroshin, Caglar Gulcehre (dans le cadre du programme de doctorat ELLIS), et Amal Zouaq.

Attentes générales:

  • Je m’attends à ce que les étudiant·e·s aient une connaissance approfondie des bases du ML et du DL avant de postuler. Vous devez également avoir une compréhension approfondie du RL si vous souhaitez faire des recherches en RL. Lors d’entrevue, je testerai vos connaissances en mathématiques et en ML. Idéalement, vous devriez être familiers avec les sujets couverts dans:
  • Vous devriez aussi avoir des compétences avancées en programmation Python et en ingénierie. Mon équipe utilise PyTorch/Jax pour la recherche et vous devriez donc maîtriser l’utilisation de PyTorch ou Jax. Certaines de ces compétences peuvent être ignorées si vous avez une candidature exceptionnelle avec une formation académique différente.

Les femmes et les minorités sous-représentées sont particulièrement encouragées à postuler.

Post-doctorant·e·s

  • Je suis actuellement à la recherche d’un·e post-doctorant·e dans le domaine des grands modèles de language (LLMs). Veuillez me contacter avec votre CV.

Doctorant·e·s / Étudiant·e·s à la Maîtrise

  • Le prochain lot d’admissions de doctorant·e·s et d’étudiant·e·s à la maîtrise sera pour l’automne 2025.
  • Si vous êtes intéressé·e à rejoindre mon labo, soumettez votre candidature au Mila avant le 1er décembre 2024. Je ne consulterai que les candidatures me mentionnant comme potentiel superviseur.
  • Si vous êtes présélectionné·e pour une entrevue, vous devrez soumettre une demande d’admission à Polytechnique Montréal (avec mon nom). Veuillez noter que la soumission de votre demande d’admission ne garantit pas votre admission. Votre admission est basée sur votre performance lors de l’entrevue. Poser sa candidature à Poly avant l’entrevue permet d’éviter les délais d’admission ou de visa.

Étudiant·e·s actuellement à Poly et à l’UdeM

  • Si vous êtes déjà étudiant·e·s (au bac, à la maîtrise ou au doctorat) à Poly ou à l’UdeM et vous voulez que je sois votre superviseur, envoyez-moi un courriel avec votre CV détaillé, des copies de tous vos relevés de notes, et un résumé de vos intérêts de recherche.
  • Si vous voulez que je lise votre courriel, indiquez au début du sujet “[RESEARCH_APPLICATION_INTERNAL]”.

Stagiaires et Étudiant·e·s en visite

  • Veuillez ne pas m’envoyer d’e-mail direct pour les postes de visiteurs et les stages.
  • Remplissez ce formulaire.
  • Les applicant·e·s seront contacté·e·s directement par moi ou un·e de mes étudiant·e·s.