Quelques notes de Sarath pour les potentiels futurs étudiant·e·s :

Mon groupe de recherche travaille dans différents domaines d’apprentissage machine (ML). Les publications du laboratoire dans la page publications et les intérêts de recherche des membres du laboratoire dans la page membres fournissent un bon résumé des problèmes de recherche auxquels le laboratoire s’intéresse actuellement.

Je maintiendrai une liste de mes intérêts actuels de recherche ici. Lorsque vous m’envoyez un courriel, mentionnez le sujet de recherche et les sous-sujets qui vous intéressent.

  • Apprentissage continu / Lifelong Learning - oubli catastrophique, plasticité, expansion des capacités, transfert vers l’avant, architectures neuronales dynamiques, réseaux neuronaux modulaires, mémoire pour l’apprentissage continu et acquisition de connaissances.
  • Apprentissage par renforcement (RL) - apprentissage par renforcement tout au long de la vie, apprentissage par renforcement basé sur un modèle, apprentissage par renforcement multi-agents, généralisation dans l’apprentissage par renforcement, apprentissage par renforcement hiérarchique, apprentissage par renforcement efficace par échantillonnage, apprentissage par renforcement pour la découverte de médicaments, agents d’apprentissage par renforcement basés sur le langage.
  • Réseaux neuronaux à mémoire augmentée (MANNs) - modélisation des dépendances à long terme, gradients disparaissant, gradients explosant, architectures à mémoire augmentée, RNNs profonds, famille S4 de SSMs, optimisation pour les RNNs, et Transformateurs à mémoire augmentée.
  • Grands modèles de langage (LLM) - entraînement efficace, RL pour l’entraînement des LLM, consolidation des connaissances, pré-entraînement continu, LLM actualisables, biais/équité, interprétabilité.
  • Optimisation - compréhension de la dynamique d’apprentissage des modèles sur-paramétrés, meilleurs optimiseurs capables d’explorer le paysage des pertes, formation accélérée, apprentissage de l’optimisation, optimisation pour l’apprentissage continu, et optimisation pour RL.
  • Applications - ML/RL pour la biologie, modélisation de séquences de protéines, AI/ML/RL pour la découverte scientifique (découverte de médicaments, découverte de matériaux).

Pour l’automne 2024, je recherche spécifiquement des étudiant·e·s pour travailler sur l’apprentissage continu, les LLM, l’optimisation pour DL et RL, les architectures augmentées en mémoire, et l’IA/ML/RL pour les problèmes de découverte scientifique.

Attentes générales: Je m’attends à ce que les étudiant·e·s aient une connaissance approfondie des bases du ML et du DL avant de postuler. Vous devez également avoir une compréhension approfondie du RL si vous souhaitez faire des recherches en RL. Lors d’entrevue, je testerai vos connaissances en mathématiques et en ML. Idéalement, vous devriez être familiers avec les sujets couverts dans:

Vous devriez aussi avoir des compétences avancées en programmation Python et en ingénierie. Mon équipe utilise PyTorch/Jax pour la recherche et vous devriez donc maîtriser l’utilisation de PyTorch ou Jax. Certaines de ces compétences peuvent être ignorées si vous avez une candidature exceptionnelle avec une formation académique différente.

Les femmes et les minorités sous-représentées sont particulièrement encouragées à postuler.

Post-doctorant·e·s

  • Je suis actuellement à la recherche d’un·e post-doctorant·e dans le domaine de l’apprentissage par renforcement. Veuillez me contacter avec votre CV.

Doctorant·e·s / Étudiant·e·s à la Maîtrise

  • Le prochain lot d’admissions de doctorant·e·s et d’étudiant·e·s à la maîtrise sera pour l’automne 2024.
  • Si vous êtes intéressé·e à rejoindre mon labo, soumettez votre candidature au Mila avant le 1er décembre 2023. Je ne consulterai que les candidatures me mentionnant comme potentiel superviseur.
  • Si vous êtes présélectionné·e pour une entrevue, vous devrez soumettre une demande d’admission à Polytechnique Montréal (avec mon nom). Veuillez noter que la soumission de votre demande d’admission ne garantit pas votre admission. Votre admission est basée sur votre performance lors de l’entrevue. Poser sa candidature à Poly avant l’entrevue permet d’éviter les délais d’admission ou de visa.

Étudiant·e·s actuellement à Poly et à l’UdeM

  • Si vous êtes déjà étudiant·e·s (au bac, à la maîtrise ou au doctorat) à Poly ou à l’UdeM et vous voulez que je sois votre superviseur, envoyez-moi un courriel avec votre CV détaillé, des copies de tous vos relevés de notes, et un résumé de vos intérêts de recherche.
  • Si vous voulez que je lise votre courriel, indiquez au début du sujet “[RESEARCH_APPLICATION_INTERNAL]”.

Stagiaires et Étudiant·e·s en visite

  • Veuillez ne pas m’envoyer d’e-mail direct pour les postes de visiteurs et les stages.
  • Remplissez ce formulaire.
  • Les applicant·e·s seront contacté·e·s directement par moi ou un·e de mes étudiant·e·s.