Le contexte long n'a pas tué le retrieval et BM25 n'est jamais mort. L'arithmétique qui tranche, à trois échelles, et les preuves pesées.
Deux affirmations se disputent votre budget cette année, et chacune est énoncée comme si elle réglait la question.
La première : le contexte long a tué le retrieval. Les fenêtres ont atteint le million de tokens, donc mettez le corpus dans le prompt et supprimez l'index. La seconde : la base de données vectorielle a toujours été une mode. Les agents savent faire du grep, et un moteur spécialisé est un vestige de 2023 maintenu en vie par le capital-risque.
Les deux décrivent quelque chose de réel. Aucune n'est une réponse. La réponse dépend de trois nombres : la taille du corpus en tokens, le nombre de requêtes qui le frappent chaque jour, et la sévérité du filtrage dont vous avez besoin. Changez l'un des trois et la recommandation s'inverse, et elle s'inverse à des valeurs que vous pouvez calculer en une dizaine de minutes.