Il contesto lungo non ha ucciso il retrieval e BM25 non è mai morto. L'aritmetica che decide la questione, a tre scale reali, con le prove pesate.
Quest'anno due affermazioni si contendono il tuo budget, e ognuna viene pronunciata come se chiudesse la questione.
La prima: il contesto lungo ha ucciso il retrieval. Le finestre hanno raggiunto il milione di token, quindi metti il corpus nel prompt e cancella l'indice. La seconda: il database vettoriale è sempre stato una moda. Gli agenti sanno fare grep, e un motore specializzato è un reperto del 2023 tenuto in vita dal venture capital.
Entrambe descrivono qualcosa di reale. Nessuna delle due è una risposta. La risposta dipende da tre numeri: quanto è grande il corpus in token, quante query lo colpiscono ogni giorno, e quanto stretto devi filtrare. Cambiane uno solo e la raccomandazione si ribalta, e si ribalta a valori che puoi calcolare in una decina di minuti.