Si votre fichier de données contient tous vos enregistrements (c'est-à-dire qu'il inclut des enregistrements qui n'ont pas d'identifiants en double dans le fichier), vous pouvez le prétraiter et produire un fichier qui ne contient que des enregistrements qui ont des identifiants en double.
Si tel est le cas, cela réduirait la taille du fichier que vous devez traiter avec votre programme AWK.