Vedi con questi dati, qualcosa si comincia a capire...
Ritengo che il problema sia dovuto alla dimensione del file che vai ad encodare, rammenta inoltre che un file .AVI non può eccedere i 2 Gb. Io farei questa prova.
1 - Il file MPA totale l'hai già, tienlo da parte così com'è
2 - Con un software tipo Mpeg2Schnitt o Mpe2Cut dividi il tuo file .MPV o M2V da 9 Gb in spezzoni che non superino i 2 Gb (così siamo sicuri al 100% che Virtualdubmod sia in grado di elaborarli) Inoltre con questi programmi puoi già provvedere al taglio di eventuali parti che non ti interessano.
3 - Con GordianKnot carichi in DVD2AVI, in sequenza, tutti gli spezzoni di files video (praticamente come faresti con i VOB di un DVD) e ti crei il file .D2V di gestione.
4 - In fase Bitrate di GordianKnot ti carichi i files video gestiti dal .D2V, per la fase audio, cominci col determinare la dimensione del file al valore Kbs da te voluto, selezioni il file audio totale .MPA che ti eri tenuto da parte e modifichi la dimensione da considerare per il calcolo inserendo il valore precedentemente determinato.
5 - Imposti gli altri parametri, cropping, ecc. ecc. effettui il salvataggio del file .AVS
6 - Vai in Encoder di GordianKnot e chiedi che l'audio sia compresso in formato MP3, CBR o VBR come preferisci, e sia ricalcolato il bitrate del video. Confermi la modalità di compressione video da te preferita
7 - Lanci la fase di encoding.
Ovvio che tutte queste fasi le puoi effettuare anche senza l'uso di GordianKnot, ma, IMHO, perchè complicarsi la vita? (E' già fin troppo complicata così com'è
)