Allora il problema potrebbe essere Perian i cui sviluppatori com'è noto hanno interrotto tutti gli aggiornamenti, e a maggior ragione hanno interrotto il supporto alla nuovissima versione del sistema.
http://perian.org/" onclick="window.open(this.href);return false;
Se ho ragione (spero di no) dovrai accontentarti di riprodurre gli .avi e gli altri formati con VLC, con MPlayerX, con Movist o con altri player più versatili.
Altrimenti se hai tempo e vuoi fare una verifica puoi come al solito provare ad eliminare le preferenze di QuickTime Player oppure creare un nuovo utente e verificare se il problema si riproduce anche nel nuovo account.