Obtendrá los mejores resultados utilizando el reproductor/decodificador multimedia incorporado (llamado "reproductor del sistema" en RockPlayer, creo) porque soporta la decodificación por hardware. Para ver una lista de contenedores y códecs compatibles, consulte aquí: http://developer.Android.com/guide/appendix/media-formats.html
Yo recomendaría H264/AAC dentro de un contenedor MP4, como recomienda la página web, pero con la resolución nativa de tu dispositivo (y un mayor bitrate de vídeo, si es necesario).
Aunque el decodificador ffmpeg de RockPlayer es capaz de reproducir casi todos los códecs multimedia, los resultados serán bastante pobres (sólo decodificación por software).