¿Por qué hay un archivo binario del controlador por versión de Android?

¿Por qué no hay un archivo de controlador compatible con todas las versiones de Android?

Porque no es posible escribir un controlador que sea compatible con todos los núcleos de Linux. El controlador tiene que interactuar con el kernel, y las diferentes versiones del kernel cambian esta interfaz por muchas razones: para habilitar nuevas características, para mejorar la eficiencia y para solucionar problemas de seguridad. Esto es lo que las convierte en "versiones diferentes". Cada nueva versión de Android se estandariza en una versión diferente del kernel de Linux, por lo que los controladores necesitan algunos cambios en el código fuente para funcionar con la nueva versión.

También hay que hacer muchas pruebas con las nuevas versiones, para asegurarse de que los cambios no rompen nada.

¿cómo hacen los desarrolladores de xda para compilar Android 8.0 para el nexus 4 mientras los binarios del controlador de Android oreo 8.0 no están disponibles para el nexus 4?

Como dice claramente el resumen que has capturado, muchas funciones, como la NFC, no funcionan con este puerto, probablemente porque los controladores no están disponibles. A veces, aunque un controlador para el hardware en particular en este teléfono podría no estar disponible para las nuevas versiones de Android, puede haber una versión más reciente para Linux de escritorio, o un controlador para un dispositivo similar, que no es compatible, pero se puede hacer para trabajar en su mayoría con algunos toques.

Además, los aficionados pueden estar más interesados en probar algo aunque no sea económicamente rentable para el fabricante, y hay un listón más bajo para ellos. Si Google o LG enviaran una versión en la que sólo funcionara la mitad de las funciones e incluso éstas sólo se hubieran probado en un teléfono, estarías bastante molesto, pero si un tipo en XDA Developers lo hace, eso es un éxito.

Realmente es un éxito: No quiero quitarle mérito a lo que Ziyan ha hecho aquí. Es solo que el listón de calidad es más alto para un port oficial del fabricante, y no tienen tiempo libre para dedicar a dar soporte a dispositivos antiguos.