¿Qué es lo que impide específicamente que se tomen las OTAs en los sistemas modificados, y por qué no se puede apagar?

Los archivos OTA funcionan Parcheando los archivos en lugar de sustituirlos por una copia completa de la nueva versión del archivo. Esto significa que tiene que verificar que los archivos existentes son exactamente como espera o el proceso de Parcheando no funcionará (o podría causar que el archivo se corrompa). Si se falsifica la huella digital y se fuerza la aplicación de la OTA se podría acabar con un dispositivo que no puede arrancar debido a que algunos archivos están corruptos.

Android 5.0 (creo) pasó de verificar sólo los archivos que estaba Parcheando a verificar la partición en su totalidad por lo que cualquier modificación (incluso a un archivo que no está siendo parcheado) hará que esto falle.

Además de respuesta publicada por @bmdixon

1. Los OEMs como Samsung tienen un contador Knox que se dispara una vez que rooteas o reemplazas el recovery de stock por el custom. Hubo trabajo alrededor de esto antes, pero la Nota 4 en adelante disparar Knox "quema" esta información en el hardware. La única manera de revertir el estado de Knox es cambiando ese chip en la placa base (no sé cómo se logra esto, pero está en el registro como una respuesta de correo de Samsung). Espero que la OTA verifique esto primero

2. OEMs como Huawei (mi dispositivo actual es el Honor 6), permiten desbloquear el gestor de arranque y lo cubren con la garantía permitiendo actualizaciones OTA si se rootea pero el recovery stock está intacto. La sustitución del recovery falla por OTA

3. Sospecho que los operadores que "encierran" a sus clientes también emplearán sus propios medios para verificar antes de permitir la OTA (probablemente esta es una de las razones por las que hay un retraso variable en el despliegue de OTA por parte de los operadores)

Así que puede que no sea una solución sencilla tener el truco del recovery OTA...demasiados trucos que aprender y propietarios, que NO es el propósito de TWRP