Respuesta corta: Depende.
Respuesta larga:
Los desarrolladores de Android tienen la posibilidad de especificar los requisitos de sus aplicaciones tanto en términos de software (versión mínima del sistema operativo, por ejemplo) como de hardware. Por ejemplo, una aplicación que realiza navegación giro a giro puede requerir que el dispositivo Android en el que se instala tenga GPS incorporado. Una aplicación de este tipo aparecería como "incompatible" con cualquier tablet que no tenga un chip GPS (la tablet informa de sus características de hardware a la Play Store). Lo mismo ocurre en la situación inversa, en la que una aplicación que requiere una resolución de pantalla mínima puede funcionar bien en una tablet, pero aparecer como incompatible para los teléfonos que están por debajo de ese límite.
Otro ejemplo es Google TV. Como ninguno de los modelos actuales es compatible con la pantalla táctil, cualquier aplicación que requiera esta función aparecería como no compatible en la Play Store.
Estas limitaciones sólo las aplica la Play Store de Google. Esto significa que si consigues cargar lateralmente el archivo APK de la aplicación, ésta puede funcionan bien en cualquier dispositivo. Sin embargo, la falta de requisitos mínimos hará que la aplicación sea inestable.