La combinación de cifrado, bloqueo de PIN y tener ADB desactivado debería proteger tus datos bastante bien. Aún podrían verse comprometidos si alguien encuentra un fallo de seguridad que se pueda explotar a través de la red o de la conexión USB MTP, pero ese riesgo existe en cualquier caso.
Sin embargo, con el bootloader desbloqueado, alguien podría coger tu teléfono, flashear una ROM maliciosa que contenga keystroke loggers o algo así, y luego devolverte el teléfono y esperar a que escribas tu PIN o contraseña de descifrado. Sería mejor mantener el cargador de arranque bloqueado siempre que no necesites flashear cosas a través de fastboot.
Puede utilizar BootUnlocker para bloquear y desbloquear el gestor de arranque desde el sistema Android en ejecución. A diferencia de fastboot oem unlock
Esto no borra tus datos cuando desbloqueas.