El título lo dice todo. Yo uso ES File Explorer, pero el problema parece existir en cualquier gestor de archivos. La copia de archivos al servidor SFTP alcanza los 20-30 MB/s, mientras que la copia de archivos desde es de ~400-500kB/s.
Deduzco que esto puede tener algo que ver con que Android trate estas operaciones de copia como una descarga en segundo plano, pero es más que nada una suposición.