字节流的操作单位是字节（byte），而字符流的操作单位是字符（char）。字节流适用于处理二进制数据，字符流适用于处理文本数据。