Python-如何克服类型为';字节';为了将二进制数据放入JSON,JSON不可序列化
我已经做到了:-Python-如何克服类型为';字节';为了将二进制数据放入JSON,JSON不可序列化,python,json,encoding,Python,Json,Encoding,我已经做到了:- try: with open(filename,'rb' ) as dat_file: foil = dat_file.read() 因为我的代码可以读取和修复任意的“文本”文件——在我的分析中,一些文件在同一个文件中有混合的行尾(由linux/mac用户在DOS文件中添加行引起),还有许多其他古怪的东西。。。总之——长话短说——我必须把文件读成二进制文件 现在,如果我的修复失败,我想在数据发布中将文件内容(包括所有填充的行尾、空值、混乱的编码等)的逐
try:
with open(filename,'rb' ) as dat_file:
foil = dat_file.read()
因为我的代码可以读取和修复任意的“文本”文件——在我的分析中,一些文件在同一个文件中有混合的行尾(由linux/mac用户在DOS文件中添加行引起),还有许多其他古怪的东西。。。总之——长话短说——我必须把文件读成二进制文件
现在,如果我的修复失败,我想在数据发布中将文件内容(包括所有填充的行尾、空值、混乱的编码等)的逐字副本作为JSON发送到我的服务器
这就是问题所在
Object of type 'bytes' is not JSON serializable
将没有编码的二进制数据放入JSON字符串的诀窍是什么?@Jason Yang搞定了!foil.decode('latin-1')成功了 (在那之前,我试过很多,比如'ascii'和'cp1252',它们都会在各种二进制字符上抛出异常) 产出:
{"data": "\u0000\u0001\u0002\u0003\u0004\u0005\u0006\u0007\b\t\n\u000b\f\r\u000e\u000f\u0010\u0011\u0012\u0013\u0014\u0015\u0016\u0017\u0018\u0019\u001a\u001b\u001c\u001d\u001e\u001f !\"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\u007f\u0080\u0081\u0082\u0083\u0084\u0085\u0086\u0087\u0088\u0089\u008a\u008b\u008c\u008d\u008e\u008f\u0090\u0091\u0092\u0093\u0094\u0095\u0096\u0097\u0098\u0099\u009a\u009b\u009c\u009d\u009e\u009f\u00a0\u00a1\u00a2\u00a3\u00a4\u00a5\u00a6\u00a7\u00a8\u00a9\u00aa\u00ab\u00ac\u00ad\u00ae\u00af\u00b0\u00b1\u00b2\u00b3\u00b4\u00b5\u00b6\u00b7\u00b8\u00b9\u00ba\u00bb\u00bc\u00bd\u00be\u00bf\u00c0\u00c1\u00c2\u00c3\u00c4\u00c5\u00c6\u00c7\u00c8\u00c9\u00ca\u00cb\u00cc\u00cd\u00ce\u00cf\u00d0\u00d1\u00d2\u00d3\u00d4\u00d5\u00d6\u00d7\u00d8\u00d9\u00da\u00db\u00dc\u00dd\u00de\u00df\u00e0\u00e1\u00e2\u00e3\u00e4\u00e5\u00e6\u00e7\u00e8\u00e9\u00ea\u00eb\u00ec\u00ed\u00ee\u00ef\u00f0\u00f1\u00f2\u00f3\u00f4\u00f5\u00f6\u00f7\u00f8\u00f9\u00fa\u00fb\u00fc\u00fd\u00fe\u00ff"}
在“数据”部分,目前的“数据”主要有以下几种::“[数据”数据:“[数据”数据::“\uu0000\代码码><码><<代码”数据:“\u代码”数据:“\u0000\代码”数据:“\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0000\u0007\u0004\u0007\5\5\u0007\b\b\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\\t\n\n\布\或者或者或者或者或者\u000b\f\f\f\f\f\f\r\r\r\r\r\\\r\r\\r\\r\r\\r\r\r\r\r\r\r\r\\\\\1240}(u0086\u0086\u0086\u0087\u0088\u0088 8\u0086\u0087\u0088 8\u0088\u0088\u0088\u0088\u0088\u0088\U007\U00007\U007\U007\U007\U007\U007\U007\u0087\u0088\u0088\u0088\u0088 8\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\u0088\中国中国中国中国中国中国\u0088\u0088\u0088\u0088\u0088\UAC\u00ad\u00ae\u00af\u00b0\u00b1\u00b2\u00b3\u00b4\u00b5\u00b6\u00b7\u00b8\U0000B9\u00b9\u00b9\U0000B9\U00BU00B9\U0000BB9\U00BU00B9\U00B7\U00B7\U00B7\U00B7\u00b9\u00b9\U00BU00B7\U00BU00B7\U00BU00B7\U00B7\U00B7\U00B6\UU00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c3\u00c4\u00c4\u00c4\UE4\u00e5\u00e6\u00e7\u00e8\u00e9\u00ea\u00eb\u00ec\u00ed\u00ee\u00ef\u00f0\u00f1\u00f2\u00f3\u00f4\u00f5\u00f6\u00f7\u00f8\u00f9\u00fa\u00fb\u00fc\u00fd\u00fe\u00ff“}
它在另一端愉快地解码成完全正确的东西:
$ python3.7 python_unibin.py | perl -MJSON -ne 'chomp;$j=decode_json($_); print $j->{data}' | hexdump -C
00000000 00 01 02 03 04 05 06 07 08 09 0a 0b 0c 0d 0e 0f |................|
00000010 10 11 12 13 14 15 16 17 18 19 1a 1b 1c 1d 1e 1f |................|
00000020 20 21 22 23 24 25 26 27 28 29 2a 2b 2c 2d 2e 2f | !"#$%&'()*+,-./|
00000030 30 31 32 33 34 35 36 37 38 39 3a 3b 3c 3d 3e 3f |0123456789:;<=>?|
00000040 40 41 42 43 44 45 46 47 48 49 4a 4b 4c 4d 4e 4f |@ABCDEFGHIJKLMNO|
00000050 50 51 52 53 54 55 56 57 58 59 5a 5b 5c 5d 5e 5f |PQRSTUVWXYZ[\]^_|
00000060 60 61 62 63 64 65 66 67 68 69 6a 6b 6c 6d 6e 6f |`abcdefghijklmno|
00000070 70 71 72 73 74 75 76 77 78 79 7a 7b 7c 7d 7e 7f |pqrstuvwxyz{|}~.|
00000080 80 81 82 83 84 85 86 87 88 89 8a 8b 8c 8d 8e 8f |................|
00000090 90 91 92 93 94 95 96 97 98 99 9a 9b 9c 9d 9e 9f |................|
000000a0 a0 a1 a2 a3 a4 a5 a6 a7 a8 a9 aa ab ac ad ae af |................|
000000b0 b0 b1 b2 b3 b4 b5 b6 b7 b8 b9 ba bb bc bd be bf |................|
000000c0 c0 c1 c2 c3 c4 c5 c6 c7 c8 c9 ca cb cc cd ce cf |................|
000000d0 d0 d1 d2 d3 d4 d5 d6 d7 d8 d9 da db dc dd de df |................|
000000e0 e0 e1 e2 e3 e4 e5 e6 e7 e8 e9 ea eb ec ed ee ef |................|
000000f0 f0 f1 f2 f3 f4 f5 f6 f7 f8 f9 fa fb fc fd fe ff |................|
$python3.7python_unibin.py | perl-MJSON-ne'chomp;$j=decode_json($);print$j->{data}'| hexdump-C
00000000 00 01 02 03 04 05 06 07 08 09 0a 0b 0c 0d 0e 0f ||
000000101111314151718191B1B1B1C1C1D1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1B1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1F1|
000000 20 21 22 24 25 26 27 28 29 2a 2b 2c 2d 2e 2f |!“|$%&'()*+,-/|
000000 30 30 31 32 33 34 35 36 37 38 39 3a 3b 3c 3d 3e 3f | 0123456789|
000000 40 40 41 42 43 44 46 47 48 49 4a 4b 4c 4d 4e 4f |@ABCDEFGHIJKLMNO|
000000 50 50 51 52 53 54 55 56 57 58 59 5a 5b 5c 5d 5e 5f | PQRSTUVWXYZ[\]^_|
000000 60 61 62 63 64 65 66 67 68 69 6a 6b 6c 6d 6e 6f | ` abcdefghijklmno|
000000 70 70 71 72 73 75 76 77 78 79 7a 7b 7c 7d 7e 7f | pqrstuvwxyz{|}|
000000 80 81 82 84 85 86 87 88 89 8a 8b 8c 8d 8e 8f|
000000 90 91 92 94 95 96 97 98 99 9a 9b 9c 9d 9e 9f|
000000 a0 a0 a1 a2 a3 a4 a5 a6 a7 a8 a9 aa ab ac ad ae af ||
000000 b0 b0 b1 b2 b3 b4 b5 b6 b7 b8 b9 ba bb bc bd be bf||
000000 c0 c0 c1 c2 c3 c4 c5 c6 c7 c8 c9 ca cb cc cd ce cf||
000000 d0 d0 d1 d2 d3 d4 d5 d6 d7 d8 d9 da db dc dd de df|
000000 e0 e0 e1 e2 e4 e5 e6 e7 e8 e9 ea eb ec ed ee ef|
000000 f0 f0 f1 f2 f3 f4 f5 f6 f7 f8 f9 fa fb fc fd fe ff ||
在执行json.dump之前,请尝试foil.decode('latin-1')
或foil.decode('utf-8')
$ python3.7 python_unibin.py | perl -MJSON -ne 'chomp;$j=decode_json($_); print $j->{data}' | hexdump -C
00000000 00 01 02 03 04 05 06 07 08 09 0a 0b 0c 0d 0e 0f |................|
00000010 10 11 12 13 14 15 16 17 18 19 1a 1b 1c 1d 1e 1f |................|
00000020 20 21 22 23 24 25 26 27 28 29 2a 2b 2c 2d 2e 2f | !"#$%&'()*+,-./|
00000030 30 31 32 33 34 35 36 37 38 39 3a 3b 3c 3d 3e 3f |0123456789:;<=>?|
00000040 40 41 42 43 44 45 46 47 48 49 4a 4b 4c 4d 4e 4f |@ABCDEFGHIJKLMNO|
00000050 50 51 52 53 54 55 56 57 58 59 5a 5b 5c 5d 5e 5f |PQRSTUVWXYZ[\]^_|
00000060 60 61 62 63 64 65 66 67 68 69 6a 6b 6c 6d 6e 6f |`abcdefghijklmno|
00000070 70 71 72 73 74 75 76 77 78 79 7a 7b 7c 7d 7e 7f |pqrstuvwxyz{|}~.|
00000080 80 81 82 83 84 85 86 87 88 89 8a 8b 8c 8d 8e 8f |................|
00000090 90 91 92 93 94 95 96 97 98 99 9a 9b 9c 9d 9e 9f |................|
000000a0 a0 a1 a2 a3 a4 a5 a6 a7 a8 a9 aa ab ac ad ae af |................|
000000b0 b0 b1 b2 b3 b4 b5 b6 b7 b8 b9 ba bb bc bd be bf |................|
000000c0 c0 c1 c2 c3 c4 c5 c6 c7 c8 c9 ca cb cc cd ce cf |................|
000000d0 d0 d1 d2 d3 d4 d5 d6 d7 d8 d9 da db dc dd de df |................|
000000e0 e0 e1 e2 e3 e4 e5 e6 e7 e8 e9 ea eb ec ed ee ef |................|
000000f0 f0 f1 f2 f3 f4 f5 f6 f7 f8 f9 fa fb fc fd fe ff |................|