blob: 81c9af808b9ac3a4ab84bbb7c874123666ec13b6 (plain)

ofs	hex dump	ascii
0000	03 f3 0d 0a 30 5c fc 55 63 00 00 00 00 00 00 00 00 03 00 00 00 40 00 00 00 73 b5 00 00 00 64 00	....0\.Uc............@...s....d.
0020	00 5a 00 00 64 01 00 64 02 00 6c 01 00 6d 02 00 5a 02 00 01 64 01 00 64 03 00 6c 03 00 6d 04 00	.Z..d..d..l..m..Z...d..d..l..m..
0040	5a 04 00 6d 05 00 5a 05 00 6d 06 00 5a 06 00 6d 07 00 5a 07 00 6d 08 00 5a 08 00 6d 09 00 5a 09	Z..m..Z..m..Z..m..Z..m..Z..m..Z.
0060	00 6d 0a 00 5a 0a 00 6d 0b 00 5a 0b 00 01 64 01 00 64 04 00 6c 0c 00 6d 0c 00 5a 0c 00 01 64 01	.m..Z..m..Z...d..d..l..m..Z...d.
0080	00 64 05 00 6c 0d 00 5a 0d 00 64 06 00 84 00 00 5a 0e 00 64 07 00 84 00 00 5a 0f 00 69 02 00 65	.d..l..Z..d.....Z..d.....Z..i..e
00a0	00 00 64 08 00 36 65 0f 00 64 09 00 36 5a 10 00 64 0a 00 84 00 00 5a 11 00 65 12 00 64 0b 00 6b	..d..6e..d..6Z..d.....Z..e..d..k
00c0	02 00 72 b1 00 65 11 00 83 00 00 01 6e 00 00 64 05 00 53 28 0c 00 00 00 73 c5 52 00 00 0a 54 65	..r..e......n..d..S(....s.R...Te
00e0	73 74 73 20 66 6f 72 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65 20 6d 6f 64 75 6c 65 2e 0a 0a 20 20	sts.for.the.tokenize.module.....
0100	20 20 3e 3e 3e 20 69 6d 70 6f 72 74 20 67 6c 6f 62 2c 20 72 61 6e 64 6f 6d 2c 20 73 79 73 0a 0a	..>>>.import.glob,.random,.sys..
0120	54 68 65 20 74 65 73 74 73 20 63 61 6e 20 62 65 20 72 65 61 6c 6c 79 20 73 69 6d 70 6c 65 2e 20	The.tests.can.be.really.simple..
0140	47 69 76 65 6e 20 61 20 73 6d 61 6c 6c 20 66 72 61 67 6d 65 6e 74 20 6f 66 20 73 6f 75 72 63 65	Given.a.small.fragment.of.source
0160	0a 63 6f 64 65 2c 20 70 72 69 6e 74 20 6f 75 74 20 61 20 74 61 62 6c 65 20 77 69 74 68 20 74 6f	.code,.print.out.a.table.with.to
0180	6b 65 6e 73 2e 20 54 68 65 20 45 4e 44 4d 41 52 4b 20 69 73 20 6f 6d 69 74 74 65 64 20 66 6f 72	kens..The.ENDMARK.is.omitted.for
01a0	0a 62 72 65 76 69 74 79 2e 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22	.brevity.......>>>.dump_tokens("
01c0	31 20 2b 20 31 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20	1.+.1").....NUMBER.....'1'......
01e0	20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20	.....(1,.0).(1,.1).....OP.......
0200	20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20	..'+'...........(1,.2).(1,.3)...
0220	20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34	..NUMBER.....'1'...........(1,.4
0240	29 20 28 31 2c 20 35 29 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 69	).(1,.5)......>>>.dump_tokens("i
0260	66 20 46 61 6c 73 65 3a 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 20 20	f.False:\n".....................
0280	22 20 20 20 20 23 20 4e 4c 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 20	"....#.NL\n"....................
02a0	20 22 20 20 20 20 54 72 75 65 20 3d 20 46 61 6c 73 65 20 23 20 4e 45 57 4c 49 4e 45 5c 6e 22 29	."....True.=.False.#.NEWLINE\n")
02c0	0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 66 27 20 20 20 20 20 20 20 20 20 20 28 31	.....NAME.......'if'..........(1
02e0	2c 20 30 29 20 28 31 2c 20 32 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 46 61 6c 73	,.0).(1,.2).....NAME.......'Fals
0300	65 27 20 20 20 20 20 20 20 28 31 2c 20 33 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4f 50 20 20 20	e'.......(1,.3).(1,.8).....OP...
0320	20 20 20 20 20 20 27 3a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39	......':'...........(1,.8).(1,.9
0340	29 0a 20 20 20 20 4e 45 57 4c 49 4e 45 20 20 20 20 27 5c 6e 27 20 20 20 20 20 20 20 20 20 20 28	).....NEWLINE....'\n'..........(
0360	31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 43 4f 4d 4d 45 4e 54 20 20 20 20 27 23 20	1,.9).(1,.10).....COMMENT....'#.
0380	4e 4c 27 20 20 20 20 20 20 20 20 28 32 2c 20 34 29 20 28 32 2c 20 38 29 0a 20 20 20 20 4e 4c 20	NL'........(2,.4).(2,.8).....NL.
03a0	20 20 20 20 20 20 20 20 27 5c 6e 27 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 38 29 20 28 32 2c	........'\n'..........(2,.8).(2,
03c0	20 39 29 0a 20 20 20 20 49 4e 44 45 4e 54 20 20 20 20 20 27 20 20 20 20 27 20 20 20 20 20 20 20	.9).....INDENT.....'....'.......
03e0	20 28 33 2c 20 30 29 20 28 33 2c 20 34 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 54	.(3,.0).(3,.4).....NAME.......'T
0400	72 75 65 27 20 20 20 20 20 20 20 20 28 33 2c 20 34 29 20 28 33 2c 20 38 29 0a 20 20 20 20 4f 50	rue'........(3,.4).(3,.8).....OP
0420	20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 33 2c 20 39 29 20 28 33	.........'='...........(3,.9).(3
0440	2c 20 31 30 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 46 61 6c 73 65 27 20 20 20 20	,.10).....NAME.......'False'....
0460	20 20 20 28 33 2c 20 31 31 29 20 28 33 2c 20 31 36 29 0a 20 20 20 20 43 4f 4d 4d 45 4e 54 20 20	...(3,.11).(3,.16).....COMMENT..
0480	20 20 27 23 20 4e 45 57 4c 49 4e 45 27 20 20 20 28 33 2c 20 31 37 29 20 28 33 2c 20 32 36 29 0a	..'#.NEWLINE'...(3,.17).(3,.26).
04a0	20 20 20 20 4e 45 57 4c 49 4e 45 20 20 20 20 27 5c 6e 27 20 20 20 20 20 20 20 20 20 20 28 33 2c	....NEWLINE....'\n'..........(3,
04c0	20 32 36 29 20 28 33 2c 20 32 37 29 0a 20 20 20 20 44 45 44 45 4e 54 20 20 20 20 20 27 27 20 20	.26).(3,.27).....DEDENT.....''..
04e0	20 20 20 20 20 20 20 20 20 20 28 34 2c 20 30 29 20 28 34 2c 20 30 29 0a 0a 20 20 20 20 3e 3e 3e	..........(4,.0).(4,.0)......>>>
0500	20 69 6e 64 65 6e 74 5f 65 72 72 6f 72 5f 66 69 6c 65 20 3d 20 22 22 22 0a 20 20 20 20 2e 2e 2e	.indent_error_file.=."""........
0520	20 64 65 66 20 6b 28 78 29 3a 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 78 20 2b 3d 20 32 0a 20 20	.def.k(x):.............x.+=.2...
0540	20 20 2e 2e 2e 20 20 20 78 20 2b 3d 20 35 0a 20 20 20 20 2e 2e 2e 20 22 22 22 0a 0a 20 20 20 20	........x.+=.5........."""......
0560	3e 3e 3e 20 66 6f 72 20 74 6f 6b 20 69 6e 20 67 65 6e 65 72 61 74 65 5f 74 6f 6b 65 6e 73 28 53	>>>.for.tok.in.generate_tokens(S
0580	74 72 69 6e 67 49 4f 28 69 6e 64 65 6e 74 5f 65 72 72 6f 72 5f 66 69 6c 65 29 2e 72 65 61 64 6c	tringIO(indent_error_file).readl
05a0	69 6e 65 29 3a 20 70 61 73 73 0a 20 20 20 20 54 72 61 63 65 62 61 63 6b 20 28 6d 6f 73 74 20 72	ine):.pass.....Traceback.(most.r
05c0	65 63 65 6e 74 20 63 61 6c 6c 20 6c 61 73 74 29 3a 0a 20 20 20 20 20 20 20 20 2e 2e 2e 0a 20 20	ecent.call.last):...............
05e0	20 20 49 6e 64 65 6e 74 61 74 69 6f 6e 45 72 72 6f 72 3a 20 75 6e 69 6e 64 65 6e 74 20 64 6f 65	..IndentationError:.unindent.doe
0600	73 20 6e 6f 74 20 6d 61 74 63 68 20 61 6e 79 20 6f 75 74 65 72 20 69 6e 64 65 6e 74 61 74 69 6f	s.not.match.any.outer.indentatio
0620	6e 20 6c 65 76 65 6c 0a 0a 54 65 73 74 20 72 6f 75 6e 64 74 72 69 70 20 66 6f 72 20 60 75 6e 74	n.level..Test.roundtrip.for.`unt
0640	6f 6b 65 6e 69 7a 65 60 2e 20 60 66 60 20 69 73 20 61 6e 20 6f 70 65 6e 20 66 69 6c 65 20 6f 72	okenize`..`f`.is.an.open.file.or
0660	20 61 20 73 74 72 69 6e 67 2e 20 54 68 65 20 73 6f 75 72 63 65 0a 63 6f 64 65 20 69 6e 20 66 20	.a.string..The.source.code.in.f.
0680	69 73 20 74 6f 6b 65 6e 69 7a 65 64 2c 20 63 6f 6e 76 65 72 74 65 64 20 62 61 63 6b 20 74 6f 20	is.tokenized,.converted.back.to.
06a0	73 6f 75 72 63 65 20 63 6f 64 65 20 76 69 61 20 74 6f 6b 65 6e 69 7a 65 2e 75 6e 74 6f 6b 65 6e	source.code.via.tokenize.untoken
06c0	69 7a 65 28 29 2c 0a 61 6e 64 20 74 6f 6b 65 6e 69 7a 65 64 20 61 67 61 69 6e 20 66 72 6f 6d 20	ize(),.and.tokenized.again.from.
06e0	74 68 65 20 6c 61 74 74 65 72 2e 20 54 68 65 20 74 65 73 74 20 66 61 69 6c 73 20 69 66 20 74 68	the.latter..The.test.fails.if.th
0700	65 20 73 65 63 6f 6e 64 20 74 6f 6b 65 6e 69 7a 61 74 69 6f 6e 0a 64 6f 65 73 6e 27 74 20 6d 61	e.second.tokenization.doesn't.ma
0720	74 63 68 20 74 68 65 20 66 69 72 73 74 2e 0a 0a 20 20 20 20 3e 3e 3e 20 64 65 66 20 72 6f 75 6e	tch.the.first.......>>>.def.roun
0740	64 74 72 69 70 28 66 29 3a 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 69 66 20 69 73 69 6e 73 74 61	dtrip(f):.............if.isinsta
0760	6e 63 65 28 66 2c 20 73 74 72 29 3a 20 66 20 3d 20 53 74 72 69 6e 67 49 4f 28 66 29 0a 20 20 20	nce(f,.str):.f.=.StringIO(f)....
0780	20 2e 2e 2e 20 20 20 20 20 74 6f 6b 65 6e 5f 6c 69 73 74 20 3d 20 6c 69 73 74 28 67 65 6e 65 72	.........token_list.=.list(gener
07a0	61 74 65 5f 74 6f 6b 65 6e 73 28 66 2e 72 65 61 64 6c 69 6e 65 29 29 0a 20 20 20 20 2e 2e 2e 20	ate_tokens(f.readline)).........
07c0	20 20 20 20 66 2e 63 6c 6f 73 65 28 29 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 74 6f 6b 65 6e 73	....f.close().............tokens
07e0	31 20 3d 20 5b 74 6f 6b 5b 3a 32 5d 20 66 6f 72 20 74 6f 6b 20 69 6e 20 74 6f 6b 65 6e 5f 6c 69	1.=.[tok[:2].for.tok.in.token_li
0800	73 74 5d 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 6e 65 77 5f 74 65 78 74 20 3d 20 75 6e 74 6f 6b	st].............new_text.=.untok
0820	65 6e 69 7a 65 28 74 6f 6b 65 6e 73 31 29 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 72 65 61 64 6c	enize(tokens1).............readl
0840	69 6e 65 20 3d 20 69 74 65 72 28 6e 65 77 5f 74 65 78 74 2e 73 70 6c 69 74 6c 69 6e 65 73 28 31	ine.=.iter(new_text.splitlines(1
0860	29 29 2e 6e 65 78 74 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 74 6f 6b 65 6e 73 32 20 3d 20 5b 74	)).next.............tokens2.=.[t
0880	6f 6b 5b 3a 32 5d 20 66 6f 72 20 74 6f 6b 20 69 6e 20 67 65 6e 65 72 61 74 65 5f 74 6f 6b 65 6e	ok[:2].for.tok.in.generate_token
08a0	73 28 72 65 61 64 6c 69 6e 65 29 5d 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 72 65 74 75 72 6e 20	s(readline)].............return.
08c0	74 6f 6b 65 6e 73 31 20 3d 3d 20 74 6f 6b 65 6e 73 32 0a 20 20 20 20 2e 2e 2e 0a 0a 54 68 65 72	tokens1.==.tokens2..........Ther
08e0	65 20 61 72 65 20 73 6f 6d 65 20 73 74 61 6e 64 61 72 64 20 66 6f 72 6d 61 74 74 69 6e 67 20 70	e.are.some.standard.formatting.p
0900	72 61 63 74 69 63 65 73 20 74 68 61 74 20 61 72 65 20 65 61 73 79 20 74 6f 20 67 65 74 20 72 69	ractices.that.are.easy.to.get.ri
0920	67 68 74 2e 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 69 66 20 78 20 3d 3d	ght.......>>>.roundtrip("if.x.==
0940	20 31 3a 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 20 20 70 72	.1:\n"..................."....pr
0960	69 6e 74 20 78 5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e	int.x\n").....True......>>>.roun
0980	64 74 72 69 70 28 22 23 20 54 68 69 73 20 69 73 20 61 20 63 6f 6d 6d 65 6e 74 5c 6e 23 20 54 68	dtrip("#.This.is.a.comment\n#.Th
09a0	69 73 20 61 6c 73 6f 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 53 6f 6d 65 20 70 65 6f 70 6c 65 20	is.also").....True..Some.people.
09c0	75 73 65 20 64 69 66 66 65 72 65 6e 74 20 66 6f 72 6d 61 74 74 69 6e 67 20 63 6f 6e 76 65 6e 74	use.different.formatting.convent
09e0	69 6f 6e 73 2c 20 77 68 69 63 68 20 6d 61 6b 65 73 0a 75 6e 74 6f 6b 65 6e 69 7a 65 20 61 20 6c	ions,.which.makes.untokenize.a.l
0a00	69 74 74 6c 65 20 74 72 69 63 6b 69 65 72 2e 20 4e 6f 74 65 20 74 68 61 74 20 74 68 69 73 20 74	ittle.trickier..Note.that.this.t
0a20	65 73 74 20 69 6e 76 6f 6c 76 65 73 20 74 72 61 69 6c 69 6e 67 0a 77 68 69 74 65 73 70 61 63 65	est.involves.trailing.whitespace
0a40	20 61 66 74 65 72 20 74 68 65 20 63 6f 6c 6f 6e 2e 20 4e 6f 74 65 20 74 68 61 74 20 77 65 20 75	.after.the.colon..Note.that.we.u
0a60	73 65 20 68 65 78 20 65 73 63 61 70 65 73 20 74 6f 20 6d 61 6b 65 20 74 68 65 0a 74 77 6f 20 74	se.hex.escapes.to.make.the.two.t
0a80	72 61 69 6c 69 6e 67 20 62 6c 61 6e 6b 73 20 61 70 70 65 72 61 6e 74 20 69 6e 20 74 68 65 20 65	railing.blanks.apperant.in.the.e
0aa0	78 70 65 63 74 65 64 20 6f 75 74 70 75 74 2e 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72	xpected.output.......>>>.roundtr
0ac0	69 70 28 22 69 66 20 78 20 3d 3d 20 31 20 3a 20 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20	ip("if.x.==.1.:.\n".............
0ae0	20 20 20 20 20 20 22 20 20 70 72 69 6e 74 20 78 5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 20	......"..print.x\n").....True...
0b00	20 20 20 3e 3e 3e 20 66 20 3d 20 74 65 73 74 5f 73 75 70 70 6f 72 74 2e 66 69 6e 64 66 69 6c 65	...>>>.f.=.test_support.findfile
0b20	28 22 74 6f 6b 65 6e 69 7a 65 5f 74 65 73 74 73 22 20 2b 20 6f 73 2e 65 78 74 73 65 70 20 2b 20	("tokenize_tests".+.os.extsep.+.
0b40	22 74 78 74 22 29 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 6f 70 65 6e 28 66 29	"txt").....>>>.roundtrip(open(f)
0b60	29 0a 20 20 20 20 54 72 75 65 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 69	).....True......>>>.roundtrip("i
0b80	66 20 78 20 3d 3d 20 31 3a 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22	f.x.==.1:\n"..................."
0ba0	20 20 20 20 23 20 41 20 63 6f 6d 6d 65 6e 74 20 62 79 20 69 74 73 65 6c 66 2e 5c 6e 22 0a 20 20	....#.A.comment.by.itself.\n"...
0bc0	20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 20 20 70 72 69 6e 74 20 78 20 23 20 43	................"....print.x.#.C
0be0	6f 6d 6d 65 6e 74 20 68 65 72 65 2c 20 74 6f 6f 2e 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20	omment.here,.too.\n"............
0c00	20 20 20 20 20 20 20 22 20 20 20 20 23 20 41 6e 6f 74 68 65 72 20 63 6f 6d 6d 65 6e 74 2e 5c 6e	......."....#.Another.comment.\n
0c20	22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 61 66 74 65 72 5f 69 66 20 3d 20	"..................."after_if.=.
0c40	54 72 75 65 5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64	True\n").....True......>>>.round
0c60	74 72 69 70 28 22 69 66 20 28 78 20 23 20 54 68 65 20 63 6f 6d 6d 65 6e 74 73 20 6e 65 65 64 20	trip("if.(x.#.The.comments.need.
0c80	74 6f 20 67 6f 20 69 6e 20 74 68 65 20 72 69 67 68 74 20 70 6c 61 63 65 5c 6e 22 0a 20 20 20 20	to.go.in.the.right.place\n".....
0ca0	2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 20 20 3d 3d 20 31 29 3a 5c 6e 22 0a 20 20 20	.............."....==.1):\n"....
0cc0	20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 20 20 70 72 69 6e 74 20 27 78 3d 3d 31 27	..............."....print.'x==1'
0ce0	5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70	\n").....True......>>>.roundtrip
0d00	28 22 63 6c 61 73 73 20 54 65 73 74 3a 20 23 20 41 20 63 6f 6d 6d 65 6e 74 20 68 65 72 65 5c 6e	("class.Test:.#.A.comment.here\n
0d20	22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 23 20 41 20 63 6f 6d 6d 65	"..................."..#.A.comme
0d40	6e 74 20 77 69 74 68 20 77 65 69 72 64 20 69 6e 64 65 6e 74 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20	nt.with.weird.indent\n".........
0d60	20 20 20 20 20 20 20 20 20 20 22 20 20 61 66 74 65 72 5f 63 6f 6d 20 3d 20 35 5c 6e 22 0a 20 20	.........."..after_com.=.5\n"...
0d80	20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 64 65 66 20 78 28 6d 29 3a 20 72 65 74	................"..def.x(m):.ret
0da0	75 72 6e 20 6d 2a 35 20 23 20 61 20 6f 6e 65 20 6c 69 6e 65 72 5c 6e 22 0a 20 20 20 20 2e 2e 2e	urn.m*5.#.a.one.liner\n"........
0dc0	20 20 20 20 20 20 20 20 20 20 20 22 20 20 64 65 66 20 79 28 6d 29 3a 20 23 20 41 20 77 68 69 74	..........."..def.y(m):.#.A.whit
0de0	65 73 70 61 63 65 20 61 66 74 65 72 20 74 68 65 20 63 6f 6c 6f 6e 5c 6e 22 0a 20 20 20 20 2e 2e	espace.after.the.colon\n".......
0e00	2e 20 20 20 20 20 20 20 20 20 20 20 22 20 20 20 20 20 72 65 74 75 72 6e 20 79 2a 34 20 23 20 33	............".....return.y*4.#.3
0e20	2d 73 70 61 63 65 20 69 6e 64 65 6e 74 5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 53 6f 6d 65	-space.indent\n").....True..Some
0e40	20 65 72 72 6f 72 2d 68 61 6e 64 6c 69 6e 67 20 63 6f 64 65 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f	.error-handling.code......>>>.ro
0e60	75 6e 64 74 72 69 70 28 22 74 72 79 3a 20 69 6d 70 6f 72 74 20 73 6f 6d 65 6d 6f 64 75 6c 65 5c	undtrip("try:.import.somemodule\
0e80	6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 65 78 63 65 70 74 20 49 6d 70	n"..................."except.Imp
0ea0	6f 72 74 45 72 72 6f 72 3a 20 23 20 63 6f 6d 6d 65 6e 74 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20	ortError:.#.comment\n"..........
0ec0	20 20 20 20 20 20 20 20 20 22 20 20 20 20 70 72 69 6e 74 20 27 43 61 6e 20 6e 6f 74 20 69 6d 70	........."....print.'Can.not.imp
0ee0	6f 72 74 27 20 23 20 63 6f 6d 6d 65 6e 74 32 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20	ort'.#.comment2\n"..............
0f00	20 20 20 20 20 22 65 6c 73 65 3a 20 20 20 70 72 69 6e 74 20 27 4c 6f 61 64 65 64 27 5c 6e 22 29	....."else:...print.'Loaded'\n")
0f20	0a 20 20 20 20 54 72 75 65 0a 0a 42 61 6c 61 6e 63 69 6e 67 20 63 6f 6e 74 69 6e 75 61 74 69 6f	.....True..Balancing.continuatio
0f40	6e 0a 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 61 20 3d 20 28 33 2c 34 2c 20	n......>>>.roundtrip("a.=.(3,4,.
0f60	5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 35 2c 36 29 5c 6e 22 0a 20	\n"..................."5,6)\n"..
0f80	20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 79 20 3d 20 5b 33 2c 20 34 2c 5c 6e 22 0a	................."y.=.[3,.4,\n".
0fa0	20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 35 5d 5c 6e 22 0a 20 20 20 20 2e 2e 2e	.................."5]\n"........
0fc0	20 20 20 20 20 20 20 20 20 20 20 22 7a 20 3d 20 7b 27 61 27 3a 20 35 2c 5c 6e 22 0a 20 20 20 20	..........."z.=.{'a':.5,\n".....
0fe0	2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 27 62 27 3a 31 35 2c 20 27 63 27 3a 54 72 75 65 7d	.............."'b':15,.'c':True}
1000	5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 78 20 3d 20 6c 65 6e 28 79	\n"..................."x.=.len(y
1020	29 20 2b 20 35 20 2d 20 61 5b 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20	).+.5.-.a[\n"...................
1040	22 33 5d 20 2d 20 61 5b 32 5d 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20	"3].-.a[2]\n"...................
1060	22 2b 20 6c 65 6e 28 7a 29 20 2d 20 7a 5b 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20	"+.len(z).-.z[\n"...............
1080	20 20 20 20 22 27 62 27 5d 5c 6e 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 4f 72 64 69 6e 61 72 79	...."'b']\n").....True..Ordinary
10a0	20 69 6e 74 65 67 65 72 73 20 61 6e 64 20 62 69 6e 61 72 79 20 6f 70 65 72 61 74 6f 72 73 0a 0a	.integers.and.binary.operators..
10c0	20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 30 78 66 66 20 3c 3d 20 32 35 35	....>>>.dump_tokens("0xff.<=.255
10e0	22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 66 66 27 20 20 20 20 20 20 20 20	").....NUMBER.....'0xff'........
1100	28 31 2c 20 30 29 20 28 31 2c 20 34 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3c 3d	(1,.0).(1,.4).....OP.........'<=
1120	27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4e 55 4d	'..........(1,.5).(1,.7).....NUM
1140	42 45 52 20 20 20 20 20 27 32 35 35 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c	BER.....'255'.........(1,.8).(1,
1160	20 31 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 30 62 31 30 20 3c	.11).....>>>.dump_tokens("0b10.<
1180	3d 20 32 35 35 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 62 31 30 27 20 20 20	=.255").....NUMBER.....'0b10'...
11a0	20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 34 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20	.....(1,.0).(1,.4).....OP.......
11c0	20 20 27 3c 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 37 29 0a 20 20	..'<='..........(1,.5).(1,.7)...
11e0	20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 32 35 35 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 38	..NUMBER.....'255'.........(1,.8
1200	29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 30	).(1,.11).....>>>.dump_tokens("0
1220	6f 31 32 33 20 3c 3d 20 30 31 32 33 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30	o123.<=.0123").....NUMBER.....'0
1240	6f 31 32 33 27 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 35 29 0a 20 20 20 20 4f 50	o123'.......(1,.0).(1,.5).....OP
1260	20 20 20 20 20 20 20 20 20 27 3c 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36 29 20 28 31	.........'<='..........(1,.6).(1
1280	2c 20 38 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 31 32 33 27 20 20 20 20 20 20	,.8).....NUMBER.....'0123'......
12a0	20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f	..(1,.9).(1,.13).....>>>.dump_to
12c0	6b 65 6e 73 28 22 30 31 32 33 34 35 36 37 20 3e 20 7e 30 78 31 35 22 29 0a 20 20 20 20 4e 55 4d	kens("01234567.>.~0x15").....NUM
12e0	42 45 52 20 20 20 20 20 27 30 31 32 33 34 35 36 37 27 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c	BER.....'01234567'....(1,.0).(1,
1300	20 38 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3e 27 20 20 20 20 20 20 20 20 20 20	.8).....OP.........'>'..........
1320	20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27	.(1,.9).(1,.10).....OP.........'
1340	7e 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20	~'...........(1,.11).(1,.12)....
1360	20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 31 35 27 20 20 20 20 20 20 20 20 28 31 2c 20 31 32	.NUMBER.....'0x15'........(1,.12
1380	29 20 28 31 2c 20 31 36 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 32	).(1,.16).....>>>.dump_tokens("2
13a0	31 33 34 35 36 38 20 21 3d 20 30 31 32 33 31 35 31 35 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20	134568.!=.01231515").....NUMBER.
13c0	20 20 20 20 27 32 31 33 34 35 36 38 27 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 37 29 0a	....'2134568'.....(1,.0).(1,.7).
13e0	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 21 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'!='..........(1,
1400	20 38 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 31 32 33	.8).(1,.10).....NUMBER.....'0123
1420	31 35 31 35 27 20 20 20 20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 39 29 0a 20 20 20 20 3e 3e 3e	1515'....(1,.11).(1,.19).....>>>
1440	20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 28 2d 31 32 34 35 36 31 2d 31 29 20 26 20 30 32 30 30	.dump_tokens("(-124561-1).&.0200
1460	30 30 30 30 30 30 22 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 28 27 20 20 20 20 20	000000").....OP.........'('.....
1480	20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20	......(1,.0).(1,.1).....OP......
14a0	20 20 20 27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 29 20 28 31 2c 20 32 29 0a 20	...'-'...........(1,.1).(1,.2)..
14c0	20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 32 34 35 36 31 27 20 20 20 20 20 20 28 31 2c 20	...NUMBER.....'124561'......(1,.
14e0	32 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20	2).(1,.8).....OP.........'-'....
1500	20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39 29 0a 20 20 20 20 4e 55 4d 42 45 52 20	.......(1,.8).(1,.9).....NUMBER.
1520	20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29	....'1'...........(1,.9).(1,.10)
1540	0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 29 27 20 20 20 20 20 20 20 20 20 20 20 28 31	.....OP.........')'...........(1
1560	2c 20 31 30 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 26 27	,.10).(1,.11).....OP.........'&'
1580	20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4e	...........(1,.12).(1,.13).....N
15a0	55 4d 42 45 52 20 20 20 20 20 27 30 32 30 30 30 30 30 30 30 30 27 20 20 28 31 2c 20 31 34 29 20	UMBER.....'0200000000'..(1,.14).
15c0	28 31 2c 20 32 34 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 30 78 64	(1,.24).....>>>.dump_tokens("0xd
15e0	65 61 64 62 65 65 66 20 21 3d 20 2d 31 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27	eadbeef.!=.-1").....NUMBER.....'
1600	30 78 64 65 61 64 62 65 65 66 27 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20	0xdeadbeef'..(1,.0).(1,.10).....
1620	4f 50 20 20 20 20 20 20 20 20 20 27 21 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 31 29	OP.........'!='..........(1,.11)
1640	20 28 31 2c 20 31 33 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20	.(1,.13).....OP.........'-'.....
1660	20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 31 35 29 0a 20 20 20 20 4e 55 4d 42 45 52	......(1,.14).(1,.15).....NUMBER
1680	20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 35 29 20 28 31 2c 20 31	.....'1'...........(1,.15).(1,.1
16a0	36 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 30 78 64 65 61 64 63 30	6).....>>>.dump_tokens("0xdeadc0
16c0	64 65 20 26 20 30 31 32 33 34 35 22 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78	de.&.012345").....NUMBER.....'0x
16e0	64 65 61 64 63 30 64 65 27 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50	deadc0de'..(1,.0).(1,.10).....OP
1700	20 20 20 20 20 20 20 20 20 27 26 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 31 29 20 28	.........'&'...........(1,.11).(
1720	31 2c 20 31 32 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 31 32 33 34 35 27 20 20	1,.12).....NUMBER.....'012345'..
1740	20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31 39 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70	....(1,.13).(1,.19).....>>>.dump
1760	5f 74 6f 6b 65 6e 73 28 22 30 78 46 46 20 26 20 30 78 31 35 20 7c 20 31 32 33 34 22 29 0a 20 20	_tokens("0xFF.&.0x15.|.1234")...
1780	20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 46 46 27 20 20 20 20 20 20 20 20 28 31 2c 20 30	..NUMBER.....'0xFF'........(1,.0
17a0	29 20 28 31 2c 20 34 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 26 27 20 20 20 20 20	).(1,.4).....OP.........'&'.....
17c0	20 20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20	......(1,.5).(1,.6).....NUMBER..
17e0	20 20 20 27 30 78 31 35 27 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 31 31 29 0a	...'0x15'........(1,.7).(1,.11).
1800	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 7c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'|'...........(1,
1820	20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 32 33	.12).(1,.13).....NUMBER.....'123
1840	34 27 20 20 20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 31 38 29 0a 0a 4c 6f 6e 67 20	4'........(1,.14).(1,.18)..Long.
1860	69 6e 74 65 67 65 72 73 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78	integers......>>>.dump_tokens("x
1880	20 3d 20 30 4c 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20	.=.0L").....NAME.......'x'......
18a0	20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20	.....(1,.0).(1,.1).....OP.......
18c0	20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20	..'='...........(1,.2).(1,.3)...
18e0	20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 4c 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34	..NUMBER.....'0L'..........(1,.4
1900	29 20 28 31 2c 20 36 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20	).(1,.6).....>>>.dump_tokens("x.
1920	3d 20 30 78 66 66 66 66 66 66 66 66 66 66 66 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20	=.0xfffffffffff").....NAME......
1940	20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20	.'x'...........(1,.0).(1,.1)....
1960	20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29	.OP.........'='...........(1,.2)
1980	20 28 31 2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 66 66 66 66 66 66	.(1,.3).....NUMBER.....'0xffffff
19a0	66 66 66 66 20 28 31 2c 20 34 29 20 28 31 2c 20 31 37 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70	ffff.(1,.4).(1,.17).....>>>.dump
19c0	5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 31 32 33 31 34 31 32 34 32 31 35 31 32 35 31 36 31 36 31	_tokens("x.=.1231412421512516161
19e0	31 30 6c 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20	10l").....NAME.......'x'........
1a00	20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20	...(1,.0).(1,.1).....OP.........
1a20	27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20	'='...........(1,.2).(1,.3).....
1a40	4e 55 4d 42 45 52 20 20 20 20 20 27 31 32 33 31 34 31 32 34 32 31 35 31 20 28 31 2c 20 34 29 20	NUMBER.....'123141242151.(1,.4).
1a60	28 31 2c 20 32 36 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d	(1,.26).....>>>.dump_tokens("x.=
1a80	20 2d 31 35 39 32 31 35 39 30 32 31 35 30 31 32 35 39 31 4c 22 29 0a 20 20 20 20 4e 41 4d 45 20	.-15921590215012591L").....NAME.
1aa0	20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31	......'x'...........(1,.0).(1,.1
1ac0	29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28	).....OP.........'='...........(
1ae0	31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20	1,.2).(1,.3).....OP.........'-'.
1b00	20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 35 29 0a 20 20 20 20 4e 55 4d 42	..........(1,.4).(1,.5).....NUMB
1b20	45 52 20 20 20 20 20 27 31 35 39 32 31 35 39 30 32 31 35 30 20 28 31 2c 20 35 29 20 28 31 2c 20	ER.....'159215902150.(1,.5).(1,.
1b40	32 33 29 0a 0a 46 6c 6f 61 74 69 6e 67 20 70 6f 69 6e 74 20 6e 75 6d 62 65 72 73 0a 0a 20 20 20	23)..Floating.point.numbers.....
1b60	20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 33 2e 31 34 31 35 39 22 29 0a	.>>>.dump_tokens("x.=.3.14159").
1b80	20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....NAME.......'x'...........(1,
1ba0	20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20	.0).(1,.1).....OP.........'='...
1bc0	20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52	........(1,.2).(1,.3).....NUMBER
1be0	20 20 20 20 20 27 33 2e 31 34 31 35 39 27 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 31 31	.....'3.14159'.....(1,.4).(1,.11
1c00	29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 33 31 34 31 35	).....>>>.dump_tokens("x.=.31415
1c20	39 2e 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20	9.").....NAME.......'x'.........
1c40	20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27	..(1,.0).(1,.1).....OP.........'
1c60	3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4e	='...........(1,.2).(1,.3).....N
1c80	55 4d 42 45 52 20 20 20 20 20 27 33 31 34 31 35 39 2e 27 20 20 20 20 20 28 31 2c 20 34 29 20 28	UMBER.....'314159.'.....(1,.4).(
1ca0	31 2c 20 31 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20	1,.11).....>>>.dump_tokens("x.=.
1cc0	2e 33 31 34 31 35 39 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20	.314159").....NAME.......'x'....
1ce0	20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20	.......(1,.0).(1,.1).....OP.....
1d00	20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a	....'='...........(1,.2).(1,.3).
1d20	20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 2e 33 31 34 31 35 39 27 20 20 20 20 20 28 31 2c	....NUMBER.....'.314159'.....(1,
1d40	20 34 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28	.4).(1,.11).....>>>.dump_tokens(
1d60	22 78 20 3d 20 33 65 31 34 31 35 39 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78	"x.=.3e14159").....NAME.......'x
1d80	27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50	'...........(1,.0).(1,.1).....OP
1da0	20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31	.........'='...........(1,.2).(1
1dc0	2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 33 65 31 34 31 35 39 27 20 20 20	,.3).....NUMBER.....'3e14159'...
1de0	20 20 28 31 2c 20 34 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f	..(1,.4).(1,.11).....>>>.dump_to
1e00	6b 65 6e 73 28 22 78 20 3d 20 33 45 31 32 33 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20	kens("x.=.3E123").....NAME......
1e20	20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20	.'x'...........(1,.0).(1,.1)....
1e40	20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29	.OP.........'='...........(1,.2)
1e60	20 28 31 2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 33 45 31 32 33 27 20 20	.(1,.3).....NUMBER.....'3E123'..
1e80	20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 39 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f	.....(1,.4).(1,.9).....>>>.dump_
1ea0	74 6f 6b 65 6e 73 28 22 78 2b 79 20 3d 20 33 65 2d 31 32 33 30 22 29 0a 20 20 20 20 4e 41 4d 45	tokens("x+y.=.3e-1230").....NAME
1ec0	20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20	.......'x'...........(1,.0).(1,.
1ee0	31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20	1).....OP.........'+'...........
1f00	28 31 2c 20 31 29 20 28 31 2c 20 32 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 79 27	(1,.1).(1,.2).....NAME.......'y'
1f20	20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4f 50 20	...........(1,.2).(1,.3).....OP.
1f40	20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c	........'='...........(1,.4).(1,
1f60	20 35 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 33 65 2d 31 32 33 30 27 20 20 20 20	.5).....NUMBER.....'3e-1230'....
1f80	20 28 31 2c 20 36 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b	.(1,.6).(1,.13).....>>>.dump_tok
1fa0	65 6e 73 28 22 78 20 3d 20 33 2e 31 34 65 31 35 39 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20	ens("x.=.3.14e159").....NAME....
1fc0	20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20	...'x'...........(1,.0).(1,.1)..
1fe0	20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...OP.........'='...........(1,.
2000	32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 33 2e 31 34 65 31	2).(1,.3).....NUMBER.....'3.14e1
2020	35 39 27 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 31 32 29 0a 0a 53 74 72 69 6e 67 20 6c 69	59'....(1,.4).(1,.12)..String.li
2040	74 65 72 61 6c 73 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d	terals......>>>.dump_tokens("x.=
2060	20 27 27 3b 20 79 20 3d 20 5c 22 5c 22 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27	.'';.y.=.\"\"").....NAME.......'
2080	78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f	x'...........(1,.0).(1,.1).....O
20a0	50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28	P.........'='...........(1,.2).(
20c0	31 2c 20 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 27 27 22 20 20 20 20 20 20 20	1,.3).....STRING....."''".......
20e0	20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20	...(1,.4).(1,.6).....OP.........
2100	27 3b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36 29 20 28 31 2c 20 37 29 0a 20 20 20 20	';'...........(1,.6).(1,.7).....
2120	4e 41 4d 45 20 20 20 20 20 20 20 27 79 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20	NAME.......'y'...........(1,.8).
2140	28 31 2c 20 39 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20	(1,.9).....OP.........'='.......
2160	20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20	....(1,.10).(1,.11).....STRING..
2180	20 20 20 27 22 22 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 34 29	...'""'..........(1,.12).(1,.14)
21a0	0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 27 5c 22 27 3b 20	.....>>>.dump_tokens("x.=.'\"';.
21c0	79 20 3d 20 5c 22 27 5c 22 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20	y.=.\"'\"").....NAME.......'x'..
21e0	20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20	.........(1,.0).(1,.1).....OP...
2200	20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33	......'='...........(1,.2).(1,.3
2220	29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 5c 27 22 5c 27 27 20 20 20 20 20 20 20 28	).....STRING.....'\'"\''.......(
2240	31 2c 20 34 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3b 27 20	1,.4).(1,.7).....OP.........';'.
2260	20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4e 41 4d 45	..........(1,.7).(1,.8).....NAME
2280	20 20 20 20 20 20 20 27 79 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20	.......'y'...........(1,.9).(1,.
22a0	31 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20	10).....OP.........'='..........
22c0	20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20	.(1,.11).(1,.12).....STRING.....
22e0	27 22 5c 27 22 27 20 20 20 20 20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31 36 29 0a 20 20	'"\'"'........(1,.13).(1,.16)...
2300	20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 5c 22 64 6f 65 73 6e 27 74	..>>>.dump_tokens("x.=.\"doesn't
2320	20 5c 22 73 68 72 69 6e 6b 5c 22 2c 20 64 6f 65 73 20 69 74 5c 22 22 29 0a 20 20 20 20 4e 41 4d	.\"shrink\",.does.it\"").....NAM
2340	45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c	E.......'x'...........(1,.0).(1,
2360	20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20	.1).....OP.........'='..........
2380	20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 22	.(1,.2).(1,.3).....STRING.....'"
23a0	64 6f 65 73 6e 5c 27 74 20 22 27 20 28 31 2c 20 34 29 20 28 31 2c 20 31 34 29 0a 20 20 20 20 4e	doesn\'t."'.(1,.4).(1,.14).....N
23c0	41 4d 45 20 20 20 20 20 20 20 27 73 68 72 69 6e 6b 27 20 20 20 20 20 20 28 31 2c 20 31 34 29 20	AME.......'shrink'......(1,.14).
23e0	28 31 2c 20 32 30 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 22 2c 20 64 6f 65 73 20	(1,.20).....STRING.....'",.does.
2400	69 74 22 27 20 28 31 2c 20 32 30 29 20 28 31 2c 20 33 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d	it"'.(1,.20).(1,.31).....>>>.dum
2420	70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 75 27 61 62 63 27 20 2b 20 55 27 41 42 43 27 22 29 0a	p_tokens("x.=.u'abc'.+.U'ABC'").
2440	20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....NAME.......'x'...........(1,
2460	20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20	.0).(1,.1).....OP.........'='...
2480	20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 53 54 52 49 4e 47	........(1,.2).(1,.3).....STRING
24a0	20 20 20 20 20 22 75 27 61 62 63 27 22 20 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 31 30	....."u'abc'"......(1,.4).(1,.10
24c0	29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28	).....OP.........'+'...........(
24e0	31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 55	1,.11).(1,.12).....STRING....."U
2500	27 41 42 43 27 22 20 20 20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31 39 29 0a 20 20 20 20	'ABC'"......(1,.13).(1,.19).....
2520	3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 27 79 20 3d 20 75 22 41 42 43 22 20 2b 20 55 22	>>>.dump_tokens('y.=.u"ABC".+.U"
2540	41 42 43 22 27 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 79 27 20 20 20 20 20 20 20	ABC"').....NAME.......'y'.......
2560	20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	....(1,.0).(1,.1).....OP........
2580	20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20	.'='...........(1,.2).(1,.3)....
25a0	20 53 54 52 49 4e 47 20 20 20 20 20 27 75 22 41 42 43 22 27 20 20 20 20 20 20 28 31 2c 20 34 29	.STRING.....'u"ABC"'......(1,.4)
25c0	20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20	.(1,.10).....OP.........'+'.....
25e0	20 20 20 20 20 20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 53 54 52 49 4e 47	......(1,.11).(1,.12).....STRING
2600	20 20 20 20 20 27 55 22 41 42 43 22 27 20 20 20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31	.....'U"ABC"'......(1,.13).(1,.1
2620	39 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 75 72 27 61	9).....>>>.dump_tokens("x.=.ur'a
2640	62 63 27 20 2b 20 55 72 27 41 42 43 27 20 2b 20 75 52 27 41 42 43 27 20 2b 20 55 52 27 41 42 43	bc'.+.Ur'ABC'.+.uR'ABC'.+.UR'ABC
2660	27 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20	'").....NAME.......'x'..........
2680	20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d	.(1,.0).(1,.1).....OP.........'=
26a0	27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 53 54	'...........(1,.2).(1,.3).....ST
26c0	52 49 4e 47 20 20 20 20 20 22 75 72 27 61 62 63 27 22 20 20 20 20 20 28 31 2c 20 34 29 20 28 31	RING....."ur'abc'".....(1,.4).(1
26e0	2c 20 31 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20	,.11).....OP.........'+'........
2700	20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20	...(1,.12).(1,.13).....STRING...
2720	20 20 22 55 72 27 41 42 43 27 22 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 32 31 29 0a	.."Ur'ABC'".....(1,.14).(1,.21).
2740	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'+'...........(1,
2760	20 32 32 29 20 28 31 2c 20 32 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 75 52 27	.22).(1,.23).....STRING....."uR'
2780	41 42 43 27 22 20 20 20 20 20 28 31 2c 20 32 34 29 20 28 31 2c 20 33 31 29 0a 20 20 20 20 4f 50	ABC'".....(1,.24).(1,.31).....OP
27a0	20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 32 29 20 28	.........'+'...........(1,.32).(
27c0	31 2c 20 33 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 55 52 27 41 42 43 27 22 20	1,.33).....STRING....."UR'ABC'".
27e0	20 20 20 20 28 31 2c 20 33 34 29 20 28 31 2c 20 34 31 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70	....(1,.34).(1,.41).....>>>.dump
2800	5f 74 6f 6b 65 6e 73 28 27 79 20 3d 20 75 72 22 61 62 63 22 20 2b 20 55 72 22 41 42 43 22 20 2b	_tokens('y.=.ur"abc".+.Ur"ABC".+
2820	20 75 52 22 41 42 43 22 20 2b 20 55 52 22 41 42 43 22 27 29 0a 20 20 20 20 4e 41 4d 45 20 20 20	.uR"ABC".+.UR"ABC"').....NAME...
2840	20 20 20 20 27 79 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a	....'y'...........(1,.0).(1,.1).
2860	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'='...........(1,
2880	20 32 29 20 28 31 2c 20 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 75 72 22 61 62	.2).(1,.3).....STRING.....'ur"ab
28a0	63 22 27 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 4f 50 20 20 20	c"'.....(1,.4).(1,.11).....OP...
28c0	20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20	......'+'...........(1,.12).(1,.
28e0	31 33 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 55 72 22 41 42 43 22 27 20 20 20 20	13).....STRING.....'Ur"ABC"'....
2900	20 28 31 2c 20 31 34 29 20 28 31 2c 20 32 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20	.(1,.14).(1,.21).....OP.........
2920	27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 32 29 20 28 31 2c 20 32 33 29 0a 20 20	'+'...........(1,.22).(1,.23)...
2940	20 20 53 54 52 49 4e 47 20 20 20 20 20 27 75 52 22 41 42 43 22 27 20 20 20 20 20 28 31 2c 20 32	..STRING.....'uR"ABC"'.....(1,.2
2960	34 29 20 28 31 2c 20 33 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20	4).(1,.31).....OP.........'+'...
2980	20 20 20 20 20 20 20 20 28 31 2c 20 33 32 29 20 28 31 2c 20 33 33 29 0a 20 20 20 20 53 54 52 49	........(1,.32).(1,.33).....STRI
29a0	4e 47 20 20 20 20 20 27 55 52 22 41 42 43 22 27 20 20 20 20 20 28 31 2c 20 33 34 29 20 28 31 2c	NG.....'UR"ABC"'.....(1,.34).(1,
29c0	20 34 31 29 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 62 27 61 62 63	.41)......>>>.dump_tokens("b'abc
29e0	27 20 2b 20 42 27 61 62 63 27 22 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 62 27 61	'.+.B'abc'").....STRING....."b'a
2a00	62 63 27 22 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4f 50 20 20	bc'"......(1,.0).(1,.6).....OP..
2a20	20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20	.......'+'...........(1,.7).(1,.
2a40	38 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 42 27 61 62 63 27 22 20 20 20 20 20 20	8).....STRING....."B'abc'"......
2a60	28 31 2c 20 39 29 20 28 31 2c 20 31 35 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65	(1,.9).(1,.15).....>>>.dump_toke
2a80	6e 73 28 27 62 22 61 62 63 22 20 2b 20 42 22 61 62 63 22 27 29 0a 20 20 20 20 53 54 52 49 4e 47	ns('b"abc".+.B"abc"').....STRING
2aa0	20 20 20 20 20 27 62 22 61 62 63 22 27 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 36 29	.....'b"abc"'......(1,.0).(1,.6)
2ac0	0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31	.....OP.........'+'...........(1
2ae0	2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 42 22 61 62	,.7).(1,.8).....STRING.....'B"ab
2b00	63 22 27 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 35 29 0a 20 20 20 20 3e 3e 3e 20	c"'......(1,.9).(1,.15).....>>>.
2b20	64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 62 72 27 61 62 63 27 20 2b 20 62 52 27 61 62 63 27 20 2b	dump_tokens("br'abc'.+.bR'abc'.+
2b40	20 42 72 27 61 62 63 27 20 2b 20 42 52 27 61 62 63 27 22 29 0a 20 20 20 20 53 54 52 49 4e 47 20	.Br'abc'.+.BR'abc'").....STRING.
2b60	20 20 20 20 22 62 72 27 61 62 63 27 22 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 37 29 0a	...."br'abc'".....(1,.0).(1,.7).
2b80	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'+'...........(1,
2ba0	20 38 29 20 28 31 2c 20 39 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 62 52 27 61 62	.8).(1,.9).....STRING....."bR'ab
2bc0	63 27 22 20 20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20 31 37 29 0a 20 20 20 20 4f 50 20 20	c'".....(1,.10).(1,.17).....OP..
2be0	20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 38 29 20 28 31 2c	.......'+'...........(1,.18).(1,
2c00	20 31 39 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 42 72 27 61 62 63 27 22 20 20 20	.19).....STRING....."Br'abc'"...
2c20	20 20 28 31 2c 20 32 30 29 20 28 31 2c 20 32 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	..(1,.20).(1,.27).....OP........
2c40	20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 38 29 20 28 31 2c 20 32 39 29 0a 20	.'+'...........(1,.28).(1,.29)..
2c60	20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 42 52 27 61 62 63 27 22 20 20 20 20 20 28 31 2c 20	...STRING....."BR'abc'".....(1,.
2c80	33 30 29 20 28 31 2c 20 33 37 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28	30).(1,.37).....>>>.dump_tokens(
2ca0	27 62 72 22 61 62 63 22 20 2b 20 62 52 22 61 62 63 22 20 2b 20 42 72 22 61 62 63 22 20 2b 20 42	'br"abc".+.bR"abc".+.Br"abc".+.B
2cc0	52 22 61 62 63 22 27 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 62 72 22 61 62 63 22	R"abc"').....STRING.....'br"abc"
2ce0	27 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20	'.....(1,.0).(1,.7).....OP......
2d00	20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39 29 0a 20	...'+'...........(1,.8).(1,.9)..
2d20	20 20 20 53 54 52 49 4e 47 20 20 20 20 20 27 62 52 22 61 62 63 22 27 20 20 20 20 20 28 31 2c 20	...STRING.....'bR"abc"'.....(1,.
2d40	31 30 29 20 28 31 2c 20 31 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20	10).(1,.17).....OP.........'+'..
2d60	20 20 20 20 20 20 20 20 20 28 31 2c 20 31 38 29 20 28 31 2c 20 31 39 29 0a 20 20 20 20 53 54 52	.........(1,.18).(1,.19).....STR
2d80	49 4e 47 20 20 20 20 20 27 42 72 22 61 62 63 22 27 20 20 20 20 20 28 31 2c 20 32 30 29 20 28 31	ING.....'Br"abc"'.....(1,.20).(1
2da0	2c 20 32 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20	,.27).....OP.........'+'........
2dc0	20 20 20 28 31 2c 20 32 38 29 20 28 31 2c 20 32 39 29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20	...(1,.28).(1,.29).....STRING...
2de0	20 20 27 42 52 22 61 62 63 22 27 20 20 20 20 20 28 31 2c 20 33 30 29 20 28 31 2c 20 33 37 29 0a	..'BR"abc"'.....(1,.30).(1,.37).
2e00	0a 4f 70 65 72 61 74 6f 72 73 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28	.Operators......>>>.dump_tokens(
2e20	22 64 65 66 20 64 32 32 28 61 2c 20 62 2c 20 63 3d 32 2c 20 64 3d 32 2c 20 2a 6b 29 3a 20 70 61	"def.d22(a,.b,.c=2,.d=2,.*k):.pa
2e40	73 73 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 64 65 66 27 20 20 20 20 20 20 20	ss").....NAME.......'def'.......
2e60	20 20 28 31 2c 20 30 29 20 28 31 2c 20 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27	..(1,.0).(1,.3).....NAME.......'
2e80	64 32 32 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4f	d22'.........(1,.4).(1,.7).....O
2ea0	50 20 20 20 20 20 20 20 20 20 27 28 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28	P.........'('...........(1,.7).(
2ec0	31 2c 20 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 61 27 20 20 20 20 20 20 20 20	1,.8).....NAME.......'a'........
2ee0	20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20	...(1,.8).(1,.9).....OP.........
2f00	27 2c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20	','...........(1,.9).(1,.10)....
2f20	20 4e 41 4d 45 20 20 20 20 20 20 20 27 62 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 31	.NAME.......'b'...........(1,.11
2f40	29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2c 27 20 20 20 20	).(1,.12).....OP.........','....
2f60	20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4e 41 4d 45 20	.......(1,.12).(1,.13).....NAME.
2f80	20 20 20 20 20 20 27 63 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20	......'c'...........(1,.14).(1,.
2fa0	31 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20	15).....OP.........'='..........
2fc0	20 28 31 2c 20 31 35 29 20 28 31 2c 20 31 36 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20	.(1,.15).(1,.16).....NUMBER.....
2fe0	27 32 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 36 29 20 28 31 2c 20 31 37 29 0a 20 20	'2'...........(1,.16).(1,.17)...
3000	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31	..OP.........','...........(1,.1
3020	37 29 20 28 31 2c 20 31 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 64 27 20 20 20	7).(1,.18).....NAME.......'d'...
3040	20 20 20 20 20 20 20 20 28 31 2c 20 31 39 29 20 28 31 2c 20 32 30 29 0a 20 20 20 20 4f 50 20 20	........(1,.19).(1,.20).....OP..
3060	20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 30 29 20 28 31 2c	.......'='...........(1,.20).(1,
3080	20 32 31 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 32 27 20 20 20 20 20 20 20 20 20	.21).....NUMBER.....'2'.........
30a0	20 20 28 31 2c 20 32 31 29 20 28 31 2c 20 32 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	..(1,.21).(1,.22).....OP........
30c0	20 27 2c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 32 29 20 28 31 2c 20 32 33 29 0a 20	.','...........(1,.22).(1,.23)..
30e0	20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...OP.........'*'...........(1,.
3100	32 34 29 20 28 31 2c 20 32 35 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 6b 27 20 20	24).(1,.25).....NAME.......'k'..
3120	20 20 20 20 20 20 20 20 20 28 31 2c 20 32 35 29 20 28 31 2c 20 32 36 29 0a 20 20 20 20 4f 50 20	.........(1,.25).(1,.26).....OP.
3140	20 20 20 20 20 20 20 20 27 29 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 36 29 20 28 31	........')'...........(1,.26).(1
3160	2c 20 32 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3a 27 20 20 20 20 20 20 20 20	,.27).....OP.........':'........
3180	20 20 20 28 31 2c 20 32 37 29 20 28 31 2c 20 32 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20	...(1,.27).(1,.28).....NAME.....
31a0	20 20 27 70 61 73 73 27 20 20 20 20 20 20 20 20 28 31 2c 20 32 39 29 20 28 31 2c 20 33 33 29 0a	..'pass'........(1,.29).(1,.33).
31c0	20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 64 65 66 20 64 30 31 76 5f 28 61	....>>>.dump_tokens("def.d01v_(a
31e0	3d 31 2c 20 2a 6b 2c 20 2a 2a 77 29 3a 20 70 61 73 73 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20	=1,.*k,.**w):.pass").....NAME...
3200	20 20 20 20 27 64 65 66 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 33 29 0a	....'def'.........(1,.0).(1,.3).
3220	20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 64 30 31 76 5f 27 20 20 20 20 20 20 20 28 31 2c	....NAME.......'d01v_'.......(1,
3240	20 34 29 20 28 31 2c 20 39 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 28 27 20 20 20	.4).(1,.9).....OP.........'('...
3260	20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4e 41 4d 45 20	........(1,.9).(1,.10).....NAME.
3280	20 20 20 20 20 20 27 61 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20	......'a'...........(1,.10).(1,.
32a0	31 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20	11).....OP.........'='..........
32c0	20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20	.(1,.11).(1,.12).....NUMBER.....
32e0	27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20	'1'...........(1,.12).(1,.13)...
3300	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31	..OP.........','...........(1,.1
3320	33 29 20 28 31 2c 20 31 34 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a 27 20 20 20	3).(1,.14).....OP.........'*'...
3340	20 20 20 20 20 20 20 20 28 31 2c 20 31 35 29 20 28 31 2c 20 31 36 29 0a 20 20 20 20 4e 41 4d 45	........(1,.15).(1,.16).....NAME
3360	20 20 20 20 20 20 20 27 6b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 36 29 20 28 31 2c	.......'k'...........(1,.16).(1,
3380	20 31 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2c 27 20 20 20 20 20 20 20 20 20	.17).....OP.........','.........
33a0	20 20 28 31 2c 20 31 37 29 20 28 31 2c 20 31 38 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	..(1,.17).(1,.18).....OP........
33c0	20 27 2a 2a 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 39 29 20 28 31 2c 20 32 31 29 0a 20	.'**'..........(1,.19).(1,.21)..
33e0	20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 77 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...NAME.......'w'...........(1,.
3400	32 31 29 20 28 31 2c 20 32 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 29 27 20 20	21).(1,.22).....OP.........')'..
3420	20 20 20 20 20 20 20 20 20 28 31 2c 20 32 32 29 20 28 31 2c 20 32 33 29 0a 20 20 20 20 4f 50 20	.........(1,.22).(1,.23).....OP.
3440	20 20 20 20 20 20 20 20 27 3a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 33 29 20 28 31	........':'...........(1,.23).(1
3460	2c 20 32 34 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 70 61 73 73 27 20 20 20 20 20	,.24).....NAME.......'pass'.....
3480	20 20 20 28 31 2c 20 32 35 29 20 28 31 2c 20 32 39 29 0a 0a 43 6f 6d 70 61 72 69 73 6f 6e 0a 0a	...(1,.25).(1,.29)..Comparison..
34a0	20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 69 66 20 31 20 3c 20 31 20 3e 20	....>>>.dump_tokens("if.1.<.1.>.
34c0	31 20 3d 3d 20 31 20 3e 3d 20 35 20 3c 3d 20 30 78 31 35 20 3c 3d 20 30 78 31 32 20 21 3d 20 22	1.==.1.>=.5.<=.0x15.<=.0x12.!=."
34e0	20 2b 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 20 20 20 20 22 31 20 61 6e 64 20 35 20	.+....................."1.and.5.
3500	69 6e 20 31 20 6e 6f 74 20 69 6e 20 31 20 69 73 20 31 20 6f 72 20 35 20 69 73 20 6e 6f 74 20 31	in.1.not.in.1.is.1.or.5.is.not.1
3520	3a 20 70 61 73 73 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 66 27 20 20 20 20	:.pass").....NAME.......'if'....
3540	20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 32 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20	......(1,.0).(1,.2).....NUMBER..
3560	20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 29 20 28 31 2c 20 34 29 0a 20	...'1'...........(1,.3).(1,.4)..
3580	20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...OP.........'<'...........(1,.
35a0	35 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20	5).(1,.6).....NUMBER.....'1'....
35c0	20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4f 50 20 20 20 20 20	.......(1,.7).(1,.8).....OP.....
35e0	20 20 20 20 27 3e 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29	....'>'...........(1,.9).(1,.10)
3600	0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31	.....NUMBER.....'1'...........(1
3620	2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 3d	,.11).(1,.12).....OP.........'==
3640	27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31 35 29 0a 20 20 20 20 4e	'..........(1,.13).(1,.15).....N
3660	55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 36 29 20	UMBER.....'1'...........(1,.16).
3680	28 31 2c 20 31 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3e 3d 27 20 20 20 20 20	(1,.17).....OP.........'>='.....
36a0	20 20 20 20 20 28 31 2c 20 31 38 29 20 28 31 2c 20 32 30 29 0a 20 20 20 20 4e 55 4d 42 45 52 20	.....(1,.18).(1,.20).....NUMBER.
36c0	20 20 20 20 27 35 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 31 29 20 28 31 2c 20 32 32	....'5'...........(1,.21).(1,.22
36e0	29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3c 3d 27 20 20 20 20 20 20 20 20 20 20 28	).....OP.........'<='..........(
3700	31 2c 20 32 33 29 20 28 31 2c 20 32 35 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30	1,.23).(1,.25).....NUMBER.....'0
3720	78 31 35 27 20 20 20 20 20 20 20 20 28 31 2c 20 32 36 29 20 28 31 2c 20 33 30 29 0a 20 20 20 20	x15'........(1,.26).(1,.30).....
3740	4f 50 20 20 20 20 20 20 20 20 20 27 3c 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 31 29	OP.........'<='..........(1,.31)
3760	20 28 31 2c 20 33 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 31 32 27 20 20	.(1,.33).....NUMBER.....'0x12'..
3780	20 20 20 20 20 20 28 31 2c 20 33 34 29 20 28 31 2c 20 33 38 29 0a 20 20 20 20 4f 50 20 20 20 20	......(1,.34).(1,.38).....OP....
37a0	20 20 20 20 20 27 21 3d 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 39 29 20 28 31 2c 20 34	.....'!='..........(1,.39).(1,.4
37c0	31 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20	1).....NUMBER.....'1'...........
37e0	28 31 2c 20 34 32 29 20 28 31 2c 20 34 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27	(1,.42).(1,.43).....NAME.......'
3800	61 6e 64 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 34 29 20 28 31 2c 20 34 37 29 0a 20 20 20	and'.........(1,.44).(1,.47)....
3820	20 4e 55 4d 42 45 52 20 20 20 20 20 27 35 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 38	.NUMBER.....'5'...........(1,.48
3840	29 20 28 31 2c 20 34 39 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 6e 27 20 20 20	).(1,.49).....NAME.......'in'...
3860	20 20 20 20 20 20 20 28 31 2c 20 35 30 29 20 28 31 2c 20 35 32 29 0a 20 20 20 20 4e 55 4d 42 45	.......(1,.50).(1,.52).....NUMBE
3880	52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 33 29 20 28 31 2c 20	R.....'1'...........(1,.53).(1,.
38a0	35 34 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 6e 6f 74 27 20 20 20 20 20 20 20 20	54).....NAME.......'not'........
38c0	20 28 31 2c 20 35 35 29 20 28 31 2c 20 35 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20	.(1,.55).(1,.58).....NAME.......
38e0	27 69 6e 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 39 29 20 28 31 2c 20 36 31 29 0a 20 20	'in'..........(1,.59).(1,.61)...
3900	20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36	..NUMBER.....'1'...........(1,.6
3920	32 29 20 28 31 2c 20 36 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 73 27 20 20	2).(1,.63).....NAME.......'is'..
3940	20 20 20 20 20 20 20 20 28 31 2c 20 36 34 29 20 28 31 2c 20 36 36 29 0a 20 20 20 20 4e 55 4d 42	........(1,.64).(1,.66).....NUMB
3960	45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36 37 29 20 28 31 2c	ER.....'1'...........(1,.67).(1,
3980	20 36 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 6f 72 27 20 20 20 20 20 20 20 20	.68).....NAME.......'or'........
39a0	20 20 28 31 2c 20 36 39 29 20 28 31 2c 20 37 31 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20	..(1,.69).(1,.71).....NUMBER....
39c0	20 27 35 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 32 29 20 28 31 2c 20 37 33 29 0a 20	.'5'...........(1,.72).(1,.73)..
39e0	20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 73 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...NAME.......'is'..........(1,.
3a00	37 34 29 20 28 31 2c 20 37 36 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 6e 6f 74 27	74).(1,.76).....NAME.......'not'
3a20	20 20 20 20 20 20 20 20 20 28 31 2c 20 37 37 29 20 28 31 2c 20 38 30 29 0a 20 20 20 20 4e 55 4d	.........(1,.77).(1,.80).....NUM
3a40	42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 31 29 20 28 31	BER.....'1'...........(1,.81).(1
3a60	2c 20 38 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3a 27 20 20 20 20 20 20 20 20	,.82).....OP.........':'........
3a80	20 20 20 28 31 2c 20 38 32 29 20 28 31 2c 20 38 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20	...(1,.82).(1,.83).....NAME.....
3aa0	20 20 27 70 61 73 73 27 20 20 20 20 20 20 20 20 28 31 2c 20 38 34 29 20 28 31 2c 20 38 38 29 0a	..'pass'........(1,.84).(1,.88).
3ac0	0a 53 68 69 66 74 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d	.Shift......>>>.dump_tokens("x.=
3ae0	20 31 20 3c 3c 20 31 20 3e 3e 20 35 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78	.1.<<.1.>>.5").....NAME.......'x
3b00	27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50	'...........(1,.0).(1,.1).....OP
3b20	20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31	.........'='...........(1,.2).(1
3b40	2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20	,.3).....NUMBER.....'1'.........
3b60	20 20 28 31 2c 20 34 29 20 28 31 2c 20 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27	..(1,.4).(1,.5).....OP.........'
3b80	3c 3c 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4e	<<'..........(1,.6).(1,.8).....N
3ba0	55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28	UMBER.....'1'...........(1,.9).(
3bc0	31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3e 3e 27 20 20 20 20 20 20	1,.10).....OP.........'>>'......
3be0	20 20 20 20 28 31 2c 20 31 31 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20	....(1,.11).(1,.13).....NUMBER..
3c00	20 20 20 27 35 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 31 35 29	...'5'...........(1,.14).(1,.15)
3c20	0a 0a 41 64 64 69 74 69 76 65 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28	..Additive......>>>.dump_tokens(
3c40	22 78 20 3d 20 31 20 2d 20 79 20 2b 20 31 35 20 2d 20 30 31 20 2b 20 30 78 31 32 34 20 2b 20 7a	"x.=.1.-.y.+.15.-.01.+.0x124.+.z
3c60	20 2b 20 61 5b 35 5d 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20	.+.a[5]").....NAME.......'x'....
3c80	20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20	.......(1,.0).(1,.1).....OP.....
3ca0	20 20 20 20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a	....'='...........(1,.2).(1,.3).
3cc0	20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....NUMBER.....'1'...........(1,
3ce0	20 34 29 20 28 31 2c 20 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20	.4).(1,.5).....OP.........'-'...
3d00	20 20 20 20 20 20 20 20 28 31 2c 20 36 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4e 41 4d 45 20 20	........(1,.6).(1,.7).....NAME..
3d20	20 20 20 20 20 27 79 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39 29	.....'y'...........(1,.8).(1,.9)
3d40	0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31	.....OP.........'+'...........(1
3d60	2c 20 31 30 29 20 28 31 2c 20 31 31 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 35	,.10).(1,.11).....NUMBER.....'15
3d80	27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 34 29 0a 20 20 20 20 4f	'..........(1,.12).(1,.14).....O
3da0	50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 35 29 20	P.........'-'...........(1,.15).
3dc0	28 31 2c 20 31 36 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 31 27 20 20 20 20 20	(1,.16).....NUMBER.....'01'.....
3de0	20 20 20 20 20 28 31 2c 20 31 37 29 20 28 31 2c 20 31 39 29 0a 20 20 20 20 4f 50 20 20 20 20 20	.....(1,.17).(1,.19).....OP.....
3e00	20 20 20 20 27 2b 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 30 29 20 28 31 2c 20 32 31	....'+'...........(1,.20).(1,.21
3e20	29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 30 78 31 32 34 27 20 20 20 20 20 20 20 28	).....NUMBER.....'0x124'.......(
3e40	31 2c 20 32 32 29 20 28 31 2c 20 32 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b	1,.22).(1,.27).....OP.........'+
3e60	27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 38 29 20 28 31 2c 20 32 39 29 0a 20 20 20 20	'...........(1,.28).(1,.29).....
3e80	4e 41 4d 45 20 20 20 20 20 20 20 27 7a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 30 29	NAME.......'z'...........(1,.30)
3ea0	20 28 31 2c 20 33 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20 20	.(1,.31).....OP.........'+'.....
3ec0	20 20 20 20 20 20 28 31 2c 20 33 32 29 20 28 31 2c 20 33 33 29 0a 20 20 20 20 4e 41 4d 45 20 20	......(1,.32).(1,.33).....NAME..
3ee0	20 20 20 20 20 27 61 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 34 29 20 28 31 2c 20 33	.....'a'...........(1,.34).(1,.3
3f00	35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 5b 27 20 20 20 20 20 20 20 20 20 20 20	5).....OP.........'['...........
3f20	28 31 2c 20 33 35 29 20 28 31 2c 20 33 36 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27	(1,.35).(1,.36).....NUMBER.....'
3f40	35 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 36 29 20 28 31 2c 20 33 37 29 0a 20 20 20	5'...........(1,.36).(1,.37)....
3f60	20 4f 50 20 20 20 20 20 20 20 20 20 27 5d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 33 37	.OP.........']'...........(1,.37
3f80	29 20 28 31 2c 20 33 38 29 0a 0a 4d 75 6c 74 69 70 6c 69 63 61 74 69 76 65 0a 0a 20 20 20 20 3e	).(1,.38)..Multiplicative......>
3fa0	3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 78 20 3d 20 31 2f 2f 31 2a 31 2f 35 2a 31 32 25	>>.dump_tokens("x.=.1//1*1/5*12%
3fc0	30 78 31 32 22 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20	0x12").....NAME.......'x'.......
3fe0	20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	....(1,.0).(1,.1).....OP........
4000	20 27 3d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 29 20 28 31 2c 20 33 29 0a 20 20 20	.'='...........(1,.2).(1,.3)....
4020	20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 29	.NUMBER.....'1'...........(1,.4)
4040	20 28 31 2c 20 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2f 2f 27 20 20 20 20 20	.(1,.5).....OP.........'//'.....
4060	20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20	.....(1,.5).(1,.7).....NUMBER...
4080	20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20	..'1'...........(1,.7).(1,.8)...
40a0	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38	..OP.........'*'...........(1,.8
40c0	29 20 28 31 2c 20 39 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20	).(1,.9).....NUMBER.....'1'.....
40e0	20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20	......(1,.9).(1,.10).....OP.....
4100	20 20 20 20 27 2f 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20 31 31	....'/'...........(1,.10).(1,.11
4120	29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 35 27 20 20 20 20 20 20 20 20 20 20 20 28	).....NUMBER.....'5'...........(
4140	31 2c 20 31 31 29 20 28 31 2c 20 31 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a	1,.11).(1,.12).....OP.........'*
4160	27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20	'...........(1,.12).(1,.13).....
4180	4e 55 4d 42 45 52 20 20 20 20 20 27 31 32 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 33 29	NUMBER.....'12'..........(1,.13)
41a0	20 28 31 2c 20 31 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 25 27 20 20 20 20 20	.(1,.15).....OP.........'%'.....
41c0	20 20 20 20 20 20 28 31 2c 20 31 35 29 20 28 31 2c 20 31 36 29 0a 20 20 20 20 4e 55 4d 42 45 52	......(1,.15).(1,.16).....NUMBER
41e0	20 20 20 20 20 27 30 78 31 32 27 20 20 20 20 20 20 20 20 28 31 2c 20 31 36 29 20 28 31 2c 20 32	.....'0x12'........(1,.16).(1,.2
4200	30 29 0a 0a 55 6e 61 72 79 0a 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22	0)..Unary......>>>.dump_tokens("
4220	7e 31 20 5e 20 31 20 26 20 31 20 7c 31 20 5e 20 2d 31 22 29 0a 20 20 20 20 4f 50 20 20 20 20 20	~1.^.1.&.1.|1.^.-1").....OP.....
4240	20 20 20 20 27 7e 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a	....'~'...........(1,.0).(1,.1).
4260	20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....NUMBER.....'1'...........(1,
4280	20 31 29 20 28 31 2c 20 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 5e 27 20 20 20	.1).(1,.2).....OP.........'^'...
42a0	20 20 20 20 20 20 20 20 28 31 2c 20 33 29 20 28 31 2c 20 34 29 0a 20 20 20 20 4e 55 4d 42 45 52	........(1,.3).(1,.4).....NUMBER
42c0	20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 36 29	.....'1'...........(1,.5).(1,.6)
42e0	0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 26 27 20 20 20 20 20 20 20 20 20 20 20 28 31	.....OP.........'&'...........(1
4300	2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20	,.7).(1,.8).....NUMBER.....'1'..
4320	20 20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20	.........(1,.9).(1,.10).....OP..
4340	20 20 20 20 20 20 20 27 7c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 31 29 20 28 31 2c	.......'|'...........(1,.11).(1,
4360	20 31 32 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20	.12).....NUMBER.....'1'.........
4380	20 20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	..(1,.12).(1,.13).....OP........
43a0	20 27 5e 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 31 35 29 0a 20	.'^'...........(1,.14).(1,.15)..
43c0	20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...OP.........'-'...........(1,.
43e0	31 36 29 20 28 31 2c 20 31 37 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20	16).(1,.17).....NUMBER.....'1'..
4400	20 20 20 20 20 20 20 20 20 28 31 2c 20 31 37 29 20 28 31 2c 20 31 38 29 0a 20 20 20 20 3e 3e 3e	.........(1,.17).(1,.18).....>>>
4420	20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 2d 31 2a 31 2f 31 2b 31 2a 31 2f 2f 31 20 2d 20 2d 2d	.dump_tokens("-1*1/1+1*1//1.-.--
4440	2d 31 2a 2a 31 22 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20 20	-1**1").....OP.........'-'......
4460	20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20	.....(1,.0).(1,.1).....NUMBER...
4480	20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 29 20 28 31 2c 20 32 29 0a 20 20	..'1'...........(1,.1).(1,.2)...
44a0	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32	..OP.........'*'...........(1,.2
44c0	29 20 28 31 2c 20 33 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20	).(1,.3).....NUMBER.....'1'.....
44e0	20 20 20 20 20 20 28 31 2c 20 33 29 20 28 31 2c 20 34 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20	......(1,.3).(1,.4).....OP......
4500	20 20 20 27 2f 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 35 29 0a 20	...'/'...........(1,.4).(1,.5)..
4520	20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...NUMBER.....'1'...........(1,.
4540	35 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2b 27 20 20 20 20	5).(1,.6).....OP.........'+'....
4560	20 20 20 20 20 20 20 28 31 2c 20 36 29 20 28 31 2c 20 37 29 0a 20 20 20 20 4e 55 4d 42 45 52 20	.......(1,.6).(1,.7).....NUMBER.
4580	20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 38 29 0a	....'1'...........(1,.7).(1,.8).
45a0	20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2a 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c	....OP.........'*'...........(1,
45c0	20 38 29 20 28 31 2c 20 39 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20	.8).(1,.9).....NUMBER.....'1'...
45e0	20 20 20 20 20 20 20 20 28 31 2c 20 39 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20	........(1,.9).(1,.10).....OP...
4600	20 20 20 20 20 20 27 2f 2f 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20	......'//'..........(1,.10).(1,.
4620	31 32 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20	12).....NUMBER.....'1'..........
4640	20 28 31 2c 20 31 32 29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20	.(1,.12).(1,.13).....OP.........
4660	27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 34 29 20 28 31 2c 20 31 35 29 0a 20 20	'-'...........(1,.14).(1,.15)...
4680	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31	..OP.........'-'...........(1,.1
46a0	36 29 20 28 31 2c 20 31 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2d 27 20 20 20	6).(1,.17).....OP.........'-'...
46c0	20 20 20 20 20 20 20 20 28 31 2c 20 31 37 29 20 28 31 2c 20 31 38 29 0a 20 20 20 20 4f 50 20 20	........(1,.17).(1,.18).....OP..
46e0	20 20 20 20 20 20 20 27 2d 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 38 29 20 28 31 2c	.......'-'...........(1,.18).(1,
4700	20 31 39 29 0a 20 20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20	.19).....NUMBER.....'1'.........
4720	20 20 28 31 2c 20 31 39 29 20 28 31 2c 20 32 30 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	..(1,.19).(1,.20).....OP........
4740	20 27 2a 2a 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 32 30 29 20 28 31 2c 20 32 32 29 0a 20	.'**'..........(1,.20).(1,.22)..
4760	20 20 20 4e 55 4d 42 45 52 20 20 20 20 20 27 31 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20	...NUMBER.....'1'...........(1,.
4780	32 32 29 20 28 31 2c 20 32 33 29 0a 0a 53 65 6c 65 63 74 6f 72 0a 0a 20 20 20 20 3e 3e 3e 20 64	22).(1,.23)..Selector......>>>.d
47a0	75 6d 70 5f 74 6f 6b 65 6e 73 28 22 69 6d 70 6f 72 74 20 73 79 73 2c 20 74 69 6d 65 5c 6e 78 20	ump_tokens("import.sys,.time\nx.
47c0	3d 20 73 79 73 2e 6d 6f 64 75 6c 65 73 5b 27 74 69 6d 65 27 5d 2e 74 69 6d 65 28 29 22 29 0a 20	=.sys.modules['time'].time()")..
47e0	20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 6d 70 6f 72 74 27 20 20 20 20 20 20 28 31 2c 20	...NAME.......'import'......(1,.
4800	30 29 20 28 31 2c 20 36 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 73 79 73 27 20 20	0).(1,.6).....NAME.......'sys'..
4820	20 20 20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 31 30 29 0a 20 20 20 20 4f 50 20 20 20 20	.......(1,.7).(1,.10).....OP....
4840	20 20 20 20 20 27 2c 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 30 29 20 28 31 2c 20 31	.....','...........(1,.10).(1,.1
4860	31 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 74 69 6d 65 27 20 20 20 20 20 20 20 20	1).....NAME.......'time'........
4880	28 31 2c 20 31 32 29 20 28 31 2c 20 31 36 29 0a 20 20 20 20 4e 45 57 4c 49 4e 45 20 20 20 20 27	(1,.12).(1,.16).....NEWLINE....'
48a0	5c 6e 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 31 36 29 20 28 31 2c 20 31 37 29 0a 20 20 20	\n'..........(1,.16).(1,.17)....
48c0	20 4e 41 4d 45 20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 30 29	.NAME.......'x'...........(2,.0)
48e0	20 28 32 2c 20 31 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3d 27 20 20 20 20 20 20	.(2,.1).....OP.........'='......
4900	20 20 20 20 20 28 32 2c 20 32 29 20 28 32 2c 20 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20	.....(2,.2).(2,.3).....NAME.....
4920	20 20 27 73 79 73 27 20 20 20 20 20 20 20 20 20 28 32 2c 20 34 29 20 28 32 2c 20 37 29 0a 20 20	..'sys'.........(2,.4).(2,.7)...
4940	20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2e 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 37	..OP.........'.'...........(2,.7
4960	29 20 28 32 2c 20 38 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 6d 6f 64 75 6c 65 73	).(2,.8).....NAME.......'modules
4980	27 20 20 20 20 20 28 32 2c 20 38 29 20 28 32 2c 20 31 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20	'.....(2,.8).(2,.15).....OP.....
49a0	20 20 20 20 27 5b 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 31 35 29 20 28 32 2c 20 31 36	....'['...........(2,.15).(2,.16
49c0	29 0a 20 20 20 20 53 54 52 49 4e 47 20 20 20 20 20 22 27 74 69 6d 65 27 22 20 20 20 20 20 20 28	).....STRING....."'time'"......(
49e0	32 2c 20 31 36 29 20 28 32 2c 20 32 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 5d	2,.16).(2,.22).....OP.........']
4a00	27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 32 32 29 20 28 32 2c 20 32 33 29 0a 20 20 20 20	'...........(2,.22).(2,.23).....
4a20	4f 50 20 20 20 20 20 20 20 20 20 27 2e 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 32 33 29	OP.........'.'...........(2,.23)
4a40	20 28 32 2c 20 32 34 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 74 69 6d 65 27 20 20	.(2,.24).....NAME.......'time'..
4a60	20 20 20 20 20 20 28 32 2c 20 32 34 29 20 28 32 2c 20 32 38 29 0a 20 20 20 20 4f 50 20 20 20 20	......(2,.24).(2,.28).....OP....
4a80	20 20 20 20 20 27 28 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 32 38 29 20 28 32 2c 20 32	.....'('...........(2,.28).(2,.2
4aa0	39 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 29 27 20 20 20 20 20 20 20 20 20 20 20	9).....OP.........')'...........
4ac0	28 32 2c 20 32 39 29 20 28 32 2c 20 33 30 29 0a 0a 4d 65 74 68 6f 64 73 0a 0a 20 20 20 20 3e 3e	(2,.29).(2,.30)..Methods......>>
4ae0	3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 40 73 74 61 74 69 63 6d 65 74 68 6f 64 5c 6e 64 65	>.dump_tokens("@staticmethod\nde
4b00	66 20 66 6f 6f 28 78 2c 79 29 3a 20 70 61 73 73 22 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20	f.foo(x,y):.pass").....OP.......
4b20	20 20 27 40 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31 29 0a 20 20	..'@'...........(1,.0).(1,.1)...
4b40	20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 73 74 61 74 69 63 6d 65 74 68 6f 64 20 28 31 2c 20 31	..NAME.......'staticmethod.(1,.1
4b60	29 20 28 31 2c 20 31 33 29 0a 20 20 20 20 4e 45 57 4c 49 4e 45 20 20 20 20 27 5c 6e 27 20 20 20	).(1,.13).....NEWLINE....'\n'...
4b80	20 20 20 20 20 20 20 28 31 2c 20 31 33 29 20 28 31 2c 20 31 34 29 0a 20 20 20 20 4e 41 4d 45 20	.......(1,.13).(1,.14).....NAME.
4ba0	20 20 20 20 20 20 27 64 65 66 27 20 20 20 20 20 20 20 20 20 28 32 2c 20 30 29 20 28 32 2c 20 33	......'def'.........(2,.0).(2,.3
4bc0	29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 66 6f 6f 27 20 20 20 20 20 20 20 20 20 28	).....NAME.......'foo'.........(
4be0	32 2c 20 34 29 20 28 32 2c 20 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 28 27 20	2,.4).(2,.7).....OP.........'('.
4c00	20 20 20 20 20 20 20 20 20 20 28 32 2c 20 37 29 20 28 32 2c 20 38 29 0a 20 20 20 20 4e 41 4d 45	..........(2,.7).(2,.8).....NAME
4c20	20 20 20 20 20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 38 29 20 28 32 2c 20	.......'x'...........(2,.8).(2,.
4c40	39 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 2c 27 20 20 20 20 20 20 20 20 20 20 20	9).....OP.........','...........
4c60	28 32 2c 20 39 29 20 28 32 2c 20 31 30 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 79	(2,.9).(2,.10).....NAME.......'y
4c80	27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 31 30 29 20 28 32 2c 20 31 31 29 0a 20 20 20 20	'...........(2,.10).(2,.11).....
4ca0	4f 50 20 20 20 20 20 20 20 20 20 27 29 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 31 31 29	OP.........')'...........(2,.11)
4cc0	20 28 32 2c 20 31 32 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3a 27 20 20 20 20 20	.(2,.12).....OP.........':'.....
4ce0	20 20 20 20 20 20 28 32 2c 20 31 32 29 20 28 32 2c 20 31 33 29 0a 20 20 20 20 4e 41 4d 45 20 20	......(2,.12).(2,.13).....NAME..
4d00	20 20 20 20 20 27 70 61 73 73 27 20 20 20 20 20 20 20 20 28 32 2c 20 31 34 29 20 28 32 2c 20 31	.....'pass'........(2,.14).(2,.1
4d20	38 29 0a 0a 42 61 63 6b 73 6c 61 73 68 20 6d 65 61 6e 73 20 6c 69 6e 65 20 63 6f 6e 74 69 6e 75	8)..Backslash.means.line.continu
4d40	61 74 69 6f 6e 2c 20 65 78 63 65 70 74 20 66 6f 72 20 63 6f 6d 6d 65 6e 74 73 0a 0a 20 20 20 20	ation,.except.for.comments......
4d60	3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 78 3d 31 2b 5c 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20	>>>.roundtrip("x=1+\\n".........
4d80	20 20 20 20 20 20 20 20 20 20 22 31 5c 6e 22 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20	.........."1\n".................
4da0	20 20 22 23 20 54 68 69 73 20 69 73 20 61 20 63 6f 6d 6d 65 6e 74 5c 5c 6e 22 0a 20 20 20 20 2e	.."#.This.is.a.comment\\n"......
4dc0	2e 2e 20 20 20 20 20 20 20 20 20 20 20 22 23 20 54 68 69 73 20 61 6c 73 6f 5c 6e 22 29 0a 20 20	............."#.This.also\n")...
4de0	20 20 54 72 75 65 0a 20 20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 23 20 43 6f 6d 6d	..True.....>>>.roundtrip("#.Comm
4e00	65 6e 74 20 5c 5c 6e 78 20 3d 20 30 22 29 0a 20 20 20 20 54 72 75 65 0a 0a 54 77 6f 20 73 74 72	ent.\\nx.=.0").....True..Two.str
4e20	69 6e 67 20 6c 69 74 65 72 61 6c 73 20 6f 6e 20 74 68 65 20 73 61 6d 65 20 6c 69 6e 65 0a 0a 20	ing.literals.on.the.same.line...
4e40	20 20 20 3e 3e 3e 20 72 6f 75 6e 64 74 72 69 70 28 22 27 27 20 27 27 22 29 0a 20 20 20 20 54 72	...>>>.roundtrip("''.''").....Tr
4e60	75 65 0a 0a 54 65 73 74 20 72 6f 75 6e 64 74 72 69 70 20 6f 6e 20 72 61 6e 64 6f 6d 20 70 79 74	ue..Test.roundtrip.on.random.pyt
4e80	68 6f 6e 20 6d 6f 64 75 6c 65 73 2e 0a 70 61 73 73 20 74 68 65 20 27 2d 75 63 70 75 27 20 6f 70	hon.modules..pass.the.'-ucpu'.op
4ea0	74 69 6f 6e 20 74 6f 20 70 72 6f 63 65 73 73 20 74 68 65 20 66 75 6c 6c 20 64 69 72 65 63 74 6f	tion.to.process.the.full.directo
4ec0	72 79 2e 0a 0a 20 20 20 20 3e 3e 3e 0a 20 20 20 20 3e 3e 3e 20 74 65 6d 70 64 69 72 20 3d 20 6f	ry.......>>>.....>>>.tempdir.=.o
4ee0	73 2e 70 61 74 68 2e 64 69 72 6e 61 6d 65 28 66 29 20 6f 72 20 6f 73 2e 63 75 72 64 69 72 0a 20	s.path.dirname(f).or.os.curdir..
4f00	20 20 20 3e 3e 3e 20 74 65 73 74 66 69 6c 65 73 20 3d 20 67 6c 6f 62 2e 67 6c 6f 62 28 6f 73 2e	...>>>.testfiles.=.glob.glob(os.
4f20	70 61 74 68 2e 6a 6f 69 6e 28 74 65 6d 70 64 69 72 2c 20 22 74 65 73 74 2a 2e 70 79 22 29 29 0a	path.join(tempdir,."test*.py")).
4f40	0a 20 20 20 20 3e 3e 3e 20 69 66 20 6e 6f 74 20 74 65 73 74 5f 73 75 70 70 6f 72 74 2e 69 73 5f	.....>>>.if.not.test_support.is_
4f60	72 65 73 6f 75 72 63 65 5f 65 6e 61 62 6c 65 64 28 22 63 70 75 22 29 3a 0a 20 20 20 20 2e 2e 2e	resource_enabled("cpu"):........
4f80	20 20 20 20 20 74 65 73 74 66 69 6c 65 73 20 3d 20 72 61 6e 64 6f 6d 2e 73 61 6d 70 6c 65 28 74	.....testfiles.=.random.sample(t
4fa0	65 73 74 66 69 6c 65 73 2c 20 31 30 29 0a 20 20 20 20 2e 2e 2e 0a 20 20 20 20 3e 3e 3e 20 66 6f	estfiles,.10).............>>>.fo
4fc0	72 20 74 65 73 74 66 69 6c 65 20 69 6e 20 74 65 73 74 66 69 6c 65 73 3a 0a 20 20 20 20 2e 2e 2e	r.testfile.in.testfiles:........
4fe0	20 20 20 20 20 69 66 20 6e 6f 74 20 72 6f 75 6e 64 74 72 69 70 28 6f 70 65 6e 28 74 65 73 74 66	.....if.not.roundtrip(open(testf
5000	69 6c 65 29 29 3a 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 70 72 69 6e 74 20 22 52 6f	ile)):.................print."Ro
5020	75 6e 64 74 72 69 70 20 66 61 69 6c 65 64 20 66 6f 72 20 66 69 6c 65 20 25 73 22 20 25 20 74 65	undtrip.failed.for.file.%s".%.te
5040	73 74 66 69 6c 65 0a 20 20 20 20 2e 2e 2e 20 20 20 20 20 20 20 20 20 62 72 65 61 6b 0a 20 20 20	stfile.................break....
5060	20 2e 2e 2e 20 65 6c 73 65 3a 20 54 72 75 65 0a 20 20 20 20 54 72 75 65 0a 0a 45 76 69 6c 20 74	.....else:.True.....True..Evil.t
5080	61 62 73 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70 5f 74 6f 6b 65 6e 73 28 22 64 65 66 20 66 28 29	abs.....>>>.dump_tokens("def.f()
50a0	3a 5c 6e 5c 74 69 66 20 78 5c 6e 20 20 20 20 20 20 20 20 5c 74 70 61 73 73 22 29 0a 20 20 20 20	:\n\tif.x\n........\tpass").....
50c0	4e 41 4d 45 20 20 20 20 20 20 20 27 64 65 66 27 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20	NAME.......'def'.........(1,.0).
50e0	28 31 2c 20 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 66 27 20 20 20 20 20 20 20	(1,.3).....NAME.......'f'.......
5100	20 20 20 20 28 31 2c 20 34 29 20 28 31 2c 20 35 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20	....(1,.4).(1,.5).....OP........
5120	20 27 28 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 35 29 20 28 31 2c 20 36 29 0a 20 20 20	.'('...........(1,.5).(1,.6)....
5140	20 4f 50 20 20 20 20 20 20 20 20 20 27 29 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 36 29	.OP.........')'...........(1,.6)
5160	20 28 31 2c 20 37 29 0a 20 20 20 20 4f 50 20 20 20 20 20 20 20 20 20 27 3a 27 20 20 20 20 20 20	.(1,.7).....OP.........':'......
5180	20 20 20 20 20 28 31 2c 20 37 29 20 28 31 2c 20 38 29 0a 20 20 20 20 4e 45 57 4c 49 4e 45 20 20	.....(1,.7).(1,.8).....NEWLINE..
51a0	20 20 27 5c 6e 27 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 38 29 20 28 31 2c 20 39 29 0a 20 20	..'\n'..........(1,.8).(1,.9)...
51c0	20 20 49 4e 44 45 4e 54 20 20 20 20 20 27 5c 74 27 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 30	..INDENT.....'\t'..........(2,.0
51e0	29 20 28 32 2c 20 31 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20 20 20 20 27 69 66 27 20 20 20 20	).(2,.1).....NAME.......'if'....
5200	20 20 20 20 20 20 28 32 2c 20 31 29 20 28 32 2c 20 33 29 0a 20 20 20 20 4e 41 4d 45 20 20 20 20	......(2,.1).(2,.3).....NAME....
5220	20 20 20 27 78 27 20 20 20 20 20 20 20 20 20 20 20 28 32 2c 20 34 29 20 28 32 2c 20 35 29 0a 20	...'x'...........(2,.4).(2,.5)..
5240	20 20 20 4e 45 57 4c 49 4e 45 20 20 20 20 27 5c 6e 27 20 20 20 20 20 20 20 20 20 20 28 32 2c 20	...NEWLINE....'\n'..........(2,.
5260	35 29 20 28 32 2c 20 36 29 0a 20 20 20 20 49 4e 44 45 4e 54 20 20 20 20 20 27 20 20 20 20 20 20	5).(2,.6).....INDENT.....'......
5280	20 20 5c 74 27 20 20 28 33 2c 20 30 29 20 28 33 2c 20 39 29 0a 20 20 20 20 4e 41 4d 45 20 20 20	..\t'..(3,.0).(3,.9).....NAME...
52a0	20 20 20 20 27 70 61 73 73 27 20 20 20 20 20 20 20 20 28 33 2c 20 39 29 20 28 33 2c 20 31 33 29	....'pass'........(3,.9).(3,.13)
52c0	0a 20 20 20 20 44 45 44 45 4e 54 20 20 20 20 20 27 27 20 20 20 20 20 20 20 20 20 20 20 20 28 34	.....DEDENT.....''............(4
52e0	2c 20 30 29 20 28 34 2c 20 30 29 0a 20 20 20 20 44 45 44 45 4e 54 20 20 20 20 20 27 27 20 20 20	,.0).(4,.0).....DEDENT.....''...
5300	20 20 20 20 20 20 20 20 20 28 34 2c 20 30 29 20 28 34 2c 20 30 29 0a 0a 50 61 74 68 6f 6c 6f 67	.........(4,.0).(4,.0)..Patholog
5320	69 63 61 6c 20 77 68 69 74 65 73 70 61 63 65 20 28 68 74 74 70 3a 2f 2f 62 75 67 73 2e 70 79 74	ical.whitespace.(http://bugs.pyt
5340	68 6f 6e 2e 6f 72 67 2f 69 73 73 75 65 31 36 31 35 32 29 0a 20 20 20 20 3e 3e 3e 20 64 75 6d 70	hon.org/issue16152).....>>>.dump
5360	5f 74 6f 6b 65 6e 73 28 22 40 20 20 20 20 20 20 20 20 20 20 22 29 0a 20 20 20 20 4f 50 20 20 20	_tokens("@..........").....OP...
5380	20 20 20 20 20 20 27 40 27 20 20 20 20 20 20 20 20 20 20 20 28 31 2c 20 30 29 20 28 31 2c 20 31	......'@'...........(1,.0).(1,.1
53a0	29 0a 69 ff ff ff ff 28 01 00 00 00 74 0c 00 00 00 74 65 73 74 5f 73 75 70 70 6f 72 74 28 08 00	).i....(....t....test_support(..
53c0	00 00 74 0a 00 00 00 75 6e 74 6f 6b 65 6e 69 7a 65 74 0f 00 00 00 67 65 6e 65 72 61 74 65 5f 74	..t....untokenizet....generate_t
53e0	6f 6b 65 6e 73 74 06 00 00 00 4e 55 4d 42 45 52 74 04 00 00 00 4e 41 4d 45 74 02 00 00 00 4f 50	okenst....NUMBERt....NAMEt....OP
5400	74 06 00 00 00 53 54 52 49 4e 47 74 09 00 00 00 45 4e 44 4d 41 52 4b 45 52 74 08 00 00 00 74 6f	t....STRINGt....ENDMARKERt....to
5420	6b 5f 6e 61 6d 65 28 01 00 00 00 74 08 00 00 00 53 74 72 69 6e 67 49 4f 4e 63 01 00 00 00 07 00	k_name(....t....StringIONc......
5440	00 00 06 00 00 00 43 00 00 00 73 5f 00 00 00 74 00 00 7c 00 00 83 01 00 7d 01 00 78 4c 00 74 01	......C...s_...t..|.....}..xL.t.
5460	00 7c 01 00 6a 02 00 83 01 00 44 5d 3b 00 5c 05 00 7d 02 00 7d 03 00 7d 04 00 7d 05 00 7d 06 00	.|..j.....D];.\..}..}..}..}..}..
5480	7c 02 00 74 03 00 6b 02 00 72 41 00 50 6e 00 00 74 04 00 7c 02 00 19 7d 02 00 64 01 00 74 05 00	|..t..k..rA.Pn..t..|...}..d..t..
54a0	83 00 00 16 47 48 71 1c 00 57 64 02 00 53 28 03 00 00 00 73 50 00 00 00 50 72 69 6e 74 20 6f 75	....GHq..Wd..S(....sP...Print.ou
54c0	74 20 74 68 65 20 74 6f 6b 65 6e 73 20 69 6e 20 73 20 69 6e 20 61 20 74 61 62 6c 65 20 66 6f 72	t.the.tokens.in.s.in.a.table.for
54e0	6d 61 74 2e 0a 0a 20 20 20 20 54 68 65 20 45 4e 44 4d 41 52 4b 45 52 20 69 73 20 6f 6d 69 74 74	mat.......The.ENDMARKER.is.omitt
5500	65 64 2e 0a 20 20 20 20 73 30 00 00 00 25 28 74 79 70 65 29 2d 31 30 2e 31 30 73 20 25 28 74 6f	ed......s0...%(type)-10.10s.%(to
5520	6b 65 6e 29 2d 31 33 2e 31 33 72 20 25 28 73 74 61 72 74 29 73 20 25 28 65 6e 64 29 73 4e 28 06	ken)-13.13r.%(start)s.%(end)sN(.
5540	00 00 00 52 09 00 00 00 52 02 00 00 00 74 08 00 00 00 72 65 61 64 6c 69 6e 65 52 07 00 00 00 52	...R....R....t....readlineR....R
5560	08 00 00 00 74 06 00 00 00 6c 6f 63 61 6c 73 28 07 00 00 00 74 01 00 00 00 73 74 01 00 00 00 66	....t....locals(....t....st....f
5580	74 04 00 00 00 74 79 70 65 74 05 00 00 00 74 6f 6b 65 6e 74 05 00 00 00 73 74 61 72 74 74 03 00	t....typet....tokent....startt..
55a0	00 00 65 6e 64 74 04 00 00 00 6c 69 6e 65 28 00 00 00 00 28 00 00 00 00 73 59 00 00 00 2f 62 75	..endt....line(....(....sY.../bu
55c0	69 6c 64 62 6f 74 2f 74 6d 70 2f 62 75 69 6c 64 68 6f 73 74 2f 69 6e 73 74 61 6c 6c 2f 70 72 65	ildbot/tmp/buildhost/install/pre
55e0	62 75 69 6c 74 2f 6c 69 6e 75 78 2d 78 38 36 5f 36 34 2f 6c 69 62 2f 70 79 74 68 6f 6e 32 2e 37	built/linux-x86_64/lib/python2.7
5600	2f 74 65 73 74 2f 74 65 73 74 5f 74 6f 6b 65 6e 69 7a 65 2e 70 79 74 0b 00 00 00 64 75 6d 70 5f	/test/test_tokenize.pyt....dump_
5620	74 6f 6b 65 6e 73 36 02 00 00 73 0c 00 00 00 00 05 0c 01 25 01 0c 01 04 01 0a 01 63 01 00 00 00	tokens6...s........%.......c....
5640	06 00 00 00 08 00 00 00 43 00 00 00 73 aa 00 00 00 67 00 00 7d 01 00 74 00 00 74 01 00 7c 00 00	........C...s....g..}..t..t..|..
5660	83 01 00 6a 02 00 83 01 00 7d 02 00 78 82 00 7c 02 00 44 5d 7a 00 5c 05 00 7d 03 00 7d 04 00 7d	...j.....}..x..|..D]z.\..}..}..}
5680	05 00 7d 05 00 7d 05 00 7c 03 00 74 03 00 6b 02 00 72 89 00 64 01 00 7c 04 00 6b 06 00 72 89 00	..}..}..|..t..k..r..d..|..k..r..
56a0	7c 01 00 6a 04 00 74 05 00 64 02 00 66 02 00 74 06 00 64 03 00 66 02 00 74 07 00 74 08 00 7c 04	|..j..t..d..f..t..d..f..t..t..|.
56c0	00 83 01 00 66 02 00 74 06 00 64 04 00 66 02 00 67 04 00 83 01 00 01 71 22 00 7c 01 00 6a 09 00	....f..t..d..f..g......q".|..j..
56e0	7c 03 00 7c 04 00 66 02 00 83 01 00 01 71 22 00 57 74 0a 00 7c 01 00 83 01 00 53 28 05 00 00 00	|..|..f......q".Wt..|.....S(....
5700	73 cb 02 00 00 53 75 62 73 74 69 74 75 74 65 20 44 65 63 69 6d 61 6c 73 20 66 6f 72 20 66 6c 6f	s....Substitute.Decimals.for.flo
5720	61 74 73 20 69 6e 20 61 20 73 74 72 69 6e 67 20 6f 66 20 73 74 61 74 65 6d 65 6e 74 73 2e 0a 0a	ats.in.a.string.of.statements...
5740	20 20 20 20 3e 3e 3e 20 66 72 6f 6d 20 64 65 63 69 6d 61 6c 20 69 6d 70 6f 72 74 20 44 65 63 69	....>>>.from.decimal.import.Deci
5760	6d 61 6c 0a 20 20 20 20 3e 3e 3e 20 73 20 3d 20 27 70 72 69 6e 74 20 2b 32 31 2e 33 65 2d 35 2a	mal.....>>>.s.=.'print.+21.3e-5*
5780	2d 2e 31 32 33 34 2f 38 31 2e 37 27 0a 20 20 20 20 3e 3e 3e 20 64 65 63 69 73 74 6d 74 28 73 29	-.1234/81.7'.....>>>.decistmt(s)
57a0	0a 20 20 20 20 22 70 72 69 6e 74 20 2b 44 65 63 69 6d 61 6c 20 28 27 32 31 2e 33 65 2d 35 27 29	....."print.+Decimal.('21.3e-5')
57c0	2a 2d 44 65 63 69 6d 61 6c 20 28 27 2e 31 32 33 34 27 29 2f 44 65 63 69 6d 61 6c 20 28 27 38 31	*-Decimal.('.1234')/Decimal.('81
57e0	2e 37 27 29 22 0a 0a 20 20 20 20 54 68 65 20 66 6f 72 6d 61 74 20 6f 66 20 74 68 65 20 65 78 70	.7')"......The.format.of.the.exp
5800	6f 6e 65 6e 74 20 69 73 20 69 6e 68 65 72 69 74 65 64 20 66 72 6f 6d 20 74 68 65 20 70 6c 61 74	onent.is.inherited.from.the.plat
5820	66 6f 72 6d 20 43 20 6c 69 62 72 61 72 79 2e 0a 20 20 20 20 4b 6e 6f 77 6e 20 63 61 73 65 73 20	form.C.library......Known.cases.
5840	61 72 65 20 22 65 2d 30 30 37 22 20 28 57 69 6e 64 6f 77 73 29 20 61 6e 64 20 22 65 2d 30 37 22	are."e-007".(Windows).and."e-07"
5860	20 28 6e 6f 74 20 57 69 6e 64 6f 77 73 29 2e 20 20 53 69 6e 63 65 0a 20 20 20 20 77 65 27 72 65	.(not.Windows)...Since.....we're
5880	20 6f 6e 6c 79 20 73 68 6f 77 69 6e 67 20 31 32 20 64 69 67 69 74 73 2c 20 61 6e 64 20 74 68 65	.only.showing.12.digits,.and.the
58a0	20 31 33 74 68 20 69 73 6e 27 74 20 63 6c 6f 73 65 20 74 6f 20 35 2c 20 74 68 65 0a 20 20 20 20	.13th.isn't.close.to.5,.the.....
58c0	72 65 73 74 20 6f 66 20 74 68 65 20 6f 75 74 70 75 74 20 73 68 6f 75 6c 64 20 62 65 20 70 6c 61	rest.of.the.output.should.be.pla
58e0	74 66 6f 72 6d 2d 69 6e 64 65 70 65 6e 64 65 6e 74 2e 0a 0a 20 20 20 20 3e 3e 3e 20 65 78 65 63	tform-independent.......>>>.exec
5900	28 73 29 20 23 64 6f 63 74 65 73 74 3a 20 2b 45 4c 4c 49 50 53 49 53 0a 20 20 20 20 2d 33 2e 32	(s).#doctest:.+ELLIPSIS.....-3.2
5920	31 37 31 36 30 33 34 32 37 32 65 2d 30 2e 2e 2e 37 0a 0a 20 20 20 20 4f 75 74 70 75 74 20 66 72	1716034272e-0...7......Output.fr
5940	6f 6d 20 63 61 6c 63 75 6c 61 74 69 6f 6e 73 20 77 69 74 68 20 44 65 63 69 6d 61 6c 20 73 68 6f	om.calculations.with.Decimal.sho
5960	75 6c 64 20 62 65 20 69 64 65 6e 74 69 63 61 6c 20 61 63 72 6f 73 73 20 61 6c 6c 0a 20 20 20 20	uld.be.identical.across.all.....
5980	70 6c 61 74 66 6f 72 6d 73 2e 0a 0a 20 20 20 20 3e 3e 3e 20 65 78 65 63 28 64 65 63 69 73 74 6d	platforms.......>>>.exec(decistm
59a0	74 28 73 29 29 0a 20 20 20 20 2d 33 2e 32 31 37 31 36 30 33 34 32 37 31 37 32 35 38 32 36 31 39	t(s)).....-3.2171603427172582619
59c0	33 33 39 30 34 35 32 39 45 2d 37 0a 20 20 20 20 74 01 00 00 00 2e 74 07 00 00 00 44 65 63 69 6d	33904529E-7.....t.....t....Decim
59e0	61 6c 74 01 00 00 00 28 74 01 00 00 00 29 28 0b 00 00 00 52 02 00 00 00 52 09 00 00 00 52 0a 00	alt....(t....)(....R....R....R..
5a00	00 00 52 03 00 00 00 74 06 00 00 00 65 78 74 65 6e 64 52 04 00 00 00 52 05 00 00 00 52 06 00 00	..R....t....extendR....R....R...
5a20	00 74 04 00 00 00 72 65 70 72 74 06 00 00 00 61 70 70 65 6e 64 52 01 00 00 00 28 06 00 00 00 52	.t....reprt....appendR....(....R
5a40	0c 00 00 00 74 06 00 00 00 72 65 73 75 6c 74 74 01 00 00 00 67 74 06 00 00 00 74 6f 6b 6e 75 6d	....t....resultt....gt....toknum
5a60	74 06 00 00 00 74 6f 6b 76 61 6c 74 01 00 00 00 5f 28 00 00 00 00 28 00 00 00 00 73 59 00 00 00	t....tokvalt...._(....(....sY...
5a80	2f 62 75 69 6c 64 62 6f 74 2f 74 6d 70 2f 62 75 69 6c 64 68 6f 73 74 2f 69 6e 73 74 61 6c 6c 2f	/buildbot/tmp/buildhost/install/
5aa0	70 72 65 62 75 69 6c 74 2f 6c 69 6e 75 78 2d 78 38 36 5f 36 34 2f 6c 69 62 2f 70 79 74 68 6f 6e	prebuilt/linux-x86_64/lib/python
5ac0	32 2e 37 2f 74 65 73 74 2f 74 65 73 74 5f 74 6f 6b 65 6e 69 7a 65 2e 70 79 74 08 00 00 00 64 65	2.7/test/test_tokenize.pyt....de
5ae0	63 69 73 74 6d 74 43 02 00 00 73 16 00 00 00 00 17 06 01 15 01 1c 01 18 01 06 01 09 01 09 01 0f	cistmtC...s.....................
5b00	01 13 03 17 01 74 08 00 00 00 64 6f 63 74 65 73 74 73 52 20 00 00 00 63 00 00 00 00 01 00 00 00	.....t....doctestsR....c........
5b20	03 00 00 00 43 00 00 00 73 24 00 00 00 64 01 00 64 02 00 6c 00 00 6d 01 00 7d 00 00 01 74 02 00	....C...s$...d..d..l..m..}...t..
5b40	6a 03 00 7c 00 00 74 04 00 83 02 00 01 64 00 00 53 28 03 00 00 00 4e 69 ff ff ff ff 28 01 00 00	j..|..t......d..S(....Ni....(...
5b60	00 74 0d 00 00 00 74 65 73 74 5f 74 6f 6b 65 6e 69 7a 65 28 05 00 00 00 74 04 00 00 00 74 65 73	.t....test_tokenize(....t....tes
5b80	74 52 22 00 00 00 52 00 00 00 00 74 0b 00 00 00 72 75 6e 5f 64 6f 63 74 65 73 74 74 04 00 00 00	tR"...R....t....run_doctestt....
5ba0	54 72 75 65 28 01 00 00 00 52 22 00 00 00 28 00 00 00 00 28 00 00 00 00 73 59 00 00 00 2f 62 75	True(....R"...(....(....sY.../bu
5bc0	69 6c 64 62 6f 74 2f 74 6d 70 2f 62 75 69 6c 64 68 6f 73 74 2f 69 6e 73 74 61 6c 6c 2f 70 72 65	ildbot/tmp/buildhost/install/pre
5be0	62 75 69 6c 74 2f 6c 69 6e 75 78 2d 78 38 36 5f 36 34 2f 6c 69 62 2f 70 79 74 68 6f 6e 32 2e 37	built/linux-x86_64/lib/python2.7
5c00	2f 74 65 73 74 2f 74 65 73 74 5f 74 6f 6b 65 6e 69 7a 65 2e 70 79 74 09 00 00 00 74 65 73 74 5f	/test/test_tokenize.pyt....test_
5c20	6d 61 69 6e 6c 02 00 00 73 04 00 00 00 00 01 10 01 74 08 00 00 00 5f 5f 6d 61 69 6e 5f 5f 28 13	mainl...s........t....__main__(.
5c40	00 00 00 52 21 00 00 00 52 23 00 00 00 52 00 00 00 00 74 08 00 00 00 74 6f 6b 65 6e 69 7a 65 52	...R!...R#...R....t....tokenizeR
5c60	01 00 00 00 52 02 00 00 00 52 03 00 00 00 52 04 00 00 00 52 05 00 00 00 52 06 00 00 00 52 07 00	....R....R....R....R....R....R..
5c80	00 00 52 08 00 00 00 52 09 00 00 00 74 02 00 00 00 6f 73 52 13 00 00 00 52 20 00 00 00 74 08 00	..R....R....t....osR....R....t..
5ca0	00 00 5f 5f 74 65 73 74 5f 5f 52 26 00 00 00 74 08 00 00 00 5f 5f 6e 61 6d 65 5f 5f 28 00 00 00	..__test__R&...t....__name__(...
5cc0	00 28 00 00 00 00 28 00 00 00 00 73 59 00 00 00 2f 62 75 69 6c 64 62 6f 74 2f 74 6d 70 2f 62 75	.(....(....sY.../buildbot/tmp/bu
5ce0	69 6c 64 68 6f 73 74 2f 69 6e 73 74 61 6c 6c 2f 70 72 65 62 75 69 6c 74 2f 6c 69 6e 75 78 2d 78	ildhost/install/prebuilt/linux-x
5d00	38 36 5f 36 34 2f 6c 69 62 2f 70 79 74 68 6f 6e 32 2e 37 2f 74 65 73 74 2f 74 65 73 74 5f 74 6f	86_64/lib/python2.7/test/test_to
5d20	6b 65 6e 69 7a 65 2e 70 79 74 08 00 00 00 3c 6d 6f 64 75 6c 65 3e 2d 02 00 00 73 14 00 00 00 06	kenize.pyt....<module>-...s.....
5d40	03 10 01 3a 02 10 01 0c 02 09 0d 09 26 14 03 09 04 0c 01	...:........&......