吐槽：出的题目没有大佬做吗？俺很伤心哇
从本周开始我们正式进入Python的编译和解释环节。今天我们先来谈谈Python运行环节前的词法执行环节。
由于这部分开始都比较复杂，我会采用实际的例子来逐步分析。两章一篇，第一部分讲大致流程，第二部分讲详细实现过程。
词法分析的流程
本质上，Python提供了两种执行Python的方式：
PyRun_File系列
PyRun_String系列
故名思义，前者接受一个py文件进行编译->解释执行，而后者直接对一个符合Python语法的字符串进行编译->解释执行的过程。
为了减少篇幅，我们以后者进行举例，假设我们有一串Python代码，如下所示：
k = 5
print(k)
当我们键入上述代码后，Python会初始化运行环境，设置一系列的环境参数，创建Python虚拟机和对应的线程。(这块等我们实际讲到Python的虚拟机再深入探讨)
准备工作都OK以后，主要的工作流程都在token.h/.c里面了，
tok_state
词法解析通俗来讲是一个非常巨大的状态迁移过程，比如我们要记录当前解析到什么字符，这个字符是否可以和上一个合并或者开始新的状态解析。如果是新的状态解析，之前解析的字符是否需要进行回退等等。
因此，Python为了维护解析整个Python代码，设计了tok_state这个结构体：
struct tok_state {
/* Input state; buf <= cur <= inp <= end */
/* NB an entire line is held in the buffer */
char *buf; /* Input buffer, or NULL; malloc’ed if fp != NULL */
char *cur; /* Next character in buffer */
char *inp; /* End of data in buffer */
char *end; /* End of input buffer if buf != NULL */
char *start; /* Start of current token if not NULL */
int done; /* E_OK normally, E_EOF at EOF, otherwise error code */
/* NB If done != E_OK, cur must be == inp!!! */
FILE *fp; /* Rest of input; NULL if tokenizing a string */
int tabsize; /* Tab spacing */
int indent; /* Current indentation index */
int indstack[MAXINDENT]; /* Stack of indents */
int atbol; /* Nonzero if at begin of new line */
int pendin; /* Pending indents (if > 0) or dedents (if < 0) */
char *prompt, *nextprompt; /* For interactive prompting */
int lineno; /* Current line number */
int level; /* () [] {} Parentheses nesting level */
/* Used to allow free continuations inside them */
/* Stuff for checking on different tab sizes */
const char *filename; /* For error messages */
int altwarning; /* Issue warning if alternate tabs don’t match */
int alterror; /* Issue error if alternate tabs don’t match */
int alttabsize; /* Alternate tab spacing */
int altindstack[MAXINDENT]; /* Stack of alternate indents */
/* Stuff for PEP 0263 */
int decoding_state; /* -1:decoding, 0:init, 1:raw */
int decoding_erred; /* whether erred in decoding */
int read_coding_spec; /* whether ‘coding:…’ has been read */
char *encoding;
int cont_line; /* whether we are in a continuation line. */
const char* line_start; /* pointer to start of current line */
#ifndef PGEN
PyObject *decoding_readline; /* codecs.open(…).readline */
PyObject *decoding_buffer;
#endif
const char* enc;
const char* str;
const char* input; /* Tokenizer’s newline translated copy of the string. */
};
第一眼看上去比较复杂，令人摸不着头脑，实际上我们只要关注如下几个字段即可：
buf，字符串本身(当然在文件模式下就指向文件的缓冲区)
cur，即将解析的下一个字符。
inp，词法分析处于效率考虑，读取字符串(文件内容)是以行为单位进行读取。
start，当前识别的token的起始位置。
在字符串模式下，buf，cur，inp都是相同的。
tok->buf = tok->cur = tok->end = tok->inp = (char*)str;
有一点需要注意的是，Python可以在文件头表明支持的encode模式，比如如下代码：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
print “你好，世界”;
因此，在处理词法分析之前，需要做相应的解码记录操作。
static const char *
decode_str(const char *input, int single, struct tok_state *tok)