PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree

前端之家收集整理的这篇文章主要介绍了PostgreSQL服务过程中的那些事二:Pg服务进程处理简单查询五:规划成plantree前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

@H_301_1@ 话说查询selectcname,comp from test1,test2 where test1.id=test2.id;” 发送到服务器端,走查询分支exec_simple_query,先调用start_xact_command初始化了事务管理相关对象和资源,接着调用pg_parse_query,通过Lex和Yacc对传入sql语句进行词法语法解析,生成解析树。下来调用GetTransactionSnapshot方法做内存快照,然后调用pg_analyze_and_rewrite方法,进行语义分析把parsetree转换成querytree,然后对该querytree进行重写。接着调用pg_plan_queries@H_301_1@方法,根据querytree@H_301_1@做查询规划,生成查询计划树plantree。

@H_301_1@

@H_301_1@1

@H_301_1@ 下面是对querytree进行优化并生成plantree的调用序列图。

@H_301_1@

@H_301_1@Postgres服务进程简查之查询规划调用序列图

@H_301_1@

@H_301_1@ 上图红色方框中显示pg_plan_queries@H_301_1@方法querytree@H_301_1@做查询规划,生成查询计划树plantree的方法调用过程,大致上处理步骤是提升子连接和子查询生成最优查询路径、生成执行计划。

@H_301_1@ 在subquery_planner@H_301_1@方法里都有方法pull_up_sublinks@H_301_1@提升子连接,调用方法pull_up_subqueries@H_301_1@提升子查询,目的是尽量合并父查询和子查询中的WHERE@H_301_1@子句里的条件,尽量在做最耗费时间的表连接操作之前,先用约束条件把涉及到的元组数目缩到最小。接着处理表达式等,都是和前面同样的目的。

@H_301_1@ 还有其中的方法inline_set_returning_functions@H_301_1@内联返回函数方法preprocess_rowmarks@H_301_1@预处理行标记方法expand_inherited_tables@H_301_1@扩展集成表、方法preprocess_expression@H_301_1@预处理表达式、方法reduce_outer_joins@H_301_1@尽量减少外连接。

@H_301_1@ 接着调用方法grouping_planner@H_301_1@做规划处理,规划处理主要是生成路径,路径就是告诉执行器如何取到要操作的元组,这些元组可以来自一个表,也可以来自多个表,对于多个表,是按两两逐个连接完成,即转化成多个两表连接查询。举个例子,如一个查询涉及三个表A@H_301_1@、B@H_301_1@、C@H_301_1@的连接,处理时可以先A@H_301_1@、B@H_301_1@连接生成结果D@H_301_1@,再D@H_301_1@、C@H_301_1@连接得到目标结果集。这样连接的顺序就有多种,就产生了多个路径。方法query_planner@H_301_1@生成了这些路径。然后评估代价,找出最优路径,把和最优路径对应的执行计划树plantree@H_301_1@返回。Pg@H_301_1@里面的代价估算采用基于成本的代价估算,本节后面会简单讨论一下这个估算方法

@H_301_1@这个过程涉及连接算法(Hash Join@H_301_1@、Nested Loop@H_301_1@、Merge Join@H_301_1@)、扫描算法(Seq Scan@H_301_1@、Index Scan@H_301_1@、Bitmap Scan@H_301_1@)、分组算法(HashAggregate@H_301_1@、GroupAggregate@H_301_1@)、排序算法等算法的选择。

@H_301_1@ 这部分内容涉及到结构和处理及代码量比上节只多不少,在这就不列举了,有兴趣的根据方法调用流程图看源码吧,下面给出处理完的结果plantree结构图。

@H_301_1@

@H_301_1@例子里查询语句对应的plantree@H_301_1@结构图

@H_301_1@ 把这个例子再重复一下:

create table test1 (ID numeric(10),cnamevarchar(30));

create table test2 (ID numeric(10),compvarchar(30));

select cname,test2 wheretest1.id=test2.id;

@H_301_1@ 上面的图《例子里查询语句对应的plantree@H_301_1@结构图》就是sql@H_301_1@语句“select cname,test2 where test1.id=test2.id@H_301_1@”在pg@H_301_1@里产生的plantree@H_301_1@。

@H_301_1@pg输出的querytree如下:

2011-11-23 06:57:39 HKT LOG: @H_301_1@plan:

2011-11-23 06:57:39 HKT DETAIL: @H_301_1@{PLANNEDSTMT

@H_301_1@ :commandType 1

@H_301_1@ :hasReturning false

@H_301_1@ :hasModifyingCTE false

@H_301_1@ :canSetTag true

@H_301_1@ :transientPlan false

@H_301_1@ :planTree

@H_301_1@ {HASHJOIN

@H_301_1@ :startup_cost 24.63

@H_301_1@ :total_cost 116.69

@H_301_1@ :plan_rows 2113

@H_301_1@ :plan_width 156

@H_301_1@ :targetlist (

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 65001

@H_301_1@ :varattno 2

@H_301_1@ :vartype 1043

@H_301_1@ :vartypmod 34

@H_301_1@ :varcollid 100

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 1

@H_301_1@ :varoattno 2

@H_301_1@ :location 7

@H_301_1@ }

@H_301_1@ :resno 1

@H_301_1@ :resname cname

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 16394

@H_301_1@ :resorigcol 2

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 65000

@H_301_1@ :varattno 1

@H_301_1@ :vartype 1043

@H_301_1@ :vartypmod 34

@H_301_1@ :varcollid 100

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 2

@H_301_1@ :location 13

@H_301_1@ }

@H_301_1@ :resno 2

@H_301_1@ :resname comp

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 16397

@H_301_1@ :resorigcol 2

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :qual <>

@H_301_1@ :lefttree

@H_301_1@ {SEQSCAN

@H_301_1@ :startup_cost 0.00

@H_301_1@ :total_cost 16.50

@H_301_1@ :plan_rows 650

@H_301_1@ :plan_width 94

@H_301_1@ :targetlist (

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@:varno 1

@H_301_1@ :varattno 1

@H_301_1@ :vartype 1700

@H_301_1@ :vartypmod 655364

@H_301_1@ :varcollid 0

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 1

@H_301_1@ :varoattno 1

@H_301_1@ :location -1

@H_301_1@ }

@H_301_1@ :resno 1

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 1

@H_301_1@ :varattno 2

@H_301_1@ :vartype 1043

@H_301_1@ :vartypmod 34

@H_301_1@ :varcollid 100

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 1

@H_301_1@ :varoattno 2

@H_301_1@ :location -1

@H_301_1@ }

@H_301_1@ :resno 2

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :qual <>

@H_301_1@ :lefttree <>

@H_301_1@ :righttree <>

@H_301_1@ :initPlan <>

@H_301_1@ :extParam (b)

@H_301_1@ :allParam (b)

@H_301_1@ :scanrelid 1

@H_301_1@ }

@H_301_1@ :righttree

@H_301_1@ {HASH

@H_301_1@ :startup_cost 16.50

@H_301_1@ :total_cost 16.50

@H_301_1@ :plan_rows 650

@H_301_1@ :plan_width 94

@H_301_1@ :targetlist (

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 65001

@H_301_1@ :varattno 1

@H_301_1@ :vartype 1043

@H_301_1@ :vartypmod 34

@H_301_1@ :varcollid 100

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 2

@H_301_1@ :location -1

@H_301_1@ }

@H_301_1@ :resno 1

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 65001

@H_301_1@ :varattno 2

@H_301_1@ :vartype 1700

@H_301_1@ :vartypmod 655364

@H_301_1@ :varcollid 0

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 1

@H_301_1@ :location -1

@H_301_1@ }

@H_301_1@ :resno 2

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :qual <>

@H_301_1@ :lefttree

@H_301_1@ {SEQSCAN

@H_301_1@ :startup_cost 0.00

@H_301_1@:total_cost 16.50

@H_301_1@ :plan_rows 650

@H_301_1@ :plan_width 94

@H_301_1@ :targetlist (

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 2

@H_301_1@ :varattno 2

@H_301_1@ :vartype 1043

@H_301_1@ :vartypmod 34

@H_301_1@ :varcollid 100

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 2

@H_301_1@ :location 13

@H_301_1@ }

@H_301_1@:resno 1

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ {TARGETENTRY

@H_301_1@ :expr

@H_301_1@ {VAR

@H_301_1@ :varno 2

@H_301_1@ :varattno 1

@H_301_1@ :vartype 1700

@H_301_1@ :vartypmod 655364

@H_301_1@ :varcollid 0

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 1

@H_301_1@ :location 50

@H_301_1@ }

@H_301_1@ :resno 2

@H_301_1@ :resname <>

@H_301_1@ :ressortgroupref 0

@H_301_1@ :resorigtbl 0

@H_301_1@ :resorigcol 0

@H_301_1@ :resjunk false

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :qual <>

@H_301_1@ :lefttree <>

@H_301_1@ :righttree <>

@H_301_1@ :initPlan <>

@H_301_1@ :extParam (b)

@H_301_1@ :allParam (b)

@H_301_1@ :scanrelid 2

@H_301_1@ }

@H_301_1@ :righttree <>

@H_301_1@ :initPlan <>

@H_301_1@ :extParam (b)

@H_301_1@ :allParam (b)

@H_301_1@ :skewTable 16394

@H_301_1@ :skewColumn 1

@H_301_1@ :skewInherit false

@H_301_1@ :skewColType 1700

@H_301_1@ :skewColTypmod 655364

@H_301_1@ }

@H_301_1@ :initPlan <>

@H_301_1@ :extParam (b)

@H_301_1@ :allParam (b)

@H_301_1@ :jointype 0

@H_301_1@ :joinqual <>

@H_301_1@ :hashclauses (

@H_301_1@ {OPEXPR

@H_301_1@ :opno 1752

@H_301_1@ :opfuncid 1718

@H_301_1@ :opresulttype 16

@H_301_1@ :opretset false

@H_301_1@ :opcollid 0

@H_301_1@ :inputcollid 0

@H_301_1@ :args (

@H_301_1@ {VAR

@H_301_1@ :varno 65001

@H_301_1@ :varattno 1

@H_301_1@ :vartype 1700

@H_301_1@ :vartypmod 655364

@H_301_1@ :varcollid 0

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 1

@H_301_1@ :varoattno 1

@H_301_1@ :location 41

@H_301_1@ }

@H_301_1@ {VAR

@H_301_1@ :varno 65000

@H_301_1@ :varattno 2

@H_301_1@ :vartype 1700

@H_301_1@ :vartypmod 655364

@H_301_1@ :varcollid 0

@H_301_1@ :varlevelsup 0

@H_301_1@ :varnoold 2

@H_301_1@ :varoattno 1

@H_301_1@ :location 50

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :location -1

@H_301_1@ }

@H_301_1@ )

@H_301_1@ }

@H_301_1@ :rtable (

@H_301_1@ {RTE

@H_301_1@ :alias <>

@H_301_1@ :eref

@H_301_1@ {ALIAS

@H_301_1@ :aliasname test1

@H_301_1@ :colnames ("id""cname")

@H_301_1@ }

@H_301_1@ :rtekind 0

@H_301_1@ :relid 16394

@H_301_1@ :relkind r

@H_301_1@ :inh false

@H_301_1@ :inFromCl true

@H_301_1@ :requiredPerms 2

@H_301_1@ :checkAsUser 0

@H_301_1@ :selectedCols (b 9 10)

@H_301_1@ :modifiedCols (b)

@H_301_1@ }

@H_301_1@ {RTE

@H_301_1@ :alias <>

@H_301_1@ :eref

@H_301_1@ {ALIAS

@H_301_1@ :aliasname test2

@H_301_1@ :colnames ("id""comp")

@H_301_1@ }

@H_301_1@ :rtekind 0

@H_301_1@ :relid 16397

@H_301_1@ :relkind r

@H_301_1@ :inh false

@H_301_1@ :inFromCl true

@H_301_1@:requiredPerms 2

@H_301_1@ :checkAsUser 0

@H_301_1@ :selectedCols (b 9 10)

@H_301_1@ :modifiedCols (b)

@H_301_1@ }

@H_301_1@ )

@H_301_1@ :resultRelations <>

@H_301_1@ :utilityStmt <>

@H_301_1@ :intoClause <>

@H_301_1@ :subplans <>

@H_301_1@ :rewindPlanIDs (b)

@H_301_1@ :rowMarks <>

@H_301_1@ :relationOids (o 16394 16397)

@H_301_1@ :invalItems <>

@H_301_1@ :nParamExec 0

@H_301_1@ }

2

@H_301_1@ 规划器为每个sql@H_301_1@的不同执行计划进行基于成本的代价估算,查询的总代价包括读取数据的IO@H_301_1@代价加上各种操作的代价之和,IO@H_301_1@代价包括顺序读取数据或索引页(seq_scan_cost@H_301_1@)和随机读取数据页(random_scan_cost@H_301_1@)的代价,操作代价包括处理表元组(cpu_tuple_cost@H_301_1@)、处理比较操作(cpu_operator_cost@H_301_1@)和处理索引元组(cpu_index_tuple_cost@H_301_1@),因此,如果在一个表上做全表顺序扫描并执行过滤,其代价是:

Cost = seq_scan_cost*relpages + cpu_tuple_cost*reltuples +cpu_operator_cost*reltuples

@H_301_1@其中relpages@H_301_1@、reltuples@H_301_1@是系统表pg_class@H_301_1@里的字段,seq_scan_cost@H_301_1@、cpu_tuple_cost@H_301_1@、cpu_operator_cost@H_301_1@是影响成本计算的参数,这些参数包括cpu_index_tuple_cost (0.005)@H_301_1@、cpu_operator_cost (0.0025)@H_301_1@、cpu_tuple_cost (0.01)@H_301_1@、random_page_cost (4.0)@H_301_1@、seq_page_cost (1.0)@H_301_1@,参数后面括号里的是默认值,这些参数值可以根据情况改变。传统上,它们以抓取顺序页的成本作为基准单位,也就是将seq_page_cost 设为 1.0 ,同时其它参数是对照它来设置的

@H_301_1@就到这儿吧。

@H_301_1@

@H_301_1@------------ 转载请注明出处,来自博客: blog.csdn.net/beiigang beigang.iteye.com

猜你在找的Postgre SQL相关文章