PCI IRQ Routing

peterhu

PCI IRQ Routing

0 K( J) i- F2 q) G, Z) b. S1.Why IRQ Routing
& `& e0 |! A6 i/ D, i+ ]
在计算机发展的历史中，很多技术的出现都是为了解决当前所面临的问题而产生和发展出来的，PCI IRQ Routing也不例外，随着计算机系统的功能需求的增加，越来越多的PCI/PCIE设备被加入到系统中来，可是PIC mode下却只有15 个IRQ可供使用（即使是APIC，目前也只是有24个INTIN），而且在早期device都是直接拉线到8259 IRQ，所以一旦确定就没法改变，没有灵活性。于是中断共享就是这种情况下解决这一问题的一个方法（当然其他的方法如使用MSI,SIRQ等也都可以实现中断的复用），可是中断共享了以后又会有新的问题出现 那就是如何分配这些中断的使用 才能够达到负载均衡（Loading Banlance），上述的这些问题就使得PCI IRQ Routing应运而生了。

' F2 w% j, R. I2.How to Routing

1.Routing for Internal Device
% P- i. K3 y6 N
: p' ^3 j$ l/ h, J1 }& d新的chipset为了Internal Device Interrupt Routing有更大的灵活性，在chipset内部加入了以下几个新的register 为方便SBIOS去配置；这几个register分别是D**IP（Intertupt Pin Register）用于设定对应的device所使用的Interupt Pin；D**IR（Interrupt Router Register）用于设定Interrupt Pin所使用的Interrupt Router（PIRQA#-H#）；PIRQ_ROUT （Routing Control Register），用于设定PCI Device Interrupt Pin INTA#-H# 连接到具体PIC controller的IRQ*上，在8259 PIC Mode下SBIOS需要去设置PIRQ_ROUT的register 用于指定具体的IRQ；APIC Mode PIRQ_ROUT则是固定的连接到APIC INTIN pin上，PIRQA#-H#分别连接到INTIN16-INT23。比如我们想配置Device31 Function2 也就是Sata Controller 1的IRQ Routing 是使用INTA#
8 Z1 E' K3 h; I, zPIRQA# 最终接到PIC 的IRQ5,那么我们需要做的配置将会如下图所示：


) F3 L. x- O: T" k% c( h2 s% o7 u
2.Routing for PCIE Root Ports

; a, }: e+ B; a  r+ ~PCIE Root Ports扮演的是一个P2P bridge的角色，Root Ports自身产生的Intterupts的处理方式和Internal Devices处理方式一样；Root Ports所接入的设备所产生的Intterupts，则会有Root Ports转发给上一级的Root Complex去处理。为了Intterupt Sharing更加的均衡合理， 在转发给Root Complex之前这些来自Downstream PCIE Devices产生的Intterupt将会被chipset内部的称之为swizzling的一个机制处理过之后再丢给Root Complex，这个部分就是完全的HW机制，它的基本原理就是将来自Downstream PCIE Devices INTA#=H# 产生的中断请求 再转化一遍，比如接在Root Ports 2上的INTA#将会被转成INTB# 然后再丢给上层的Root Complex。经过Swizzling之后，INTA#-H# 会被分别连接到PIRQA#-H#.

2 r: ~8 a0 G4 q" ^$ Y% a! [3.Routing for PCI Expansion Slots

& S9 e5 f2 R! M1 z, cPCI Expansion Slots通常是指通过PNP Bridge扩展出来的PCI 插槽（slots），在这些slots上可以接入PCI Device。这些PCI Expansion Slots的 IRQ Routing和PCIE Root Ports非常接近，主要的区别可能就是swizzling的部分需要HW自己去拉，实现的原理和chipset 内置的swizzling应该是类似的。最终PCI Slot上的device经过swizzling之后 ，INTA#-H#会被分别连接到PIRQA#-H#.
) B4 Y& F0 Z' v" a" W8 c7 s' b
+ b2 V. z& ]2 Z: r/ T' Q4 \0 E3.Reporting IRQ Routing to OS

8 ~" _, w9 t; }) L2 Q5 eSBIOS将PCI IRQ Routing信息配置好以后就需要将这些信息提供给OS，为OS获取系统整个IRQ的分配提供一个基本的参考依据。当然OS并不一定要严格按照SBIOS提供的信息去配置PCI Device它也会依据获取信息动态的去分配这些IRQ Routing。通常SBIOS回报给OS这些信息有两种方式，
对于Legacy OS，SBIOS会通过PCI IRQ Routing Table 的方式告知OS；对于ACPI OS SBIOS则是通过在对应的PCI Device space中提供_PRT method告知ACPI OS 系统的IRQ Routing的方式。

1.PCI IRQ Routing Table (Legacy OS)
' J- w. f; {+ D" G5 c" ~- i# Q
" P5 C; m( O; H, W. {. {+ ZLegacy OS 下Intterupt Controller 通常是工作在PIC Mode，BIOS需要按照微软规定的PCI IRQ Routing Table Specification将PCI Devices IRQ Routing信息回报给Legacy OS。这张IRQ Routing Table的格式如下所示：


, K- i! R4 {: u' P6 l2 b
3 z3 R  B) |# B( {9 e2 {; W
SBIOS会将这张table放在F segment（F0000h-FFFFF）, 我们可以通过Search “$PIR” Signature去找到这张表格。
/ R. N8 n% [) n+ k; o' s; d
9 F* j' `, E9 C5 S- d, R2.ACPI _PRT Packages (ACPI OS)

ACPI OS 需要通过_PRT Packages 将Routing的信息 Report给OS，而且根据PIC/APIC Mode的不同，_PRT回报给OS 的Packages也会有不同。
! z" T) s, D% B2 H3 p' h9 }A.PIC Mode回报Routing信息的sample code如下所示：（所有code 均来自google 大神）：

OperationRegion (\_SB.PCI0.SBRG.PIX0, PCI_Config, 0x60, 0x0C)
; _1 s4 q9 i" @$ @+ W. b. X
Field (\_SB.PCI0.SBRG.PIX0, ByteAcc, NoLock, Preserve)
1 D9 {( A# S1 q6 M- Y
9 a3 d2 _1 j$ y{
! V& r5 O% W7 Q* s6 I* t
PIRA,
- ~% S! r; x+ Z& M8,
" G; Q9 ]' c0 b$ }# W; r2 s
0 O( i" L5 r1 Y! ]- s8 WPIRB,
& l* K/ ]% {# A7 k+ L, H8,
…

. P( k/ E6 ?  `7 A9 f2 J- s1 p}

Device (LNKA)
8 h2 C. m' r3 s4 P
{

# a  J- j& ?2 I9 t) JName (_HID, EisaId ("PNP0C0F"))

Name (_UID, 0x01)

) G# b( x  s! D& H/ t: tMethod (_STA, 0, NotSerialized)
4 b  Z. a$ }- ~; v  F& `/ o2 R! e5 B
! h$ d" ~8 H/ Y' c  v{
% a" V) U. m1 R8 S4 |
And (PIRA, 0x80, Local0)


0 G) }2 o2 s  _0 t! U$ QIf (Local0)

0 M9 _$ M& k  ]) F) t{

Return (0x09)
, E/ \+ [/ `, }* A; k& b! v
0 w4 H) H3 q7 J$ b1 x( x( y" |}

1 W( P7 K7 P% N8 t2 U9 f# J4 e2 iElse

{
! j1 `& s8 p( v6 r  E6 a2 ?6 S
Return (0x0B)

}
8 X5 z1 g8 B' C% ^5 C( U% Z5 D
}

. ]* H% x% _7 x9 p5 ~4 z
2 r/ c5 {% O! L1 FMethod (_PRS, 0, NotSerialized)
& C- [6 ^: G; T0 K- Y! M
( k. m+ ?6 z; |8 \0 d{
- ^8 t* \6 I+ _2 d2 ]
2 ?5 F' I) ?9 `4 i3 Y7 x
7 W7 \/ b  B* D+ eReturn (PRSA)

* f! S+ s: O* d. s3 E8 B* j}
; Y; Y& A: t& m1 R/ c2 M9 N

7 G# y& X# W/ I- C4 LMethod (_DIS, 0, NotSerialized)

{

Or (PIRA, 0x80, PIRA)
# r6 r  p0 j) w+ z$ U; m: w0 M
  k: V7 c8 [0 H) t; g! H}
7 [" n3 \, T0 e; e$ B
  l/ h. Q2 D7 [- j
Method (_CRS, 0, NotSerialized)
. k' F! I1 b, J$ H: Y5 K
{
  w% W6 U7 y% ^3 [% n! {' B5 @
& {& T& o/ P' m3 d4 u, u1 _And (PIRA, 0x0F, Local0)
) |" W% h; B5 `: L5 y$ h
ShiftLeft (0x01, Local0, IRA0)

Return (BUFA)
" E/ ]5 e1 c$ c, T8 Y
8 S9 m8 [) f5 P7 a  V5 j}
$ }! Z/ ?1 _$ \% t, W' M7 k

Method (_SRS, 1, NotSerialized)
! s" a0 ~9 o$ C2 q/ \
, w& P# }( u$ K% H{
( J( a- d; d: ?7 }) p; @6 x
( Z5 [4 c: D& T  o8 N! W, N; l0 tCreateWordField (Arg0, 0x01, IRA)
) D# v; s' a0 u
& A3 S4 b3 h" m2 m. l0 X5 SFindSetRightBit (IRA, Local0)


Decrement (Local0)

# Q+ T  X* p2 a; S  j9 jStore (Local0, PIRA)

}

% r* o: T7 D3 u0 n) b/ G}
# J7 X1 p" W& T2 B, `4 t4 H7 Y
Name (PR00, Package (0x12)

. s) g2 V( b2 X5 W; x{

Package (0x04)

. a1 Y' M$ v+ {{
6 w% O9 I8 J( z) j: q  t# R; R7 q
0x0001FFFF,
* ^7 k0 L1 x1 k5 g: I2 s- g1 k
4 L1 r& V2 h" o/ n4 O; d" C0x00,

LNKA,
( q* l/ K8 T3 C' C3 D) m
0x00

},
, J9 ^8 O, i% b

Package (0x04)
1 t& V, k# N: x: K/ A$ T
8 o/ e8 O$ x8 o  K# V& N( z2 ~{

0x0001FFFF,

0x01,

LNKB,

$ o# R3 @; T' q% C0x00
7 ]# X* W) b2 f1 A
},
; `( f( G' D( ]( M8 K/ l9 \* `
……
) m0 n( k$ g8 Q$ v4 Q2 O
& p' n" E' @. y4 \* Z& Z  s8 c: C: o7 d

Package (0x04)
& U4 W9 I8 s2 T6 f9 o0 u3 j
{
' R$ o. t+ m  b" Z# J& _7 v( O
0x001DFFFF,

0x00,

- J  k8 P5 k2 t" BLNKH,
$ m! T$ @  h$ m# E0 b2 r/ X
+ B! Q# u: Z+ c9 [' G5 N: a, U0x00
8 C8 V# w8 ?6 p
},


Package (0x04)
5 u5 @% o3 h% W  G9 v# W
& b" o& o) P! B# k8 U7 u4 t3 r{
% b3 y$ U7 \  W
0x001DFFFF,

! R, f7 u8 a1 q& ^' A& \: |5 f" ?0x01,

LNKD,

4 W  h6 f9 j( F: t
0x00

4 T& P  W$ L4 |9 ?; ?5 A},
: r) m. Y% }8 r4 p3 S- e* N

Package (0x04)

{
+ R7 ^. [7 I- d+ |) _& {$ T
, q4 n$ }' Z5 j  v0x001DFFFF,
0 k$ F( z% S5 e
3 S" F$ E: n# U7 Z, |1 X; Q0x02,
1 ?1 \! O! D2 ~5 @
: {- `4 `! f6 GLNKC,

) Q) i4 ]+ \. J; f4 v" i  J1 G; |0x00
6 Z2 F& y# s! h" a
},

  W3 Q( V1 g- q9 G$ |
Package (0x04)
: e) p: u& ?7 e( s% J6 u% D! D% T
{

0 Z- i" v: b7 m: A0 O% R0x001DFFFF,
1 k# w! x  `+ p- [! R, ?2 E
0x03,
. k2 c2 q. e4 _7 C3 c$ N% R- E2 \
' J* c8 O0 C' GLNKA,
4 j  p" I" s' ~9 [
0x00

$ p* g/ g. f: t! j9 X},
) Q- f  L% o0 b: i% i4 Y5 h
+ ~, n- l  O; F6 L…

. P0 _7 w2 y8 |})
! u- Y* O) d* Q% X1 F4 S; ^
  j& |( z( L, n( d1 eDevice (PCI0)
  O  S. \& {2 D$ j
9 J3 L5 v+ ?5 u" h) G) b{
) I1 X, G8 R' \* ^5 {7 j
5 F6 ^9 D8 V1 B- S, r


Name (_HID, EisaId ("PNP0A08"))
5 q1 j! f& W- x3 Y' q1 R
Name (_CID, 0x030AD041)
- A" c8 `( C7 Q, Q: p4 k1 Z8 z
& x1 \" c% ~- l% x" e$ I9 V# C9 {3 KName (_ADR, 0x00)

' e8 T) d2 H" w% c! W
1 A* A; @+ \1 ^2 U' j
' o' q( s7 t( H$ G) HMethod (_PRT, 0, NotSerialized)
: \8 m' L, y" ]- U
- q- B! t. s0 j6 j8 h{
% v9 ]+ U9 J) a& Q0 f0 ^/ t
If (PICM)
+ y4 @2 N+ B, x- i% T
0 z/ v# _9 h/ i/ d. x. Z7 Y7 g/ n{

2 G2 U. B. o3 y0 jReturn (AR00)

}

3 Q$ Y$ A! h  d9 O' ^; b+ l# H# K5 d
+ r- Q8 R" x* CReturn (PR00)
% J) [) [" l/ ~% o4 \0 r4 m
}
" S( y7 [( }( }/ ^/ I
…
}
- B, B0 R5 F; ]1 E* V上面是从网上搜到的一个PIC Mode Routing 信息的一部分的code，我们从底往上看，上述code表示Device (PCI0) scope下的所有device 的Routing信息PICM用于表示当前使用的是PIC 还是APIC
; q5 Y7 w, u4 d7 c6 VMode，当PIC Mode时就回复PR00的package，PR00表示bus 0 device 0x1f INTA#被routing到PIRQA，bus 0 device 0x1f INTB#被routing到PIRQB，后面的一个bus 0 device 0x1d也是表示相同的意义。PR00 Package中的LNKA LNKB
  _) Q# E0 v- I# L$ odevice其实表示的是PIRQA PIRQB这些register以及操作这些register的function ，Device (LNKA)中的_STA表示现在使用的PIRQ* Status 如果Interrupt Routing Enable bit被disable了，将会report 0x1001表示device is disable and do not decode its resource；_PRS表示该PIRQ* 可以使用的interrupt 范围以及相关的属性（level /edge trigger
3 N2 q8 a- l- `# r) k* z) G% bactive low/high shared …）;_CRS表示当前的Interrupt 以及属性，_SRS用设定相应的interrupt及属性；所有这些操作都是对PIRQ* register进行，这些register则通过ACPI OperationRegion的方式宣告出来如下所示：

OperationRegion (\_SB.PCI0.SBRG.PIX0, PCI_Config, 0x60, 0x0C)
5 U8 d1 _7 b" N+ U) l! F
Field (\_SB.PCI0.SBRG.PIX0, ByteAcc, NoLock, Preserve)

. W9 Y. g( `% m! l{
& |; d3 c2 m' }$ B" C8 ~# a) C
PIRA,
+ k, w% R* X0 x! t# q' ]( A/ u8,

PIRB,
8,
, i' N$ H- o( R. x# E1 A  N…
}
, \* S0 c+ M" vB.APIC Mode回报Routing信息的sample code如下所示：（所有code 均来自google 大神）：
Name (AR00, Package (0x12)

4 Z% K9 Y0 [5 D0 r7 Q( U  U{

; `! r  b0 h; }  Q0 ^' JPackage (0x04)
6 L* n, {  V2 v1 Z+ p0 u, A
{
* W  S% D9 o* ]" c/ T5 _
0x0001FFFF,

0x00,
3 E; `; |9 K6 b5 O4 o. o" N+ u
0x00,

  K3 L& N+ t* h9 i* Z$ E, a. X0x10
; w8 S! v, f% o6 m' j7 q6 F3 O
},
  P4 z3 p/ {3 V4 T5 P" F8 R
! f8 L' u: q" f5 l
Package (0x04)
: ~7 O- E1 _/ y) _" W! j/ N
. J+ @8 X( N9 I! z* d# U/ q  G{

0x0001FFFF,
  \- [1 Z/ y- W( V" L* c, i# ~
0x01,

0x00,

# b  z0 }; t. p$ i0x11
8 H  M6 D# j& X9 r1 m" M4 q
},

; N7 p! z" T5 Q- R/ P; ~
Package (0x04)
9 e" K6 c% r# G( ~
{
, v- E; v9 l! ]$ \
0x0001FFFF,
4 }/ N) t3 K* v+ U
$ ~; }3 J% O4 J0x02,
6 e  e! }; q: e6 j3 i# m
0x00,
6 j/ B3 y" O, s1 p6 X& [1 K; e
0 l# j6 w8 B6 n! O* o' }1 f0x12

},
7 _5 K+ n: a. F& F' J; k
* J+ h: Q! T( A2 H" p
Package (0x04)

& ]' M- w$ o9 ]$ l$ I1 Q! {{

8 D& s/ X8 C0 Q) v3 f* d# g0x0001FFFF,

! y2 E+ o: k  F: T3 ?- i- L; p0x03,
+ [- l; [2 p  T1 X9 f$ \9 \: ?
0x00,

. i; }* j; z& W2 O. B/ J8 Q- ?; t0x13

},
, N* U2 q& h4 X( b' q
* S3 a; w% [- ^+ w
+ v0 b! I% _8 R0 `" TPackage (0x04)
- A1 A' Z1 |+ D$ v
9 M( X, Z. X$ Y3 L$ F7 A: z1 |( C{
# p/ Z' z+ G: C7 g. u
1 C; V1 M4 k3 N9 ?! a9 L0x001FFFFF,
' c! U1 G1 H  t" o/ [- k/ G( ]4 _
0x00,
5 d1 p) B! e6 x: j3 Z2 f
/ j5 n+ S. M, H) @' Y0x00,

0x12

6 W7 N+ N4 U3 K- n% c},


Package (0x04)
3 j) p# P- v% o1 v2 }
: y' E9 j# q7 ?- ~6 f5 j* L6 P{

0x001FFFFF,

0x01,
! x4 k4 ]9 s1 C
8 }- b" n4 s! r8 A0x00,
9 ?- d  a4 I5 A1 ^0 o  R

0x13

},


Package (0x04)

{

/ l* c9 Z0 a/ x9 L% M0x001DFFFF,
0 O4 ?  p6 A( M% @5 d. F
0x00,
/ U4 M: T6 l9 s& {9 w5 D
0x00,
) k9 r% J4 C- x7 }5 ]9 L& a
0x17

},
; ^; m! ]( }8 l. |' }' U

) c" h$ V" \" i- T" X3 CPackage (0x04)
( Z' w! y- x2 ^% q
{

1 S# T* R6 ]2 {2 J0x001DFFFF,
! n+ \' e* ^+ q
2 n) D) ]0 w1 A( V) w0x01,
  t4 {$ a/ P8 j& V
0x00,
8 H7 ^9 M8 y9 D' O
0x13
- L; s& w7 \( s& ]+ }1 i  r5 g
},
3 ~7 _. s9 p. c

6 j' K  V% C6 P, u; V5 [6 {7 l5 yPackage (0x04)
0 S% V+ D4 |5 q, V% G+ \
{
/ }# G5 N' w1 d$ P+ T
0x001DFFFF,
' A. b6 F. k% z
3 V; T# d1 p* Y2 t/ \0x02,
# P5 U  v) h( m( N( L  i
0x00,

& h2 p) m% k' E$ D6 e' t9 s% j4 y0x12
' a. W3 t" e  O9 Y
& C' \( S8 O! n
},
8 g9 s  u7 g" L; N- u

Package (0x04)
1 D3 N- o' H; r, S% V
& p$ ^2 x& L- Z& L4 e7 y/ e{
" _% _2 c1 V- r6 d$ e. `
: v; |: l6 D$ H1 x; B7 j0x001DFFFF,

0x03,
3 U" |  e, C$ _3 d
0x00,
' |5 R5 G8 X1 o! b- j
8 y/ o( P9 z% S0x10

},
* P& t" I% O* ~6 j; c$ C

" x8 d2 I* K* B/ d8 O, }…

})

Device (PCI0)
) e' w0 K  n$ D% l$ w3 R' D
{
- O) O& n: A- e: q0 j* ^9 K

5 u; _; S) \7 y0 Y3 B4 S6 ]/ p

Name (_HID, EisaId ("PNP0A08"))
2 D( w* v! i1 p3 r5 I  ~( P
- Y" e8 s* H- i, h, I" E0 oName (_CID, 0x030AD041)
7 @' U+ a% U5 |0 B. w( f! s
5 S& ~4 M  T& C7 }6 sName (_ADR, 0x00)

/ u8 b4 F# h/ e9 @( N
3 p/ k8 M% Q/ Y. X# i8 x# P
Method (_PRT, 0, NotSerialized)

$ G  c( _! _; m, |/ Q3 [{
# w$ M3 L9 L0 v5 h$ G" q# m
If (PICM)
( }8 e- J4 ^  `% w, W
{

& f( j2 e! b1 f3 E5 PReturn (AR00)
5 B3 }- n: A8 V$ X2 I- O
}
1 R6 i) C" ]: V6 y1 P2 s( j

Return (PR00)

7 x! S8 v& j1 I8 e" I8 S- N}
" V/ h8 r1 u) J4 u
…
; n, r* C$ b# k5 [/ b}
APIC Mode _PRT就比较简单了，Package AR00回报bus 0 device 0x1f INTA#直接连接到APIC INTIN16 ，INTB#连接到INTIN17，INTC#连接到INTIN18, INTD#连接到INTIN19等等，在ACPI OS下会有APIC相关的driver根据这些信息设置REDIR_TBL中每个INITIN* 的属性及中断向量等信息。
SBIOS如果需要更改Routing信息，就可以按照上面的sample code的做法去修改AR00 PR00 package中的设置。另外关于APIC（I/O APIC ,LAPIC）Base
Address GlobalIrqBase…等信息 SBIOS会通过Multiple APIC Description Table (MADT) 回报给ACPI OS，这样OS下的driver就可以直接配置和处理与APIC相关的中断的产生、处理、属性等。
6 b1 k* h0 |; P# z4 k0 `3 Q

3 m. n  o1 h* A5 P" |% ]/ Q5 G0 \Refer：
《PCI IRQ Routing Table Specification》
《PCI IRQ Routing on a Multiprocessor ACPI System》
7 f- i2 Z( O2 j/ F+ W《ACPI Spec 3.0》
, D% @' f; S8 n% v
& R% p9 p) L2 v: {: m

' L7 Z" ^! }4 Y9 d3 LPeter
; s9 V$ A  v8 ~/ p1 _6 B, x2010-10-29

/ `' `7 i4 U$ b& p, u
2 d, o  v1 H* n* o" `7 @
[ 本帖最后由 peterhu 于 2010-10-29 16:22 编辑 ]