[go: up one dir, main page]

WO2008018485A1 - Commutateur pour une interconnexion, et système - Google Patents

Commutateur pour une interconnexion, et système Download PDF

Info

Publication number
WO2008018485A1
WO2008018485A1 PCT/JP2007/065488 JP2007065488W WO2008018485A1 WO 2008018485 A1 WO2008018485 A1 WO 2008018485A1 JP 2007065488 W JP2007065488 W JP 2007065488W WO 2008018485 A1 WO2008018485 A1 WO 2008018485A1
Authority
WO
WIPO (PCT)
Prior art keywords
group
frame
tlp
port
tlp frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/065488
Other languages
English (en)
French (fr)
Inventor
Youichi Hidaka
Jun Suzuki
Junichi Higuchi
Takashi Yoshikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008528845A priority Critical patent/JP4998469B2/ja
Priority to US12/376,609 priority patent/US8615623B2/en
Priority to CN2007800296916A priority patent/CN101501660B/zh
Publication of WO2008018485A1 publication Critical patent/WO2008018485A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network

Definitions

  • the present invention relates to a switch for interconnecting that expands a PCI Express interface of a computing device and a networking device used in a computer and a network device, and a system using the switch.
  • PCI Express Peripheral component interconnect
  • FIG. 19 schematically shows a system described in Non-Patent Document 1.
  • the PCI status press system shown in Fig. 19 includes a CPU 101 that performs central processing of computers, a PCI Express root complex 102 that is installed in a host bridge that controls I / O access from the CPU 101, and a memory that is connected to the host bridge. 103, PCI Express switch 104 connected to the root complex 102, and PCI Express endpoints 105, 106, 107 mounted on computing devices connected to the PCI Express switch 104.
  • the PCI Express switch 104 is used for the purpose of increasing the number of connections of PCI Express interfaces for connecting endpoints.
  • An example of the internal circuit configuration of the PCI Express switch 104 is described in Non-Patent Document 2.
  • FIG. 20 schematically shows the switch described in Non-Patent Document 2.
  • the PCI status press switch 104 shown in Fig. 20 consists of an upstream PCI—PCI bridge 1041 connected in the direction of the root complex and a downstream PCI—PCI bridge, 1042, 1043, 104 connected in the direction of the endpoint. 4 and each PCI-PCI bridge is connected by the PCI Express Switch internal bus 1045.
  • a packet (TLP: Transaction Layer Pakcet) transferred on the part bus 1045 uses a PCI Express frame managed in the address space of the CPU 101. In this specification, this frame is called a TLP frame.
  • PCI Express defines two types of methods, address routing and ID routing, to identify the TLP frame transfer destination from the notation of the TLP frame header.
  • Address routing is a technique for specifying a destination by designating an I / O space or a memory space assigned to the destination endpoint or the like, and its frame format is described in Non-Patent Document 3.
  • ID routing specifies the number of the bus to which the destination is connected, the device number assigned to identify the device in the same bus, and the function number assigned to each function in the device. This is an identifying method, and its frame format is described in Non-Patent Document 4.
  • the destination is specified, and the I / O space or memory space, and the bus number, device number, and function number are collectively referred to as a destination address space.
  • FIG. 21 shows a format of an address routing frame (address routing TLP frame). Address routing In data transfer using TLP frames, the data area of Byt e8 Address [31: 2] is used for the destination address space.
  • address routing TLP frame Address routing In data transfer using TLP frames, the data area of Byt e8 Address [31: 2] is used for the destination address space.
  • all PCI-PCI bridges connected to the PCI Express switch internal bus 1045 receive this frame and store it in the frame! /
  • the bridge to which the device corresponding to Address [31: 2] is connected to the end of its own bridge forwards this frame to the device. Also, since the address handled by the device connected to the end of the bridge is normally set by the CPU 101 so that the addresses do not overlap, the frame is transferred from one PCI-PCI bridge.
  • FIG. 22 shows the format of an ID routing frame (ID routing TLP frame).
  • ID routing TLP frame In data transfer using TLP frames, the Byte8 bus number, device number, and function number are used for the destination address space.
  • This TLP If a frame flows to PCI Express switch 104 in Figure 20, all PCI-to-PCI bridges on PCI Express switch internal bus 1045 will receive the frame. Then, the bridge power S connected to the device corresponding to the bus number, device number and function number stored in the TLP frame, and this TLP frame are transferred to the device. Also, the bus number, device number, and function number used for ID routing are set by the CPU 101 so that they do not overlap among multiple devices. Therefore, the TLP frame is also transferred with a certain PCI-PCI bridge power.
  • the PCI Express system shown in FIG. 19 can connect any one of a plurality of endpoints to the CPU 101. Since the frame transfer method and PCI Express switch configuration that assumes that only one CPU is connected are applied, multiple CPUs cannot be connected. Therefore, the endpoint cannot be shared among multiple CPUs.
  • ASI Advanced Switching Interconnect
  • a plurality of CPUs and endpoints are connected to a network in a distributed manner and connections between them are dynamically set.
  • An example of this ASI is described in Non-Patent Document 5.
  • FIG. 23 schematically shows the system described in Non-Patent Document 5.
  • the ASI network 1301 has the following components. Root complex side PCI Express 1 A SI bridges 1302 and 1303 are connected to the corresponding route complexes 102 and 109 and transmit and receive ASI packets encapsulating TLP frames.
  • the ASI switch 1304 transfers the ASI packet to the port to which the destination of the ASI packet is connected.
  • the end point side PCI Express ASI bridges 1305 to 1307 are connected to the end points 105 to 107 and transmit and receive ASI packets encapsulating TLP frames.
  • the fabric manager 1308 manages the connection between the PCI Express ASI bridges 1302 and 1303 on the root complex side and the PCI Express ASI bridges 1305 to 1306 on the endpoint side.
  • FIG. 24 schematically shows the system described in Patent Document 1.
  • Figure 25 shows the configuration of the PCI Express switch used in the system.
  • the configurable PCI Express switch 111 includes the following components. Upstream PCI—PCI bridges 1111 and 1112 are connected to root complexes 102 and 109. Downstream PCI—PCI bridge 1113-; 1115 is connected to endpoint 105-; 107. Is the PCI espress switch internal bus 1116 downstream from the PCI-PCI bridge 1111? 1-1 1 bridge 1113-; connect to 1115.
  • the PCI Express Switch internal bus 1117 connects the upstream PCI—PCI bridge 1112 and the downstream PCI—PCI bridges 1113 to 1115.
  • the bridge controller logic 1118 controls the connection relation between the PCI Express switch internal buses 1116 and 1117 and the downstream PCI-PCI bridge 1113 to 1115 according to the external control 1119.
  • FIG. 26 shows an example of a general network system using PCI Express.
  • network forging engines 402 to 404 connected to ports;! To 3 are connected to each other by a network switch 401.
  • the network forwarding engines 402 to 404 analyze the destination of the network data input from the ports;! To 3.
  • the network switch 401 performs two operations: a unicast transfer that transfers data to a certain port, and a multicast transfer that transfers data to a plurality of specific ports.
  • the CPU 101 performs routing transfer after performing protocol analysis.
  • the PCI ETAS press switch 104 power S the route complex 102 of the CPU 101 and the network forging engines 402 to 404 are connected.
  • Patent Document 1 Japanese Patent Laid-Open No. 2005-317021
  • Non-Patent Document 1 PCI Express Base Specification Revision 1.1, PCI-SIG, March 28,2005, pp.30
  • Non-Patent Document 2 PCI Express Base Specification Revision 1.1, PCI-SIG, March 28,2005, pp.34
  • Non-Patent Document 3 PCI Express Base Specification Revision 1.1, PCI-SIG, March 28,2005, pp.52,53
  • Non-Patent Document 4 PCI Express Base Specification Revision 1.1, PCI-SIG, March 28,2005, pp.54
  • Non-Patent Document 5 Protocol Interface # 8 (PI-8) R1.0, ASI-SIG, February 2004, pp. 7-11 Disclosure of Invention
  • the first problem is that in the system using PCI Express shown in FIG. 25, communication between devices (CPU, etc.) connected to the root complex cannot be performed. The reason for this is that the internal bus 1116 and internal bus 1 117 in the configurable PCI Express switch 111 are completely separated, so that the upstream PCI-PCI bridge 1111 and the root complex 109 connected to the root complex 102 are connected. What upstream? 1? Because there is no path connecting the same bridge 1112!
  • the second problem is that in the system using PCI Express shown in FIG. 25, devices (such as CPUs) connected to different root complexes cannot simultaneously communicate with the same endpoint. This is because the downstream PCI—PCI bridges 1113 to 1115 are alternatively connected to the internal node 1116 and the internal node 1117 in the configurable PCI Express switch 111. When the end point 105 is connected to the PCI Express switch internal bus 1116 on the root complex 102 side, the CPU 108 cannot transmit data to the end point 105.
  • a third problem is that the PCI Express switch shown in FIG. 26 does not have a multicast transfer function for a specific device. Therefore, two types of switches, the network switch 401 and the PCI express switch 104, are required. Therefore, there is a problem that the system configuration becomes complicated, the cost becomes high, and the system operation becomes complicated.
  • the ASI network 1301 shown in Fig. 23 is connected to the root complex side. Communication between different devices (CPU, etc.), simultaneous communication from devices connected to different root complexes (CPU, etc.) to the same endpoint, and multicast communication. While also forces, because they require a process of encapsulating the frame, reducing the delay time in data transfer Nangu addition, certain other problems force s that the circuit scale becomes large.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a switch for transmitting and receiving a PCI Express compliant TLP frame without encapsulating it between a plurality of devices, and the switch. It is to provide a system using a switch.
  • the switch according to the present invention includes a plurality of bridges that transmit and receive PCI Express-compliant TLP frames to and from devices connected to each of the switches, and a plurality of ports to which the plurality of bridges are connected, A switch forwarding mechanism that selects an output port according to a combination of destination information of a TLP frame input from a plurality of ports and a shift and a port to which the TLP frame is input, and outputs the TLP frame from the output port. And.
  • a system according to the present invention includes the first PCI express bus and the second PCI express bus connected to the switch and any one of the different devices.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a system using a switch according to the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of a PCI Express expansion switch according to the embodiment of the present invention.
  • FIG. 3 shows a PCI Express packet switch forwarding machine in an embodiment of the present invention. It is a block diagram which shows the internal structure of a structure.
  • FIG. 5 is an explanatory diagram of an extended address routing TLP frame according to the embodiment of the present invention.
  • FIG. 6 is an explanatory diagram of an extended ID routing TLP frame according to the embodiment of the present invention.
  • FIG. 7 is an explanatory diagram of an extended TLP forwarding table according to the embodiment of this invention.
  • 8 An explanatory diagram of the extended address routing table memory according to the embodiment of the present invention.
  • 9 An explanatory diagram of the extended ID routing table memory according to the embodiment of the present invention.
  • FIG. 10 is an explanatory diagram of a multicast table memory according to the embodiment of this invention.
  • FIG. 11 is a flowchart showing the operation of the PCI Express packet switch forwarding mechanism according to the embodiment of the present invention.
  • FIG. 13 is an explanatory diagram of an extended address routing table memory used for CPU-CPU communication in an embodiment of the present invention.
  • FIG. 15 is an explanatory diagram relating to an address space when a plurality of CPUs share an endpoint in the embodiment of the present invention.
  • FIG. 17 A block diagram showing the configuration of another embodiment of the system using the switch according to the present invention.
  • FIG. 19 is a block diagram showing a system configuration based on Non-Patent Document 1.
  • FIG. 20 is a block diagram showing the configuration of a system based on Non-Patent Document 2.
  • FIG. 21 is an explanatory diagram regarding the format of a PCI Express-compliant address routing frame.
  • FIG. 22 An explanatory diagram regarding the format of a PCI Express-compliant ID routing frame.
  • FIG. 23 is a block diagram showing a configuration of an ASI network based on Non-Patent Document 5.
  • FIG. 24 is a block diagram showing a configuration of a system based on Patent Document 1.
  • FIG. 25 is a block diagram showing an internal configuration of a switch in a system based on Patent Document 1.
  • FIG. 26 is a block diagram showing a configuration of a network system using a PCI Express compliant switch.
  • FIG. 1 shows a system configuration of the embodiment of the present invention.
  • the PCI Express system 10 includes a PCI Express expansion switch 304 corresponding to the switch according to the present invention, a plurality of root complexes 102 and 109, and a plurality of endpoints 105 to 107 having a PCI ethus press bus! ;! Is connected through 15 ⁇ 15.
  • the root complex 102 is connected to the CPU 101 and the memory 103, and the root complex 109 is connected to the CPU 108 and the memory 110.
  • Each norate complex 102 and 109, and endpoints 105 to 107 are PCI Express having a function of performing data communication using the address routing TLP frame shown in FIG. 21 and the ID routing TLP frame shown in FIG. Compatible devices
  • FIG. 2 shows the configuration of the PCI Express expansion switch 304.
  • the PCI Express expansion switch 304 includes a PCI PCI bridge 3041 connected by the root complex 102 and the PCI express bus 11, a PCI—PCI bridge 3042 connected by the root complex 109 and the PCI express bus 12, and the endpoint 105.
  • the PCI Express packet switch forwarding mechanism 20 has a plurality of ports that are I / O interfaces to which PCI—PCI bridge 30 4 ;! to 3045 can be connected, PCI 1 to PCI—PCI bridge 3041, PCI 2 to port— PCI bridge 3024, port 3 with PCI-PCI, ridge 3043, port 4 PCI-PCI, PCI ridge, ridge 3044, port 5 PCI-PCI, PCI ridge, ridge 30 45 are connected! /, The
  • the PCI-PCI bridges 3041 and 3042, and the PCI-PCI bridges 3043 to 3045 are, for example, the upstream PCI-PCI bridge and the PCI express switch in the related art PCI express switch as shown in FIG. 20 or FIG. Downstream PCI — A device that has the same functionality as a PCI bridge.
  • the upstream and downstream PCI-PCI bridges in the related technology are interconnected by the SPCI Express Switch internal bus
  • the PCI-PC I Bridge 304;! -3045 is mutually connected by the PCI Express Packet Switch Forwarding Mechanism 20. It is different in that it is connected to.
  • Each bridge 304;! To 3045 transmits the address routing TLP frame shown in FIG. 21 or the ID routing TLP frame shown in FIG. 22 to the connection port of the PCI Express packet switch forwarding mechanism 20, and from the connection port. Receive TLP frames in the same format.
  • the PCI Express packet switch forwarding mechanism 20 receives the PCI-PCI bridge 30 4;! ⁇ 3045 force S connected port;! ⁇ 5 force, etc., and receives the address routing TLP frame or ID routing TLP frame described above. .
  • PCI Express packet switches The TI forwarding mechanism 20 outputs the frame by comparing the destination address space set in the header of the frame and the system setting information set in its own mechanism (20) against the information table described later. Select any port (1-5) to use.
  • the destination address space set in the header of the frame is address information when the frame is the address routing TLP frame of FIG. If the frame is the ID routing TLP frame shown in Fig. 22, it is the bus number, device number, and function number.
  • the system setting information can be set from the control CPU 30 connected to the PCI Express packet switch forwarding mechanism 20 through the external control interface 3040.
  • an SMBus an SMBus, an I2C bus, or a PCI Express interface to which a PCI-PCI bridge 3041 or the like is connected can be used.
  • FIG. 3 shows the configuration of the PCI Express packet switch forwarding mechanism 20.
  • the group ID management table memory 2047 and the extended TLP forwarding table 204 constitute storage means for holding system setting information input via the external control interface 3040.
  • the transfer control unit 200 selects an output port (1 to 5) for the input TLP frame 21 received from the port ;! to 5 based on the destination address space set in the header of the frame and the system setting information. And output TLP frame 22 from the selected port.
  • the transfer control unit 200 includes an input TLP header rewrite unit 205, a table search unit 203, a frame transfer unit 207, and an output TLP header rewrite unit 2051.
  • the group ID management table memory 2047 is a memory for storing information such as correspondence between each port;! -5 and the group ID.
  • Figure 4 shows an example of the contents of the group ID management table memory 2047.
  • the group ID management table memory 2047 has a table entry corresponding to the port number on a one-to-one basis. Each table entry records the group ID, port attribute, and device attribute corresponding to the port number.
  • the role of the group ID is to group the devices of the system 10 (CPU, endpoint, etc.) into devices that share the same memory space.
  • memory space allocation is managed by the device on the root complex side. So it is not possible to share the memory space between multiple devices on the root complex side! / ⁇ . Therefore, as shown in FIG. 4, different wrap IDs “1” and “2” are set for the port number “1” and the port number “2”, respectively. In this way, different group IDs are set for multiple ports to which devices on the root complex side are connected to avoid address conflicts.
  • the same group ID as that CPU is set for the port group in which the corresponding device is used only by a specific CPU.
  • the group ID “1” is set for the port number “3”
  • the group ID “2” is set for both the port numbers “4” and “5”. This is a setting for using the endpoint 105 in FIG. 1 only with the CPU 101 and using the endpoints 106 and 107 only with the CPU 108.
  • a dedicated group ID is set for that device.
  • the group ID is 4 bits. This is because a 4-bit reserved area is used as a TLP header area for setting a group ID in this embodiment. If a reserved area of 5 bits or more can be used, assign an area of 5 bits or more to the group ID.
  • the port attribute and device attribute of the group ID management table memory 2047 indicate the type of device connected to the port from different viewpoints.
  • the port attribute indicates which of two types of devices connected to the port, a root complex and an end point, and a switch (PCI express expansion switch) is connected! /.
  • the value “0” is set for the root complex and the end point
  • the value “1” is set for the switch (PC I Express expansion switch).
  • the device attribute indicates which of three types of bridges such as a root complex, an endpoint, and other switches are connected as devices connected to the port.
  • the value “0” is set for the root complex
  • the value “1” is set for the endpoint
  • the value “2” is set for the bridge. The role and usage of these port attributes and device attributes will be described later.
  • the input TLP header rewriter 205 refers to the group ID management table memory 2047, This unit writes the group ID corresponding to the port that has input the input TLP frame 21 in the reserved area of the header of the input TLP frame 21.
  • the address routing TLP frame or ID routing TLP frame in which the group ID is set is referred to as an extended address routing TLP frame and an extended ID routing TLP frame in this specification.
  • FIG. 5 shows a frame format of the extended address routing TLP frame.
  • Figure 6 shows the frame format of the extended ID routing TLP frame.
  • the basic configuration of these formats is the same as that shown in FIGS. 21 and 22, and an address or a bus number as frame destination information is set in each Byte8.
  • the 4-bit reserved area set in Address [19: 1 6] of ByteO is described above.
  • the group IDs 901 and 902 are written.
  • multicast instruction information 903 is set in 1-bit Address [31] (for one bit of the bus number) in Byte 8 of the extended ID routing TLP frame.
  • a frame in which multicast instruction information 903 having a value “1” is set is handled as a frame for multicast transfer.
  • the extended TLP forwarding table 204 holds the routing information for determining the transfer destination of the frame whose header has been rewritten by the input TLP header rewriter 205, that is, the extended address routing TLP frame and the extended ID routing TLP frame. .
  • FIG. 7 shows the configuration of the extended TLP forwarding table 204.
  • the extended address routing table memory 2044 holds routing information for determining the transfer destination of the extended address routing TLP frame.
  • the extended ID routing table memory 2045 holds routing information for determining a transfer destination of a frame having the multicast instruction information 903 force S value “0” (non-multicast) in the extended ID routing TLP frame.
  • the multicast table memory 2046 holds routing information for determining a transfer destination of a frame in which the multicast instruction information 903 has the value “1” (multicast) in the extended ID routing TLP frame.
  • FIG. 8 shows an example of the content configuration of the extended address routing table memory 2044.
  • the information in the extended address routing table memory 2044 is composed of a plurality of table entries. Each table entry records the lower and upper limits of the TLP destination address space, the group ID, output port information, and address swap offset information.
  • the lower and upper limits of the TLP destination address space are items to be compared with the destination address value set as the destination information of the TLP frame. That is, the lower limit value and upper limit value of the TLP destination address space in FIG. 8 are items to be compared with the addresses described in [31: 2] of Byte 8 in the extended address routing TLP frame in FIG.
  • the group ID in FIG. 8 is an item to be compared with the group ID 901 in ByteO in FIG.
  • the output port information of the extended address routing table memory 2044 is the number of the port that outputs the extended address routing TLP frame whose address and group ID match those of the table (2044) by comparison.
  • the address swap offset information indicates an offset value to be added to the address of the output TLP frame. This address swap offset information is set as necessary when sending and receiving TLP frames between CPUs.
  • FIG. 9 shows the content configuration of the extended ID routing table memory 2045.
  • the extended ID routing table memory 2045 is composed of a plurality of table entries. Each table entry records the bus number, device number, function number, group ID, and output port information. Of these, the bus number, device number, function number, and group ID are the bus number, device number, function number (Byte8), group ID 902 (ByteO), and destination information in the extended ID routing TLP frame of Figure 6. The item to be compared.
  • the output port information is a port number that outputs an extended ID routing TLP frame in which the above items match those in the table (2045) by the comparison.
  • FIG. 10 shows the content structure of the multicast table memory 2046.
  • the multicast table memory 2046 is referred to when the multicast instruction information 903 (FIG. 6) of the extended ID routing TLP frame received by the switch represents “multicast”.
  • the multicast table memory 2046 is composed of a total of 32768 table entries corresponding to the memory addresses from “0x0000” to “0x7FFF” one to one. Each table In the entry, multiple output port information, which is a set of bits corresponding to each port, is recorded.
  • the bus number (7 bits), device number (5 bits), and function in the extended ID routing TLP frame are determined. Compare 15 bits of information (3 bits) with the “memory address” in Figure 10. Then, the multiple output port information corresponding to the “memory address” is selected, and the port corresponding to the multiple output port information value “1” is determined as the output port.
  • the table search unit 203 receives the extended address routing TLP frame or the extended ID routing TLP frame from the input TLP header rewrite unit 205, and determines the transfer destination from the extended TLP forwarding table 204 according to the type of the TLP frame. To do. In addition, it is determined whether or not it is necessary to rewrite the header of the output TLP frame, and if necessary, rewriting is performed using the output TLP header rewriter 2051. Then, the output TLP frame 22 is output from the determined output port through the frame transfer unit 207.
  • the output TLP header rewrite unit 2051 performs a rewrite process of the header specified by the table search unit 203. Specifically, the address offset value is added, and the group ID in the header is deleted.
  • the frame transfer unit 207 performs processing for outputting the output TLP frame 22 from the port designated by the table search unit 203.
  • the TLP frame is output in parallel from a plurality of ports determined based on the multicast table memory 2046 in FIG.
  • the necessary information is set by accessing the group ID management table memory 2047 and the extended TLP forwarding table 204 via the control CPU 30 external control interface 3040.
  • the PCI EX press packet switch forwarding mechanism 20 Set a group ID for each port. Determine. Port attributes and device attributes are set according to the type of device connected to each port.
  • the bus number, device number, and function number assigned to the device are displayed in the table (2045).
  • Bus number, device number and function number are set in the output port information item, and the group ID corresponding to the operation mode for which CPU the device is used is set in the group ID item. For example, it is assumed that a bus number “Bx”, a device number “Dx”, and a function number “Fx” are assigned to the device of the endpoint 105 and that the device is used only by the CPU 101.
  • the bus number “Bx”, device number “Dx”, and function number “Fx” are set in one table entry of the extended ID routing table memory 2045, and the port number “3” is set in the output port information.
  • the group ID the group ID “1” corresponding to port 1 to which the CPU 101 is connected is set.
  • the lower limit and upper limit of the address space that can be assigned to that device are shown as the lower limit and upper limit of the TLP destination address space in the table 2044.
  • the port number to which the device is connected is set in the output port information item
  • the group ID is set in the group ID item according to the operation mode for which CPU the device is used. For example, it is assumed that the address space lower limit value “A L” and the upper limit value “AH” are assigned to the device of the endpoint 105 and that the device is used only by the CPU 101.
  • the address space lower limit value “AL” and the upper limit value “AH” are set in one table entry of the extended address routing table memory 2044, the port number “3” is set in the output port information, and the group ID Is set with a group ID “1” corresponding to port 1 to which the CPU 101 is connected.
  • “0” is always set in the address swap offset information in the table (2044).
  • the TLP frame that is input to the PCI Express expansion switch 304 from any device is sent to the PCI Express packet switch via any PCI-PCI bridge (3041-3045). Input to any port (1 to 5) of the forwarding mechanism 20.
  • the PCI Express packet switch forwarding mechanism 20 outputs a frame from the port determined based on the destination address space in the header of the input TLP frame and the system setting information of the own mechanism 20! Performs switching processing.
  • the input TLP header rewriter 205 searches the group ID management table memory 2047 using the port number of the input TLP frame 21 as a key. (Step S102). By this search, the contents of the entry in which the group ID corresponding to the key port number is set are acquired. Next, the input TLP header rewriter 205 writes the acquired group ID in the header of the input TLP frame 21 (step S103).
  • the input TLP frame is a 21-power SID routing TLP frame
  • an extended ID routing TLP frame in which the group ID 902 is set is generated as shown in FIG.
  • the input TLP frame 21 is an extended address routing TLP frame
  • an extended address routing TLP frame in which the group ID 901 is set is generated as shown in FIG.
  • the TLP frame generated by the input TLP header rewriter 205 is passed to the table searcher 203.
  • the table search unit 203 determines the type (step S104). If the determined type is an extended address routing TLP frame, the table searcher 203 refers to the extended address routing table memory 2044 in the extended TLP forwarding table 204 to determine a port to output the TLP frame. (Step S105). Specifically, B in the extended address routing TLP frame yte8 address [31: 2] value S, TLP destination address space lower limit value and upper limit address range, and the table entry whose group ID 901 value matches the group ID value is selected The port set in the output port information of the table entry is determined as the output port. In addition, when offset information other than “0” is set in the address swap offset information of the table entry!
  • the output address TLP header rewriter 2 051 is used to specify the address of Byte 8 in the extended address routing TLP frame [ The value of 31: 2] is stored in the offset information !, and the rewriting process is performed to add only the offset value (step S106).
  • the frame transfer unit 207 outputs an extended address routing TLP frame from the determined output port (step S110).
  • the table search unit 203 determines whether the value of the multicast instruction information 903 is "1" indicating multicast communication. Judgment is made (step S107). If the value of the multicast instruction information 903 is not “1”, the table search unit 203 refers to the extended ID routing table memory 2045 to determine a port to output the TLP frame (step S108). Specifically, the bus ID, device number, and function number values in the extended ID routing TLP frame match the bus number, device number, and function number in the table entry, and the group ID 902 value is a table. The table entry that matches the group ID value in the entry is selected. Then, the port set in the output port information of the table entry is determined as the output port. The frame transfer unit 207 outputs an extended ID routing TLP frame from the determined port (step S110).
  • the table search unit 203 refers to the multicast table memory 2046 and outputs the TLP frame.
  • a plurality of ports to be determined are determined (step S109). Specifically, an entry in the multicast table memory 2046 is searched using a 15-bit value consisting of the bus number, device number, and function number in the extended ID routing TLP frame as a key. Then, a plurality of ports corresponding to the bit “1” in the bit map constituting the plurality of output port information of the hit entry are determined as output ports.
  • F The frame transfer unit 207 outputs the extended ID routing TLP frame in parallel from the determined port that performs the multicast communication (step S110).
  • the PCI Express packet switch forwarding mechanism 20 performs additional processing such as a) and b) described later according to the port attributes set in the group ID management table memory 2047. Perform appropriate processing.
  • the PCI express packet switch forwarding mechanism 20 refers to the port attribute of the port determined to output the TLP frame in the group ID management table memory 2047.
  • the table searcher 203 uses the output TLP header rewriter 2051. Delete the group ID from the TLP frame to be output. This outputs a TLP frame in which the 4-bit reserved area set in ByteO of the header is rewritten to a blank state. This allows the root complex or endpoint to receive a TLP frame similar to a TLP frame received via a conventional PCI Express switch.
  • the port attribute value of the output port is “1”, that is, when the device connected to the output port is another PCI Express expansion switch in the system, the group ID is rewritten as described above. Absent.
  • the PCI Express packet switch forwarding mechanism 20 refers to the port attribute of the port that has input the TLP frame in the group ID management table memory 2047. As a result, if the target port attribute value is ⁇ 1, that is, if the device connected to the input port is another PCI Express expansion switch in the system, the input TLP frame is assigned a group ID in the reserved area. Is set. In this case, the PCI Express packet switch forwarding mechanism 20 recognizes the extended address routing TLP frame or the extended ID routing TLP frame as the group ID setting process in its own switch (Fig. 11: Step S103). ) Is omitted.
  • the PCI Express packet switch forwarding mechanism 20 Group ID is set in the reserved area Recognized as a conventional address routing TLP frame or ID routing TLP frame.
  • a device similar to the conventional device can be connected to the PCI Express expansion switch 304.
  • a plurality of PCI Express expansion switches 304 can be arranged in the system, and an extended address routing TLP frame and an extended ID routing TLP frame can be transferred between them.
  • the PCI Express packet switch forwarding mechanism 20 recognizes whether the device connected to the port is a root complex, an end port, or a bridge by using the group ID management tape and the memory 2047. As a result, the PCI Express packet switch forwarding mechanism 20 determines whether the port used for the input and output of the frame when transferring the TLP frame is the upstream port connected to the device on the root complex side. Or, it is possible to know whether the device on the endpoint side is a downstream port that has a strong connection.
  • the PCI Express expansion switch 304 can perform various switching operations depending on the contents of the system setting information. In the following, more specific operations will be described by taking two communications, i.e., 1) communication between the CPU 101 and the CPU 108 and 2) communication between the CPU 101 or the CPU 108 and the endpoint 105 as an example.
  • FIG. 12 shows a setting example of the address space managed by CPU 101 (“address space of group ID“ 1 ””) and the address space managed by CPU 108 (“address space of group ID“ 2 ”).
  • the CPU 101 memory-maps a part of the address space managed by itself to the CPU 108.
  • the CPU 108 also memory-maps a part of the address space managed by the CPU 108 to the CPU 101.
  • the memory map is to allocate a memory area to a device. In the case of the example shown in FIG.
  • the table entry E2 setting (or the denoising power of gnole ID “2”, etc., the TLP frame in the area from “0x00—00—10—00” to “0x00—00—20—0 0” has arrived. In this case, it means that the port 1 output corresponding to the CPU 101 is output and the address should be offset by “0x00-00-10-00”.
  • group ID management table memory 2047 is set as described above as shown in FIG.
  • the operation of the PCI Express expansion switch 304 when a TLP frame is transmitted from the CPU 101 to the CPU 108 is as follows.
  • the TLP frame of the address “0x00—00—10—00” is transmitted, the TLP frame is transmitted to the PCI Express packet via the PCI—PCI bridge 3041. Input to port 1 of switch forwarding mechanism 20 Yes
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table search unit 203 searches the extended address routing table memory in FIG. 13 using the address “0x00—00—10—00” and the loop ID “1” as keys to determine the transfer destination. To do. As a result of the search, the entry E1 is hit, and output port information “2” and address swap offset information “0x00-00-10-00” are obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to delete the group ID from the header of the TLP frame and performs a calorie calculation process of the address swap offset value “0x00—0 0—10—00”. fi.
  • the tape / no search device 203 outputs the output TLP frame 22 rewritten to the address power “0x00 ⁇ 00 20 ⁇ 00” from the port 2 to which the CPU 108 is connected by using the frame transfer device 207.
  • the TLP frame output from the port 2 is received by the route complex 109 of the CPU 108 via the PCI-PCI bridge 3042.
  • the address of group ID “1” is empty “0x00—00—10—00” to “0x00—00—20—00” (or PCI etus.
  • the expansion switch 304 “0x00—00” — By offset processing by 10—00 ”, it is mapped to the address and address space“ 0x00—00—20—00 ”to“ 0x00—00—30—00 ”of group ID“ 2 ”.
  • the PCI Express expansion switch 304 performs the following operation.
  • the TLP frame at address “0x00—00—10—00” is transmitted, the TLP frame is sent to the PCI Express packet switch via the PCI—PCI bridge 3042. Input to port 2 of forwarding mechanism 20.
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table search unit 203 searches the extended address routing table memory of FIG. 13 using the address “0x00—00—10—00” and the duplex ID “2” as keys to determine the transfer destination. To do. As a result of the search, entry E2 is hit, and output port information “1” and address swap offset information “0x00-00-10-00” are obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to delete the group ID from the header of the TLP frame and performs a calorie calculation process of the address swap offset value “0x00—0 0—10—00”. fi.
  • the tape and searcher 203 outputs the output TLP frame 22 rewritten to the address power “0x00 ⁇ 00 20 ⁇ 00” from the port 1 to which the CPU 101 is connected using the frame transfer unit 207.
  • the TLP frame output from the port 1 is received by the root complex 102 of the CPU 101 via the PCI-PCI bridge 3041.
  • the address space of group ID “2” “0x00—00—10—00” to “0x00—00—20—00” (or PCI etus. —
  • FIG. 14 shows the setting contents of the group ID management table memory used in this example.
  • a dedicated group ID is set for the port corresponding to the endpoint 105, as shown in FIG.
  • the group ID “1” is set to the port 1 to which the CPU 101 is connected
  • the group ID “2” is set to the port 2 to which the CPU 108 is connected. Therefore, “3” is set as the dedicated group ID for port 3 to which the endpoint 105 is connected.
  • a dedicated group ID “3” for the endpoint 105 By setting a dedicated group ID “3” for the endpoint 105, a dedicated virtual address space can be set for the endpoint 105.
  • FIG. 15 shows the mapping of the address space in this example.
  • FIG. 15 shows the mapping of the address space in this example.
  • FIG. Assigned to 105 The above mentioned virtual address space (“address space of group ID“ 3 ”) is shown.
  • the CPU 101 uses a part of the address space of the group ID “1” managed by itself (“0x00—10—00—00” to “0x00”
  • — 20— 00— 00 is mapped to the endpoint 105.
  • a part of the address space of the group ID “3” of the endpoint 105 (“0x00—08—00—00” to “0x00 —08—10—00”) is memory mapped to the CPU 101.
  • the CPU 108 uses a part of the address space of the group ID “2” managed by itself (“0x00—40—00—00” to “0x00”).
  • — 50— 00— 00 is mapped to the endpoint 105.
  • a part of the address space of the group ID “3” of the endpoint 105 (“0x00—08—30—00” to “0x00—09—00—00”) is transferred to the CPU 108.
  • the extended address routing table memory of the PCI Express extended switch 304 is set as shown in entries E11 to E14 in FIG. 16 according to the setting contents of the memory map.
  • the settings for entry E11 are “0x00—10—00—00” to “0x00—20” for group ID “1”.
  • the setting of entry E12 is that when a TLP frame in the area of “0x00—40—00—00” to “0x00—50—00—00” of the gnope ID “2” arrives, that frame is changed to the end point. It means that it should output from port 3 corresponding to 105.
  • the setting for entry E13 is “0x00—08 for group ID“ 3 ”.
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table searcher 203 searches the extended address routing table memory of FIG. 16 using the address “0x00—10—00—00” and the gnole ID “1” as keys to determine the transfer destination. As a result of the search, entry E11 is hit and output port information “3” is obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to delete the group ID from the header of the TLP frame.
  • the frame transfer unit 207 outputs the TLP frame with the address “0x00 10 ⁇ 00 ⁇ 00” as the output TLP frame 22 from the port 3 to which the endpoint 105 is connected.
  • the output TLP frame is received by the endpoint 105 via the PCI-PCI bridge 3043.
  • Norate complex 109 power of the CPU 108 for example, when a TLP frame with the address “0x00—40—00—00” is transmitted, the TLP frame passes through the PCI-PCI bridge 3042, and the PCI Express Input to port 2 of packet switch forwarding mechanism 20
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table searcher 203 searches the extended address routing table memory of FIG. 16 using the address “0x00—40—00—00” and the gnole ID “2” as keys to determine the transfer destination. As a result of the search, entry E12 is hit and output port information “3” is obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to generate a TLP frame. Remove group ID from header.
  • the frame transfer unit 207 has an address “0x00—40
  • the TLP frame “00-00” is output as the output TLP frame 22 from the port 3 to which the endpoint 105 is connected.
  • the output TLP frame is received by the endpoint 105 via the PCI-PCI bridge 3043.
  • the PCI Express expansion switch 304 operates as follows.
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table searcher 203 searches the extended address routing table memory of FIG. 16 using the address “0x00—08—00—00” and the gnole ID “3” as keys to determine the transfer destination. As a result of the search, entry E13 is hit and output port information “1” is obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to delete the group ID from the header of the TLP frame.
  • the frame transfer unit 207 has an address “0x00—08
  • TLP frame is output as output TLP frame 22 from port 1 to which CPU 101 is connected.
  • the output TLP frame is received by the root complex 102 via the PCI-PCI bridge 3041.
  • Transmission of the TLP frame from the endpoint 105 to the CPU 108 is performed as follows.
  • Endpoint 105 force for example, when a TLP frame with the address “0x00—08—30—00” is transmitted, the TLP frame passes through the PCI—PCI bridge 3043, and then the PCI ET packet packet switch forwarding mechanism. Input to 20 port 3
  • PCI Express packet switch forwarding mechanism 20 inputs TLP header rewriter
  • the table searcher 203 searches the extended address routing table memory shown in FIG. 16 using the address “0x00—08—30—00” and the gnole ID “3” as keys to determine the transfer destination. As a result of the search, entry E14 is hit and output port information “2” is obtained.
  • the table search unit 203 uses the output TLP header rewrite unit 2051 to delete the group ID from the header of the TLP frame.
  • the frame transfer unit 207 outputs the TLP frame at the address “0x00—08—30—00” as the output TLP frame 22 from the port 2 to which the CPU 108 is connected.
  • the output TLP frame is received by the root complex 109 via the PCI-PCI bridge 3042.
  • the PCI Express packet switch forwarding mechanism 20 makes it possible to transfer a TLP frame between any PCI and PCI bridges. Thereby, TLP frame transfer between the route complex 102 and the route complex 109 and transfer of TLP frames from a plurality of route complexes 102 and 109 to the same end point are possible.
  • the PCI Express packet switch forwarding mechanism 20 uses a forwarding table corresponding to the TLP frame after performing a header rewriting process of setting a group ID in the header of the input TLP frame. As a result, it is possible to avoid an address conflict that may occur in an address space independently managed by a plurality of CPUs (101, 108).
  • the PCI Express packet switch forwarding mechanism 20 selects the transfer destination information by referring to the multicast table memory when it is a TLP frame car SID routing frame and multicast communication is set. To do. This makes it possible to perform multicast transfer to a specific device. Therefore, By using the PCI Express expansion switch 304 of this embodiment, it is possible to construct a network system that performs multicast transfer to a specific device with only one type of switch. This point will be described with reference to FIG.
  • FIG. 17 shows the configuration of a system in which functions equivalent to those of the system shown in FIG. 26 are realized by using PCI etaspread expansion switch 304 according to the present embodiment.
  • the PCI Express expansion switch 304 can perform multicast transfer using the extended ID routing TLP frame 9021 (FIG. 6).
  • the route complex 102 to which the CPU 101 and the memory 103 are connected is connected to each other by a plurality of expansion network forwarding engines 112 to 114 and a power PCI express expansion switch 304.
  • the extended network forwarding engines 112 to 114 when performing multicast transfer, set the multicast instruction information 903 of the extended ID routing TLP frame 9021 (FIG. 6) to “1”. Also, a frame in which the group number used for multicast transfer is set to the bus number, device number, and function number is sent to the PCI Express expansion switch 304.
  • the table search unit 203 uses the 15-bit information consisting of the bus number, device number, and function number as a reference memory address to store the multicast table memory 2046 (FIG. 10). Search for. Then, multicast transfer is executed using the output port obtained by this search. From FIG. 10, for example, when the memory address to be referred to is “0x7FFF”, the multiple output port information is “0000 ⁇ 0000 ⁇ 0001 ⁇ 1100”. In this case, port 3, port 4 and port 5 are output ports used for multicast forwarding.
  • the address routing frame shown in FIG. 21 or the ID routing frame shown in FIG. 22 is used.
  • the PCI Express expansion switch 304 refers to the expansion address routing table memory 2044 or the expansion ID routing table memory 2045 to determine a unicast transfer port.
  • PCI Express expansion switch of this embodiment having a multicast transfer function H 304 can also be applied to computer systems that have been made highly reliable through the multiplexing of endpoint devices.
  • Figure 18 shows an example of its application.
  • the root complex 102 to which the CPU 101 and the memory 103 are connected is connected to the current endpoint 105 and its spare endpoint 105 ′ via the PCI Express expansion switch 304.
  • the PCI ethspress expansion switch 304 uses the multicast forwarding function to forward the transmission frame from the route complex 102 to the port to which the endpoint 105 and the spare endpoint 105 'are connected. Do. Further, the PCI Express expansion switch 304 transmits only the received frame from the end point 105 to the root complex 102. As a result, the end point 105 and the spare end point 105 ′ can maintain the same state when normal.
  • the PCI Express expansion switch 304 transmits the received frame from the spare endpoint 105 'to the root complex 102. As a result, even if the device at the end point 105 fails, the operation at the spare end point 105 ′ can be taken over, and the system can be highly reliable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Systems (AREA)
  • Small-Scale Networks (AREA)

Description

明 細 書 技術分野
[0001] 本発明は、コンピュータおよびネットワーク装置で使われるコンピューティングデバ イスおよびネットワーキングデバイスの PCIエクスプレスインタフェースを拡張するイン ターコネクション用のスィッチおよびそのスィッチを用いたシステムに関する。 背景技術
[0002] 中央演算装置（CPU)、ハードディスク、グラフィックコントローラ等のコンビユーティ ングデバイス間、フォワーディングエンジン、ネットワークコントローラ等のネットヮーキ ングデバイス間、および、コンピューティングデバイスとネットワーキングデバイス間を 接続するバス規格として、ペリフエラルコンポーネントインターコネクト（PCI)が広く普 及している。この PCIの次世代規格として、 PCIのパラレルバスをシリアル化し、バケツ ト方式で通信を行う PCIエクスプレスが標準化されている。この PCIエクスプレスにより 形成される PCIエクスプレスシステムの一例が、非特許文献 1に記載されてレ、る。
[0003] 図 19に、非特許文献 1に記載されるシステムを模式的に示す。図 19に示す PCIェ タスプレスシステムは、コンピュータの中央演算処理を行う CPU101、 CPU101から の I/Oアクセスを制御するホストブリッジに搭載される PCIエクスプレスのルートコン プレックス 102、ホストブリッジに接続されるメモリ 103、ルートコンプレックス 102に接 続される PCIエクスプレススィッチ 104、 PCIエクスプレススィッチ 104に接続されるコ ンピューティングデバイスに搭載される PCIエクスプレスのエンドポイント 105、 106、 107で構成される。
[0004] PCIエクスプレススィッチ 104は、エンドポイントを接続する PCIエクスプレスインタフ エースの接続数を増やす目的で使われる。 PCIエクスプレススィッチ 104の内部回路 構成の一例が、非特許文献 2に記載されている。
[0005] 図 20に、非特許文献 2に記載されるスィッチを模式的に示す。図 20に示す PCIェ タスプレススィッチ 104は、ルートコンプレックス方向につながる上流 PCI— PCIブリツ ジ 1041と、エンドポイント方向につなカる下流 PCI— PCIプ、リッジ 1042, 1043, 104 4とで構成され、各 PCI— PCIブリッジ間は PCIエクスプレススィッチ内部バス 1045で 接続される。 部バス 1045上で転送されるパケット（TLP :Transaction Layer Pakcet)は、 CP U101のアドレス空間上で管理される PCIエクスプレスのフレームが使用される。本明 細書では、このフレームを TLPフレームと呼ぶ。 PCIエクスプレスでは、 TLPフレーム のヘッダの表記から TLPフレームの転送先を特定する手法として、アドレスルーティ ングと IDルーティングの 2種類が定義されている。アドレスルーティングは、あて先で あるエンドポイントなどに割り当てられた I/O空間あるいはメモリ空間を指定すること で、あて先を特定する手法であり、そのフレームフォーマットは非特許文献 3に記載さ れている。他方、 IDルーティングは、あて先が接続するバスの番号、同一バス内のデ バイス識別のために割り当てられたデバイス番号、デバイス内の各機能に割り当てら れたファンクション番号を指定することで、あて先を特定する手法であり、そのフレー ムフォーマットは非特許文献 4に記載されている。本明細書では、あて先を特定する 、 I/O空間あるいはメモリ空間、および、バス番号とデバイス番号とファンクション番 号を総称して、あて先アドレス空間と呼ぶ。
[0007] 図 21に、アドレスルーティング用フレーム（アドレスルーティング TLPフレーム）のフ ォーマットを示す。アドレスルーティング TLPフレームを用いたデータ転送では、 Byt e8の Address [31 : 2]のデータ領域があて先アドレス空間に用いられる。このフレー ムが図 20の PCIエクスプレススィッチ 104上に流れてきた場合、 PCIエクスプレススィ ツチ内部バス 1045上につながる全ての PCI— PCIブリッジがこのフレームを受信し、 フレームに格納されて!/、る Address [31： 2]に対応するデバイスが自ブリッジの先に つながつているブリッジが、このフレームをデバイスに転送する。また、通常、ブリッジ の先につながるデバイスが扱うアドレスは CPU101によって、アドレスが重ならないよ うに設定されるため、フレームは或る 1つの PCI— PCIブリッジから転送される。
[0008] 図 22に、 IDルーティング用フレーム（IDルーティング TLPフレーム）のフォーマット を示す。 IDルーティング TLPフレームを用いたデータ転送では、 Byte8のバス番号、 デバイス番号およびファンクション番号があて先アドレス空間に用いられる。この TLP フレームが図 20の PCIエクスプレススィッチ 104に流れてきた場合、 PCIエクスプレス スィッチ内部バス 1045上につながる全ての PCI— PCIブリッジがそれをフレームを受 信する。そして、その TLPフレームに格納されているバス番号、デバイス番号および ファンクション番号に対応するデバイスに接続されているブリッジ力 S、この TLPフレー ムをデバイスに転送する。また、 IDルーティングに用いられるバス番号、デバイス番 号およびファンクション番号は、複数のデバイス間で重ならないように、 CPU101によ り設定される。よって、 TLPフレームは、或る 1つの PCI— PCIブリッジ力も転送される
〇
[0009] 図 19に示す PCIエクスプレスシステムは、複数のエンドポイントの内の任意のものを CPU101に接続することができる。し力、しな力 、 1つの CPUのみが接続されることを 想定したフレーム転送方法および PCIエクスプレススィッチ構成が適用されるため、 複数の CPUを接続することはできない。従って、複数の CPUの間でエンドポイントを 共有することはできない。
[0010] 上記問題を解決する手法として、以下の 2つの関連技術がある。
[0011] 一つは、ネットワークに複数の CPUとエンドポイントとを分散して接続し、それらの間 の接続を動的に設定するアドバンストスイツチングィンターコネクト (ASI)である。この ASIの一例が非特許文献 5に記載されている。
[0012] 図 23に、非特許文献 5に記載されたシステムを模式的に示す。図 23より、 ASIネッ トワーク 1301は次の構成要素を備える。ルートコンプレックス側 PCIエクスプレス一 A SIブリッジ 1302及び 1303は、対応するルートコンプレックス 102及び 109に接続さ れ、 TLPフレームをカプセル化した ASIパケットを送受信する。 ASIスィッチ 1304は 、 ASIパケットのあて先が接続されているポートに対し、その ASIパケットを転送する。 エンドポイント側 PCIエクスプレス ASIブリッジ 1305〜1307は、エンドポイント 105 〜； 107に接続され、 TLPフレームをカプセル化した ASIパケットを送受信する。ファ ブリックマネージャ 1308は、ルートコンプレックス側 PCIエクスプレス一 ASIブリッジ 1 302及び 1303と、エンドポイント側 PCIエクスプレス一 ASIブリッジ 1305〜 1306との 間の接続を管理する。
[0013] 上記関連技術の他方は、設定可能な PCIエクスプレススィッチを使用するというも のである。その一例が特許文献 1に記載されて!/、る。
[0014] 図 24に、特許文献 1に記載されるシステムを模式的に示す。また、図 25に、そのシ ステムに用いられる PCIエクスプレススィッチの構成を示す。図 25を参照すると、設定 可能 PCIエクスプレススィッチ 111は、次の構成要素を備える。上流 PCI— PCIブリツ ジ 1111及び 1112は、ルートコンプレックス 102及び 109に接続される。下流 PCI— PCIブリッジ 1113〜； 1115は、エンドポイント 105〜； 107に接続される。 PCIエタスプ レススィッチ内部バス 1116は、上流 PCI— PCIブリッジ 1111と下流？じ1— ?じ1ブリッ ジ 1113〜； 1115とを接続する。 PCIエクスプレススィッチ内部バス 1117は、上流 PCI — PCIブリッジ 1112と下流 PCI— PCIブリッジ 1113〜； 1115とを接続する。ブリッジコ ントローラ論理 1118は、外部制御 1119に従って、 PCIエクスプレススィッチ内部バ ス 1116及び 1117と下流 PCI— PCIブリッジ 1113〜； 1115との接続関係を制卸する
〇
[0015] 次に、 PCIエクスプレスを使用したネットワークシステムについて説明する。
[0016] 図 26に、 PCIエクスプレスを使用した一般的なネットワークシステムの一例を示す。
このネットワークシステムでは、ポート;!〜 3に接続されるネットワーク用フォヮ一ディン グエンジン 402〜404をネットワーク用スィッチ 401で相互に接続する。ネットワーク 用フォワーディングエンジン 402〜404は、ポート;!〜 3から入力されるネットワークデ ータのあて先を解析する。ネットワーク用スィッチ 401は、或る 1ポートに対しデータを 転送するュニキャスト転送、及び、複数の特定のポートに対しデータを転送するマル チキャスト転送の 2つの動作を実行する。
[0017] また、図 26のシステムにおいて、転送データのあて先が不明な場合は、 CPU101 がプロトコル解析を行ってからルーティング転送を行う。そのために、 PCIエタスプレ ススィッチ 104力 S、 CPU101のルートコンプレックス 102とネットワーク用フォヮ一ディ ングエンジン 402〜404とを接続する。
[0018] 特許文献 1：特開 2005— 317021号公報
非特許文献 1 : PCI Express Base Specification Revision 1.1，PCI- SIG，March 28,2005， pp.30
非特許文献 2 : PCI Express Base Specification Revision 1.1，PCI- SIG，March 28,2005， pp.34
非特許文献 3 : PCI Express Base Specification Revision 1.1，PCI- SIG，March 28,2005， pp.52,53
非特許文献 4 : PCI Express Base Specification Revision 1.1，PCI- SIG，March 28,2005， pp.54
非特許文献 5 : Protocol Interface #8(PI- 8) R1.0, ASI-SIG, February 2004,pp. 7-11 発明の開示
発明が解決しょうとする課題
[0019] 上述した PCIエクスプレスシステムにおいては、以下に述べるような課題がある。
[0020] 第 1の課題は、図 25に示す PCIエクスプレスを使用したシステムにおいて、ルートコ ンプレックス側につながるデバイス（CPU等）間の通信ができないことである。その理 由は、設定可能な PCIエクスプレススィッチ 111における内部バス 1116と内部バス 1 117とは完全に分離されていることにより、ルートコンプレックス 102につながる上流 P CI— PCIブリッジ 1111とルートコンプレックス109にっながる上流？じ1ー？じ1ブリッジ 1112とをつなぐパスが存在しな!/、からである。
[0021] 第 2の課題は、図 25に示す PCIエクスプレスを使用したシステムにおいて、それぞ れ異なるルートコンプレックス側につながるデバイス（CPU等）から同じエンドポイント に対する同時通信ができないことである。その理由は、設定可能な PCIエクスプレス スィッチ 111における内部ノ ス 1116と内部ノ ス 1117とに対し、下流 PCI— PCIブリ ッジ 1113〜； 1115が択一的に接続されるからである。エンドポイント 105が、ルートコ ンプレックス 102側の PCIエクスプレススィッチ内部バス 1116に接続されている場合 、 CPU108は、エンドポイント 105に対してデータを送信することができない。
[0022] 第 3の課題は、図 26に示す PCIエクスプレススィッチには、特定のデバイスに対し てのマルチキャスト転送機能がないことである。そのため、ネットワーク用スィッチ 401 及び PCIエクスプレススィッチ 104という 2種類のスィッチが必要になる。よって、シス テム構成が複雑になり、コストが高くなり、システム運用が複雑になるという課題がある
〇
[0023] 図 23に示す ASIネットワーク 1301を使用すれば、ルートコンプレックス側につなが るデバイス（CPU等）間の通信、及び、異なるルートコンプレックス側につながるデバ イス（CPU等）から同じエンドポイントに対する同時通信、ならびに、マルチキャスト通 信が可能になる。し力もながら、フレームをカプセル化する処理が必要になるため、 データ転送時の遅延時間を削減し難ぐまた、回路規模が大きくなるという別の課題 力 sある。
[0024] 本発明は、以上のような事情に鑑みてなされたものであり、その目的は、 PCIェクス プレス準拠の TLPフレームを複数のデバイス間でカプセル化することなく送受信する ためのスィッチおよび該スィッチを用いたシステムを提供することにある。
課題を解決するための手段
[0025] 本発明に係るスィッチは、それぞれに接続されたデバイスとの間で PCIエクスプレス 準拠の TLPフレームを送受信する複数のブリッジと、前記複数のブリッジが接続され る複数のポートを有し、前記複数のポートのレ、ずれかから入力された TLPフレームの 宛先情報と該 TLPフレームを入力したポートとの組み合わせに応じて出力ポートを選 定し該出力ポートから前記 TLPフレームを出力するスィッチフォワーディング機構と を備える。
[0026] 本発明に係るシステムは、前記スィッチおよび相互に異なるいずれかの前記デバィ スに接続された第 1の PCIエクスプレスバスおよび第 2の PCIエクスプレスバスとを備 X·る。
発明の効果
[0027] 本発明によれば、 PCIエクスプレスを使用したシステムにおいて、フレームカプセル 化の処理を行うことなぐ CPUのようなデバイス間の通信が可能となる。これにより、デ ータ転送時の遅延の増大、及び、 LSI回路規模の増大を防ぐことができる。
図面の簡単な説明
[0028] [図 1]本発明に係るスィッチを使用したシステムの実施形態の構成を示すブロック図 である。
[図 2]本発明の実施形態の PCIエクスプレス拡張スィッチの内部構成を示すブロック 図である。
[図 3]本発明の実施形態の内の PCIエクスプレスパケットスィッチフォワーディング機 構の内部構成を示すブロック図である。
園 4]本発明の実施形態のグループ ID管理テーブルメモリの説明図である。
[図 5]本発明の実施形態の拡張アドレスルーティング TLPフレームの説明図である。
[図 6]本発明の実施形態の拡張 IDルーティング TLPフレームの説明図である。
[図 7]本発明の実施形態の拡張 TLPフォワーディングテーブルの説明図である。 園 8]本発明の実施形態の拡張アドレスルーティング用テーブルメモリの説明図であ 園 9]本発明の実施形態の拡張 IDルーティング用テーブルメモリの説明図である。
[図 10]本発明の実施形態のマルチキャストテーブルメモリの説明図である。
[図 11]本発明の実施形態の PCIエクスプレスパケットスィッチフォワーディング機構の 動作を示すフローチャートである。
園 12]本発明の実施形態の CPUが管理するアドレス空間に関する説明図である。 園 13]本発明の実施形態における CPU— CPU通信に用いる拡張アドレスルーティ ング用テーブルメモリの説明図である。
園 14]本発明の実施形態において複数の CPUがエンドポイントを共有する場合に用 いるグループ ID管理テーブルメモリの説明図である。
園 15]本発明の実施形態において複数の CPUがエンドポイントを共有する場合のァ ドレス空間に関する説明図である。
園 16]本発明の実施形態において複数の CPUがエンドポイントを共有する場合に用 いる拡張アドレスルーティング用テーブルメモリの説明図である。
園 17]本発明に係るスィッチを使用したシステムの他の実施形態の構成を示すブロッ ク図である。
園 18]本発明に係るスィッチを使用したシステムの他の実施形態の構成を示すブロッ ク図である。
園 19]非特許文献 1に基づくシステムの構成を示すブロック図である。
園 20]非特許文献 2に基づくシステムの構成を示すブロック図である。
[図 21]PCIエクスプレス準拠のアドレスルーティング用フレームのフォーマットに関す る説明図である。 [図 22]PCIエクスプレス準拠の IDルーティング用フレームのフォーマットに関する説 明図である。
[図 23]非特許文献 5に基づく ASIネットワークの構成を示すブロック図である。
[図 24]特許文献 1に基づくシステムの構成を示すブロック図である。
[図 25]特許文献 1に基づくシステムにおけるスィッチの内部構成を示すブロック図で ある。
[図 26]PCIエクスプレス準拠のスィッチを使用したネットワークシステムの構成を示す ブロック図である。
符号の説明
[0029] 304： PCIエクスプレス拡張スィッチ
20： PCIエクスプレスパケットスィッチフォワーディング機構
3041、 3042、 3043、 3044、 3045： PCI— PCIブリッジ
11、 12、 13、 14、 15 : PCIエクスプレスノ ス
102、 109 :ノレートコンプレックス
105〜； 107：エンドポイント
30 :制御 CPU
3040：外部制御インタフェース
発明を実施するための最良の形態
[0030] 次に本発明の実施の形態について図面を参照して詳細に説明する。
[0031] 図 1に、本発明の実施形態のシステム構成を示す。 PCIエクスプレスシステム 10は 、本発明に掛るスィッチに対応する PCIエクスプレス拡張スィッチ 304に、複数のル ートコンプレックス 102及び 109と複数のエンドポイント 105〜107とが PCIエタスプレ スバス;！;!〜 15を介して接続された構成である。ルートコンプレックス 102には、 CPU 101とメモリ 103と力 S接続され、ルートコンプレックス 109には、 CPU108とメモリ 110 とが接続されている。
[0032] 各ノレートコンプレックス 102及び 109、ならびに、エンドポイント 105〜； 107は、図 21 に示すアドレスルーティング TLPフレームおよび図 22に示す IDルーティング TLPフ レームを用いてデータ通信を行う機能を有する PCIエクスプレス対応のデバイスであ [0033] 図 2に、 PCIエクスプレス拡張スィッチ 304の構成を示す。 PCIエクスプレス拡張スィ ツチ 304は、ルートコンプレックス 102と PCIエクスプレスバス 11により接続される PCI PCIブリッジ 3041と、ルートコンプレックス 109と PCIエクスプレスバス 12により接 続される PCI— PCIブリッジ 3042と、エンドポイント 105と PCIエクスプレスバス 13に より接続される PCI— PCIブリッジ 3043と、エンドポイント 106と PCIエクスプレスバス 14により接続される PCI— PCIブリッジ 3044と、エンドポイント 106と PCIエクスプレス ノ ス 15により接続される PCI— PCIブリッジ 3045と、これらのブリッジ 304；!〜 3045 に接続される PCIエクスプレスパケットスィッチフォワーディング機構 20と力、ら構成さ れている。
[0034] PCIエクスプレスパケットスィッチフォワーディング機構 20は、 PCI— PCIブリッジ 30 4；!〜 3045を接続できる入出力インタフェースである複数のポートを備え、ポート 1に PCI— PCIブリッジ 3041、ポート 2に PCI— PCIブリッジ 3024、ポート 3に PCI— PCI フ、、リッジ 3043、ポー卜 4ίこ PCI— PCIフ、、リッジ 3044、ポー卜 5ίこ PCI— PCIフ、、リッジ 30 45がそれぞれ接続されて!/、る。
[0035] PCI— PCIブリッジ 3041及び 3042、並びに、 PCI— PCIブリッジ 3043〜3045は 、例えば図 20あるいは図 25に示すような、本発明の関連技術の PCIエクスプレススィ ツチにおける上流 PCI— PCIブリッジおよび下流 PCI— PCIブリッジと同等の機能を 有するデバイスである。ただし、関連技術における上流および下流 PCI— PCIブリツ ジカ SPCIエクスプレススィッチ内部バスで相互に接続されているのに対し、 PCI-PC Iブリッジ 304；!〜 3045は、 PCIエクスプレスパケットスィッチフォワーディング機構 20 により相互に接続されている点が相違する。各ブリッジ 304；!〜 3045は、 PCIェクス プレスパケットスィッチフォワーディング機構 20の接続ポートに対し、図 21に示すアド レスルーティング TLPフレームまたは図 22に示す IDルーティング TLPフレームを送 信し、また接続ポートからそれらと同様な形式の TLPフレームを受信する。
[0036] PCIエクスプレスパケットスィッチフォワーディング機構 20は、 PCI— PCIブリッジ 30 4；!〜 3045力 S接続されたポート;!〜 5力、ら、前述のアドレスルーティング TLPフレーム または IDルーティング TLPフレームを受信する。また、 PCIエクスプレスパケットスイツ チフォワーディング機構 20は、フレームのヘッダに設定されて!/、る宛先アドレス空間 および自機構（20)に設定されているシステム設定情報を、後述の情報テーブルに 照らし合わせることで、フレームの出力に用いる何れかのポート（1〜5)を選択する。 ここで、フレームのヘッダに設定されたあて先アドレス空間とは、そのフレームが図 21 のアドレスルーティング TLPフレームの場合はアドレス情報である。また、そのフレー ムが図 22に示す IDルーティング TLPフレームの場合はバス番号、デバイス番号およ びファンクション番号である。システム設定情報は、 PCIエクスプレスパケットスィッチ フォワーディング機構 20に外部制御インタフェース 3040を通じて接続された制御 C PU30から設定することができる。制御 CPU30が接続できる外部制御インタフェース 3040としては、 SMBus、 I2Cバス、または、 PCI— PCIブリッジ 3041等がつながれ た PCIエクスプレスインタフェースを用いることができる。
[0037] 図 3に、 PCIエクスプレスパケットスィッチフォワーディング機構 20の構成を示す。グ ループ ID管理テーブルメモリ 2047および拡張 TLPフォワーディングテーブル 204 は、外部制御インタフェース 3040を介して入力されるシステム設定情報を保持する 記憶手段を構成するものである。転送制御部 200は、ポート;!〜 5から受信した入力 TLPフレーム 21を、そのフレームのヘッダに設定されたあて先アドレス空間およびシ ステム設定情報に基づいて出力用のポート（1〜5)を選択し、選択したポートから出 力 TLPフレーム 22を出力する。転送制御部 200は、入力 TLPヘッダ書換器 205、テ 一ブルサーチ器 203、フレーム転送器 207、及び、出力 TLPヘッダ書換器 2051か ら構成される。
[0038] グループ ID管理テーブルメモリ 2047は、各ポート；!〜 5とグループ IDとの対応関係 などの情報を記憶するメモリである。図 4に、グループ ID管理テーブルメモリ 2047の 内容例を示す。図 4より、グループ ID管理テーブルメモリ 2047は、ポート番号に 1対 1に対応するテーブルエントリを有する。各テーブルエントリには、そのポート番号に 対応するグループ ID、ポート属性およびデバイス属性が記録される。
[0039] グループ IDの役割は、システム 10のデバイス（CPUやエンドポイントなど）を、同じ メモリ空間を共有するデバイス群にグループ化することである。一般の PCIエタスプレ スシステムでは、メモリ空間の割り当て管理をルートコンプレックス側のデバイスが行う ので、ルートコンプレックス側の複数のデバイス間でメモリ空間を共有することはな!/ヽ 。従って、図 4に示すように、ポート番号「1」とポート番号「2」とにそれぞれ異なるダル ープ ID「1」及び「2」が設定されている。このように、ルートコンプレックス側のデバイス が接続される複数のポートに対しては、アドレス競合を避けるために、それぞれ異な るグループ IDが設定される。他方、エンドポイント側のデバイスが接続されるポートの うち、対応のデバイスが特定の CPUのみで使用されるポート群には、その CPUと同 じグループ IDが設定される。図 4において、ポート番号「3」にグループ ID「1」が設定 され、また、ポート番号「4」及び「5」の双方にグループ ID「2」が設定されている。これ は、図 1のエンドポイント 105を CPU101のみで使用し、エンドポイント 106及び 107 を CPU108のみで使用するための設定である。また、図 4には例示されていないが、 エンドポイント側の或るデバイスが複数の CPUで共用される場合には、そのデバイス には、それ専用のグループ IDが設定される。
[0040] 本実施の形態の場合、グループ IDは 4ビットである。これは、本実施の形態ではグ ループ IDを設定する TLPヘッダ領域として 4ビットの予約領域を使用するためである 。仮に、 5ビット以上の予約領域を使用することができる場合、グループ IDに 5ビット 以上の領域を割り当ててもょレ、。
[0041] グループ ID管理テーブルメモリ 2047のポート属性およびデバイス属性は、それぞ れ異なる観点で、ポートに接続される装置の種類を示す。すなわち、ポート属性は、 ポートに接続される装置として、ルートコンプレックスおよびエンドポイントと、スィッチ（ PCIエクスプレス拡張スィッチ）との 2種類のうちの何れが接続されて!/、るかを示す。 具体的には、ルートコンプレックスおよびエンドポイントであれば値「0」、スィッチ（PC Iエクスプレス拡張スィッチ）であれば値「1」が設定される。他方、デバイス属性は、ポ ートに接続される装置として、ルートコンプレックス、エンドポイント、それ以外のスイツ チ等のブリッジの 3種類のうちの何れが接続されているかを示す。具体的には、ルー トコンプレックスであれば値「0」、エンドポイントであれば値「1」、ブリッジであれば値「 2」が設定される。これらポート属性およびデバイス属性の役割や利用方法について は後述する。
[0042] 入力 TLPヘッダ書換器 205は、グループ ID管理テーブルメモリ 2047を参照して、 入力 TLPフレーム 21のヘッダの予約領域に、当該入力 TLPフレーム 21を入力した ポートに対応するグループ IDを書き込むユニットである。グループ IDが設定されたァ ドレスルーティング TLPフレームまたは IDルーティング TLPフレームを、本明細書で は拡張アドレスルーティング TLPフレームおよび拡張 IDルーティング TLPフレームと 呼ぶ。
[0043] 図 5に、拡張アドレスルーティング TLPフレームのフレームフォーマットを示す。また 、図 6に拡張 IDルーティング TLPフレームのフレームフォーマットを示す。これらのフ ォーマットは、基本的な構成は図 21及び図 22に示すものと同様であり、それぞれの Byte8には、フレームの宛先情報としてのアドレスあるいはバス番号などが設定され る。図 5及び図 6に示すように、本実施形態の拡張アドレスルーティング TLPフレーム 及び拡張 IDルーティング TLPフレームにおいて、それぞれ ByteOの Address [19 : 1 6]に設定された 4ビットの予約領域には、前述のグループ ID901及び 902が書き込 まれる。また、図 6より、拡張 IDルーティング TLPフレームの Byte8における 1ビットの Address [31] (バス番号の 1ビット分）には、マルチキャスト指示情報 903が設定され る。本実施形態において、値「1」のマルチキャスト指示情報 903が設定されたフレー ムは、マルチキャスト転送用のフレームとして扱われる。
[0044] 拡張 TLPフォワーディングテーブル 204は、入力 TLPヘッダ書換器 205でヘッダ が書き換えられたフレーム、すなわち拡張アドレスルーティング TLPフレームおよび 拡張 IDルーティング TLPフレームの転送先を決定するためのルーティング情報を保 持する。図 7に、拡張 TLPフォワーディングテーブル 204の構成を示す。拡張アドレ スルーティング用テーブルメモリ 2044は、拡張アドレスルーティング TLPフレームの 転送先を決定するためのルーティング情報を保持する。拡張 IDルーティング用テー ブノレメモリ 2045は、拡張 IDルーティング TLPフレームのうちマルチキャスト指示情報 903力 S値「0」（非マルチキャスト）であるフレームの転送先を決定するためのルーティ ング情報を保持する。マルチキャストテーブルメモリ 2046は、拡張 IDルーティング T LPフレームのうちマルチキャスト指示情報 903が値「1」（マルチキャスト）であるフレ ームの転送先を決定するためのルーティング情報を保持する。
[0045] 図 8に、拡張アドレスルーティング用テーブルメモリ 2044の内容構成の一例を示す 。拡張アドレスルーティング用テーブルメモリ 2044の情報は、複数のテーブルェント リで構成される。各テーブルエントリには、 TLP送信先アドレス空間の下限値及び上 限値と、グループ IDと、出力ポート情報と、アドレススワップオフセット情報とが記録さ れる。 TLP送信先アドレス空間の下限値及び上限値は、 TLPフレームの宛先情報と して設定されている送信先アドレスの値と対比させる項目である。すなわち、図 8の T LP送信先アドレス空間の下限値及び上限値は、図 5の拡張アドレスルーティング TL Pフレームにおける Byte8の [31： 2]に記述されたアドレスと対比される項目である。 また、図 8のグループ IDは図 5の ByteOのグループ ID901と対比される項目である。 拡張アドレスルーティング用テーブルメモリ 2044の出力ポート情報は、前記対比によ り、アドレスおよびグループ IDがテーブル（2044)のものと一致した拡張アドレスルー ティング TLPフレームを出力するポートの番号である。アドレススワップオフセット情報 は、出力する TLPフレームのアドレスに加算すべきオフセット値を示す。このアドレス スワップオフセット情報は、 CPU間で TLPフレームを送受信する際に、必要に応じて 設定される。
[0046] 図 9に、拡張 IDルーティング用テーブルメモリ 2045の内容構成を示す。拡張 IDル 一ティング用テーブルメモリ 2045は、複数のテーブルエントリで構成されている。各 テーブルエントリには、バス番号、デバイス番号、ファンクション番号、グループ IDお よび出力ポート情報が記録される。このうち、バス番号、デバイス番号、ファンクション 番号およびグループ IDは、図 6の拡張 IDルーティング TLPフレームにおける宛先情 報としてのバス番号、デバイス番号およびファンクション番号（Byte8)と、グループ ID 902 (ByteO)と比較される項目である。出力ポート情報は、前記比較により、上記項 目がテーブル（2045)のものと一致した拡張 IDルーティング TLPフレームを出力す るポート番号である。
[0047] 図 10に、マルチキャストテーブルメモリ 2046の内容構成を示す。マルチキャストテ 一ブルメモリ 2046は、スィッチが受信した拡張 IDルーティング TLPフレームのマル チキャスト指示情報 903 (図 6)が「マルチキャスト」を表す場合に参照するものである 。マルチキャストテーブルメモリ 2046は、 「0x0000」〜「0x7FFF」までのメモリアドレ スに 1対 1に対応する総数 32768個のテーブルエントリで構成される。各テーブルェ ントリには、ポートに 1対 1に対応するビットの集合である複数出力ポート情報が記録 される。マルチキャスト指示情報 903が値「 1」である拡張 IDルーティング TLPフレー ムの出力先を決定する際、その拡張 IDルーティング TLPフレーム中のバス番号（7ビ ット）、デバイス番号（5ビット）およびファンクション番号（3ビット）により構成される 15 ビット分の情報を、図 10の「メモリアドレス」と比較する。そして、「メモリアドレス」に一 致するエントリの複数出力ポート情報を選択し、その複数出力ポート情報の値「1」に 対応するポートを出力ポートとして決定する。
[0048] テーブルサーチ器 203は、入力 TLPヘッダ書換器 205から拡張アドレスルーティン グ TLPフレームまたは拡張 IDルーティング TLPフレームを受取り、その TLPフレーム の種類に応じて、拡張 TLPフォワーディングテーブル 204から転送先を決定する。ま た、出力する TLPフレームのヘッダの書換えが必要か否かを判断し、必要な場合は 出力 TLPヘッダ書換器 2051を用いて書換えを行う。そして、決定した出力ポートか らフレーム転送器 207を通じて出力 TLPフレーム 22を出力する。
[0049] 出力 TLPヘッダ書換器 2051は、テーブルサーチ器 203から指示されたヘッダの 書換え処理を行う。具体的には、アドレスオフセット値の加算、ヘッダ中のグループ I Dの削除などである。
[0050] フレーム転送器 207は、テーブルサーチ器 203から指示されたポートから出力 TLP フレーム 22を出力する処理を行う。マルチキャスト指示情報 903が値「1」である拡張 I Dルーティング TLPフレームの場合は、図 10のマルチキャストテーブルメモリ 2046に 基づき決定された複数のポートから、その TLPフレームを並列的に出力する。
[0051] 次に、本実施の形態の動作を説明する。
[0052] まず、グループ ID管理テーブルメモリ 2047 (図 4)および拡張 TLPフォヮ一ディン グテーブル 204 (図 7)の設定について説明する。本実施の形態の場合、制御 CPU3 0力 外部制御インタフェース 3040経由でグループ ID管理テーブルメモリ 2047およ び拡張 TLPフォワーディングテーブル 204をアクセスして必要な情報を設定する。
[0053] グループ ID管理テーブルメモリ 2047を設定する場合、複数の CPU (101,108)が 何れのエンドポイント（105〜； 107)を使用するかという運用形態に応じて、 PCIェクス プレスパケットスィッチフォワーディング機構 20の各ポートに対してグループ IDを設 定する。また、各ポートにつながる装置の種別に応じて、ポート属性及びデバイス属 性を設定する。
[0054] 拡張 TLPフォワーディングテーブル 204の拡張 IDルーティング用テーブルメモリ 2 045の設定では、エンドポイント 105等のデバイスごとに、そのデバイスに割り当てら れたバス番号、デバイス番号およびファンクション番号を、テーブル（2045)のバス番 号、デバイス番号およびファンクション番号の各項目に設定する。また、そのデバイス がつながるポート番号を出力ポート情報の項目に設定し、そのデバイスをどの CPU で使用するかという運用形態に応じたグループ IDをグループ IDの項目に設定する。 例えば、エンドポイント 105のデバイスに、バス番号「Bx」、デバイス番号「Dx」、ファ ンクシヨン番号「Fx」が割り当てられており、かつ、そのデバイスが CPU101からのみ 使用されると仮定する。この場合、拡張 IDルーティング用テーブルメモリ 2045の一 つのテーブルエントリにおいて、バス番号「Bx」、デバイス番号「Dx」、ファンクション 番号「Fx」が設定され、出力ポート情報にポート番号「3」が設定され、グループ IDに は、 CPU101がつながるポート 1に対応するグループ ID「1」が設定される。
[0055] 拡張アドレスルーティング用テーブルメモリ 2044の設定では、エンドポイント 105等 のデバイスごとに、そのデバイスに割り当て得るアドレス空間の下限値および上限値 をテーブル 2044の TLP送信先アドレス空間下限値および上限値に設定する。また 、そのデバイスがつながるポート番号を出力ポート情報の項目に設定し、そのデバィ スをどの CPUで使用するかという運用形態に応じたグループ IDをグループ IDの項 目に設定する。例えば、エンドポイント 105のデバイスに対し、アドレス空間下限値「A L」および上限値「AH」が割り当てられており、そのデバイスが CPU101からのみ使 用されると仮定する。この場合、拡張アドレスルーティング用テーブルメモリ 2044の 一つのテーブルエントリに、アドレス空間下限値「AL」および上限値「AH」が設定さ れ、出力ポート情報にポート番号「3」が設定され、グループ IDには、 CPU101がつ ながるポート 1に対応するグループ ID「1」が設定される。なお、本事例のように、対象 のデバイスがエンドポイントの場合、テーブル（2044)のアドレススワップオフセット情 報には、常に「0」が設定される。
[0056] 次に、図 2を参照して、ルートコンプレックス 102及び 109、並びに、エンドポイント 1 05〜107から送信された TLPフレームを、 PCIエクスプレス拡張スィッチ 304がスイツ チングして他のルートコンプレックス（102, 109)およびエンドポイント（105〜107)に 転送する際の動作を説明する。
[0057] ί可れかのデバイス（ノレートコンプレックスまたはエンドポイント）から PCIエクスプレス 拡張スィッチ 304に入力された TLPフレームは、何れかの PCI— PCIブリッジ（3041 — 3045)を介して、 PCIエクスプレスパケットスィッチフォワーディング機構 20の何れ かのポート（1〜5)に入力される。
[0058] PCIエクスプレスパケットスィッチフォワーディング機構 20は、入力された TLPフレ ームのヘッダ中のあて先アドレス空間および自機構 20のシステム設定情報に基づ!/ヽ て決定したポートからフレームを出力するというスイッチング処理を行う。
[0059] 図 11に示すフローチャートを参照して、 PCIエクスプレスパケットスィッチフォヮーデ イング機構 20の内部動作について説明する。あるポートから入力 TLPフレーム 21が 入力されると（ステップ S101)、入力 TLPヘッダ書換器 205が、その入力 TLPフレー ム 21を入力したポート番号をキーにして、グループ ID管理テーブルメモリ 2047を検 索する（ステップ S102)。この検索により、キーのポート番号に対応するグループ ID が設定されたエントリの内容を取得する。次に、入力 TLPヘッダ書換器 205は、取得 したグループ IDを入力 TLPフレーム 21のヘッダに書き込む（ステップ S103)。このと き、入力 TLPフレーム 21力 SIDルーティング TLPフレームであれば、図 6に示すように 、グループ ID902が設定された拡張 IDルーティング TLPフレームが生成される。ま た、入力 TLPフレーム 21が拡張アドレスルーティング TLPフレームであれば、図 5に 示すように、グループ ID901が設定された拡張アドレスルーティング TLPフレームが 生成される。入力 TLPヘッダ書換器 205で生成された TLPフレームは、テーブルサ ーチ器 203へ渡される。
[0060] テーブルサーチ器 203は、 TLPフレームを受け取ると、その種別を判別する（ステツ プ S104)。判別した種別が拡張アドレスルーティング TLPフレームである場合、テー ブノレサーチ器 203は、拡張 TLPフォワーディングテーブル 204中の拡張アドレスル 一ティング用テーブルメモリ 2044を参照して、当該 TLPフレームを出力するポートを 決定する（ステップ S105)。具体的には、拡張アドレスルーティング TLPフレームの B yte8のアドレス [31 : 2]の値力 S、 TLP送信先アドレス空間下限値と上限値のアドレス 範囲に入っており、且つ、グループ ID901の値がグループ IDの値と一致するテープ ルエントリが選択され、そのテーブルエントリの出力ポート情報に設定されているポー トが出力ポートに決定される。また、そのテーブルエントリのアドレススワップオフセット 情報に「0」以外のオフセット情報が設定されて!/、る場合は、出力 TLPヘッダ書換器 2 051を用いて、拡張アドレスルーティング TLPフレームの Byte8のアドレス [31 : 2]の 値を、前記オフセット情報に格納されて!、るオフセット値だけ加算する書換処理を行 う（ステップ S 106)。フレーム転送器 207は、前記決定した出力ポートから拡張アドレ スルーティング TLPフレームを出力する（ステップ S 110)。
[0061] テーブルサーチ器 203は、 TLPフレームの種別の判定結果（ステップ S104)が拡 張 IDルーティング TLPフレームであった場合、そのマルチキャスト指示情報 903の 値力 マルチキャスト通信を表す「1」かどうかを判定する（ステップ S107)。マルチキ ャスト指示情報 903の値が「1」ではない場合、テーブルサーチ器 203は、拡張 IDル 一ティング用テーブルメモリ 2045を参照して、当該 TLPフレームを出力するポートを 決定する（ステップ S108)。具体的には、拡張 IDルーティング TLPフレーム中のバス 番号、デバイス番号およびファンクション番号の値カ、テーブルエントリ中のバス番号 、デバイス番号およびファンクション番号に一致し、且つ、グループ ID902の値がテ 一ブルエントリ中のグループ IDの値と一致するテーブルエントリが選択される。そして 、そのテーブルエントリの出力ポート情報に設定されているポートが出力ポートに決 定される。フレーム転送器 207は、前記決定したポートから拡張 IDルーティング TLP フレームを出力する（ステップ S110)。
[0062] また、マルチキャスト指示情報 903の上記判定の結果（ステップ S 107)、値が「1」で あった場合、テーブルサーチ器 203は、マルチキャストテーブルメモリ 2046を参照し て、当該 TLPフレームを出力する複数のポートを決定する（ステップ S109)。具体的 には、拡張 IDルーティング TLPフレーム中のバス番号、デバイス番号およびファンク シヨン番号からなる 15ビットの値をキーとして、マルチキャストテーブルメモリ 2046の エントリを検索する。そして、ヒットしたエントリの複数出力ポート情報を構成するビット マップにおける「1」のビットに対応する複数のポートを、出力ポートとして決定する。フ レーム転送器 207は、マルチキャスト通信を行うベぐ前記決定したポートから拡張 I Dルーティング TLPフレームを並列的に出力する（ステップ S110)。
[0063] 以上の基本的な動作に加えて、 PCIエクスプレスパケットスィッチフォワーディング 機構 20は、グループ ID管理テーブルメモリ 2047に設定されたポート属性に応じて、 後述する a)及び b)のような付加的な処理を実行する。
[0064] a) PCIエクスプレスパケットスィッチフォワーディング機構 20は、 TLPフレームを出 力するために決定したポートのポート属性をグループ ID管理テーブルメモリ 2047で 参照する。その結果、対象のポート属性の値が「0」である場合、すなわち、その出力 ポートにつながるデバイスがルートコンプレックスあるいはエンドポイントである場合、 テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、出力すべき TLP フレームからグループ IDを削除する。これにより、ヘッダの ByteOに設定された 4ビッ トの予約領域を空白の状態に書換えた TLPフレームを出力する。これにより、ルート コンプレックスまたはエンドポイントは、従来の PCIエクスプレススィッチ経由で受け取 る TLPフレームと同様な TLPフレームを受け取ることができる。これに対し、出力ポー トのポート属性の値が「1」の場合、つまりその出力ポートにつながるデバイスがシステ ムにおける他の PCIエクスプレス拡張スィッチである場合、上記のようなグループ ID の書換えは行わない。
b) PCIエクスプレスパケットスィッチフォワーディング機構 20は、 TLPフレームを入 力したポートのポート属性をグループ ID管理テーブルメモリ 2047で参照する。その 結果、対象のポート属性の値力^ 1」の場合、つまりその入力ポートにつながるデバイ スがシステムにおける他の PCIエクスプレス拡張スィッチである場合、入力された TL Pフレームは、予約領域にグループ IDが設定されたものである。この場合、 PCIエタ スプレスパケットスィッチフォワーディング機構 20は、その拡張アドレスルーティング T LPフレームあるいは拡張 IDルーティング TLPフレームであると認識し、自スィッチ内 でのグループ IDの設定処理（図 11 :ステップ S 103)を省略する。他方、入力ポートの ポート属性の値が「0」の場合、つまり入力ポートにつながるデバイスがルートコンプレ ックスあるいはエンドポイントである場合、 PCIエクスプレスパケットスィッチフォヮーデ イング機構 20は、入力された TLPフレーム力、予約領域にグループ IDが設定されて いない従来と同様なアドレスルーティング TLPフレームまたは IDルーティング TLPフ レームであると認識する。
[0065] 以上のような付加的な処理 a)及び b)を実行することにより、 PCIエクスプレス拡張ス イッチ 304に、従来と同様なデバイスを接続することができる。また、システムに複数 の PCIエクスプレス拡張スィッチ 304を配置し、それらの間で拡張アドレスルーティン グ TLPフレームおよび拡張 IDルーティング TLPフレームを転送することができる。
[0066] このように、 PCIエクスプレスパケットスィッチフォワーディング機構 20は、グループ I D管理テープ、ノレメモリ 2047により、ポートに接続されているデバイスがルートコンプレ ッタス、エンドポートおよびブリッジの何れであるかを認識する。これにより、 PCIェクス プレスパケットスィッチフォワーディング機構 20は、 TLPフレームの転送時に、そのフ レームの入力および出力に用いるポートが、ルートコンプレックス側のデバイスがつな がっている上流側のポートであるのか、あるいは、エンドポイント側のデバイスがつな 力 Sつている下流側のポートであるのかを把握することができる。
[0067] 本実施の形態の PCIエクスプレス拡張スィッチ 304は、そのシステム設定情報の内 容によって各種のスイッチング動作が可能である。以下では、 1) CPU101および CP U108間の通信、 2) CPU101または CPU108とエンドポイント 105との間の通信の 2 つの通信を例に挙げて、より具体的な動作を説明する。
[0068] 1) CPU101および CPU108間の通信
[0069] 図 12に、 CPU101が管理するアドレス空間（「グループ ID「1」のアドレス空間」）と、 CPU108が管理するアドレス空間（「グループ ID「2」のアドレス空間」 )の設定例を示 す。 CPU101および CPU108間で通信を行う場合、 CPU101は、自身が管理する アドレス空間の一部を CPU108ヘメモリマップする。また、 CPU108も自身が管理す るアドレス空間の一部を CPU101ヘメモリマップする。ここで、メモリマップとは、メモリ の領域をデバイスに割り当てることである。図 12に示す例の場合、グループ ID「1」（ CPUIOI)およびグループ ID「2」（CPU108)間で他方へのマッピングに使用する アドレス空間として、互いに同じ「0x00— 00— 10— 00」〜「0x00— 00— 20— 00」 が設定されている。このような設定は両 CUPU間にアドレスの競合を招くが、その原 因は、 CPU101および CPU108が互いに独立して各自のアドレス空間の割り当てを fiうことによる。
[0070] 上記のように、 CPU101および CPU108間で他方へのメモリマップに使用するアド レス空間が競合する場合、一般の手法では、それら CPU間の正常な通信が困難で ある。何故なら、例えば CPU101が、 CPU108にメモリマップしたアドレス「0x00— 0 0— 10— 00」にデータをライトすると、 CPU108のアドレス空間「0x00— 00— 10— 0 0」にライトされる力 それを CPU108が読み取るためにアドレス「0x00— 00— 10— 00」をリードすると、そのアドレス空間は CPU101にメモリマップされているため、 CP U108が管理するアドレス空間のアドレス「0x00— 00— 10— 00」がリードされること になるためである。
[0071] 上述のように CPU間で、他方にメモリマップするアドレス空間が競合する場合、アド レススワップオフセット情報を用いて競合を解除する。具体的には、図 13に示すよう な拡張アドレスルーティング用テーブルメモリを用意し、図示のエントリ E1及び E2に 示されるような設定を行う。エントリ E1の設定は、グループ ID「1」のデバイスから「0x 00— 00— 10— 00」〜「0x00— 00— 20— 00」の領域の TLPフレームが到来した場 合には、それを CPU108に対応するポート 2から出力し、かつ、「0x00— 00— 10— 00」だけアドレスをオフセットすべきことを意味する。また、テーブルエントリ E2の設定 (ま、グノレープ ID「2」のデノ イス力、ら「0x00— 00— 10— 00」〜「0x00— 00— 20— 0 0」の領域の TLPフレームが到来した場合には、それを CPU101に対応するポート 1 力、ら出力し、かつ、「0x00— 00— 10— 00」だけアドレスをオフセットすべきことを意 味する。
[0072] なお、グループ ID管理テーブルメモリ 2047には、図 4に示すような前述の設定が 行われる。
[0073] 以上のような設定が行われた状態において、例えば、 CPU101から CPU108へ T LPフレームが送信された際の PCIエクスプレス拡張スィッチ 304の動作は、次のよう になる。
[0074] CPU101のノレートコンプレックス 102力、ら、 列えば、アドレス「0x00— 00— 10— 00」 の TLPフレームが送信されると、その TLPフレームが PCI— PCIブリッジ 3041を介し て、 PCIエクスプレスパケットスィッチフォワーディング機構 20のポート 1へ入力される 〇
[0075] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 1から受信する。そ して、ポート 1に対応するグループ ID「1」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ IDとして「1」を書き込む。テーブル サーチ器 203は、転送先を決定するために、アドレス「0x00— 00— 10— 00」とダル ープ ID「1」とをキーにして、図 13の拡張アドレスルーティング用テーブルメモリを検 索する。検索の結果、エントリ E1がヒットし、出力ポート情報「2」及びアドレススワップ オフセット情報「0x00— 00— 10— 00」が得られる。
[0076] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、 TLPフレーム のヘッダからグループ IDを削除すると共に、アドレススワップオフセット値「0x00— 0 0— 10— 00」のカロ算処理を fiう。テープ、ノレサーチ器 203は、アドレス力 「0x00— 00 20— 00」に書き換えられた出力 TLPフレーム 22を、 CPU108が接続されるポート 2からフレーム転送器 207を用いて出力する。
[0077] ポート 2から出力された TLPフレームは、 PCI— PCIブリッジ 3042を経て CPU108 のルートコンプレックス 109により受信される。図 12に示されるように、グループ ID「1 」のアドレス空 「0x00— 00— 10— 00」〜「0x00— 00— 20— 00」（ま、 PCIエタスフ。 レス拡張スィッチ 304により「0x00— 00— 10— 00」だけオフセット処理されることに より、グループ ID「2」のアド、レス空間「0x00— 00— 20— 00」〜「0x00— 00— 30— 00」にマッピングされる。
[0078] 上記とは反対に CPU108から CPU101へ TLPフレームが送信された場合には、 P CIエクスプレス拡張スィッチ 304が以下のような動作を行う。
[0079] CPU108のノレートコンプレックス 109力、ら、 列えば、アドレス「0x00— 00— 10— 00」 の TLPフレームが送信されると、その TLPフレームが PCI— PCIブリッジ 3042を介し て PCIエクスプレスパケットスィッチフォワーディング機構 20のポート 2へ入力される。
[0080] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 2から受信する。そ して、ポート 2に対応するグループ ID「2」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ IDとして「2」を書き込む。テーブル サーチ器 203は、転送先を決定するために、アドレス「0x00— 00— 10— 00」とダル ープ ID「2」とをキーにして、図 13の拡張アドレスルーティング用テーブルメモリを検 索する。検索の結果、エントリ E2がヒットし、出力ポート情報「1」及びアドレススワップ オフセット情報「0x00— 00— 10— 00」が得られる。
[0081] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、 TLPフレーム のヘッダからグループ IDを削除すると共に、アドレススワップオフセット値「0x00— 0 0— 10— 00」のカロ算処理を fiう。テープ、ノレサーチ器 203は、アドレス力 「0x00— 00 20— 00」に書き換えられた出力 TLPフレーム 22を、 CPU101が接続されるポート 1からフレーム転送器 207を用いて出力する。
[0082] ポート 1から出力された TLPフレームは、 PCI— PCIブリッジ 3041を経て CPU101 のルートコンプレックス 102により受信される。図 12に示されるように、グループ ID「2 」のアドレス空 「0x00— 00— 10— 00」〜「0x00— 00— 20— 00」（ま、 PCIエタスフ。 レス拡張スィッチ 304により「0x00— 00— 10— 00」だけオフセット処理されることに より、グループ ID「1」のアド、レス空間「0x00— 00— 20— 00」〜「0x00— 00— 30— 00」にマッピングされる。
[0083] 2) CPU101または CPU108とエンドポイント 105との通信
[0084] 図 14に、本事例で用いるグループ ID管理テーブルメモリの設定内容を示す。ェン ドポイント 105を複数の CPU101及び 108で共用する場合、図 14に示すように、ェン ドポイント 105に対応するポートに専用のグループ IDを設定する。図示の例では、 C PU101が接続されるポート 1にグループ ID「 1」が設定され、 CPU108が接続される ポート 2にグループ ID「2」が設定されている。そのため、エンドポイント 105が接続さ れるポート 3には、専用のグループ IDとして「3」が設定されている。エンドポイント 105 に専用のグループ ID「3」を設定することで、エンドポイント 105に、専用の仮想的な アドレス空間を設定することができる。
[0085] 図 15に、本事例のアドレス空間のマッピングを示す。図 15には、 CPU101が管理 するアドレス空間（「グループ ID「1」のアドレス空間」）、及び、 CPU108が管理するァ ドレス空間（「グループ ID「 2」のアドレス空間」）に加え、エンドポイント 105に割り当て られた前述の仮想的なアドレス空間（「グループ ID「3」のアドレス空間」）が示されて いる。 CPU101とエンドポイント 105との間で通信を行う場合、 CPU101は、自身が 管理するグループ ID「1」のアドレス空間の一部（「0x00— 10— 00— 00」〜「0x00
— 20— 00— 00」）をエンドポイント 105ヘメモリマップする。また、反対に、エンドポィ ント 105のグループ ID「3」のアドレス空間の一部（「0x00— 08— 00— 00」〜「0x00 —08— 10— 00」）を CPU101ヘメモリマップする。同様に、 CPU108とエンドポイン ト 105との間で通信を行う場合、 CPU108は、自身が管理するグループ ID「2」のアド レス空間の一部（「0x00— 40— 00— 00」〜「0x00— 50— 00— 00」）をエンドポイン ト 105ヘメモリマップする。また、反対に、エンドポイント 105のグループ ID「3」のアド レス空間の一部（「0x00— 08— 30— 00」〜「0x00— 09— 00— 00」）を CPU108へ
[0086] また、メモリマップの設定内容に応じて、 PCIエクスプレス拡張スィッチ 304の拡張 アドレスルーティング用テーブルメモリを、図 16のエントリ E11〜E14のように設定す る。エントリ E11の設定は、グループ ID「1」の「0x00— 10— 00— 00」〜「0x00— 20
— 00— 00」の領域の TLPフレームが到来した場合に、そのフレームを、エンドポイン ト 105に対応するポート 3から出力すべきことを意味する。エントリ E12の設定は、グ ノレープ ID「2」の「0x00— 40— 00— 00」〜「0x00— 50— 00— 00」の領域の TLPフ レームが到来した場合に、そのフレームを、エンドポイント 105に対応するポート 3か ら出力すべきことを意味する。エントリ E13の設定は、グループ ID「3」の「0x00— 08
— 00— 00」〜「0x00— 08— 10— 00」の領域の TLPフレームが到来した場合には、 そのフレームを、 CPU101に対応するポート 1から出力すべきことを意味する。ェント リ E14の設定 (ま、グノレープ ID「3」の「0x00— 08— 30— 00」〜「0x00— 09— 00— 0 0」の領域の TLPフレームが到来した場合には、そのフレームを、 CPU108に対応す るポート 2から出力すべきことを意味する。
[0087] 以上のような設定が行われた状態において、 CPU101からエンドポイント 105へフ レームが送信される場合の PCIエクスプレス拡張スィッチ 304の動作は次のようにな
[0088] CPU101のノレートコンプレックス 102力、ら、 列えば、アドレス「0x00— 10— 00— 00」 の TLPフレームが送信されると、その TLPフレームが PCI— PCIブリッジ 3041を経て PCIエクスプレスパケットスィッチフォワーディング機構 20のポート 1へ入力される。
[0089] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 1から受信する。そ して、ポート 1に対応するグループ ID「1」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ ID「1」を書き込む。テーブルサー チ器 203は、転送先を決定するために、アドレス「0x00— 10— 00— 00」とグノレープ I D「 1」とをキーにして、図 16の拡張アドレスルーティング用テーブルメモリを検索する 。検索の結果、エントリ E11がヒットし、出力ポート情報「3」が得られる。
[0090] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、上記の TLPフ レームのヘッダからグループ IDを削除する。フレーム転送器 207は、アドレス「0x00 10— 00— 00」の TLPフレームを、エンドポイント 105が接続されるポート 3から出 力 TLPフレーム 22として出力する。出力された TLPフレームは、 PCI— PCIブリッジ 3043を介してエンドポイント 105に受信される。
[0091] CPU108からエンドポイント 105へのフレームの送信動作は以下のように行われる
[0092] CPU108のノレートコンプレックス 109力、ら、 列えば、、アドレス「0x00— 40— 00— 00 」の TLPフレームが送信されると、その TLPフレームが PCI— PCIブリッジ 3042を経 て、 PCIエクスプレスパケットスィッチフォワーディング機構 20のポート 2へ入力される
[0093] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 2から受信する。そ して、ポート 2に対応するグループ ID「2」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ ID「2」を書き込む。テーブルサー チ器 203は、転送先を決定するために、アドレス「0x00— 40— 00— 00」とグノレープ I D「2」とをキーにして、図 16の拡張アドレスルーティング用テーブルメモリを検索する 。検索の結果、エントリ E12がヒットし、出力ポート情報「3」が得られる。
[0094] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、 TLPフレーム のヘッダからグループ IDを削除する。フレーム転送器 207は、アドレス「0x00— 40
— 00— 00」の TLPフレームを、エンドポイント 105が接続されるポート 3から出力 TL Pフレーム 22として出力する。出力された TLPフレームは、 PCI— PCIブリッジ 3043 を介してエンドポイント 105に受信される。
[0095] 上記とは反対に、エンドポイント 105から CPU101へフレームが送信された場合、 P CIエクスプレス拡張スィッチ 304が以下のように動作する。
[0096] エンドポイント 105力、ら、例えば、アドレス「0x00— 08— 00— 00」の TLPフレーム が送信されると、そのフレームが PCI— PCIブリッジ 3043を経て PCIエクスプレスパ ケットスイッチフォワーディング機構 20のポート 3へ入力される。
[0097] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 3から受信する。そ して、ポート 3に対応するグループ ID「3」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ ID「3」を書き込む。テーブルサー チ器 203は、転送先を決定するために、アドレス「0x00— 08— 00— 00」とグノレープ I D「3」とをキーにして、図 16の拡張アドレスルーティング用テーブルメモリを検索する 。検索の結果、エントリ E13がヒットし、出力ポート情報「1」が得られる。
[0098] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、 TLPフレーム のヘッダからグループ IDを削除する。フレーム転送器 207は、アドレス「0x00— 08
— 00— 00」の TLPフレームを、 CPU101が接続されるポート 1から出力 TLPフレー ム 22として出力する。出力された TLPフレームは、 PCI— PCIブリッジ 3041を介して ルートコンプレックス 102で受信される。
[0099] エンドポイント 105から CPU108への TLPフレームの送信は以下のように行われる
[0100] エンドポイント 105力、ら、例えば、アドレス「0x00— 08— 30— 00」の TLPフレーム が送信されると、その TLPフレームが PCI— PCIブリッジ 3043を経て、 PCIエタスプ レスパケットスィッチフォワーディング機構 20のポート 3へ入力される。
[0101] PCIエクスプレスパケットスィッチフォワーディング機構 20の入力 TLPヘッダ書換器
205は、上記の TLPフレームを入力 TLPフレーム 21としてポート 3から受信する。そ して、ポート 3に対応するグループ ID「3」をグループ ID管理テーブルメモリ 2047から 取得し、入力 TLPフレーム 21のヘッダにグループ ID「3」を書き込む。テーブルサー チ器 203は、転送先を決定するために、アドレス「0x00— 08— 30— 00」とグノレープ I D「3」とをキーにして、図 16の拡張アドレスルーティング用テーブルメモリを検索する 。検索の結果、エントリ E14がヒットし、出力ポート情報「2」が得られる。
[0102] テーブルサーチ器 203は、出力 TLPヘッダ書換器 2051を用いて、 TLPフレーム のヘッダからグループ IDを削除する。フレーム転送器 207は、アドレス「0x00— 08 — 30— 00」の TLPフレームを、 CPU108が接続されるポート 2から出力 TLPフレー ム 22として出力する。出力された TLPフレームは、 PCI— PCIブリッジ 3042を介して ルートコンプレックス 109で受信される。
[0103] 本実施の形態の効果を説明する。
[0104] PCIエクスプレスパケットスィッチフォワーディング機構 20により、任意の PCI— PCI ブリッジ間で TLPフレームの転送が可能となる。これにより、ルートコンプレックス 102 とルートコンプレックス 109との間の TLPフレーム転送、および、複数のルートコンプ レックス 102及び 109からの同一エンドポイントへの TLPフレームの転送が可能であ る。また、 PCIエクスプレスパケットスィッチフォワーディング機構 20は、入力された T LPフレームのヘッダにグループ IDを設定するというヘッダ書換え処理を行った後、 その TLPフレームに対応するフォワーディングテーブルを使用する。これにより、複 数の CPU (101 , 108)で独自に管理されるアドレス空間に生じ得るアドレス競合を避 けること力 Sできる。したがって、本実施形態によれば、データ転送時の遅延の増大、 及び、 LSI回路規模の増大を招くフレームカプセル化を行うことなぐルートコンプレ ックス側につながる複数の CPU間の通信が可能になる。また、異なるルートコンプレ ッタスにつながる複数の CPUから同一のエンドポイントに対して通信することが可能 になる。
[0105] さらにまた、 PCIエクスプレスパケットスィッチフォワーディング機構 20は、 TLPフレ ームカ SIDルーティングフレームであり、且つ、マルチキャスト通信が設定されたもので ある場合に、マルチキャストテーブルメモリを参照して転送先情報を選択する。これに より、特定のデバイスに対してのマルチキャスト転送を行うことが可能となる。よって、 本実施の形態の PCIエクスプレス拡張スィッチ 304を使用すれば、 1種類のスィッチ だけで、特定のデバイスに対してのマルチキャスト転送を行うネットワークシステムを 構築すること力できる。この点を図 17を参照して説明する。
[0106] 図 17に、図 26に示すシステムと同等の機能を、本実施の形態に係る PCIエタスプ レス拡張スィッチ 304を用いて実現したシステムの構成を示す。 PCIエクスプレス拡 張スィッチ 304は、前述したように、拡張 IDルーティング TLPフレーム 9021 (図 6)を 使ったマルチキャスト転送を行うことができる。図 17に示すシステムでは、 CPU101 およびメモリ 103が接続されたルートコンプレックス 102と、複数の拡張ネットワーク用 フォワーディングエンジン 112〜； 114と力 PCIエクスプレス拡張スィッチ 304により相 互に接続される。
[0107] 図 17のシステムにおいて、マルチキャスト転送を行う際、拡張ネットワーク用フォヮ ーデイングエンジン 112〜114は、拡張 IDルーティング TLPフレーム 9021 (図 6)の マルチキャスト指示情報 903を「1」に設定する。また、マルチキャスト転送で使用する グループ番号をバス番号、デバイス番号、ファンクション番号に設定したフレームを、 PCIエクスプレス拡張スィッチ 304に送信する。 PCIエクスプレス拡張スィッチ 304は 、上記フレームを受信すると、テーブルサーチ器 203により、バス番号、デバイス番号 、ファンクション番号からなる 15ビットの情報を参照メモリアドレスとして、マルチキャス トテーブルメモリ 2046 (図 10)を検索する。そして、この検索により得た出力ポートを 用いて、マルチキャスト転送を実行する。図 10より、例えば、参照するメモリアドレスが 「0x7FFF」の場合、複数出力ポー卜情報は、「0000— 0000— 0001— 1100」であ る。この場合、ポート 3、ポート 4及びポート 5が、マルチキャスト転送に用いる出力ポ ートとなる。
[0108] また、図 17のシステムにおいてュニキャスト転送を行う場合は、図 21に示すアドレ スルーティングフレーム、または、図 22に示す IDルーティングフレームが使用される 。このとき、 PCIエクスプレス拡張スィッチ 304は、拡張アドレスルーティング用テープ ルメモリ 2044または拡張 IDルーティング用テーブルメモリ 2045を参照することにより 、ュニキャスト用の転送ポートを決定する。
[0109] また、マルチキャスト転送機能を有する本実施の形態の PCIエクスプレス拡張スイツ チ 304は、エンドポイントのデバイスの多重化により高信頼化が図られたコンピュータ システムにも適用できる。その適用例を図 18に示す。
[0110] 図 18に示すコンピュータシステムにおいて、 CPU101およびメモリ 103が接続され たルートコンプレックス 102は、現用のエンドポイント 105とその予備のエンドポイント 105'とに PCIエクスプレス拡張スィッチ 304を介して接続されている。 PCIエタスプレ ス拡張スィッチ 304は、正常時は、マルチキャスト転送機能により、ルートコンプレック ス 102からの送信フレームをエンドポイント 105と予備のエンドポイント 105'が接続さ れているポートとに対しマルチキャスト転送を行う。また、 PCIエクスプレス拡張スイツ チ 304は、エンドポイント 105からの受信フレームのみルートコンプレックス 102へ送 信する。これにより、エンドポイント 105及び予備のエンドポイント 105'は正常時は同 じ状態を保つことができる。
[0111] エンドポイント 105が故障した場合、 PCIエクスプレス拡張スィッチ 304は、予備の エンドポイント 105'からの受信フレームをルートコンプレックス 102へ送信する。これ により、エンドポイント 105のデバイスが故障しても、その動作を予備のエンドポイント 105'のデバイスが引き継ぐことができ、システムの高信頼化を図ることができる。
[0112] 以上本発明の実施の形態について説明した力 本発明は以上の例に限定されず、 その他各種の付加変更が可能である。上記実施形態では、有線で接続されたコンビ ユータシステムおよびネットワークシステムを前提として説明した力 有線または無線 にかかわらず、 PCIエクスプレス準拠のシステム環境全てに適用可能である。

Claims

請求の範囲
[1] それぞれに接続されたデバイスとの間で PCIエクスプレス準拠の TLPフレームを送 受信する複数のブリッジと、
前記複数のブリッジが接続される複数のポートを有し、前記複数のポートのレ、ずれ 力、から入力された TLPフレームの宛先情報と該 TLPフレームを入力したポートとの組 み合わせに応じて出力ポートを選定し該出力ポートから前記 TLPフレームを出力す るスィッチフォワーディング機構とを備えることを特徴とするスィッチ。
[2] 前記スィッチフォワーディング機構は、前記複数のブリッジに接続されたデバイスの うちの相互に接続すべきデバイスおよびその接続に用いるポートを識別するための グループ IDを記憶するグループ ID管理テーブルメモリと、 TLPフレームの宛先情報 と前記グループ ID管理テーブルメモリのグループ IDとに関連付けられた出力ポート の情報を記憶するフォワーディングテーブルと、前記複数のポートのレ、ずれかから入 力された TLPフレームのための出力ポートを前記フォワーディングテーブルから選定 し当該出力ポートから前記 TLPフレームを出力する転送制御部とを有することを特徴 とする請求項 1記載のスィッチ。
[3] 前記転送制御部は、 TLPフレームを入力したポートに対応するグループ IDを前記 グループ ID管理テーブルメモリから読み出して前記 TLPフレームのヘッダに設定す る入力ヘッダ書換器と、前記 TLPフレームの宛先情報と該 TLPフレームのヘッダに 設定されたグループ IDとに対応する出力ポートを前記フォワーディングテーブルから 選定するテーブルサーチ器と、前記テーブルサーチ器が選定した出力ポートから前 記 TLPフレームを出力するフレーム転送器とを有することを特徴とする請求項 2記載 のスィッチ。
[4] 前記入力ヘッダ書換器は、前記 TLPフレームのヘッダの予約領域に当該グループ
IDを設定することを特徴とする請求項 3記載のスィッチ。
[5] 前記グループ ID管理テーブルメモリは、グループ IDが付与された各ポートに接続 されるデバイスの種類を表す属性情報を記憶し、
前記スィッチフォワーディング機構は、前記テーブルサーチ器が選定した出力ポー トに関し前記グループ ID管理テーブルメモリに記憶されて!/、る属性情報が PCIェクス プレス準拠のルートコンプレックスまたはエンドポイントを表す場合に前記フレーム転 送器から出力すべき TLPフレームのヘッダに設定されたグループ IDを削除する出力 ヘッダ書換器を有することを特徴とする請求項 3又は 4記載のスィッチ。
[6] 前記入力ヘッダ書換器は、 TLPフレームを入力したポートに関し前記グループ ID 管理テーブルメモリに記憶されて!/、る属性情報が他のスィッチを表す場合、前記 TL Pフレームのヘッダに既に設定されているグループ IDを残すことを特徴とする請求項 5記載のスィッチ。
[7] 前記フォワーディングテーブルは、 IDルーティング用およびアドレスルーティング用 のフォワーディングテーブルを含み、
前記テーブルサーチ器は、前記フォワーディングテーブルのうちの前記 TLPフレー ムのルーティング形態に対応するフォワーディングテーブルから前記出力ポートを選 定することを特徴とする請求項 5又は 6記載のスィッチ。
[8] 前記アドレスルーティング用のフォワーディングテーブルは、 TLPフレームの宛先と してのデバイスにおけるメモリアドレスのオフセット量を規定したオフセット情報を含み 前記出力ヘッダ書換部は、前記 TLPフレーム転送器から出力すべき TLPフレーム の宛先情報を前記オフセット情報に従い書き換えることを特徴とする請求項 7記載の スィッチ。
[9] 前記フォワーディングテーブルは、 IDルーティング用のフォワーディングテープノレ が記憶する宛先情報と複数の出力ポートとの関連を規定したマルチキャストテーブル を含み、
前記テーブルサーチ器は、前記 TLPフレームのルーティング形態が IDルーティン グであり、かつ、前記 TLPフレームにマルチキャスト通信を指示する情報が設定され ている場合、前記 TLPフレームのための出力ポートを前記マルチキャストテーブルか ら選定することを特徴とする請求項 8記載のスィッチ。
[10] 前記グループ ID管理テーブルメモリは、それぞれルートコンプレックスを表す複数 の属性情報に対し相互に異なるグループ IDを記憶することを特徴とする請求項 5記 載のスィッチ。
[11] 前記グループ ID管理テーブルメモリは、特定のルートコンプレックスに接続された C PUが使用するエンドポイントに接続されたポートのグループ IDとして、前記特定のル ートコンプレックスに接続されるポートのグループ IDと同一のものを記憶することを特 徴とする請求項 10記載のスィッチ。
[12] 前記グループ ID管理テーブルメモリは、複数のルートコンプレックスに接続された 複数の CPUが共用するエンドポイントに接続されたポートのグループ IDとして、前記 エンドポイント専用のグループ IDを記憶することを特徴とする請求項 10記載のスイツ チ。
[13] さらに、前記グループ ID管理テーブルメモリおよび前記フォワーディングテーブル を外部装置からアクセス可能とする外部制御インタフェースを備えることを特徴とする 請求項 3記載のスィッチ。
[14] 請求項 1乃至 13のいずれ力、 1項に記載のスィッチと、前記スィッチおよび相互に異 なるいずれかの前記デバイスに接続された第 1の PCIエクスプレスバスおよび第 2の
PCIエクスプレスバスとを備えることを特徴とするシステム。
PCT/JP2007/065488 2006-08-09 2007-08-08 Commutateur pour une interconnexion, et système Ceased WO2008018485A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008528845A JP4998469B2 (ja) 2006-08-09 2007-08-08 インターコネクション用スイッチおよびシステム
US12/376,609 US8615623B2 (en) 2006-08-09 2007-08-08 Internet connection switch and internet connection system
CN2007800296916A CN101501660B (zh) 2006-08-09 2007-08-08 因特网连接交换机和因特网连接系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006216495 2006-08-09
JP2006-216495 2006-08-09

Publications (1)

Publication Number Publication Date
WO2008018485A1 true WO2008018485A1 (fr) 2008-02-14

Family

ID=39033014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/065488 Ceased WO2008018485A1 (fr) 2006-08-09 2007-08-08 Commutateur pour une interconnexion, et système

Country Status (4)

Country Link
US (1) US8615623B2 (ja)
JP (1) JP4998469B2 (ja)
CN (1) CN101501660B (ja)
WO (1) WO2008018485A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079816A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd Ｐｃｉデバイス共有方法
JP2010117872A (ja) * 2008-11-13 2010-05-27 Sony Corp 割込検出装置および情報処理システム
JP2011014023A (ja) * 2009-07-03 2011-01-20 Nec Corp 中継手段、中継システム、中継方法およびプログラム
US20110206051A1 (en) * 2008-11-13 2011-08-25 Jun Suzuki I/o bus system
JP2013196593A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd データ処理装置、データ処理方法及びプログラム
JP2014518477A (ja) * 2011-06-14 2014-07-28 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド ポイントツーポイントシリアルリンクプロトコル用の無線通信
US8938567B2 (en) 2010-03-11 2015-01-20 Ricoh Company, Limited Communication apparatus, communication system and adapter
JP2015503154A (ja) * 2012-10-27 2015-01-29 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． Ｐｃｉｅスイッチング・ネットワークにおけるパケット伝送を実現する方法、装置、システム、及び記憶媒体
WO2016020981A1 (ja) * 2014-08-05 2016-02-11 株式会社アキブシステムズ 経路制御装置及び経路制御方法並びにコンピュータシステム及びプログラム及びプログラムを格納した記憶媒体
WO2019188000A1 (ja) * 2018-03-30 2019-10-03 株式会社ソシオネクスト 情報処理システム、情報処理方法及び半導体装置
WO2019203331A1 (ja) * 2018-04-18 2019-10-24 富士通クライアントコンピューティング株式会社 中継装置および情報処理システム
JP2019192217A (ja) * 2018-04-18 2019-10-31 富士通クライアントコンピューティング株式会社 情報処理システム
JP2020109555A (ja) * 2018-12-28 2020-07-16 富士通クライアントコンピューティング株式会社 情報処理システム
JP2020190847A (ja) * 2019-05-20 2020-11-26 富士通クライアントコンピューティング株式会社 情報処理システム、及び中継装置
GB2586957A (en) * 2019-04-18 2021-03-17 Fujitsu Client Computing Ltd Repeating device and information processing system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102771093B (zh) * 2010-02-22 2014-12-10 日本电气株式会社 通信控制系统、切换节点、通信控制方法
US20120063454A1 (en) * 2010-08-30 2012-03-15 Velez-Mccaskey Ricardo Apparatus and method in a system for multicast data transfers over an interconnected bus
US20120155471A1 (en) * 2010-12-15 2012-06-21 Electronics And Telecommunications Research Institute Method and apparatus for routing
EP2690831A4 (en) 2011-03-23 2014-12-10 Nec Corp COMMUNICATION CONTROL SYSTEM, COMMUNICATION NODES AND COMMUNICATION CONTROL METHOD
US8966172B2 (en) * 2011-11-15 2015-02-24 Pavilion Data Systems, Inc. Processor agnostic data storage in a PCIE based shared storage enviroment
JP5928087B2 (ja) * 2012-03-29 2016-06-01 富士通株式会社 スイッチ、情報処理装置および通信制御方法
US20140044129A1 (en) * 2012-08-10 2014-02-13 Duane Edward MENTZE Multicast packet forwarding in a network
US10452316B2 (en) 2013-04-17 2019-10-22 Apeiron Data Systems Switched direct attached shared storage architecture
KR102147629B1 (ko) * 2013-11-18 2020-08-27 삼성전자 주식회사 플렉시블 서버 시스템
US9003090B1 (en) * 2014-03-25 2015-04-07 DSSD, Inc. PCI express fabric routing for a fully-connected mesh topology
US9819579B2 (en) * 2014-09-22 2017-11-14 Ciena Corporation Header space analysis extension systems and methods for transport networks
US9419918B2 (en) * 2014-11-07 2016-08-16 Futurewei Technologies, Inc. Non-transparent bridge method and apparatus for configuring high-dimensional PCI-express networks
KR102219759B1 (ko) * 2015-01-09 2021-02-25 삼성전자주식회사 저장 장치, 그것을 포함하는 데이터 저장 시스템 및 그것의 동작 방법
US10348348B2 (en) * 2017-03-06 2019-07-09 Ford Global Technologies, Llc Method and apparatus for vehicle message routing
KR102352156B1 (ko) 2017-10-26 2022-01-17 삼성전자주식회사 Arp를 수행하는 슬레이브 장치 및 이의 동작 방법
US10678732B1 (en) * 2019-02-27 2020-06-09 Liqid Inc. Expanded host domains in PCIe fabrics
US11995017B2 (en) * 2021-06-09 2024-05-28 Enfabrica Corporation Multi-plane, multi-protocol memory switch fabric with configurable transport
US12353320B2 (en) * 2023-08-31 2025-07-08 Advanced Micro Devices, Inc Low latency offloading of collectives over a switch

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337805A (ja) * 2002-05-20 2003-11-28 Mitsubishi Electric Corp マルチプロセッサシステムおよびデータ転送方法
JP2005317021A (ja) * 2004-04-28 2005-11-10 Microsoft Corp 設定可能なｐｃｉエクスプレススイッチ
JP2005318074A (ja) * 2004-04-27 2005-11-10 Hitachi Ltd ストレージグループ設定方法および装置
JP2005332386A (ja) * 2004-04-28 2005-12-02 Microsoft Corp 主コンピューティング環境に対する補助コンピューティング環境としてのタスク指向処理
JP2006195821A (ja) * 2005-01-14 2006-07-27 Fujitsu Ltd 情報処理システムの制御方法、情報処理システム、ダイレクトメモリアクセス制御装置、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2605544B2 (ja) 1992-04-08 1997-04-30 三菱電機株式会社 インタネットワーク装置
JPH0964886A (ja) 1995-08-25 1997-03-07 Hitachi Cable Ltd スイッチングハブ
US6836813B1 (en) 2001-11-30 2004-12-28 Advanced Micro Devices, Inc. Switching I/O node for connection in a multiprocessor computer system
US7120722B2 (en) * 2002-05-14 2006-10-10 Intel Corporation Using information provided through tag space
JP2005286681A (ja) 2004-03-30 2005-10-13 Allied Telesis Holdings Kk 中継機器
US7716409B2 (en) * 2004-04-27 2010-05-11 Intel Corporation Globally unique transaction identifiers
US20050262269A1 (en) 2004-05-20 2005-11-24 Pike Jimmy D System and method for information handling system PCI express advanced switching
US7694047B1 (en) * 2005-02-17 2010-04-06 Qlogic, Corporation Method and system for sharing input/output devices
US7293129B2 (en) * 2005-04-22 2007-11-06 Sun Microsystems, Inc. Flexible routing and addressing
JP4394624B2 (ja) 2005-09-21 2010-01-06 株式会社日立製作所 計算機システム及びｉ／ｏブリッジ
US7430630B2 (en) * 2005-10-27 2008-09-30 International Business Machines Corporation Routing mechanism in PCI multi-host topologies using destination ID field
JP2007272871A (ja) * 2006-03-10 2007-10-18 Ricoh Co Ltd 情報処理装置およびデータ通信方法
US7752346B2 (en) * 2007-12-21 2010-07-06 Aprius, Inc. Universal routing in PCI-Express fabrics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337805A (ja) * 2002-05-20 2003-11-28 Mitsubishi Electric Corp マルチプロセッサシステムおよびデータ転送方法
JP2005318074A (ja) * 2004-04-27 2005-11-10 Hitachi Ltd ストレージグループ設定方法および装置
JP2005317021A (ja) * 2004-04-28 2005-11-10 Microsoft Corp 設定可能なｐｃｉエクスプレススイッチ
JP2005332386A (ja) * 2004-04-28 2005-12-02 Microsoft Corp 主コンピューティング環境に対する補助コンピューティング環境としてのタスク指向処理
JP2006195821A (ja) * 2005-01-14 2006-07-27 Fujitsu Ltd 情報処理システムの制御方法、情報処理システム、ダイレクトメモリアクセス制御装置、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"NEC Electronics wa. Ima Okyakusama to Tomoni, Kakushin no Mirai e", NEC ELECTRONICS CORP., 27 September 2004 (2004-09-27), XP003020771, Retrieved from the Internet <URL:http://www.necel.com/ad/ja/solution/pdf/solution2.pdf> *
"PEX 8518 Flexible & Versatile PCI Express Switch, Version 1.1", PLX TECHNOLOGY, 2005, XP003020772, Retrieved from the Internet <URL:http://www.paltek.co.jp/plx/products/01_PCI-Express/01_pdf/PEX8518_ProductBrief.pdf> *
YOKOGAWA T.: "PCI Express no Device & Board Sekkei - Butsuriso, Mac-so no Jisso kara Application made -", DESIGN WAVE MAGAZINE, vol. 11, no. 1, pages 59 - 61, XP003020770 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079816A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd Ｐｃｉデバイス共有方法
JP2010117872A (ja) * 2008-11-13 2010-05-27 Sony Corp 割込検出装置および情報処理システム
US20110206051A1 (en) * 2008-11-13 2011-08-25 Jun Suzuki I/o bus system
US9213662B2 (en) * 2008-11-13 2015-12-15 Nec Corporation I/O bus system
JP2011014023A (ja) * 2009-07-03 2011-01-20 Nec Corp 中継手段、中継システム、中継方法およびプログラム
US9361249B2 (en) 2010-03-11 2016-06-07 Ricoh Company, Ltd. Communication apparatus, communication system and adapter
US8938567B2 (en) 2010-03-11 2015-01-20 Ricoh Company, Limited Communication apparatus, communication system and adapter
JP2014518477A (ja) * 2011-06-14 2014-07-28 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド ポイントツーポイントシリアルリンクプロトコル用の無線通信
JP2013196593A (ja) * 2012-03-22 2013-09-30 Ricoh Co Ltd データ処理装置、データ処理方法及びプログラム
US9652426B2 (en) 2012-10-27 2017-05-16 Huawei Technologies Co., Ltd. Method, device, system and storage medium for implementing packet transmission in PCIE switching network
US9535867B2 (en) 2012-10-27 2017-01-03 Huawei Technologies Co., Ltd. Method, device, system and storage medium for implementing packet transmission in PCIE switching network
JP2015503154A (ja) * 2012-10-27 2015-01-29 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． Ｐｃｉｅスイッチング・ネットワークにおけるパケット伝送を実現する方法、装置、システム、及び記憶媒体
US10204070B2 (en) 2012-10-27 2019-02-12 Huawei Technologies Co., Ltd. Method, device, system and storage medium for implementing packet transmission in PCIE switching network
JPWO2016020981A1 (ja) * 2014-08-05 2017-05-25 株式会社アキブシステムズ 経路制御装置及び経路制御方法並びにコンピュータシステム及びプログラム及びプログラムを格納した記憶媒体
WO2016020981A1 (ja) * 2014-08-05 2016-02-11 株式会社アキブシステムズ 経路制御装置及び経路制御方法並びにコンピュータシステム及びプログラム及びプログラムを格納した記憶媒体
US11003611B2 (en) 2018-03-30 2021-05-11 Socionext Inc. Information processing system, information processing method, and semiconductor device
WO2019188000A1 (ja) * 2018-03-30 2019-10-03 株式会社ソシオネクスト 情報処理システム、情報処理方法及び半導体装置
JP2019179333A (ja) * 2018-03-30 2019-10-17 株式会社ソシオネクスト 情報処理システム、情報処理方法及び半導体装置
JP7181447B2 (ja) 2018-03-30 2022-12-01 株式会社ソシオネクスト 情報処理システム、情報処理方法及び半導体装置
JP2019192217A (ja) * 2018-04-18 2019-10-31 富士通クライアントコンピューティング株式会社 情報処理システム
US10795851B2 (en) 2018-04-18 2020-10-06 Fujitsu Client Computing Limited Relay device and information processing system
WO2019203331A1 (ja) * 2018-04-18 2019-10-24 富士通クライアントコンピューティング株式会社 中継装置および情報処理システム
US10942793B2 (en) 2018-12-28 2021-03-09 Fujitsu Client Computing Limited Information processing system
JP2020109555A (ja) * 2018-12-28 2020-07-16 富士通クライアントコンピューティング株式会社 情報処理システム
GB2586957A (en) * 2019-04-18 2021-03-17 Fujitsu Client Computing Ltd Repeating device and information processing system
JP2020190847A (ja) * 2019-05-20 2020-11-26 富士通クライアントコンピューティング株式会社 情報処理システム、及び中継装置

Also Published As

Publication number Publication date
US20100180062A1 (en) 2010-07-15
JP4998469B2 (ja) 2012-08-15
JPWO2008018485A1 (ja) 2009-12-24
CN101501660A (zh) 2009-08-05
CN101501660B (zh) 2011-11-16
US8615623B2 (en) 2013-12-24

Similar Documents

Publication Publication Date Title
JP4998469B2 (ja) インターコネクション用スイッチおよびシステム
US8412875B2 (en) Switch and network bridge apparatus
JP5477707B2 (ja) Ｉ／ｏシステムおよびｉ／ｏ制御方法
JP5285375B2 (ja) ネットワークオンチップ、およびネットワークオンチップで以ってデータを処理する方法
US8625615B2 (en) PCI express switch, PCI express system, and network control method
US9025495B1 (en) Flexible routing engine for a PCI express switch and method of use
US9479461B2 (en) Computer system and method for communicating data between computers
US9146890B1 (en) Method and apparatus for mapped I/O routing in an interconnect switch
JP5310175B2 (ja) スイッチシステム、及びスイッチシステムの制御方法
JP5928087B2 (ja) スイッチ、情報処理装置および通信制御方法
US11714776B2 (en) Enabling a multi-chip daisy chain topology using peripheral component interconnect express (PCIe)
CN105095139A (zh) 集成电路总线系统及其数据操作和传输方法
US9753883B2 (en) Network interface device that maps host bus writes of configuration information for virtual NIDs into a small transactional memory
US10305825B2 (en) Bus control device, relay device, and bus system
US8352667B2 (en) I/O connection system and I/O connection method
KR101559089B1 (ko) 장치의 컴포넌트들 간에 메모리 자원들을 공유하기 위한 통신 프로토콜
JP5110156B2 (ja) スイッチ及びネットワークブリッジ装置
US8069273B2 (en) Processing module
US20150222513A1 (en) Network interface device that alerts a monitoring processor if configuration of a virtual nid is changed
US20170357594A1 (en) Transactional memory that is programmable to output an alert if a predetermined memory write occurs
JP2013196593A (ja) データ処理装置、データ処理方法及びプログラム
JP6597925B1 (ja) 情報処理システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780029691.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07792156

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008528845

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12376609

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 07792156

Country of ref document: EP

Kind code of ref document: A1