Development of a fast DRAM analyzer and measurement of typical and critical memory access sequences in applications [Elektronische Ressource] / Simon Albert

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2008
• Nombre de lectures: 43
• Langue: Deutsch
• Poids de l'ouvrage: 1 Mo

Extrait

Lehrstuhl fur˜ Integrierte Systeme
der Technischen Universit˜at Munc˜ hen
Development of a fast DRAM Analyzer and
Measurement of Typical and Critical Memory
Access Sequences in Applications
Simon Albert
Vollst˜andiger Abdruck der von der Fakult˜at fur˜ Elektrotechnik und Information-
stechnik der Technischen Universit˜at Munc˜ hen zur Erlangung des akademischen
Grades eines
Doktor-Ingenieurs
genehmigten Dissertation.
Vorsitzende: Univ.-Prof. Dr. rer. nat. Doris Schmitt-Landsiedel
Prufer˜ der Dissertation:
1. Univ.-Prof. Dr. Ing. Ingolf Ruge (em.)
2. Univ.-Prof. Dr. Ing. Klaus Diepold
Die Dissertation wurde am 25.02.2008 bei der Technischen Universit˜at Munc˜ hen
eingereichtunddurchdieFakult˜atfur˜ ElektrotechnikundInformationstechnikam
23.07.2008 angenommen.Bibliografische Information der Deutschen Nationalbibliothek
Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;
detaillierte bibliografische Daten sind im Internet über
http://dnb.d-nb.de abrufbar.
ISBN 978-3-89963-888-2
© Verlag Dr. Hut, München 2008
Sternstr. 18, 80538 München
Tel.: [phone]
www.dr.hut-verlag.de
Die Informationen in diesem Buch wurden mit großer Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen
werden. Verlag, Autoren und ggf. Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell
verbliebene fehlerhafte Angaben und deren Folgen.
Alle Rechte, auch die des auszugsweisen Nachdrucks, der Vervielfältigung und Verbreitung in besonderen Verfahren wie
fotomechanischer Nachdruck, Fotokopie, Mikrokopie, elektronische Datenaufzeichnung einschließlich Speicherung und
Übertragung auf weitere Datenträger sowie Übersetzung in andere Sprachen, behält sich der Autor vor.
1. Auflage 2008Contents
1 Introduction 1
1.1 Evolution of Computer Systems . . . . . . . . . . . . . . . . . . . . 1
1.2 Outline. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Memory Systems 5
2.1 Memory Hierarchies . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Random Access electrically rewritable Memory . . . . . . . . . . . . 5
2.2.1 SRAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.2 Flash Memory . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.3 SDRAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Hitting the Memory Wall . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 Computer System Architecture . . . . . . . . . . . . . . . . . . . . 9
2.4.1 Modern Computer Systems . . . . . . . . . . . . . . . . . . 9
2.4.2 Operation Modes of DDR-SDRAM . . . . . . . . . . . . . . 13
2.4.3 Options for SDRAM Controllers . . . . . . . . . . . . . . . . 20
3 Evaluation of Memory Access Sequences 25
3.1 Execution driven Simulation . . . . . . . . . . . . . . . . . . . . . . 26
3.2 Trace driven Simulation . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4 Measurement Hardware 33
4.1 Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.1 Probe Head . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.2 FPGA Board . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.3 PC Backend . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1.4 External Triggering . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 Veriflcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5 DRAM Performance Analysis 45
5.1 Critical DRAM Timings . . . . . . . . . . . . . . . . . . . . . . . . 45
iii CONTENTS
5.1.1 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.1.3 Performance Limitations of future Memory Systems . . . . . 52
5.2 Statistical Modelling of SDRAM Parameter Changes . . . . . . . . 53
5.2.1 Changing SDRAM Timings . . . . . . . . . . . . . . . . . . 53
5.2.2 the SDRAM Operation Frequency . . . . . . . . . 62
5.2.3 Estimating Intercommand Spacing . . . . . . . . . . . . . . 71
6 Reproducibility 79
6.1 Deviation of Key Figures . . . . . . . . . . . . . . . . . . . . . . . . 81
6.2 Local Distribution of Accesses . . . . . . . . . . . . . . . . . . . . . 85
6.3 Reproducibility and SDRAM Timings . . . . . . . . . . . . . . . . . 90
7 Conclusion 95
7.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
7.2 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.3 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7.4 Extensions and Future Work . . . . . . . . . . . . . . . . . . . . . . 99
A DRAM Timings 103
A.1 Intra Bank Timings . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
A.1.1 RAS to CAS delay (t ) . . . . . . . . . . . . . . . . . . . 103RCD
A.1.2 CAS Latency (CL) . . . . . . . . . . . . . . . . . . . . . . . 103
A.1.3 Row Active Strobe (t ) . . . . . . . . . . . . . . . . . . . 105RAS
A.1.4 Row Precharge Time (t ) . . . . . . . . . . . . . . . . . . . 105RP
A.1.5 Row Cycle Time (t ) . . . . . . . . . . . . . . . . . . . . . 105RC
A.1.6 Write to Read Delay (t ) . . . . . . . . . . . . . . . . . . 105WTR
A.1.7 Write Recovery Time (t ) . . . . . . . . . . . . . . . . . . 105WR
A.1.8 Refresh Cycle Time (t ) . . . . . . . . . . . . . . . . . . . 105RFC
A.2 Inter Bank Timings . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
A.2.1 CAS to CAS Delay (t ) . . . . . . . . . . . . . . . . . . . 106CCD
A.2.2 RAS to RAS Delay (t ) . . . . . . . . . . . . . . . . . . . 106RRD
A.2.3 Four Activate Window (t ) . . . . . . . . . . . . . . . . . 106FAW
B Conflgurations 107
B.1 PC System Conflguration . . . . . . . . . . . . . . . . . . . . . . . 107
B.2 SDRAM . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.3 Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.3.1 3D{Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.3.2 SPEC 2000 Suite . . . . . . . . . . . . . . . . . . . . . . . . 109CONTENTS iii
C Calculations 111List of Figures
1.1 Worldwide DRAM Component Sales by Generation . . . . . . . . . 2
2.1 Memory Hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Primary Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 SRAM Cell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.4 Von Neumann vs. Harvard Architecture . . . . . . . . . . . . . . . . 10
2.5 Personal Computer System . . . . . . . . . . . . . . . . . . . . . . . 11
2.6 DRAM Cell Array . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.7 1Gibit DDR2 SDRAM . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.8 Typical Read Sequence (worst case) . . . . . . . . . . . . . . . . . . 17
2.9 Interleaved Read Access to difierent Banks . . . . . . . . . . . . . . 17
2.10 DDR2 Finite State Machine . . . . . . . . . . . . . . . . . . . . . . 19
2.11 DRAM Modules, Ranks, Channels. . . . . . . . . . . . . . . . . . . 20
2.12 Address Translation from virtual Addresses to DRAM Addresses . . 21
2.13 Latency Reduction by Transaction Splitting . . . . . . . . . . . . . 21
3.1 Trace driven versus execution driven Simulation . . . . . . . . . . . 26
3.2 Asynchronous Timing. . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Traditional Measurement of Memory Access Sequences . . . . . . . 31
4.1 Trace Acquisition Hardware . . . . . . . . . . . . . . . . . . . . . . 34
4.2 Probe Head . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.3 32bit Sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.4 High Speed Sampling Frontend . . . . . . . . . . . . . . . . . . . . 36
4.5 Clock Distribution Network . . . . . . . . . . . . . . . . . . . . . . 38
4.6 Virtual Endpoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.7 Ethernet Frame . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.8 Frames within Superblock . . . . . . . . . . . . . . . . . . 42
4.9 Distribution of Superblocks to Hard Disk Drives . . . . . . . . . . . 42
5.1 CA-Bus Utilization . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.2 Pulling in of non-ND-Commands in Place of Deselects . . . . . . . . 48
ivLIST OF FIGURES v
5.3 CA-bus Utilization of selected SPEC 2000 Benchmarks . . . . . . . 49
5.4 of 3D Benchmarks . . . . . . . . . . . . 50
5.5 Variation of CA-bus Utilization of SPEC 2000 Benchmarks . . . . . 51
5.6 V of of selected 3D Benc . . . . . 51
5.7 Average shortest execution Sequence of selected 3D-Benchmarks . . 52
5.8 Temporal Spacing of Command Pairs belonging to a particular
SDRAM Timing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.9 Histogram Changes caused by Changes of SDRAM Timings . . . . 56
5.10 Performance Impact of SDRAM Parameter Changes . . . . . . . . . 59
5.11 Fraction of Time spent on difierent SDRAM Timings . . . . . . . . 60
5.12 Changing SDRAM Operation Frequency: Methodology . . . . . . . 62
5.13 Discrete and continuous Probability Density Function of Accesses
at difierent Clock Frequencies . . . . . . . . . . . . . . . . . . . . . 65
5.14 Performance Impact of SDRAM Operating Frequency Changes . . . 66