Impact of Location on Content Delivery [Elektronische Ressource] / Bernhard Ager. Betreuer: Anja Feldmann

Sujets

• Informatik

Informations

• Publié par: technische_universitat_berlin
• Publié le: 01 janvier 2011
• Nombre de lectures: 16
• Langue: English
• Poids de l'ouvrage: 2 Mo

Extrait

¨TECHNISCHE UNIVERSITAT BERLIN
¨ ¨FAKULTAT FUR ELEKTROTECHNIK UND INFORMATIK
¨LEHRSTUHL FUR INTELLIGENTE NETZE UND
MANAGEMENT VERTEILTER SYSTEME
ImpactofLocationonContentDelivery
vorgelegtvon
BernhardAger(Dipl.-Inf.)
vonderFakultat¨ IV–ElektrotechnikundInformatik
derTechnischenUniversitat¨ Berlin
zurErlangungdesakademischenGrades
DOKTOR DER NATURWISSENSCHAFTEN (DR. RER. NAT.)
genehmigteDissertation
Promotionsausschuss:
Vorsitzender: Prof. Dr. Jean-PierreSeifert,TUBerlin
Gutachterin: Prof. AnjaFeldmann,Ph.D.,TUBerlin
Gutachter: Prof. BruceMaggs,Ph.D.,DukeUniversity
Gutachter: Prof. Dr. habil. OdejKao,TUBerlin
TagderwissenschaftlichenAussprache: 25. Juni2011
Berlin2011
D8324Abstract
Theincreasingnumberofusersaswellastheirdemandformoreandrichercon-
tent has led to an exponential growth of Internet traffic for more than 15 years.
Inaddition,newapplicationsandusecaseshavechangedthetypeoftraffic. For
example,socialnetworkingenablesuserstopublishtheirowncontent. This user
generated content is often published on popular sites such as YouTube, Twitter,
andFacebook. Anotherexamplearetheofferingsofinteractiveandmulti-media
content by content providers, e.g., Google Maps or IPTV services. With the in-
troduction of peer-to-peer (P2P) protocols in 1998 an even more radical change
emergedbecauseP2Pprotocolsallowuserstodirectlyexchangelargeamountsof
content: The peers transfer data without the need for an intermediary and often
centralized server. However, as shown by recent studies Internet traffic is again
dominatedbyHTTP,mostlyattheexpenseofP2P.
This traffic growth increases the demands on the infrastructure components
that form the Internet, e.g., servers and routers. Moreover, most of the traffic
is generated by a few very popular services. The enormous demand for such
popular content cannot be satisfied by the traditional hosting model in which
content is located on a single server. Instead, content providers need to scale up
theirdeliveryinfrastructure,e.g.,byusingreplicationinlargedatacentersorby
buying service from content delivery infrastructures, e.g., Akamai or Limelight.
Moreover,notonlycontentprovidershavetocopewiththedemand: Thenetwork
infrastructurealsoneedstobeconstantlyupgradedtokeepupwiththegrowing
demandforcontent.
In this thesis we characterize the impact of content delivery on the network.
We utilize data sets from both active and passive measurements. This allows us
tocoverawiderangeofabstractionlevelsfromadetailedprotocollevelviewof
several content delivery mechanisms to the high-level picture of identifying and
mappingthecontentinfrastructuresthatarehostingthemostpopularcontent.
We find that caching content is still hard and that the user’s choice of DNS
resolvers has a profound impact on the server selection mechanism of content
distribution infrastructures. We propose Web content cartography to infer how
content distribution infrastructures are deployed and what the role of different
organizations in the Internet is. We conclude by putting our findings in the con-
text of contemporary work and give recommendations on how to improve con-
tentdeliverytoallpartiesinvolved: users,Internetserviceproviders,andcontent
distributioninfrastructures.
56Zusammenfassung
SteigendeBenutzerzahlenundsteigendeInternetnutzungsindseitub¨ er15Jahren
verantwortlich fur¨ ein exponentielles Wachstum des Internetverkehrs. Darub¨ er
hinaus haben neue Applikationen und Anwendungsfa¨lle zu einer Vera¨nderung
der Eigenschaften des Verkehrs gefuh¨ rt. Zum Beispiel erlauben soziale Netze
dem Benutzer die Vero¨ffentlichung eigener Inhalte. Diese benutzergenerierten In-
haltewerdenha¨ufigaufbeliebtenWebseitenwieYouTube,TwitteroderFacebook
publiziert. Weitere Beispiele sind die Angebote an interaktiven oder multime-
dialen Inhalten wie Google Maps oder Fernsehdienste (IPTV). Die Einfuh¨ rung
vonPeer-to-Peer-Protokollen(P2P)imJahre1998bewirkteeinennochradikaleren
Wandel, da sie den direkten Austausch von großen Mengen an Daten erlauben:
Die Peers ub¨ ertragen die Daten ohne einen dazwischenliegenden, oft zentral-
isierten Server. Allerdings zeigen aktuelle Forschungsarbeiten, dass Internetver-
kehrwiedervonHTTPdominiertwird,zumGroßteilaufKostenvonP2P.
DiesesVerkehrswachstumerho¨htdieAnforderungenandieKomponentenaus
denen das Internet aufgebaut ist, z.B. Server und Router. Darub¨ er hinaus wird
der Großteil des Verkehrs von wenigen, sehr beliebten Diensten erzeugt. Die
gewaltigeNachfragenachsolchenbeliebtenInhaltenkannnichtmehrdurchdas
traditionelleHostingmodellgedecktwerden, beidemjederInhaltnuraufeinem
Server verfug¨ bar gemacht wird. Stattdessen mus¨ sen Inhalteanbieter ihre Infras-
trukturausweiten,z.B.indemsiesieingroßenDatenzentrenvervielfa¨ltigen,oder
indemsiedenDiensteinerContentDistributionInfrastructurewieAkamaioder
Limelight in Anspruch nehmen. Darub¨ er hinaus mus¨ sen nicht nur die Anbieter
vonInhaltensichderNachfrageanpassen: AuchdieNetzwerkinfrastrukturmuss
kontinuierlichmitdersta¨ndigsteigendenNachfragemitwachsen.
In dieser Doktorarbeit charakterisieren wir die Auswirkung von Content De-
livery auf das Netzwerk. Wir nutzen Datensa¨tze aus aktiven und aus passiven
Messungen,dieesunsermo¨glichen,dasProblemaufverschiedenenAbstraktion-
sebenenzuuntersuchen: vomdetailliertenVerhaltenaufderProtokollebenevon
verschiedenen Content Delivery-Methoden bis hin zum ganzheitlichen Bild des
Identifizierens und Kartographierens der Content Distribution Infrastructures,
diefur¨ diepopula¨rstenInhalteverantwortlichsind.
Unsere Ergebnisse zeigen, dass das Cachen von Inhalten immer noch ein
schwieriges Problem darstellt und dass die Wahl des DNS-Resolvers durch den
Nutzereinenausgepra¨gtenEinflußaufdenServerwahlmechanismusderContent
DistributionInfrastructurehat. Wirschlagenvor,Webinhaltezukartographieren,
um darauf ruc¨ kschließen zu ko¨nnen, wie Content Distribution Infrastructures
7ausgerollt sind und welche Rollen verschiedene Organisationen im Internet ein-
nehmen. WirschließendieArbeitab,indemwirunsereErgebnissemitzeitnahen
Arbeiten vergleichen und geben Empfehlungen, wie man die Auslieferung von
Inhaltenweiterverbessernkann,anallebetroffenenParteien: Benutzer,Internet-
dienstanbieterundContentDistributionInfrastructures.
8Contents
1 Introduction 15
1.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.1.1 BringingContentNearertotheUserviaCaching . . . . . . 17
1.1.2 TheRoleofDNSinSelectingServers . . . . . . . . . . . . . 17
1.1.3 WebContentCartography . . . . . . . . . . . . . . . . . . . . 17
1.1.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2 StructureoftheThesis . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2 Background 19
2.1 InternetTrafficToday . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.1 ApplicationVolumeandTrafficMix . . . . . . . . . . . . . . 19
2.1.2 AShiftintheInternetTopology . . . . . . . . . . . . . . . . 20
2.1.3 ContentInfrastructures . . . . . . . . . . . . . . . . . . . . . 20
2.2 Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 DomainNameSystem(DNS) . . . . . . . . . . . . . . . . . . 21
2.2.2 HypertextTransferProtocol(HTTP) . . . . . . . . . . . . . . 23
2.2.3 NNTP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4 BitTorrent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.5 eDonkey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3 OntheEffect(iveness)ofCaching 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 DataSets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3 TerminologyandApproach . . . . . . . . . . . . . . . . . . . . . . . 31
3.3.1 Peer-to-Peer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.2 Client-Server . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.1 Peer-to-Peer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.4.2 NNTP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4.3 HTTP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4 DNSintheWild 43
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
9Contents
4.2 DomainNameSystem . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.3 Measurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.4 EvaluationofDNSresolvers . . . . . . . . . . . . . . . . . . . . . . . 47
4.4.1 Responsiveness . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4.2 ResolverInfrastructure . . . . . . . . . . . . . . . . . . . . . . 49
4.4.3 ComparingDNSAnswers . . . . . . . . . . . . . . . . . . . . 52
4.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5 WhoisWhoinContent-land? 57
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .