A systematic Characterization of Application Sensitivity to Network Performance

15
and then describe how we added controllable delays to the different system components. Next, we
provide an outline of the micro-benchmark calibration technique used to make sure the apparatus is
operating correctly. We then document two variations of the basic apparatus, named after the com-
munications layers built on top of the basic apparatus: MPI and TCP/IP. The next section in Chapter 2
describes the single parameter at-a-time approach we have chosen to use for our experiments, as op-
posed to some other combination of scaling the parameters. We then document alternative models
to LogGP, followed by a discussion of why LogGP is the most appropriate choice for our work. We
conclude Chapter 2 with a description of four related experiments an compare their methodologies
to that of this thesis using the framework we developed in Section 1.1.
The next three chapters describe the sensitivity findings of our methodology for three ap-
plication suites. Each chapter first characterizes the applications. Next, we present analytic models
of the applications. We then present the sensitivity results along with a description of the utility of
the models. Finally, we summarize the results of each suite.
Chapter 3 presents the results for a set of Split-C and Active Message programs. Our ap-
paratus performed admirably, exposing sensitivity curves for all the parameters. The apparatus ex-
posed a number of non-linearities in the sensitivity curves and found an interesting anomaly in one
application. We find that these programs are very sensitive to overhead and gap, and quantitatively
less sensitive to latency and Gap. Our linear models were good at predicting slowdowns due to in-
creased overhead, were less successful at predicting the effects of gap, and rather poor at predicting
the effects of increased latency and per-byte bandwidth.
Chapter 4 presents the sensitivities of some of the NAS Parallel Benchmarks (NPB). Com-
munication patterns of the NPB are much different from the Split-C/AM programs. Communication
is dominated by few, large messages. Unlike the Split-C/AM programs, the NPB are insensitive to
overhead, gap and latency. They do, however, show some sensitivity to Gap. The primary network
architectural feature relevant to these applications is network bisection bandwidth.
Chapter 5 presents the sensitivity results and models of Sun’s Network File System (NFS).
We find that like the Split-C programs, NFS is quite sensitive to added software overhead. NFS also
displayed sensitivity to latencies in the LAN region of milliseconds, but showed a flat region for
network latency under 150 microseconds.
In Chapter 6 we explore the SPINE system which applies some of the results of the previ-
ous chapters. One goal of SPINE is to improve performance by reducing overhead. In effect, SPINE
reduces overhead by pushing some of the application work into the other parameters via intelligent
network interfaces. The chapter briefly introduces a pipelining framework to better model the com-

---

16
munication system, followed by the performance results of the actual system. We show that SPINE’s
performance improvements are mixed; it reduces overhead but does not improve the other parame-
ters. The utility of the SPINE approach thus depends on the application context. We conclude the
chapter with some thoughts on areas of future research.
Chapter 7 brings the results of the previous five chapters together. We organize the con-
clusions around the four areas of contributions: performance analysis, behavior, architecture and
modeling. We hypothesize that our perturbation style of analysis could be used in a variety of com-
puter systems contexts. The chapter also draws some parallels between the style used in this work
and experiments in other sciences. We end the thesis with some final thoughts on the meaning of our
findings.

---

17
Chapter 2
Methodology
... it were far better never to think of investigating the truth at all, than to do so
without a method. — Ren´e Descartes, Rules for the Direction of the Mind.
In this section, we describe our experimental methodology. We first describe the design
philosophy behind our method, followed by a placement of our experiments in the wider context
of experiment design. Next, we describe the LogGP network model, whose parameters correspond
directly to the factors in our experiments.
The bulk of this chapter describes the networking component of the apparatuses used in
the experiments. The three systems are named after the primary communications layers used by the
applications: Split-C/AM, MPI and TCP/IP. Aspects of the apparatus not related to communication,
such as changes in the disk-subsystem, are described in later chapters.
After describing the apparatuses, we focus on our methodology for varying the network
parameters. We use a single-factor at a time approach, scaling each LogGP factor in turn. We justify
our use of single factor design by comparing other styles of experiment design, such as
(0)
designs.
We conclude this chapter with a discussion of related network models and previous work.
The purposed of the related models section is to describe why LogGP is an appropriate network
model. We compare and contrast LogGP with other models developed in the literature. The exam-
ination of previous work focuses primarily on the experimental methods used. We place each work
in the framework described in Section 1.1. The secondary purpose in examining previous work is
to understand how their results compare or contrast with the results of this thesis. By examining a
wide range of other experiments, we may be able to reinforce or diminish our results.

---