A systematic Characterization of Application Sensitivity to Network Performance

35
time to report the entire transfer on the sender is taken as the delivered bandwidth. Figure 2.7 shows
the results of the experiment. The parallel program Gap calibration is also plotted for comparison.
Notice that for much of the Gap range, the two lines are nearly identical, showing that even with the
different kernel fragmentation algorithm the Gap apparatus is quite accurate.
2.4
Factor Design
Once we have a calibrated, tunable apparatus, we face the question of how to vary each of
the LogGP parameters. The space of possible settings is quite large. If we ignore
”
, there are still
four parameters, each of which can be scaled by an order of magnitude. For example, we can vary
•
from 5-100
–
s and still obtain meaningful results.
In the terminology of experiment design, a factor is a variable that affects the outcome
of the experiment. In this thesis, each of the networking components of the LogGP parameters,
—
,
•
,
˜
,
™
, is clearly a factor. In addition, another dimension, or factor, we can control is the program
used as a benchmark, e.g., Radix, EM3D, NowSort. Factors can take on different levels. For exam-
ple,
•
could take on levels of 5, 10, and 25
–
s. Along the benchmark dimension, the “levels” would
be the programs used as benchmarks. There are number of ways to explore the entire space covered
by factors and levels. We provide a brief background here.
The traditional ways of combining factors and levels results in three classes of experi-
ments: simple, full, and fractional [57]. In all types, all the factors are varied. The real difference
between the methods is how the levels are adjusted. In the simple design, we first assign each factor
a constant level. Next, we vary each factor by a large number of levels, while keeping the other fac-
tors at their constant level. Simple experiments have the advantage that we can observe the effect of
each factor is isolation, but has the disadvantage that it may miss interactions between factors, i.e.,
factors may not be independent. For example, in the LogGP case, we know that if we inflate
•›š
˜
,
then
˜
is no longer observable as a separate parameter; it degenerates into
•
. Therefore, the LogGP
model tells us that sensitivity experiments where we simultaneously inflate both
•
and
˜
such that
•†š
˜
will probably not yield different results than inflating
•
alone.
Another class of experimental design is called the full factor method. In this type of design,
all factors are varied by all levels. Clearly, this experiment design has the disadvantage of requiring
the most experiments. It does, however, have the advantage of capturing all interactions between the
factors. For example, in our experimental designs space, we have five factors (the LogGP parameters
and benchmark), each of which can take on, say 8 levels. A full-factor design would require running

---

36
œ0
or 32768 experiments. In our case, such a design clearly requires too many experiments.
The final class of designs are called fractional designs. In these types of experiments, the
number of levels is reduced from the full factor design while still simultaneously varying factors and
levels. The minimalist case is called a
ž0Ÿ
design. If we have
 
factors and we vary each factor by
two levels, then the number of experiments performed is
ž
Ÿ
. In our case such a design would require
only 32 experiments; quite a small number. However, such an experiment design leaves many unan-
swered questions. For example, we cannot see knees or plateaus in the data because by definition we
are only sampling at 2 levels for each factor. Also, in our case, we would only sample 2 benchmarks!
The classic
ž¡Ÿ
design, as well as many other fraction designs, are best suited when the interactions
between factors is largely unknown and the purpose of the experiments is thus an exploration of the
interactions between parameters.
This thesis uses a simple design, as opposed to a fractional design. There are two advan-
tages of this design. First, we can observe a wide variety of applications by fully scaling the bench-
mark axis. This is the most crucial axis to scale, as we do not claim to have a representative workload
of all applications. By observing the reaction of a wide range of programs, we can better classify new
programs as similar or dissimilar to our existing set. In addition, our wide range of benchmarks al-
lows us to quantify the sensitivity of a “worst-case” program for each networking parameter. For
example, EM3D(read) is a program that performs only blocking reads. It should therefore be a pro-
gram that is “worst-case” with respect to sensitivity to
¢
.
A second advantage of a simple experiment design is that it allows us to explore more
factor levels at the edge of our apparatuses’ operational limits. For example, with parallel programs
we are quite interested at the response of programs near the lowest overhead limit of our apparatus. If
we see an insensitive region, we may concluded that a new class of low overhead protocols has solved
the “overhead problem”, or at least some other system component is the bottleneck. On the other
hand, if we still observed a sensitive region in the low overhead regime, we may conclude instead
that further reductions in overhead are warranted. With a fractional design, we are more likely to miss
these regions. Likewise, in the NFS context we are interested in performance near peak operations
per second. The shape of the response-time vs. throughput curve near the peak operations per second
for different
£
is most interesting; it tells us how useful lowering
£
is in performing graceful load
degradation.
The main disadvantage of our simple design is that we may miss interactions between the
factors. However, the LogGP model can compensate us somewhat, in that it gives us a way to reason
about what the interactions should be. Although we have chosen not to explore these interactions, it

---