Serotonin and Dopamine: Unifying Affective, Activational, and Decision Functions

---

Serotonin and Dopamine: Unifying Affective,

Activational, and Decision Functions

Roshan Cools*

,1

, Kae Nakamura

2,3

and Nathaniel D Daw

4

1

Donders Institute for Brain, Cognition and Behaviour, Radboud University Nijmegen, Centre for Cognitive Neuroimaging,

Nijmegen, The Netherlands;

2

Department of Physiology, School of Medicine, Kansai Medical University, Moriguchi City,

Japan;

3

PRESTO, Honcho Kawaguchi, Saitama, Japan;

4

Center for Neural Science & Department of Psychology, New York

University, New York, NY, USA

Serotonin, like dopamine (DA), has long been implicated in adaptive behavior, including decision making and reinforcement

learning. However, although the two neuromodulators are tightly related and have a similar degree of functional importance,

compared with DA, we have a much less specific understanding about the mechanisms by which serotonin affects behavior.

Here, we draw on recent work on computational models of dopaminergic function to suggest a framework by which many of

the seemingly diverse functions associated with both DA and serotonin

Fcomprising both affective and activational ones, as

well as a number of other functions not overtly related to either

Fcan be seen as consequences of a single root mechanism.

Neuropsychopharmacology Reviews (2011) 36, 98–113; doi:10.1038/npp.2010.121; published online 25 August 2010

Keywords: aversion; reward; inhibition; impulsivity; activation; punishment

INTRODUCTION

The ascending monoamine neuromodulatory systems are

implicated in healthy and disordered functions so wide

ranging and so apparently heterogeneous that characteriz-

ing their function more crisply is an important scientific

puzzle. In the case of dopamine (DA)

Fwhich is involved in

cognition, motivation, and movement

Fnotable progress

has been made in the last decade using an interdisciplinary

and interspecies approach. In particular, computational

models of reinforcement learning (RL: trial-and-error

learning to obtain rewards) have been used as a framework

formally to interpret and connect observations from

neurophysiological, brain imaging, and behavioral/pharma-

cological studies in humans and animals.

In contrast, although the neuromodulator serotonin

(5-HT) has functional and clinical importance at least equal

to that of DA (eg, it is implicated in impulsivity, depression,

and pain), there is no similarly formal and well-developed

framework for understanding any of its roles. Here, we take

early steps toward such a theoretical framework by

reviewing aspects of function that have been prominently

associated with 5-HT, namely, aversive processing and

behavioral inhibition, and leveraging the example of DA to

suggest how the data supporting these ideas might be

interpreted, together with other functions, as manifestations

of a common, underlying computational mechanism.

In particular, we consider the implications of a recent

computational theory of DA (Niv et al, 2007) for offering a

common explanation for a number of seemingly distinct

functional associations of both DA and 5-HT. We discuss

the theory informally (omitting equations) and use it as a

framework to discuss studies using psychopharmacological

manipulations of 5-HT in humans and experimental

rodents, as well as single-neuron recording studies in non-

human primates. In the first half of the review, we discuss

how Niv et al’s concept of an opportunity cost of time offers

a common explanation for both affective (reward and

punishment) and activational (behavioral vigor and with-

holding) aspects of the neuromodulators’ functions. After

this, we develop this framework to discuss how a number

of additional, seemingly disparate, aspects of decision

making that have been associated with these systems, such

as time discounting and risk sensitivity, can also be seen

as consequences of the same mechanism. Throughout, we

stress many caveats, interpretation difficulties, and experi-

mental concerns; our goal here is to articulate a set of

important behaviors, computations, and quantities that

might guide more definitive experiments. In addition,

similar to Boureau and Dayan (2010; this issue) (see also

Dayan and Huys, 2008 and Daw, Kakade and Dayan, 2002),

Received 12 April 2010; revised 16 July 2010; accepted 16 July 2010

*Correspondence: Dr R Cools, Centre for Cognitive Neuroimaging,

Donders Institute for Brain, Cognition and Behaviour, Radboud University

Nijmegen, Kapittelweg 29, Nijmegen 6500HB, The Netherlands, Tel: + 31

243 610 656, Fax: + 31 243 610 989, E-mail: [e-mail]

Neuropsychopharmacology

REVIEWS

(2011) 36, 98–113

&

2011 Nature Publishing Group All rights reserved 0893-133X/11 $32.00

...............................................................................................................................................................

98

www.neuropsychopharmacology.org

REVIEW

..............................................................................................................................................

Neuropsychopharmacology

REVIEWS

---

our overall strategy is to push outward from our relatively

secure understanding of DA, through what is known about

the similarity and differences in DA and 5-HT functions and

about how the two neuromodulators interact, to extrapolate

a tentative extended understanding encompassing DA

and 5-HT collectively in a common framework. Boureau

and Dayan take a complementary approach, offering,

in particular, a more detailed discussion of the nature of

interactions between DA and 5-HT, and between reward

and punishment in the context of different components of

conditioning.

DA, REINFORCEMENT, AND BEHAVIORAL

ACTIVATION

The puzzles and controversies of DA have long centered

around the question of how to understand its seemingly

dual function in both reward and movement (Ungerstedt,

1971; Lyon and Robbins, 1975; Milner, 1977; Evenden and

Robbins, 1984; Berridge and Robinson, 1998; Ikemoto

and Panksepp, 1999; Schultz, 2007). On the one hand, DA

is implicated in motivation and reinforcement, for instance,

it is a focus of drugs of abuse and self-stimulation. On the

other, it is a facilitator of vigorous action: consider the

poverty of movement that accompanies dopaminergic

degeneration in Parkinson’s disease (PD) or the hyperactivity

and stereotypy engendered by psychostimulant drugs that

enhance DA, such as methamphetamine (Lyon and Robbins,

1975; Robbins and Sahakian, 1979). In principle, these two

axes of behavior might be independent, but they appear

instead to be closely coupled through the action of DA.

Thus, one early hypothesis (Mogenson et al, 1980)

characterized the nucleus accumbens (a key dopaminergic

target) as the ‘limbic-motor gateway’ in which motivational

considerations gained access to the control of action.

Echoing this idea, more recent RL theories link these

aspects by claiming that DA is involved in learning which

behaviors are associated with reward. Variants of the

reward/action duality also underlie longstanding contro-

versies about what psychological aspects of reward DA

might subserve

Ffor instance, hedonics, reinforcement, or

motivational and activational (Ikemoto and Panksepp, 1999;

Berridge, 2007; Robbins and Everitt, 2007)

Fand the

question whether DA impacts behavior via learning versus

performance (Gallistel et al, 1974; Berridge, 2007; Niv et al,

2007). We focus on this last question here.

Appropriately, given DA’s dual nature, theories of its

function have grown largely separately on two tracks,

rooted in different experimental methodologies and theore-

tical approaches. The predominant view in computational

and systems neuroscience holds that DA serves to promote

RL, that is, trial-and-error instrumental learning, to choose

rewarding actions (Houk et al, 1995; Montague et al, 1996;

Schultz et al, 1997; Samejima et al, 2005; Morris et al, 2006).

This idea is derived from electrophysiological recordings

from neurons in the midbrain dopaminergic nuclei of

primates performing simple tasks for reward (Ljungberg

et al, 1991; Hollerman and Schultz, 1998; Waelti et al, 2001),

together with the insight that the phasic firing of these

neurons quantitatively resembles a ‘reward prediction error’

signal used in computational algorithms for RL to improve

action choice so as to obtain more rewards (Sutton and

Barto, 1990; Montague et al, 1996; Sutton and Barto, 1998;

Montague et al, 2004; Bayer and Glimcher, 2005;

Frank, 2005). More recently, studies employing temporally

precise methods in freely behaving animals, such as

electrochemical voltammetric approaches, which enable

the measurement of phasic DA release directly (Day et al,

2007; Roitman et al, 2008), as well as optogenetic

approaches, which enable the transient activation of specific

DA neurons (Tsai et al, 2009), have substantiated these

ideas. Furthermore, functional neuroimaging has revealed

that similar prediction error signals in humans (McClure

et al, 2003; O’Doherty et al, 2003) might be modulated by

DA (Pessiglione et al, 2006), whereas microelectrode

recordings during deep brain stimulation surgery have

demonstrated that such prediction error signals are also

encoded by the human midbrain (Zaghloul et al, 2009) (see

also D’Ardenne et al, 2008).

At the same time, more psychological approaches, largely

grounded in causal manipulations (eg, drug or lesion) of

dopaminergic function, tend to envision DA as being

involved less in acquisition and more in the performance

of motivated behavior. Indeed, the most pronounced effects

of causal DA manipulations tend to be on performance

rather than learning, with DA promoting behavioral vigor

or activation more generally (Lyon and Robbins, 1975;

Ikemoto and Panksepp, 1999; Berridge, 2007; Robbins and

Everitt, 2007; Salamone et al, 2007). Two current inter-

pretations characterize these effects as arising via dopami-

nergic mediaton of incentive motivation (Berridge, 2007) or

cost/benefit tradeoffs (Salamone et al, 2007). Other authors

writing from a similar tradition have provided a more

general activational account, with parallel roles for DA in

the dorsal and ventral striatum (Robbins and Everitt, 1982,

1992; Robbins and Everitt, 2007), stressing both a perfor-

mance-based energetic component to DA and reinforce-

ment-related functions more akin to those posited in the

computational RL models, for example, conditioned re-

inforcement and stamping-in of stimulus–response habits

(Wise, 2004). Indeed, early experimental work by Gallistel

et al (1974) argued for both reinforcing and activational

effects of (putatively dopaminergic) brain stimulation

reward, distinguished as progressive and immediate effects

of contingent versus noncontingent self-stimulation.

MODELING THE DUAL FUNCTION OF DA

One attempt to reconcile these two streams of thought

(Niv et al, 2007) extended RL accounts, which had

traditionally focused on learning which action is most

rewarding, into an additional formal analysis of how

Multiple functions of serotonin and dopamine

R Cools et al

...............................................................................................................................................................

99

REVIEW

..............................................................................................................................................

Neuropsychopharmacology

REVIEWS

---