Serveur d'exploration sur les dispositifs haptiques

Attention, ce site est en cours de développement !
Attention, site généré par des moyens informatiques à partir de corpus bruts.
Les informations ne sont donc pas validées.

Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons

Identifieur interne : 001D17 ( Pmc/Curation ); précédent : 001D16; suivant : 001D18

Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons

Auteurs : Steve Yaeli [Israël] ; Ron Meir [Israël]

Source :

RBID : PMC:2978036

Abstract

Biological systems display impressive capabilities in effectively responding to environmental signals in real time. There is increasing evidence that organisms may indeed be employing near optimal Bayesian calculations in their decision-making. An intriguing question relates to the properties of optimal encoding methods, namely determining the properties of neural populations in sensory layers that optimize performance, subject to physiological constraints. Within an ecological theory of neural encoding/decoding, we show that optimal Bayesian performance requires neural adaptation which reflects environmental changes. Specifically, we predict that neuronal tuning functions possess an optimal width, which increases with prior uncertainty and environmental noise, and decreases with the decoding time window. Furthermore, even for static stimuli, we demonstrate that dynamic sensory tuning functions, acting at relatively short time scales, lead to improved performance. Interestingly, the narrowing of tuning functions as a function of time was recently observed in several biological systems. Such results set the stage for a functional theory which may explain the high reliability of sensory systems, and the utility of neuronal adaptation occurring at multiple time scales.


Url:
DOI: 10.3389/fncom.2010.00130
PubMed: 21079749
PubMed Central: 2978036

Links toward previous steps (curation, corpus...)


Links to Exploration step

PMC:2978036

Le document en format XML

<record>
<TEI>
<teiHeader>
<fileDesc>
<titleStmt>
<title xml:lang="en">Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons</title>
<author>
<name sortKey="Yaeli, Steve" sort="Yaeli, Steve" uniqKey="Yaeli S" first="Steve" last="Yaeli">Steve Yaeli</name>
<affiliation wicri:level="1">
<nlm:aff id="aff1">
<institution>Department of Electrical Engineering</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
<affiliation wicri:level="1">
<nlm:aff id="aff2">
<institution>Laboratory for Network Biology Research</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
</author>
<author>
<name sortKey="Meir, Ron" sort="Meir, Ron" uniqKey="Meir R" first="Ron" last="Meir">Ron Meir</name>
<affiliation wicri:level="1">
<nlm:aff id="aff1">
<institution>Department of Electrical Engineering</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
<affiliation wicri:level="1">
<nlm:aff id="aff2">
<institution>Laboratory for Network Biology Research</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
</author>
</titleStmt>
<publicationStmt>
<idno type="wicri:source">PMC</idno>
<idno type="pmid">21079749</idno>
<idno type="pmc">2978036</idno>
<idno type="url">http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2978036</idno>
<idno type="RBID">PMC:2978036</idno>
<idno type="doi">10.3389/fncom.2010.00130</idno>
<date when="2010">2010</date>
<idno type="wicri:Area/Pmc/Corpus">001D17</idno>
<idno type="wicri:Area/Pmc/Curation">001D17</idno>
</publicationStmt>
<sourceDesc>
<biblStruct>
<analytic>
<title xml:lang="en" level="a" type="main">Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons</title>
<author>
<name sortKey="Yaeli, Steve" sort="Yaeli, Steve" uniqKey="Yaeli S" first="Steve" last="Yaeli">Steve Yaeli</name>
<affiliation wicri:level="1">
<nlm:aff id="aff1">
<institution>Department of Electrical Engineering</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
<affiliation wicri:level="1">
<nlm:aff id="aff2">
<institution>Laboratory for Network Biology Research</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
</author>
<author>
<name sortKey="Meir, Ron" sort="Meir, Ron" uniqKey="Meir R" first="Ron" last="Meir">Ron Meir</name>
<affiliation wicri:level="1">
<nlm:aff id="aff1">
<institution>Department of Electrical Engineering</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
<affiliation wicri:level="1">
<nlm:aff id="aff2">
<institution>Laboratory for Network Biology Research</institution>
<country>Technion, Haifa, Israel</country>
</nlm:aff>
<country xml:lang="fr">Israël</country>
<wicri:regionArea></wicri:regionArea>
<wicri:regionArea># see nlm:aff region in country</wicri:regionArea>
</affiliation>
</author>
</analytic>
<series>
<title level="j">Frontiers in Computational Neuroscience</title>
<idno type="eISSN">1662-5188</idno>
<imprint>
<date when="2010">2010</date>
</imprint>
</series>
</biblStruct>
</sourceDesc>
</fileDesc>
<profileDesc>
<textClass></textClass>
</profileDesc>
</teiHeader>
<front>
<div type="abstract" xml:lang="en">
<p>Biological systems display impressive capabilities in effectively responding to environmental signals in real time. There is increasing evidence that organisms may indeed be employing near optimal Bayesian calculations in their decision-making. An intriguing question relates to the properties of optimal encoding methods, namely determining the properties of neural populations in sensory layers that optimize performance, subject to physiological constraints. Within an ecological theory of neural encoding/decoding, we show that optimal Bayesian performance requires neural adaptation which reflects environmental changes. Specifically, we predict that neuronal tuning functions possess an optimal width, which increases with prior uncertainty and environmental noise, and decreases with the decoding time window. Furthermore, even for static stimuli, we demonstrate that dynamic sensory tuning functions, acting at relatively short time scales, lead to improved performance. Interestingly, the narrowing of tuning functions as a function of time was recently observed in several biological systems. Such results set the stage for a functional theory which may explain the high reliability of sensory systems, and the utility of neuronal adaptation occurring at multiple time scales.</p>
</div>
</front>
<back>
<div1 type="bibliography">
<listBibl>
<biblStruct>
<analytic>
<author>
<name sortKey="Anderson, J" uniqKey="Anderson J">J. Anderson</name>
</author>
<author>
<name sortKey="Lampl, I" uniqKey="Lampl I">I. Lampl</name>
</author>
<author>
<name sortKey="Gillespie, D" uniqKey="Gillespie D">D. Gillespie</name>
</author>
<author>
<name sortKey="Ferster, D" uniqKey="Ferster D">D. Ferster</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Averbeck, B" uniqKey="Averbeck B">B. Averbeck</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Baccus, S" uniqKey="Baccus S">S. Baccus</name>
</author>
<author>
<name sortKey="Meister, M" uniqKey="Meister M">M. Meister</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Barbieri, R" uniqKey="Barbieri R">R. Barbieri</name>
</author>
<author>
<name sortKey="Frank, L" uniqKey="Frank L">L. Frank</name>
</author>
<author>
<name sortKey="Nguyen, D" uniqKey="Nguyen D">D. Nguyen</name>
</author>
<author>
<name sortKey="Quirk, M" uniqKey="Quirk M">M. Quirk</name>
</author>
<author>
<name sortKey="Solo, V" uniqKey="Solo V">V. Solo</name>
</author>
<author>
<name sortKey="Wilson, M" uniqKey="Wilson M">M. Wilson</name>
</author>
<author>
<name sortKey="Brown, E" uniqKey="Brown E">E. Brown</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Beck, J" uniqKey="Beck J">J. Beck</name>
</author>
<author>
<name sortKey="Ma, W" uniqKey="Ma W">W. Ma</name>
</author>
<author>
<name sortKey="Kiani, R" uniqKey="Kiani R">R. Kiani</name>
</author>
<author>
<name sortKey="Hanks, T" uniqKey="Hanks T">T. Hanks</name>
</author>
<author>
<name sortKey="Churchland, A" uniqKey="Churchland A">A. Churchland</name>
</author>
<author>
<name sortKey="Roitman, J" uniqKey="Roitman J">J. Roitman</name>
</author>
<author>
<name sortKey="Shadlen, M" uniqKey="Shadlen M">M. Shadlen</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Beck, J" uniqKey="Beck J">J. Beck</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Benucci, A" uniqKey="Benucci A">A. Benucci</name>
</author>
<author>
<name sortKey="Ringach, D" uniqKey="Ringach D">D. Ringach</name>
</author>
<author>
<name sortKey="Carandini, M" uniqKey="Carandini M">M. Carandini</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Bethge, M" uniqKey="Bethge M">M. Bethge</name>
</author>
<author>
<name sortKey="Rotermund, D" uniqKey="Rotermund D">D. Rotermund</name>
</author>
<author>
<name sortKey="Pawelzik, K" uniqKey="Pawelzik K">K. Pawelzik</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Bethge, M" uniqKey="Bethge M">M. Bethge</name>
</author>
<author>
<name sortKey="Rotermund, D" uniqKey="Rotermund D">D. Rotermund</name>
</author>
<author>
<name sortKey="Pawelzik, K" uniqKey="Pawelzik K">K. Pawelzik</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Bobrowski, O" uniqKey="Bobrowski O">O. Bobrowski</name>
</author>
<author>
<name sortKey="Meir, R" uniqKey="Meir R">R. Meir</name>
</author>
<author>
<name sortKey="Eldar, Y" uniqKey="Eldar Y">Y. Eldar</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Brenner, N" uniqKey="Brenner N">N. Brenner</name>
</author>
<author>
<name sortKey="Bialek, W" uniqKey="Bialek W">W. Bialek</name>
</author>
<author>
<name sortKey="De Ruyter Van Steveninck, R" uniqKey="De Ruyter Van Steveninck R">R. de Ruyter van Steveninck</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Brown, W" uniqKey="Brown W">W. Brown</name>
</author>
<author>
<name sortKey="B Cker, A" uniqKey="B Cker A">A. Bäcker</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Brunel, N" uniqKey="Brunel N">N. Brunel</name>
</author>
<author>
<name sortKey="Nadal, J" uniqKey="Nadal J">J. Nadal</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Dean, I" uniqKey="Dean I">I. Dean</name>
</author>
<author>
<name sortKey="Harper, N" uniqKey="Harper N">N. Harper</name>
</author>
<author>
<name sortKey="Mcalpine, D" uniqKey="Mcalpine D">D. McAlpine</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Dean, I" uniqKey="Dean I">I. Dean</name>
</author>
<author>
<name sortKey="Robinson, B" uniqKey="Robinson B">B. Robinson</name>
</author>
<author>
<name sortKey="Harper, N" uniqKey="Harper N">N. Harper</name>
</author>
<author>
<name sortKey="Mcalpine, D" uniqKey="Mcalpine D">D. McAlpine</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Deneve, S" uniqKey="Deneve S">S. Deneve</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Deneve, S" uniqKey="Deneve S">S. Deneve</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Dragoi, V" uniqKey="Dragoi V">V. Dragoi</name>
</author>
<author>
<name sortKey="Sharma, J" uniqKey="Sharma J">J. Sharma</name>
</author>
<author>
<name sortKey="Sur, M" uniqKey="Sur M">M. Sur</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Duncan, T" uniqKey="Duncan T">T. Duncan</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Eden, U" uniqKey="Eden U">U. Eden</name>
</author>
<author>
<name sortKey="Frank, L" uniqKey="Frank L">L. Frank</name>
</author>
<author>
<name sortKey="Barbieri, R" uniqKey="Barbieri R">R. Barbieri</name>
</author>
<author>
<name sortKey="Solo, V" uniqKey="Solo V">V. Solo</name>
</author>
<author>
<name sortKey="Brown, E" uniqKey="Brown E">E. Brown</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Ernst, M" uniqKey="Ernst M">M. Ernst</name>
</author>
<author>
<name sortKey="Banks, M" uniqKey="Banks M">M. Banks</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Eurich, C" uniqKey="Eurich C">C. Eurich</name>
</author>
<author>
<name sortKey="Wilke, S" uniqKey="Wilke S">S. Wilke</name>
</author>
<author>
<name sortKey="Schwegler, H" uniqKey="Schwegler H">H. Schwegler</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Finney, E" uniqKey="Finney E">E. Finney</name>
</author>
<author>
<name sortKey="Fine, I" uniqKey="Fine I">I. Fine</name>
</author>
<author>
<name sortKey="Dobkins, K" uniqKey="Dobkins K">K. Dobkins</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Geisler, W" uniqKey="Geisler W">W. Geisler</name>
</author>
<author>
<name sortKey="Najemnik, J" uniqKey="Najemnik J">J. Najemnik</name>
</author>
<author>
<name sortKey="Ing, A" uniqKey="Ing A">A. Ing</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Gollisch, T" uniqKey="Gollisch T">T. Gollisch</name>
</author>
<author>
<name sortKey="Meister, M" uniqKey="Meister M">M. Meister</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Guo, D" uniqKey="Guo D">D. Guo</name>
</author>
<author>
<name sortKey="Shamai, S" uniqKey="Shamai S">S. Shamai</name>
</author>
<author>
<name sortKey="Verdu, S" uniqKey="Verdu S">S. Verdú</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Gutfreund, Y" uniqKey="Gutfreund Y">Y. Gutfreund</name>
</author>
<author>
<name sortKey="Zheng, W" uniqKey="Zheng W">W. Zheng</name>
</author>
<author>
<name sortKey="Knudsen, E" uniqKey="Knudsen E">E. Knudsen</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Harper, N" uniqKey="Harper N">N. Harper</name>
</author>
<author>
<name sortKey="Mcalpine, D" uniqKey="Mcalpine D">D. McAlpine</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Hosoya, T" uniqKey="Hosoya T">T. Hosoya</name>
</author>
<author>
<name sortKey="Baccus, S" uniqKey="Baccus S">S. Baccus</name>
</author>
<author>
<name sortKey="Meister, M" uniqKey="Meister M">M. Meister</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Huys, Q" uniqKey="Huys Q">Q. Huys</name>
</author>
<author>
<name sortKey="Zemel, R" uniqKey="Zemel R">R. Zemel</name>
</author>
<author>
<name sortKey="Natarajan, R" uniqKey="Natarajan R">R. Natarajan</name>
</author>
<author>
<name sortKey="Dayan, P" uniqKey="Dayan P">P. Dayan</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Jacobs, A" uniqKey="Jacobs A">A. Jacobs</name>
</author>
<author>
<name sortKey="Fridman, G" uniqKey="Fridman G">G. Fridman</name>
</author>
<author>
<name sortKey="Douglas, R" uniqKey="Douglas R">R. Douglas</name>
</author>
<author>
<name sortKey="Alam, N" uniqKey="Alam N">N. Alam</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Prusky, G" uniqKey="Prusky G">G. Prusky</name>
</author>
<author>
<name sortKey="Nirenberg, S" uniqKey="Nirenberg S">S. Nirenberg</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Jacobs, R" uniqKey="Jacobs R">R. Jacobs</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Johnson, D" uniqKey="Johnson D">D. Johnson</name>
</author>
<author>
<name sortKey="Ray, W" uniqKey="Ray W">W. Ray</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Knill, D" uniqKey="Knill D">D. Knill</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Knill, D" uniqKey="Knill D">D. Knill</name>
</author>
<author>
<name sortKey="Richards, W" uniqKey="Richards W">W. Richards</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Korte, M" uniqKey="Korte M">M. Korte</name>
</author>
<author>
<name sortKey="Rauschecker, J" uniqKey="Rauschecker J">J. Rauschecker</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Lansky, P" uniqKey="Lansky P">P. Lánsky</name>
</author>
<author>
<name sortKey="Greenwood, P" uniqKey="Greenwood P">P. Greenwood</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Liu, Y" uniqKey="Liu Y">Y. Liu</name>
</author>
<author>
<name sortKey="Stevens, C" uniqKey="Stevens C">C. Stevens</name>
</author>
<author>
<name sortKey="Sharpee, T" uniqKey="Sharpee T">T. Sharpee</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Marom, S" uniqKey="Marom S">S. Marom</name>
</author>
<author>
<name sortKey="Meir, R" uniqKey="Meir R">R. Meir</name>
</author>
<author>
<name sortKey="Braun, E" uniqKey="Braun E">E. Braun</name>
</author>
<author>
<name sortKey="Gal, A" uniqKey="Gal A">A. Gal</name>
</author>
<author>
<name sortKey="Kermany, E" uniqKey="Kermany E">E. Kermany</name>
</author>
<author>
<name sortKey="Eytan, D" uniqKey="Eytan D">D. Eytan</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Martinez Trujillo, J" uniqKey="Martinez Trujillo J">J. Martinez-Trujillo</name>
</author>
<author>
<name sortKey="Treue, S" uniqKey="Treue S">S. Treue</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Ma, W" uniqKey="Ma W">W. Ma</name>
</author>
<author>
<name sortKey="Beck, J" uniqKey="Beck J">J. Beck</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Mcdonnell, M" uniqKey="Mcdonnell M">M. McDonnell</name>
</author>
<author>
<name sortKey="Stocks, N" uniqKey="Stocks N">N. Stocks</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Nikitin, A" uniqKey="Nikitin A">A. Nikitin</name>
</author>
<author>
<name sortKey="Stocks, N" uniqKey="Stocks N">N. Stocks</name>
</author>
<author>
<name sortKey="Morse, R" uniqKey="Morse R">R. Morse</name>
</author>
<author>
<name sortKey="Mcdonnell, M" uniqKey="Mcdonnell M">M. McDonnell</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Panzeri, S" uniqKey="Panzeri S">S. Panzeri</name>
</author>
<author>
<name sortKey="Treves, A" uniqKey="Treves A">A. Treves</name>
</author>
<author>
<name sortKey="Schultz, S" uniqKey="Schultz S">S. Schultz</name>
</author>
<author>
<name sortKey="Rolls, E" uniqKey="Rolls E">E. Rolls</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pettet, M" uniqKey="Pettet M">M. Pettet</name>
</author>
<author>
<name sortKey="Gilbert, C" uniqKey="Gilbert C">C. Gilbert</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pitkow, X" uniqKey="Pitkow X">X. Pitkow</name>
</author>
<author>
<name sortKey="Sompolinsky, H" uniqKey="Sompolinsky H">H. Sompolinsky</name>
</author>
<author>
<name sortKey="Meister, M" uniqKey="Meister M">M. Meister</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
<author>
<name sortKey="Dayan, P" uniqKey="Dayan P">P. Dayan</name>
</author>
<author>
<name sortKey="Zemel, R" uniqKey="Zemel R">R. Zemel</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
<author>
<name sortKey="Dayan, P" uniqKey="Dayan P">P. Dayan</name>
</author>
<author>
<name sortKey="Zemel, R" uniqKey="Zemel R">R. Zemel</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
<author>
<name sortKey="Deneve, S" uniqKey="Deneve S">S. Deneve</name>
</author>
<author>
<name sortKey="Ducom, J" uniqKey="Ducom J">J. Ducom</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
<author>
<name sortKey="Deneve, S" uniqKey="Deneve S">S. Deneve</name>
</author>
<author>
<name sortKey="Duhamel, J" uniqKey="Duhamel J">J. Duhamel</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Rao, R" uniqKey="Rao R">R. Rao</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Rauschecker, J" uniqKey="Rauschecker J">J. Rauschecker</name>
</author>
<author>
<name sortKey="Harris, L" uniqKey="Harris L">L. Harris</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Searle, S" uniqKey="Searle S">S. Searle</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Series, P" uniqKey="Series P">P. Seriès</name>
</author>
<author>
<name sortKey="Latham, P" uniqKey="Latham P">P. Latham</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Seung, H" uniqKey="Seung H">H. Seung</name>
</author>
<author>
<name sortKey="Sompolinsky, H" uniqKey="Sompolinsky H">H. Sompolinsky</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Toyoizumi, T" uniqKey="Toyoizumi T">T. Toyoizumi</name>
</author>
<author>
<name sortKey="Aihara, K" uniqKey="Aihara K">K. Aihara</name>
</author>
<author>
<name sortKey="Amari, S" uniqKey="Amari S">S. Amari</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Twum Danso, N" uniqKey="Twum Danso N">N. Twum-Danso</name>
</author>
<author>
<name sortKey="Brockett, R" uniqKey="Brockett R">R. Brockett</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Van Trees, H" uniqKey="Van Trees H">H. Van Trees</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Van Trees, H" uniqKey="Van Trees H">H. Van Trees</name>
</author>
<author>
<name sortKey="Bell, K" uniqKey="Bell K">K. Bell</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Wang, X" uniqKey="Wang X">X. Wang</name>
</author>
<author>
<name sortKey="Lu, T" uniqKey="Lu T">T. Lu</name>
</author>
<author>
<name sortKey="Snider, R" uniqKey="Snider R">R. Snider</name>
</author>
<author>
<name sortKey="Liang, L" uniqKey="Liang L">L. Liang</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Weeks, R" uniqKey="Weeks R">R. Weeks</name>
</author>
<author>
<name sortKey="Horwitz, B" uniqKey="Horwitz B">B. Horwitz</name>
</author>
<author>
<name sortKey="Aziz Sultan, A" uniqKey="Aziz Sultan A">A. Aziz-Sultan</name>
</author>
<author>
<name sortKey="Tian, B" uniqKey="Tian B">B. Tian</name>
</author>
<author>
<name sortKey="Wessinger, C" uniqKey="Wessinger C">C. Wessinger</name>
</author>
<author>
<name sortKey="Cohen, L" uniqKey="Cohen L">L. Cohen</name>
</author>
<author>
<name sortKey="Hallett, M" uniqKey="Hallett M">M. Hallett</name>
</author>
<author>
<name sortKey="Rauschecker, J" uniqKey="Rauschecker J">J. Rauschecker</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="White, H" uniqKey="White H">H. White</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Worgotter, F" uniqKey="Worgotter F">F. Wörgötter</name>
</author>
<author>
<name sortKey="Suder, K" uniqKey="Suder K">K. Suder</name>
</author>
<author>
<name sortKey="Zhao, Y" uniqKey="Zhao Y">Y. Zhao</name>
</author>
<author>
<name sortKey="Kerscher, N" uniqKey="Kerscher N">N. Kerscher</name>
</author>
<author>
<name sortKey="Eysel, U" uniqKey="Eysel U">U. Eysel</name>
</author>
<author>
<name sortKey="Funke, K" uniqKey="Funke K">K. Funke</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Yeshurun, Y" uniqKey="Yeshurun Y">Y. Yeshurun</name>
</author>
<author>
<name sortKey="Carrasco, M" uniqKey="Carrasco M">M. Carrasco</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Zemel, R" uniqKey="Zemel R">R. Zemel</name>
</author>
<author>
<name sortKey="Dayan, P" uniqKey="Dayan P">P. Dayan</name>
</author>
<author>
<name sortKey="Pouget, A" uniqKey="Pouget A">A. Pouget</name>
</author>
</analytic>
</biblStruct>
<biblStruct>
<analytic>
<author>
<name sortKey="Zhang, K" uniqKey="Zhang K">K. Zhang</name>
</author>
<author>
<name sortKey="Sejnowski, T" uniqKey="Sejnowski T">T. Sejnowski</name>
</author>
</analytic>
</biblStruct>
</listBibl>
</div1>
</back>
</TEI>
<pmc article-type="research-article">
<pmc-dir>properties open_access</pmc-dir>
<front>
<journal-meta>
<journal-id journal-id-type="nlm-ta">Front Comput Neurosci</journal-id>
<journal-id journal-id-type="publisher-id">Front. Comput. Neurosci.</journal-id>
<journal-title-group>
<journal-title>Frontiers in Computational Neuroscience</journal-title>
</journal-title-group>
<issn pub-type="epub">1662-5188</issn>
<publisher>
<publisher-name>Frontiers Research Foundation</publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id pub-id-type="pmid">21079749</article-id>
<article-id pub-id-type="pmc">2978036</article-id>
<article-id pub-id-type="doi">10.3389/fncom.2010.00130</article-id>
<article-categories>
<subj-group subj-group-type="heading">
<subject>Neuroscience</subject>
<subj-group>
<subject>Original Research</subject>
</subj-group>
</subj-group>
</article-categories>
<title-group>
<article-title>Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons</article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name>
<surname>Yaeli</surname>
<given-names>Steve</given-names>
</name>
<xref ref-type="aff" rid="aff1">
<sup>1</sup>
</xref>
<xref ref-type="aff" rid="aff2">
<sup>2</sup>
</xref>
</contrib>
<contrib contrib-type="author">
<name>
<surname>Meir</surname>
<given-names>Ron</given-names>
</name>
<xref ref-type="aff" rid="aff1">
<sup>1</sup>
</xref>
<xref ref-type="aff" rid="aff2">
<sup>2</sup>
</xref>
<xref ref-type="author-notes" rid="fn001">*</xref>
</contrib>
</contrib-group>
<aff id="aff1">
<sup>1</sup>
<institution>Department of Electrical Engineering</institution>
<country>Technion, Haifa, Israel</country>
</aff>
<aff id="aff2">
<sup>2</sup>
<institution>Laboratory for Network Biology Research</institution>
<country>Technion, Haifa, Israel</country>
</aff>
<author-notes>
<fn fn-type="edited-by">
<p>Edited by: Peter Dayan, University College London, UK</p>
</fn>
<fn fn-type="edited-by">
<p>Reviewed by: Udo Ernst, University of Bremen, Germany; Tatyana Sharpee, Salk Institute for Biological Studies, USA</p>
</fn>
<corresp id="fn001">*Correspondence: Ron Meir, Department of Electrical Engineering, Technion, Haifa 32000, Israel. e-mail:
<email>rmeir@ee.technion.ac.il</email>
</corresp>
</author-notes>
<pub-date pub-type="epreprint">
<day>30</day>
<month>4</month>
<year>2010</year>
</pub-date>
<pub-date pub-type="epub">
<day>14</day>
<month>10</month>
<year>2010</year>
</pub-date>
<pub-date pub-type="collection">
<year>2010</year>
</pub-date>
<volume>4</volume>
<elocation-id>130</elocation-id>
<history>
<date date-type="received">
<day>10</day>
<month>2</month>
<year>2010</year>
</date>
<date date-type="accepted">
<day>13</day>
<month>8</month>
<year>2010</year>
</date>
</history>
<permissions>
<copyright-statement>Copyright © 2010 Yaeli and Meir.</copyright-statement>
<copyright-year>2010</copyright-year>
<license license-type="open-access" xlink:href="http://www.frontiersin.org/licenseagreement">
<license-p>This is an open-access article subject to an exclusive license agreement between the authors and the Frontiers Research Foundation, which permits unrestricted use, distribution, and reproduction in any medium, provided the original authors and source are credited.</license-p>
</license>
</permissions>
<abstract>
<p>Biological systems display impressive capabilities in effectively responding to environmental signals in real time. There is increasing evidence that organisms may indeed be employing near optimal Bayesian calculations in their decision-making. An intriguing question relates to the properties of optimal encoding methods, namely determining the properties of neural populations in sensory layers that optimize performance, subject to physiological constraints. Within an ecological theory of neural encoding/decoding, we show that optimal Bayesian performance requires neural adaptation which reflects environmental changes. Specifically, we predict that neuronal tuning functions possess an optimal width, which increases with prior uncertainty and environmental noise, and decreases with the decoding time window. Furthermore, even for static stimuli, we demonstrate that dynamic sensory tuning functions, acting at relatively short time scales, lead to improved performance. Interestingly, the narrowing of tuning functions as a function of time was recently observed in several biological systems. Such results set the stage for a functional theory which may explain the high reliability of sensory systems, and the utility of neuronal adaptation occurring at multiple time scales.</p>
</abstract>
<kwd-group>
<kwd>tuning functions</kwd>
<kwd>neural encoding</kwd>
<kwd>population coding</kwd>
<kwd>Bayesian decoding</kwd>
<kwd>optimal width</kwd>
<kwd>Fisher information</kwd>
</kwd-group>
<counts>
<fig-count count="8"></fig-count>
<table-count count="0"></table-count>
<equation-count count="71"></equation-count>
<ref-count count="66"></ref-count>
<page-count count="16"></page-count>
<word-count count="11697"></word-count>
</counts>
</article-meta>
</front>
<body>
<sec sec-type="introduction" id="s1">
<title>Introduction</title>
<p>Behaving organisms often exhibit optimal, or nearly optimal performance (e.g., Jacobs,
<xref ref-type="bibr" rid="B32">1999</xref>
; Ernst and Banks,
<xref ref-type="bibr" rid="B21">2002</xref>
; Jacobs et al.,
<xref ref-type="bibr" rid="B31">2009</xref>
), despite physiological constraints and noise which is inherent to both the environment and the neural activity. Experimental work performed over the past few years has suggested that one means by which such effective behavior is achieved is through adaptation to the environment occurring across multiple time scales (e.g., milliseconds – Wang et al.,
<xref ref-type="bibr" rid="B60">2005</xref>
; seconds – Dean et al.,
<xref ref-type="bibr" rid="B15">2008</xref>
; minutes – Pettet and Gilbert,
<xref ref-type="bibr" rid="B45">1992</xref>
). A major challenge pertaining to such results relates to the construction of a coherent theoretical framework within which the efficacy of such adaptation processes can be motivated and assessed. We believe that a carefully articulated reverse engineering perspective (see Marom et al.,
<xref ref-type="bibr" rid="B39">2009</xref>
), based on the utilization of well founded engineering principles, can yield significant insight about these phenomena. More specifically, such approaches can explain how the environmental state may be effectively estimated from the neural spike trains and from prior knowledge through a process of neural decoding. Within this context, many psychophysical and neurophysiological results can be explained by Bayesian models, suggesting that organisms may indeed be employing Bayesian calculations in their decision-making (Knill and Richards,
<xref ref-type="bibr" rid="B35">1996</xref>
; Knill and Pouget,
<xref ref-type="bibr" rid="B34">2004</xref>
; Rao,
<xref ref-type="bibr" rid="B51">2004</xref>
; Ma et al.,
<xref ref-type="bibr" rid="B41">2006</xref>
). Optimal real-time decoding methods have been proposed over the past decade for static (Zemel et al.,
<xref ref-type="bibr" rid="B65">1998</xref>
; Deneve et al.,
<xref ref-type="bibr" rid="B17">2001</xref>
; Pouget et al.,
<xref ref-type="bibr" rid="B50">2002</xref>
,
<xref ref-type="bibr" rid="B48">2003</xref>
; Averbeck et al.,
<xref ref-type="bibr" rid="B2">2006</xref>
; Ma et al.,
<xref ref-type="bibr" rid="B41">2006</xref>
; Beck et al.,
<xref ref-type="bibr" rid="B5">2008</xref>
) and dynamic (Twum-Danso and Brockett,
<xref ref-type="bibr" rid="B57">2001</xref>
; Eden et al.,
<xref ref-type="bibr" rid="B20">2004</xref>
; Beck and Pouget,
<xref ref-type="bibr" rid="B6">2007</xref>
; Huys et al.,
<xref ref-type="bibr" rid="B30">2007</xref>
; Pitkow et al.,
<xref ref-type="bibr" rid="B46">2007</xref>
; Deneve,
<xref ref-type="bibr" rid="B16">2008</xref>
; Bobrowski et al.,
<xref ref-type="bibr" rid="B10">2009</xref>
) environments. While much of this work has been performed in the context of sensory systems, it has also been widely used in the context of higher brain regions (e.g., hippocampus – Barbieri et al.,
<xref ref-type="bibr" rid="B4">2004</xref>
; Eden et al.,
<xref ref-type="bibr" rid="B20">2004</xref>
), and may therefore be relevant across multiple physiological levels.</p>
<p>Given the well developed theory of Bayesian decoding, an intriguing follow-up question relates to the properties of optimal encoding methods, namely determining the properties of a neural population in the sensory layer that optimizes performance, subject to physiological constraints. Sensory neurons are often characterized by their tuning functions (sometimes referred to as “tuning curves”– e.g., Korte and Rauschecker,
<xref ref-type="bibr" rid="B36">1993</xref>
; Anderson et al.,
<xref ref-type="bibr" rid="B1">2000</xref>
; Brenner et al.,
<xref ref-type="bibr" rid="B11">2000</xref>
; Dragoi et al.,
<xref ref-type="bibr" rid="B18">2000</xref>
; Harper and McAlpine,
<xref ref-type="bibr" rid="B28">2004</xref>
), which quantify the relationship between an external stimulus and the evoked activities of each neuron, typically measured by the probability, or frequency, of emitting spikes. From an ecological point of view it is speculated that optimal tuning functions are not universal, but rather adapt themselves to the specific context and to the statistical nature of the environment. The neurophysiological literature offers much experimental evidence for neurons in many areas, which respond to changes in the statistical attributes of stimuli by modulating their response properties (e.g., Pettet and Gilbert,
<xref ref-type="bibr" rid="B45">1992</xref>
; Brenner et al.,
<xref ref-type="bibr" rid="B11">2000</xref>
; Dragoi et al.,
<xref ref-type="bibr" rid="B18">2000</xref>
; Dean et al.,
<xref ref-type="bibr" rid="B14">2005</xref>
; Hosoya et al.,
<xref ref-type="bibr" rid="B29">2005</xref>
).</p>
<p>Theoretical studies of optimal tuning functions hinge on the notion of optimality, which requires the definition of an appropriate cost function. Arguably, a natural cost function is some measure of distance between the true and the estimated environmental state. In this context a reasonable choice is the mean squared error (MSE), or the average Euclidean distance between the two signals. While other distance measures can be envisaged, and should indeed be studied in appropriate contexts, there are many advantages to using this specific measure, not least of which is its relative analytic tractability. The optimality criterion then becomes minimal MSE (MMSE), where it is assumed that the spike trains generated by the sensory cells are later processed by an optimal decoder. Unfortunately, even in this relatively simple setting, analytical examination of the dependence of the MMSE on the tuning functions is infeasible in the general case, and many researchers draw conclusions about optimality of tuning functions from lower bounds on the MSE, especially those which make use of Fisher information (Seung and Sompolinsky,
<xref ref-type="bibr" rid="B55">1993</xref>
; Pouget et al.,
<xref ref-type="bibr" rid="B49">1999</xref>
; Zhang and Sejnowski,
<xref ref-type="bibr" rid="B66">1999</xref>
; Eurich et al.,
<xref ref-type="bibr" rid="B22">2000</xref>
; Harper and McAlpine,
<xref ref-type="bibr" rid="B28">2004</xref>
; Johnson and Ray,
<xref ref-type="bibr" rid="B33">2004</xref>
; Seriès et al.,
<xref ref-type="bibr" rid="B54">2004</xref>
; Lánsky and Greenwood,
<xref ref-type="bibr" rid="B37">2005</xref>
; Brown and Bäcker,
<xref ref-type="bibr" rid="B12">2006</xref>
; Toyoizumi et al.,
<xref ref-type="bibr" rid="B56">2006</xref>
). Unfortunately, in many cases reaching conclusions based on, often loose, bounds can lead to very misleading results, which stand in distinct opposition to predictions arising from analyzing the MMSE itself (see
<xref ref-type="sec" rid="s21">Discussion</xref>
). Along different lines, other researchers consider information theoretic quantities (Brunel and Nadal,
<xref ref-type="bibr" rid="B13">1998</xref>
; Panzeri et al.,
<xref ref-type="bibr" rid="B44">1999</xref>
; McDonnell and Stocks,
<xref ref-type="bibr" rid="B42">2008</xref>
; Geisler et al.,
<xref ref-type="bibr" rid="B24">2009</xref>
; Nikitin et al.,
<xref ref-type="bibr" rid="B43">2009</xref>
), attempting to determine conditions under which the maximal amount of information is conveyed, subject to various constraints. However, a direct relation (as opposed to bounds) between such quantities and the MSE has only been established in very specific situations (Duncan,
<xref ref-type="bibr" rid="B19">1970</xref>
; Guo et al.,
<xref ref-type="bibr" rid="B26">2005</xref>
) and does not hold in general. As far as we aware, Brunel and Nadal (
<xref ref-type="bibr" rid="B13">1998</xref>
) were the first to obtain an optimal width in the MMSE sense, for triangular tuning functions in a special case where the entire population emits a single spike. Interestingly, they showed that the error based result differs from the one based on mutual information, although a qualitative similarity was noted. Other notable exceptions are the work of Bethge et al. (
<xref ref-type="bibr" rid="B8">2002</xref>
,
<xref ref-type="bibr" rid="B9">2003</xref>
), who employed Monte Carlo simulations in order to assess the MMSE directly in specific scenarios, and the work of Bobrowski et al. (
<xref ref-type="bibr" rid="B10">2009</xref>
), who computed the MMSE analytically to find optimal tuning functions in a concrete setting. We note that in the context of two-dimensional rate-based coding, MMSE-optimal receptive fields were investigated by Liu et al. (
<xref ref-type="bibr" rid="B38">2009</xref>
), who focused on the relationship between ganglion cell mosaics and receptive field shapes irregularities.</p>
<p>In this paper we directly address the issue of MMSE-optimal tuning functions, using well-justified approximations which lead to explicit analytic results. We examine various scenarios, including some that were not previously treated, and make novel predictions that can be tested experimentally. We begin in Section
<xref ref-type="sec" rid="s9">“Fisher-Optimal Width”</xref>
by analyzing optimality in terms of Fisher information and demonstrate why drawing qualitative and quantitative conclusions based on bounds can be misleading. In fact, bound-based predictions can sometimes be diametrically opposed to the predictions based on the true error. This notion is of great importance due to the very prevalent use of approximations and bounds on the true error. We then move in Section
<xref ref-type="sec" rid="s12">“MMSE-Based Optimal Width”</xref>
to discuss the implications of directly minimizing the MMSE, focusing on the effects of noise and multimodality. The advantages of dynamic real-time modification of tuning function properties are analyzed in Section
<xref ref-type="sec" rid="s19">“Dynamic Optimal Width”</xref>
, and concrete experimental predictions are made. In fact, some of these predictions have already been observed in existing experimental data. Specifically, we predict that neuronal tuning functions possess an optimal width, which increases with prior uncertainty and environmental noise, and decreases with the decoding time window. The results of the paper are summarized and discussed in Section
<xref ref-type="sec" rid="s21">“Discussion”</xref>
, and the mathematical details appear in Section
<xref ref-type="sec" rid="s2">“Materials and Methods”</xref>
.</p>
</sec>
<sec sec-type="materials|methods" id="s2">
<title>Materials and Methods</title>
<p>We investigate the problem of neural encoding and decoding in a static environment. More formally, consider an environment described by a random variable
<italic>X</italic>
, taking values in some space χ, and characterized by a probability density function
<italic>p</italic>
(·) (in order to simplify notation, we refrain from indexing probability distributions with the corresponding random variable, e.g.,
<italic>p
<sub>X</sub>
</italic>
(·), as the random variable will be clear from the context). In general,
<italic>X</italic>
may represent a stochastic dynamic process (e.g., Bobrowski et al.,
<xref ref-type="bibr" rid="B10">2009</xref>
) but we limit ourselves in this study to the static case. In typical cases
<italic>X</italic>
may be a random vector, e.g., the spatial location of an object, the frequency and intensity of a sound and so on. More generally, in the case of neurons in associative cortical regions,
<italic>X</italic>
can represent more abstract quantities. Suppose that
<italic>X</italic>
is sensed by a population of
<italic>M</italic>
sensory neurons which emit spike trains corresponding to the counting processes
<inline-formula>
<mml:math id="M1">
<mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mo>{</mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mn>1</mml:mn>
</mml:msubsup>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>M</mml:mi>
</mml:msubsup>
<mml:mo>}</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
where
<inline-formula>
<mml:math id="M2">
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
represents the number of spikes emitted by cell
<italic>m</italic>
up to time
<italic>t</italic>
. Denote by λ
<sub>
<italic>m</italic>
</sub>
(·) the tuning function of the
<italic>m</italic>
-th sensory cell. We further assume that, given the input, these spike trains are conditionally independent Poisson processes, namely</p>
<disp-formula id="E1">
<mml:math id="M3">
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>implying that
<inline-formula>
<mml:math id="M4">
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:mi>n</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>n</mml:mi>
</mml:msup>
<mml:mo>/</mml:mo>
<mml:mi>n</mml:mi>
<mml:mo>!</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
(in a more general case of dynamic tuning functions {λ
<sub>
<italic>m</italic>
</sub>
(
<italic>t</italic>
, ·)}, with which we deal later, the parameter of the Poisson distribution is
<inline-formula>
<mml:math id="M5">
<mml:mrow>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mn>0</mml:mn>
<mml:mi>t</mml:mi>
</mml:msubsup>
<mml:msub>
<mml:mtext>λ</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>s</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>d</mml:mi>
<mml:mi>s</mml:mi>
</mml:mrow>
</mml:math>
</inline-formula>
– see Bobrowski et al.,
<xref ref-type="bibr" rid="B10">2009</xref>
). Following this encoding process, the goal of an optimal decoder is to find the best reconstruction of the input
<italic>X</italic>
, based on observations of the
<italic>M</italic>
spike trains
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
. In this paper we focus on the converse problem, namely the selection of tuning functions for encoding, that facilitate optimal decoding of
<italic>X</italic>
.</p>
<p>We formulate our results within a Bayesian setting, where it is assumed that the input signal
<italic>X</italic>
is drawn from some prior probability density function (pdf)
<italic>p</italic>
(·), and the task is to estimate the true state
<italic>X</italic>
, based on the prior distribution and the spike trains
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
observed up to time
<italic>t</italic>
. For any estimator
<inline-formula>
<mml:math id="M6">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
we consider the mean squared error
<inline-formula>
<mml:math id="M7">
<mml:mrow>
<mml:mtext>MSE</mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">[</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
, where the expectation is taken over both the observations
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
and the state
<italic>X</italic>
. It is well known that
<inline-formula>
<mml:math id="M8">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
, the estimator minimizing the MSE, is given by the conditional mean 𝔼[
<italic>X</italic>
|
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
] (e.g., Van Trees,
<xref ref-type="bibr" rid="B58">1968</xref>
), which depends on the parameters defining the tuning functions {λ
<sub>
<italic>m</italic>
</sub>
(
<italic>x</italic>
)}.</p>
<p>As a specific example, assuming that the tuning functions are Gaussians with centers
<italic>c</italic>
<sub>1</sub>
, …,
<italic>c
<sub>M</sub>
</italic>
and widths α
<sub>1</sub>
, …, α
<sub>
<italic>M</italic>
</sub>
, the estimator
<inline-formula>
<mml:math id="M9">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
and the corresponding MMSE, depend on
<bold>θ</bold>
 = (
<italic>c</italic>
<sub>1</sub>
, …,
<italic>c
<sub>M</sub>
</italic>
, α
<sub>1</sub>
, …, α
<sub>
<italic>M</italic>
</sub>
). The optimal values of the parameters are then given by a further minimization process,</p>
<disp-formula id="E2">
<mml:math id="M10">
<mml:mrow>
<mml:msup>
<mml:mo mathvariant="bold">θ</mml:mo>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:munder>
<mml:mrow>
<mml:mi>arg</mml:mi>
<mml:mo></mml:mo>
<mml:mi>min</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo>θ</mml:mo>
</mml:munder>
<mml:mo>{</mml:mo>
<mml:mtext>MMSE(</mml:mtext>
<mml:mo>θ</mml:mo>
<mml:mtext>)</mml:mtext>
<mml:mo>}</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In other words, θ
<sup>opt</sup>
represents the tuning function parameters which lead to minimal reconstruction error. In this paper we focus on fixed centers of the tuning functions, and study the optimal widths of the sensory tuning functions that minimize MMSE(
<bold>θ</bold>
).</p>
<sec id="s3">
<title>Optimal decoding of neural spike trains</title>
<p>As stated before, the optimal estimator minimizing the MSE is given by
<inline-formula>
<mml:math id="M11">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
. This estimator can be directly computed using the posterior distribution, obtained from Bayes’ theorem</p>
<disp-formula id="E3">
<label>(1)</label>
<mml:math id="M12">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>|</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo>|</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mstyle>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<italic>K</italic>
is a normalization constant. We comment that here, and in the sequel, we use the symbol
<italic>K</italic>
to denote a generic normalization constant. Since such constants will play no role in the analysis, we do not bother to distinguish between them. For analytical tractability we restrict ourselves to the family of Gaussian prior distributions
<inline-formula>
<mml:math id="M13">
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="script">N</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
and consider Gaussian tuning functions</p>
<disp-formula id="E4">
<label>(2)</label>
<mml:math id="M14">
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>which in many cases set a fair approximation to biological tuning functions (e.g., Anderson et al.,
<xref ref-type="bibr" rid="B1">2000</xref>
; Pouget et al.,
<xref ref-type="bibr" rid="B47">2000</xref>
). From Eq.
<xref ref-type="disp-formula" rid="E3">1</xref>
we have</p>
<disp-formula id="E5">
<label>(3)</label>
<mml:math id="M15">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mtext>(x|</mml:mtext>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mtext>)=</mml:mtext>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In the multi-dimensional case
<bold>X</bold>
 ∼ 𝓝(μ
<sub>
<italic>x</italic>
</sub>
, Σ
<sub>
<italic>x</italic>
</sub>
) and the Gaussian tuning functions are of the form</p>
<disp-formula id="E6">
<label>(4)</label>
<mml:math id="M16">
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext>x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mtext>T</mml:mtext>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mrow>
<mml:mtext>x-c</mml:mtext>
</mml:mrow>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
</sec>
<sec id="s4">
<title>Bayesian cramér–rao bound</title>
<p>Since the MMSE is often difficult to compute, an alternative approach which has been widely used in the neural computation literature is based on minimizing a more tractable lower bound on the MSE, related to Fisher information of the population of sensory neurons. The Fisher information is defined by</p>
<disp-formula id="E7">
<label>(5)</label>
<mml:math id="M17">
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mtext></mml:mtext>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
<mml:mtext>ln</mml:mtext>
<mml:mo></mml:mo>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo>|</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>If
<italic>X</italic>
is deterministic, as in the classic (non-Bayesian) case, and
<inline-formula>
<mml:math id="M18">
<mml:mrow>
<mml:mi>B</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo></mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
is the estimation bias, then the error variance of
<italic>any non-Bayesian</italic>
estimator
<inline-formula>
<mml:math id="M19">
<mml:mrow>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
is lower bounded by
<inline-formula>
<mml:math id="M20">
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>+</mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mi>d</mml:mi>
<mml:mrow>
<mml:mi>d</mml:mi>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
<mml:mi>B</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:msup>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
which is the Cramér–Rao bound (Van Trees,
<xref ref-type="bibr" rid="B58">1968</xref>
). The extension to the Bayesian setting, where
<italic>X</italic>
is a random variable with probability density function
<italic>p</italic>
(·), often referred to as the Bayesian Cramér–Rao bound (BCRB), states that</p>
<disp-formula id="E8">
<label>(6)</label>
<mml:math id="M21">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">[</mml:mo>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>+</mml:mo>
<mml:mo></mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mfrac>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M22">
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mi>d</mml:mi>
<mml:mrow>
<mml:mi>d</mml:mi>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
<mml:mtext>ln</mml:mtext>
<mml:mo></mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
and the bounded quantity is the MSE of
<italic>any</italic>
estimator (section 1.1.2 in Van Trees and Bell,
<xref ref-type="bibr" rid="B59">2007</xref>
). Note that the expectation in Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
is taken with respect to both the observations
<bold>N</bold>
<sub>t</sub>
and the state
<italic>X</italic>
, in contrast to the non-Bayesian case where the unknown state
<italic>X</italic>
is deterministic. Note that in the asymptotic limit, t → ∞ the prior term, ℐ(
<italic>p</italic>
(
<italic>x</italic>
)), can be neglected with respect to the expected Fisher information, so that the asymptotic BCRB is 1/𝔼[𝒥(
<italic>X</italic>
)].</p>
<p>The second term in the denominator of Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
is independent of the tuning functions, and in the case of a univariate Gaussian prior is given by</p>
<disp-formula id="E9">
<mml:math id="M23">
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In our setting, the expected value of the population's Fisher information is given by</p>
<disp-formula id="E10">
<label>(7)</label>
<mml:math id="M24">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mn>5</mml:mn>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:math>
</disp-formula>
<p>(see Section
<xref ref-type="sec" rid="s23">“Expectation of Population Fisher Information”</xref>
in Appendix).</p>
<p>In the multi-dimensional case the right hand side of Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
is replaced by the inverse of the matrix
<bold>J</bold>
 = 𝔼[𝒥(
<bold>X</bold>
)] + ℐ(
<italic>p</italic>
(
<bold>x</bold>
)), where</p>
<disp-formula id="E11">
<mml:math id="M25">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mtext> ln </mml:mtext>
<mml:mi>P</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo>|</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mtext> ln </mml:mtext>
<mml:mi>P</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo>|</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo></mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mtext> ln </mml:mtext>
<mml:mi>P</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mtext> ln </mml:mtext>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>and the left hand side is replaced by the error correlation matrix
<inline-formula>
<mml:math id="M26">
<mml:mrow>
<mml:mtext mathvariant="bold">R </mml:mtext>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo>[</mml:mo>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:mtext>].</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
The interpretation of the resulting inequality is twofold. First, the matrix
<bold>R</bold>
 − 
<bold>J</bold>
<sup>−1</sup>
is non-negative definite and second,</p>
<disp-formula id="E12">
<label>(8)</label>
<mml:math id="M27">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mi>k</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mover accent="true">
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>k</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msup>
<mml:mi mathvariant="bold">J</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mi>k</mml:mi>
</mml:mrow>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:mtext>   </mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>d</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<italic>d</italic>
is the dimension of
<bold>X</bold>
(Van Trees,
<xref ref-type="bibr" rid="B58">1968</xref>
).</p>
<p>It is straightforward to show that in this case</p>
<disp-formula id="E13">
<mml:math id="M28">
<mml:mrow>
<mml:mi mathvariant="script">I</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi mathvariant="bold">X</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi mathvariant="bold">X</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>The expression for 𝔼[𝒥(
<bold>X</bold>
)] is similar to Eq.
<xref ref-type="disp-formula" rid="E10">7</xref>
and is derived in Section
<xref ref-type="sec" rid="s23">“Expectation of Population Fisher Information”</xref>
in Appendix, yielding</p>
<disp-formula id="E14">
<label>(9)</label>
<mml:math id="M29">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:maligngroup></mml:maligngroup>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi mathvariant="bold">X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:malignmark></mml:malignmark>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:maligngroup></mml:maligngroup>
<mml:malignmark></mml:malignmark>
<mml:mo>×</mml:mo>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>where ξ
<sub>
<italic>m</italic>
</sub>
 = (c
<sub>
<italic>m</italic>
</sub>
 − µ
<sub>
<italic>x</italic>
</sub>
)
<sup>
<italic>T</italic>
</sup>
(
<italic>A
<sub>m</sub>
</italic>
 + Σ
<sub>
<italic>x</italic>
</sub>
)
<sup>−1</sup>
(c
<sub>
<italic>m</italic>
</sub>
 − m
<sub>
<italic>x</italic>
</sub>
).</p>
</sec>
<sec id="s5">
<title>Analytical derivation of the MMSE</title>
<p>We now proceed to establish closed form expressions for the MMSE. In order to maintain analytical tractability we analyze the simple case of equally spaced tuning functions (
<italic>c</italic>
<sub>
<italic>m</italic>
+1</sub>
 − 
<italic>c
<sub>m</sub>
</italic>
 ≡ Δ
<italic>c</italic>
) with uniform width (α
<sub>
<italic>m</italic>
</sub>
 ≡ α). When the width is of the order of Δ
<italic>c</italic>
or higher, and
<italic>M</italic>
is large enough with respect to σ
<sub>
<italic>x</italic>
</sub>
, the mean firing rate of the entire population is practically uniform for any “reasonable”
<italic>X</italic>
. As shown in Section
<xref ref-type="sec" rid="s24">“Uniform Mean Firing Rate of Population”</xref>
in Appendix, the sum Σ
<sub>
<italic>m</italic>
</sub>
λ
<sub>
<italic>m</italic>
</sub>
(
<italic>x</italic>
) is well approximated in this case by
<inline-formula>
<mml:math id="M30">
<mml:mrow>
<mml:mo>λ</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo>α</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>/</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
</mml:mrow>
<mml:mo stretchy="false">)</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Under these conditions the posterior (Eq.
<xref ref-type="disp-formula" rid="E5">3</xref>
) takes the form</p>
<disp-formula id="E15">
<label>(10)</label>
<mml:math id="M31">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>|</mml:mo>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:mi>exp</mml:mi>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>implying that [
<bold>X</bold>
|
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
] ∼𝒩
<inline-formula>
<mml:math id="M32">
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>,</mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
where</p>
<disp-formula id="E16">
<mml:math id="M33">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>;</mml:mo>
<mml:mtext></mml:mtext>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Recalling that the spike trains are independent Poisson processes, namely
<inline-formula>
<mml:math id="M34">
<mml:mrow>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mtext></mml:mtext>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi>X</mml:mi>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mtext>(</mml:mtext>
<mml:mi>X</mml:mi>
<mml:mtext>)</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mtext>),</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
and in light of the above approximation,
<inline-formula>
<mml:math id="M35">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
is independent of
<italic>X</italic>
and
<italic>Y</italic>
 ∼ Pois(α
<italic>t</italic>
<sub>eff</sub>
), where
<inline-formula>
<mml:math id="M36">
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Since
<inline-formula>
<mml:math id="M37">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">|</mml:mo>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">]</mml:mo>
<mml:mtext></mml:mtext>
<mml:mo></mml:mo>
<mml:mtext></mml:mtext>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
the MMSE is given by</p>
<disp-formula id="E17">
<mml:math id="M38">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>|</mml:mo>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>and thus we get an explicit expression for the normalized MMSE,</p>
<disp-formula id="E18">
<label>(11)</label>
<mml:math id="M39">
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo>+</mml:mo>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
</mml:mrow>
<mml:mo>/</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo>+</mml:mo>
<mml:mi>k</mml:mi>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
</mml:mrow>
<mml:mo>/</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>k</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>!</mml:mo>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In the multivariate case we assume that the centers of the tuning functions form a dense multi-dimensional lattice with equal spacing Δ
<italic>c</italic>
along all axes, and Eq.
<xref ref-type="disp-formula" rid="E15">10</xref>
becomes</p>
<disp-formula id="E19">
<label>(12)</label>
<mml:math id="M40">
<mml:mtable columnalign="left">
<mml:mtr>
<mml:mtd>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x|</mml:mtext>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:mi>exp</mml:mi>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mtext>        </mml:mtext>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>A</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>namely [
<bold>X</bold>
|
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
] ∼ 𝒩
<inline-formula>
<mml:math id="M41">
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mover accent="true">
<mml:mo>Σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
where</p>
<disp-formula id="E20">
<label>(13)</label>
<mml:math id="M42">
<mml:mrow>
<mml:mover accent="true">
<mml:mo>Σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mi>A</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mstyle displaystyle="true">
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>;</mml:mo>
<mml:mtext></mml:mtext>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>=</mml:mo>
<mml:mover accent="true">
<mml:mo>Σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mi>A</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mstyle displaystyle="true">
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In this case
<inline-formula>
<mml:math id="M43">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mi>A</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:mtext>),</mml:mtext>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mo>/</mml:mo>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msup>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:math>
</inline-formula>
(see Section
<xref ref-type="sec" rid="s24">“Uniform Mean Firing Rate of Population”</xref>
in Appendix), and</p>
<disp-formula id="E21">
<label>(14)</label>
<mml:math id="M44">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>o</mml:mi>
<mml:mi>p</mml:mi>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo></mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>|</mml:mo>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mi>k</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mover accent="true">
<mml:mo>μ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>k</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mo></mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mi>k</mml:mi>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
</sec>
<sec id="s6">
<title>Incorporation of noise</title>
<p>Suppose that due to environmental noise the value of
<italic>X</italic>
is not directly available to the sensory system, which must respond to a noisy version of the environmental state –
<inline-formula>
<mml:math id="M45">
<mml:mrow>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
For simplicity we assume additive Gaussian noise:
<inline-formula>
<mml:math id="M46">
<mml:mrow>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mo>=</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>+</mml:mo>
<mml:mi>W</mml:mi>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi>W</mml:mi>
<mml:mo>~</mml:mo>
<mml:mi mathvariant="script">N</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mn>0</mml:mn>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
For a dense layer of sensory neurons the joint posterior distribution of the environmental state and noise is</p>
<disp-formula id="E22">
<mml:math id="M47">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>w</mml:mi>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>w</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>w</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>w</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:mi>w</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mtext>w</mml:mtext>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:mi>w</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mstyle>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mtext>  </mml:mtext>
<mml:mo>×</mml:mo>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>which is Gaussian with respect to
<italic>W</italic>
, where
<inline-formula>
<mml:math id="M48">
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Integration over
<italic>w</italic>
gives the marginal distribution</p>
<disp-formula id="E23">
<mml:math id="M49">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mi mathvariant="bold">N</mml:mi>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mrow>
<mml:mover>
<mml:mo>σ</mml:mo>
<mml:mo></mml:mo>
</mml:mover>
</mml:mrow>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>which is Gaussian with variance</p>
<disp-formula id="E24">
<label>(15)</label>
<mml:math id="M50">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mi>Y</mml:mi>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>4</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mi>Y</mml:mi>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mi>Y</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M51">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mtext>)</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
as before. The MMSE is computed directly from the posterior variance:</p>
<disp-formula id="E25">
<label>(16)</label>
<mml:math id="M52">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mo> </mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo> </mml:mo>
<mml:mo>=</mml:mo>
<mml:mo> </mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mi>Y</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Note that when σ
<sub>
<italic>w</italic>
</sub>
 → ∞ the sensory information becomes irrelevant for estimating
<italic>X</italic>
, and indeed in such case
<inline-formula>
<mml:math id="M53">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
</sec>
<sec id="s7">
<title>Multisensory integration</title>
<p>Consider the case where the environmental state is estimated based on observations from two different sensory modalities (e.g., visual and auditory). The spike trains in each channel are generated in a similar manner to the unimodal case, but are then integrated to yield enhanced neural decoding. All quantities that are related to the first and second modalities will be indexed by
<italic>v</italic>
and
<italic>a</italic>
, respectively, although these modalities are not necessarily the visual and the auditory.</p>
<p>Each sensory modality detects a different noisy version of the environmental state:
<inline-formula>
<mml:math id="M54">
<mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>W</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:math>
</inline-formula>
in the “visual” pathway and
<inline-formula>
<mml:math id="M55">
<mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>W</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:math>
</inline-formula>
in the “auditory” pathway. The noise variables are Gaussian with zero-mean and variances
<inline-formula>
<mml:math id="M56">
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
and
<inline-formula>
<mml:math id="M57">
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
, respectively, and independent of each other as they emerge from different physical processes. The noisy versions of the environmental state are encoded by
<italic>M
<sub>v</sub>
</italic>
 + 
<italic>M
<sub>a</sub>
</italic>
sensory neurons with conditional Poisson statistics:</p>
<disp-formula id="E26">
<mml:math id="M58">
<mml:mrow>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo>~</mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:mtd>
<mml:mtd>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo>~</mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:mtd>
<mml:mtd>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where the tuning functions in each modality are Gaussian with uniform width,</p>
<disp-formula id="E27">
<mml:math id="M59">
<mml:mrow>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:mtd>
<mml:mtd>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:mtd>
<mml:mtd>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:math>
</disp-formula>
<p>We assume that the tuning functions are dense enough, namely the widths are not significantly smaller than the spacing between the centers, and equally spaced
<inline-formula>
<mml:math id="M60">
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
<p>The full expression for the MMSE in this case is</p>
<disp-formula id="E28">
<label>(17)</label>
<mml:math id="M61">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M62">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mtext>)</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
and
<inline-formula>
<mml:math id="M63">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mtext>)</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
(the derivation appears in Section
<xref ref-type="sec" rid="s25">“MMSE for Multisensory Integration”</xref>
in Appendix).</p>
</sec>
</sec>
<sec id="s8">
<title>Results</title>
<p>As argued in Section
<xref ref-type="sec" rid="s2">“Materials and Methods”</xref>
, obtaining optimal tuning function parameters (or simply optimal width, in the simplified scenario presented in Section
<xref ref-type="sec" rid="s5">“Analytical Derivation of the MMSE”</xref>
) requires computation of the MMSE for every given set of parameters, which is often not even numerically feasible. In the context of classical estimation, in order to maintain analytical tractability, the Cramér–Rao bound has been traditionally analyzed in place of the MMSE. In this text we employ a theoretical framework of optimal Bayesian estimation, in an attempt to find the optimal tuning functions that facilitate optimal estimation of
<italic>X</italic>
from the observations (the neural spike trains). We start by analyzing optimal width as predicted from the BCRB and proceed to scrutinize the properties of optimal width derived directly from the MMSE.</p>
<sec id="s9">
<title>Fisher-optimal width</title>
<p>In a Bayesian context, it is well known (Van Trees,
<xref ref-type="bibr" rid="B58">1968</xref>
) that for any estimator
<inline-formula>
<mml:math id="M64">
<mml:mrow>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
the MSE is lower bounded by the Bayesian Cramér–Rao lower bound (BCRB) given in Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
. An interesting question is the following: considering that the MSE of any estimator (and thus the MMSE itself) is lower bounded by the BCRB, do the optimal widths also minimize the BCRB? In other words, can the BCRB be used as a proxy to the MMSE in selecting optimal widths? If this were the case, we could analyze MMSE-optimality by searching for widths that maximize the expected value of the Fisher information defined in Eq.
<xref ref-type="disp-formula" rid="E7">5</xref>
. This alternative analysis would be favorable, because in most cases analytical computation of 𝔼[𝒥(
<italic>X</italic>
)] is much simpler than that of the MMSE, especially when the conditional likelihood is separable, in which case the population's log likelihood reduces to a sum of individual log likelihood functions. Moreover, it remains analytically tractable under much broader conditions. Unfortunately, as we show below, the answer to the above question is negative. Despite the fact that for any encoding ensemble the BCRB bounds the MMSE from below, and may even approximate it in the asymptotic limit (if, for example, 𝒥(
<italic>X</italic>
) is independent of
<italic>X</italic>
), the behavior of the two (as a function of tuning function widths) is very different, as we demonstrate below.</p>
<p>In terms of the BCRB the existence of an optimal set of widths critically depends on the dimensionality of the environmental state. We consider first the univariate case, and then discuss the extension to multiple dimensions.</p>
<sec id="s10">
<title>The univariate case</title>
<p>In the scalar case, using the tuning functions in Eq.
<xref ref-type="disp-formula" rid="E4">2</xref>
, it follows from Eq.
<xref ref-type="disp-formula" rid="E10">7</xref>
that it is best to employ infinitesimally narrow tuning functions, since 𝔼[𝒥(
<italic>X</italic>
)] → ∞ most rapidly when α
<sub>
<italic>m</italic>
</sub>
 → 0 for all
<italic>m</italic>
, although Fisher information is undefined when one of the width parameters is exactly 0. A similar result was suggested previously for non-Bayesian estimation schemes (Seung and Sompolinsky,
<xref ref-type="bibr" rid="B55">1993</xref>
; Zhang and Sejnowski,
<xref ref-type="bibr" rid="B66">1999</xref>
; Brown and Bäcker,
<xref ref-type="bibr" rid="B12">2006</xref>
), but within the framework that was employed there the result was not valid, as we elucidate in Section
<xref ref-type="sec" rid="s21">“Discussion”</xref>
. Why does Fisher information predict that “narrower is better”? As a tuning function narrows, the probability that the stimulus will appear within its effective receptive field and evoke any activity decreases, but more and more information could be extracted about the stimulus if the cell did emit a spike. Evidently, in the limit α
<sub>
<italic>m</italic>
</sub>
 → 0 the gain in information dominates the low probability and BCRB → 0; however, this is precisely the regime where the bound vanishes and is therefore trivial. This result is in complete contrast with the MSE, which is minimal for non-zero values of α as we show below. More disturbingly, as argued in Section
<xref ref-type="sec" rid="s10">“The Univariate Case”</xref>
, the performance is in fact the worst possible when α → 0.</p>
<p>We note that Bethge et al. (
<xref ref-type="bibr" rid="B8">2002</xref>
) were the first to address the shortcomings of lower bounds on the MSE in a Bayesian setting. These authors stressed the fact that performance bounds are usually tight only in the limit of infinitely long time windows, and cannot be expected to reflect the behavior of the bounded quantities for finite decoding times. They observed that, for any
<italic>X</italic>
, the minimal conditional MSE asymptotically equals 1/𝒥(
<italic>X</italic>
), and by taking expectations on both sides they obtained 𝔼[1/𝒥(
<italic>X</italic>
)] as the asymptotic value of the MMSE, which they assessed using Monte Carlo simulations.</p>
</sec>
<sec id="s11">
<title>The multivariate case</title>
<p>In this case, using the
<italic>d</italic>
-dimensional Gaussian tuning functions (Eq.
<xref ref-type="disp-formula" rid="E6">4</xref>
) characterized by the matrices (
<italic>A
<sub>m</sub>
</italic>
), the problem becomes more complex as is clear from Eq.
<xref ref-type="disp-formula" rid="E14">9</xref>
, because the tuning functions may have different widths along different axes or even non-diagonal matrices. For simplicity we focus on the case where the matrices
<italic>A
<sub>m</sub>
</italic>
are diagonal. By definition, the MSE of any estimator is the trace of its error correlation matrix, and in accordance with Eq.
<xref ref-type="disp-formula" rid="E12">8</xref>
, Fisher-optimal tuning functions minimize the trace of
<bold>J</bold>
<sup>−1</sup>
, which equals the sum of its eigenvalues. If the widths in all dimensions are vanishingly small (
<italic>A
<sub>m</sub>
</italic>
 ≡ ε
<bold>I</bold>
where ε ≪ 1),
<italic>A
<sub>m</sub>
</italic>
becomes negligible with respect to Σ
<sub>
<italic>x</italic>
</sub>
<inline-formula>
<mml:math id="M65">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">[</mml:mo>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo> </mml:mo>
<mml:mo></mml:mo>
<mml:mo> </mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
</mml:msup>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:msqrt>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mtext></mml:mtext>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
and In 3D and in higher dimensions the matrix
<inline-formula>
<mml:math id="M66">
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:mtext>diag</mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:msup>
<mml:mo>ε</mml:mo>
<mml:mrow>
<mml:mi>d</mml:mi>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
<mml:mn></mml:mn>
<mml:mo>,</mml:mo>
<mml:msup>
<mml:mo>ε</mml:mo>
<mml:mrow>
<mml:mi>d</mml:mi>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
is close to the zero matrix, and consequently the eigenvalues of 𝔼[𝒥(
<italic>X</italic>
)] are vanishingly small. If all widths are large (
<italic>A
<sub>m</sub>
</italic>
 ≡ (1/ε)>
<bold>I</bold>
where ε ≪ 1),
<italic>A
<sub>m</sub>
</italic>
dominates Σ
<sub>
<italic>x</italic>
</sub>
and
<inline-formula>
<mml:math id="M67">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo stretchy="false">[</mml:mo>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mtext></mml:mtext>
<mml:mo>Σ</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">[</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
(
<bold>c</bold>
<sub>
<italic>m</italic>
</sub>
− μ
<sub>
<italic>x</italic>
</sub>
)
<sup>
<italic>T</italic>
</sup>
], namely the eigenvalues of 𝔼[𝒥(
<italic>X</italic>
)] are still vanishingly small. This means that when the widths are too small or too large, the BCRB dictates poor estimation performance in high dimensional settings (specifically, the information gain no longer dominates the low probability in the limit of vanishing widths). Therefore, there exists an optimal set of finite positive widths that minimize the BCRB. As an exception, in 2D the eigenvalues of
<inline-formula>
<mml:math id="M68">
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mtext></mml:mtext>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
are finite when the widths approach 0, and 𝔼[𝒥(
<italic>X</italic>
)] cannot be said to have infinitesimally small eigenvalues. In fact, numerical calculations for radial prior distribution reveal that in 2D “narrower is still better”, as in the univariate case.</p>
<p>An interesting observation concerning the BCRB based optimal widths is that they
<italic>cannot</italic>
depend on the available decoding time
<italic>t</italic>
, since 𝔼[𝒥(
<italic>X</italic>
)] is simply proportional to
<italic>t</italic>
. As we will show, an important consequence of the present work is to show that the optimal tuning function widths, based on minimizing the MMSE, depend explicitly on time. In this sense, choosing optimal tuning functions based on the BCRB leads to a qualitatively incorrect prediction. We return to this issue in Section
<xref ref-type="sec" rid="s21">“Discussion”</xref>
, where further difficulties arising from the utilization of lower bounds are presented.</p>
</sec>
</sec>
<sec id="s12">
<title>MMSE-based optimal width</title>
<p>Having discussed predictions about optimal widths based on BCRB minimization, we wish to test their reliability by finding optimal widths through direct MMSE minimization. As explained in Section
<xref ref-type="sec" rid="s2">“Materials and Methods”</xref>
, in order to facilitate an analytic derivation of the MMSE, we examine here the case of dense equally spaced tuning functions with
<italic>uniform</italic>
widths. We consider first the univariate case and then proceed to the multivariate setting. As far as we are aware, Bethge et al. (
<xref ref-type="bibr" rid="B8">2002</xref>
) were the first to observe, using Monte Carlo simulations, that the MSE-optimal width of tuning functions may depend on decoding time.</p>
<sec id="s13">
<title>The univariate case</title>
<p>Based on Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
, we plot the normalized MMSE as a function of the width (Figure
<xref ref-type="fig" rid="F1">1</xref>
A) for different combinations of effective decoding time and prior standard deviation. The effective time,
<italic>t</italic>
<sub>eff</sub>
, defined in Section
<xref ref-type="sec" rid="s21">“Analytical Derivation of the MMSE”</xref>
, is proportional to the time over which spikes accumulate. The existence of an optimal width, which is not only positive but also varies with σ
<sub>
<italic>x</italic>
</sub>
and
<italic>t</italic>
<sub>eff</sub>
, is clearly exhibited. A similar result was first demonstrated by Bobrowski et al. (
<xref ref-type="bibr" rid="B10">2009</xref>
), but the dependence of optimal width on the two other parameters was not examined. Note that the derivation in Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
is not reliable in the vicinity of the
<italic>y</italic>
-axis, because the approximation of uniform population firing rate (see
<xref ref-type="sec" rid="s5">Analytical Derivation of the MMSE</xref>
) is not valid when α → 0. Nevertheless, it can be proved that when α → 0,
<italic>P</italic>
(
<bold>N</bold>
<sub>
<italic>t</italic>
</sub>
 = 0) → 1 and as a consequence
<inline-formula>
<mml:math id="M69">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext>N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:math>
</inline-formula>
and indeed
<inline-formula>
<mml:math id="M70">
<mml:mrow>
<mml:mtext>MMSE/</mml:mtext>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mn>1.</mml:mn>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
<fig id="F1" position="float">
<label>Figure 1</label>
<caption>
<p>
<bold>(A)</bold>
The normalized MMSE of a dense population of Gaussian tuning functions against tuning function width, for different values of effective decoding time (shortest – uppermost triplet, longest – lowermost triplet). In each triplet three values of prior standard deviation were examined –σ
<sub>
<italic>x</italic>
</sub>
 = 1 (solid), σ
<sub>
<italic>x</italic>
</sub>
 = 2 (dashed), and σ
<sub>
<italic>x</italic>
</sub>
 = 3 (dotted), where the optimal width is indicated by squares, circles and diamonds, respectively.
<bold>(B)</bold>
The normalized MMSE for different values of effective decoding time (σ
<sub>
<italic>x</italic>
</sub>
 = 1), obtained theoretically (dashed lines, optimal width indicated by circles) and in simulation (solid lines, optimal width indicated by squares). Simulation parameters:
<italic>N</italic>
 = 251,
<italic>X</italic>
 ∈ [−4,4],
<inline-formula>
<mml:math id="M71">
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mtext>x</mml:mtext>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo></mml:mo>
<mml:mi mathvariant="script">N</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mn>0</mml:mn>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
<italic>M</italic>
 = 250, Δ
<italic>c</italic>
 = 0.034, λ
<sub>max</sub>
 = 50.</p>
</caption>
<graphic xlink:href="fncom-04-00130-g001"></graphic>
</fig>
<p>The existence of an optimal width is very intuitive, considering the tradeoff between multiplicity of spikes and informativeness of observations. When tuning functions are too wide, multiple spikes will be generated that loosely depend on the stimulus, and thus the observations carry little information. When tuning functions are too narrow, an observed spike will be informative about the stimulus but the generation of a spike is very unlikely. Thus, an intermediate optimal width emerges. To verify that the results were not affected by the approximation in Eq.
<xref ref-type="disp-formula" rid="E15">10</xref>
, we compare in Figure
<xref ref-type="fig" rid="F1">1</xref>
B the theoretical MMSE with the MMSE obtained in simulations, which make no assumptions about uniform population firing rate. As can be seen in the figure, the two functions coincide, and in particular, the optimal widths are nearly identical. Recall that at each moment it is assumed that α is not significantly smaller than Δ
<italic>c</italic>
(this is required for the uniform population firing rate approximation). For the values obtained in Figure
<xref ref-type="fig" rid="F1">1</xref>
A this implies Δ
<italic>c</italic>
smaller than about 0.5. Obviously, the validity of Eq.
<xref ref-type="disp-formula" rid="E15">10</xref>
would break down for sufficiently long decoding time windows. For instance, when
<italic>t</italic>
<sub>eff</sub>
> 9(1.715Δ
<italic>c</italic>
<sup>-1</sup>
(i.e., when α
<sup>opt</sup>
 < 0.583Δ
<italic>c</italic>
) the relative ripple of the population firing rate rises above 0.5% (see Section
<xref ref-type="sec" rid="s24">“Uniform Mean Firing Rate of Population”</xref>
in Appendix). Nevertheless, as can be observed in Figure
<xref ref-type="fig" rid="F1">1</xref>
B, the theoretical approximation for the MMSE in Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
holds even for vanishing width, despite the non-uniformity in population firing rate (this appears more clearly in Figure
<xref ref-type="fig" rid="F8">8</xref>
).</p>
<p>We now turn to analyze the effect of the two parameters, σ
<sub>
<italic>x</italic>
</sub>
and
<italic>t</italic>
<sub>eff</sub>
, in Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
. The effective time is a measure for the number of spikes generated by the neural population, since it is proportional to λ
<sub>max</sub>
(where λ
<sub>max</sub>
is the maximal mean firing rate of a single neuron) and also to 1/Δ
<italic>c</italic>
(which is proportional to the population size when the population is required to “cover” a certain fraction of the stimulus space). Longer effective times increase the likelihood of spikes under all circumstances, and therefore the drawback of narrow tuning functions is somewhat mitigated, leading to a reduction in optimal width (as illustrated in Figure
<xref ref-type="fig" rid="F2">2</xref>
A).</p>
<fig id="F2" position="float">
<label>Figure 2</label>
<caption>
<p>
<bold>Optimal tuning functions width as a function of (A)</bold>
effective decoding time, and (B) prior standard deviation. All curves are well-fitted by the same function:
<inline-formula>
<mml:math id="M72">
<mml:mrow>
<mml:mover accent="true">
<mml:mo>α</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>9</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
</caption>
<graphic xlink:href="fncom-04-00130-g002"></graphic>
</fig>
<p>The prior standard deviation reflects the initial uncertainty in the environment: the larger it is – the less is known
<italic>a priori</italic>
about the identity of the stimulus. Confidence about stimulus identity (associated with small MMSE) may stem from either a deterministic environment or from numerous observations for which the likelihood is very sharp. When the environment is less certain, many more observations are needed in order to obtain a narrow posterior distribution leading to smaller MMSE, and thus the optimal width increases (as illustrated in Figure
<xref ref-type="fig" rid="F2">2</xref>
B). Consider the condition discussed above for the uniform rate approximation to hold with high accuracy, namely
<inline-formula>
<mml:math id="M73">
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mtext></mml:mtext>
<mml:mo>></mml:mo>
<mml:mtext></mml:mtext>
<mml:mn>9</mml:mn>
<mml:mo stretchy="false">(</mml:mo>
<mml:mn>1.715</mml:mn>
<mml:mo>Δ</mml:mo>
<mml:msup>
<mml:mi>c</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
. Assuming, for example, that σ
<sub>
<italic>x</italic>
</sub>
 ≥ Δ
<italic>c</italic>
, implies that
<italic>t</italic>
<sub>eff</sub>
 ≤ 6/Δ
<italic>c</italic>
suffices to guarantee the above condition. Under these conditions we obtain a simple empirical expression relating the optimal width to the effective time and prior uncertainty,</p>
<disp-formula id="E29">
<label>(18)</label>
<mml:math id="M74">
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo></mml:mo>
<mml:mover accent="true">
<mml:mo>α</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mtext>9</mml:mtext>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Figure
<xref ref-type="fig" rid="F2">2</xref>
demonstrates the quality of this relation.</p>
<p>Finally, an interesting limit to consider is that of short decoding times. In this case the tuning functions are broad and the uniform sum rate approximation is expected to hold accurately. More precisely, when
<italic>t</italic>
 → 0 the Poisson random variable
<inline-formula>
<mml:math id="M75">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
converges in probability to a Bernoulli random variable with “success” probability α
<italic>t</italic>
<sub>eff</sub>
, in which case the expression for the normalized MMSE (Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
) greatly simplifies,</p>
<disp-formula id="E30">
<mml:math id="M76">
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo></mml:mo>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mn>1</mml:mn>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:mtext>1+ </mml:mtext>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
<mml:mo>/</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>+</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo></mml:mo>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Differentiating with respect to α and setting the result to 0 yields</p>
<disp-formula id="E31">
<mml:math id="M77">
<mml:mrow>
<mml:msub>
<mml:mrow>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo>α</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
<mml:mtext></mml:mtext>
<mml:mo></mml:mo>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Note that by taking the appropriate limit in the empirical formula (Eq.
<xref ref-type="disp-formula" rid="E29">18</xref>
) we see that lim
<sub>
<italic>t</italic>
→0</sub>
α
<sup>opt</sup>
 = σ
<sub>
<italic>x</italic>
</sub>
, consistently with the above exact derivation.</p>
<p>Interestingly, when the width equals the prior standard deviation, the normalized MMSE can be calculated exactly for any effective time,</p>
<disp-formula id="E32">
<mml:math id="M78">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mfrac>
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo>+</mml:mo>
<mml:mi>k</mml:mi>
</mml:mrow>
</mml:mfrac>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mi>k</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>!</mml:mo>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mtext>(</mml:mtext>
<mml:mi>k</mml:mi>
<mml:mo>+</mml:mo>
<mml:mtext>1)!</mml:mtext>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo></mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>which for very short time windows converges to the optimal normalized MMSE.</p>
</sec>
<sec id="s14">
<title>The multi-dimensional case</title>
<p>We consider multivariate normal distributions for both the prior and the tuning functions. We start by considering a radial prior distribution and radial tuning functions, namely Gaussians with covariance matrices
<inline-formula>
<mml:math id="M79">
<mml:mrow>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mtext mathvariant="bold">I</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
and
<italic>A
<sub>m</sub>
</italic>
 = α
<sup>2</sup>
<bold>I</bold>
, respectively, where
<bold>I</bold>
is the
<italic>d</italic>
 × 
<italic>d</italic>
identity matrix. In this simple scenario the posterior covariance matrix in Eq.
<xref ref-type="disp-formula" rid="E20">13</xref>
becomes</p>
<disp-formula id="E33">
<mml:math id="M80">
<mml:mrow>
<mml:mover accent="true">
<mml:mo>Σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mi>I</mml:mi>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M81">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mi>d</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:mo>α</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mo>α</mml:mo>
<mml:mtext>/</mml:mtext>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>d</mml:mi>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mtext>)</mml:mtext>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
From Eq.
<xref ref-type="disp-formula" rid="E21">14</xref>
we see that</p>
<disp-formula id="E34">
<mml:math id="M82">
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mtext>2</mml:mtext>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mover accent="true">
<mml:mo>Σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mi>k</mml:mi>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mi>d</mml:mi>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo>+</mml:mo>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>/</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>As long as
<inline-formula>
<mml:math id="M83">
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mo>/</mml:mo>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo>></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:math>
</inline-formula>
the parameter of the Poisson random variable
<italic>Y</italic>
increases with the dimensionality
<italic>d</italic>
, in a manner that is equivalent to longer effective time (albeit width-dependent). Consequently, recalling (Eq.
<xref ref-type="disp-formula" rid="E29">18</xref>
), the optimal width decreases with the dimensionality of the stimulus. Numerical calculations show that indeed this is the case in 2D and 3D for effective times which are not extremely long. This is in contrast with the predictions made by Zhang and Sejnowski (
<xref ref-type="bibr" rid="B66">1999</xref>
), where it was speculated that performance is indifferent to the width of the tuning functions in 2D, and improves with infinitely increasing width in higher dimensions.</p>
<p>When the prior covariance matrix and tuning functions shape matrix
<italic>A</italic>
are diagonal with, possibly different, elements
<inline-formula>
<mml:math id="M84">
<mml:mrow>
<mml:msubsup>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>k</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
and
<inline-formula>
<mml:math id="M85">
<mml:mrow>
<mml:msubsup>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>k</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
respectively, the MMSE is given by</p>
<disp-formula id="E35">
<mml:math id="M86">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:munderover>
<mml:mi mathvariant="double-struck">E</mml:mi>
</mml:mstyle>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>k</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>k</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mi>Y</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M87">
<mml:mrow>
<mml:mi>Y</mml:mi>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msubsup>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>k</mml:mi>
</mml:msub>
<mml:mtext>).</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
Since the random variable
<italic>Y</italic>
appears in every term in the sum, combined with different prior variances, the optimal width vector will adjust itself to the vector of prior variances, namely the optimal width will be largest (smallest) in the dimension where the prior variance is largest (smallest).</p>
</sec>
<sec id="s15">
<title>Biological implications</title>
<p>An important feature of the theoretical results is the ability to predict the qualitative behavior that biological tuning functions
<italic>should</italic>
adopt, if they are to perform optimally. From Eq.
<xref ref-type="disp-formula" rid="E29">18</xref>
we see that if the environmental uncertainty (expressed by σ
<sub>
<italic>x</italic>
</sub>
) decreases, the tuning functions width is expected to reduce accordingly (this holds in 2D as well). This prediction provides a possible theoretical explanation for some results obtained in psychophysical experiments (Yeshurun and Carrasco,
<xref ref-type="bibr" rid="B64">1999</xref>
). In these experiments human subjects were tested on spatial resolution tasks where targets appeared at random locations on a computer screen. In each trial the subjects were instructed to fixate on the screen center and the target was presented for a brief moment, with or without a preceding brief spatial cue marking the location of the target but being neutral with respect to the spatial resolution task. The authors found that the existence of the preceding cue improved both reaction times and success rates, concluding that spatial resolution was enhanced following the cue by reducing the size of neuronal receptive fields. Following their interpretation, we argue that the spatial cue reduces the uncertainty about the stimulus by bounding the region where the stimulus is likely to appear (i.e., σ
<sub>
<italic>x</italic>
</sub>
is reduced). In light of our results, an optimal sensory system would then respond to the decrease in prior standard deviation by narrowing the tuning functions toward stimulus onset.</p>
<p>Our prediction may also relate to the neurophysiological experiments of Martinez-Trujillo and Treue (
<xref ref-type="bibr" rid="B40">2004</xref>
), who recorded the activity of direction-sensitive MT neurons in awake macaque monkeys in response to random dot patterns. These patterns appeared in two distinct regions of the visual field, one inside the neuron's receptive field and another on the opposite hemifield, but both were governed by the same general movement direction. The direction-selective tuning function was measured when the animal's attention was directed to a fixation point between these regions (“neutral”) and when its attention was directed to the other region with the same movement direction (“same”). In the “same” condition, neuronal response was enhanced near the tuning function center and suppressed away from the center with respect to the “neutral” condition, in a manner that is equivalent to a reduction in tuning function width (albeit followed by a modulation of maximal firing rate, which is fixed in our model). A possible interpretation is that attending the random dot pattern outside the receptive field and observing its movement direction strengthens the belief that the movement direction inside the receptive field is the same, thereby narrowing the prior distribution of directions and thus requiring narrow tuning functions.</p>
</sec>
<sec id="s16">
<title>The effect of environmental noise</title>
<p>In Figure
<xref ref-type="fig" rid="F2">2</xref>
B we saw that the optimal width increases with σ
<sub>
<italic>x</italic>
</sub>
, the prior environmental uncertainty. Since external noise adds further uncertainty to the environment, we expect the optimal tuning functions to broaden with increasing noise levels, but the exact effect of noise is difficult to predict because even in the case of additive Gaussian noise with standard deviation σ
<sub>
<italic>w</italic>
</sub>
the expression for the MMSE (Eq.
<xref ref-type="disp-formula" rid="E25">16</xref>
) becomes slightly more complex. The optimal width in this case is plotted against effective time (Figure
<xref ref-type="fig" rid="F3">3</xref>
A) and against prior standard deviation (Figure
<xref ref-type="fig" rid="F3">3</xref>
B) for different values of noise levels. All curves are very well-fitted empirically by the function</p>
<disp-formula id="E36">
<mml:math id="M88">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mo>α</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mtext>9</mml:mtext>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<fig id="F3" position="float">
<label>Figure 3</label>
<caption>
<p>
<bold>Optimal tuning functions width in the presence of noise, for different values of parameters: (A) σ
<sub>
<italic>x</italic>
</sub>
</bold>
 = 1 (solid),
<bold>σ</bold>
<sub>
<italic>x</italic>
</sub>
 = 2 (dashed), and
<bold>σ</bold>
<sub>
<italic>x</italic>
</sub>
 = 3 (dotted);
<bold>(B)</bold>
<italic>t</italic>
<sub>eff</sub>
 = 0. 1 (solid),
<italic>t</italic>
<sub>eff</sub>
 = 1 (dashed), and
<italic>t</italic>
<sub>eff</sub>
 = 10 (dotted).</p>
</caption>
<graphic xlink:href="fncom-04-00130-g003"></graphic>
</fig>
<p>where the average squared error of each fit is less than 1.3 × 10
<sup>−3</sup>
. This result implies that the effect of noise boils down to increasing the prior uncertainty. Since the noise is additive, and is independent of the stimulus, the term
<inline-formula>
<mml:math id="M89">
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>w</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:math>
</inline-formula>
is precisely the standard deviation of the noisy stimulus meaning that the optimal width for estimating
<italic>X</italic>
is the same as for estimating
<inline-formula>
<mml:math id="M90">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
This might not seem trivial by looking at Eq.
<xref ref-type="disp-formula" rid="E25">16</xref>
, where the two standard deviations are not interchangeable, but is nonetheless very intuitive: seeing that all spikes depend only on
<inline-formula>
<mml:math id="M91">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
it is the only quantity that can be estimated directly from the spike trains, whereas
<italic>X</italic>
is then estimated solely from the estimator of
<inline-formula>
<mml:math id="M92">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
Therefore, optimal estimation of
<italic>X</italic>
necessitates first estimating
<inline-formula>
<mml:math id="M93">
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">˜</mml:mo>
</mml:mover>
</mml:math>
</inline-formula>
optimally.</p>
<p>An indication for the symmetric role played by the prior and the noise, can be seen in Figure
<xref ref-type="fig" rid="F3">3</xref>
A, where the dashed red curve (σ
<sub>
<italic>x</italic>
</sub>
 = 2, σ
<sub>
<italic>w</italic>
</sub>
 = 1) merges with the solid green curve (σ
<sub>
<italic>x</italic>
</sub>
 = 1, σ
<sub>
<italic>w</italic>
</sub>
 = 2). Note also that the greatest effect of noise is observed when the prior standard deviation is small, whereas for large Σ
<sub>
<italic>x</italic>
</sub>
the relative contribution of noise becomes more and more negligible (Figure
<xref ref-type="fig" rid="F3">3</xref>
B).</p>
</sec>
<sec id="s17">
<title>The effect of multimodality</title>
<p>Integration of sensory information from different modalities (e.g., visual, auditory, somatosensory) has the advantage of increasing estimation reliability and accuracy since each channel provides an independent sampling of the environment (we focus here on the simple case where tuning functions are bell-shaped in all modalities). In the absence of noise, this improvement is merely reflected by an increased number of observations, but the main advantage manifests itself in the noisy case, where multimodal integration has the potential of noise reduction since the noise variables in the two modalities are independent. Considering two sensory modalities, denoted by
<italic>v</italic>
and
<italic>a</italic>
, and indexing the respective parameters of each modality by
<italic>v</italic>
and
<italic>a</italic>
, we provide a closed form expression for the MMSE in Eq.
<xref ref-type="disp-formula" rid="E28">17</xref>
. When integrating the observations, the spike trains in each modality are weighted according to their reliability, reflected in the predictability of the stimulus based on the estimated input (related to σ
<sub>
<italic>w</italic>
,
<italic>v</italic>
</sub>
, σ
<sub>
<italic>w</italic>
,
<italic>a</italic>
</sub>
) and in the discriminability of the tuning functions (related to α
<sub>
<italic>v</italic>
</sub>
, α
<sub>
<italic>a</italic>
</sub>
). For instance, when “visual” noise has infinite variance or when “visual” tuning functions are flat, the spike trains in the “visual” pathway do not bear any information about the stimulus and are thus ignored by the optimal decoder. Indeed, when substituting σ
<sub>
<italic>w</italic>
,
<italic>v</italic>
</sub>
 = ∞ or α
<sub>
<italic>v</italic>
</sub>
 = ∞ in Eq.
<xref ref-type="disp-formula" rid="E28">17</xref>
, it reduces to Eq.
<xref ref-type="disp-formula" rid="E25">16</xref>
with α
<sub>
<italic>a</italic>
</sub>
, σ
<sub>
<italic>w</italic>
,
<italic>a</italic>
</sub>
in place of α, σ
<sub>
<italic>w</italic>
</sub>
. Note that in the absence of noise the MMSE reduces to
<inline-formula>
<mml:math id="M94">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
which is identical to the unimodal expression for the MMSE with twice the expected number of observations (
<italic>Y
<sub>v</sub>
</italic>
 + 
<italic>Y
<sub>a</sub>
</italic>
 ∼ Pois(α2
<italic>t</italic>
<sub>eff</sub>
)).</p>
<p>In a bimodal setting, the optimal width in each modality adapts itself to the standard deviation of the noise associated with that modality. To see that, we fix σ
<sub>
<italic>w</italic>
,
<italic>v</italic>
</sub>
 = 0.5, and plot the optimal widths against the ratio of noise standard deviations σ
<sub>
<italic>w</italic>
,
<italic>a</italic>
</sub>
<sub>
<italic>w</italic>
,
<italic>v</italic>
</sub>
(Figure
<xref ref-type="fig" rid="F4">4</xref>
A). When the “visual” channel is noisier (σ
<sub>
<italic>w</italic>
,
<italic>a</italic>
</sub>
<sub>
<italic>w</italic>
,
<italic>v</italic>
</sub>
 < 1), the optimal “auditory” tuning functions are narrower than their counterparts, and when the “auditory” channel is noisier the situation is reversed. Interestingly, even when the “visual” noise variance is fixed, the optimal width in the “visual” modality is slightly affected by the “auditory” noise variance.</p>
<fig id="F4" position="float">
<label>Figure 4</label>
<caption>
<p>
<bold>(A)</bold>
Optimal tuning function widths in different sensory modalities as a function of the ratio between the noise standard deviations of the underlying physical phenomena (
<italic>t</italic>
<sub>eff</sub>
 = 1, σ
<sub>
<italic>x</italic>
</sub>
 = 1, and σ
<italic>
<sub>w,v</sub>
</italic>
 = 0. 5).
<bold>(B)</bold>
Optimal tuning function widths in symmetrical bimodal and in unimodal settings (
<italic>t</italic>
<sub>eff</sub>
 = 1 and σ
<sub>
<italic>x</italic>
</sub>
 = 1). The numbers in parentheses denote sizes of populations.</p>
</caption>
<graphic xlink:href="fncom-04-00130-g004"></graphic>
</fig>
<p>In the symmetric case we can easily compare the unimodal and bimodal settings. Assuming that the number of tuning functions in each modality is the same, integrating two modalities doubles the expected number of observations, naturally resulting in a smaller optimal width (Figure
<xref ref-type="fig" rid="F4">4</xref>
B). When the overall number of tuning functions is maintained constant, splitting them into two populations of equal size in each modality is preferred in terms of MMSE (results not shown), because the bimodal setting also has the advantage of partial noise-cancellation. But what can be said about the optimizing width in each setting? In Figure
<xref ref-type="fig" rid="F4">4</xref>
B we observe that 2
<italic>M</italic>
optimal tuning functions in a single modality are narrower than
<italic>M</italic>
 + 
<italic>M</italic>
optimal tuning functions for two different modalities. What is more intriguing is the fact that single-modality optimal tuning functions are still narrower than their double-modality counterparts even when they are outnumbered, as long as the noise standard deviation is sufficiently large.</p>
</sec>
<sec id="s18">
<title>Biological implications</title>
<p>The latter prediction may be related to experimental results dealing with multisensory compensation. Neuronal tuning functions are observed not only in the sensory areas but also in associative areas in the cortex, where cortical maps are adaptable and not strictly defined for a single modality. Korte and Rauschecker (
<xref ref-type="bibr" rid="B36">1993</xref>
) found that tuning functions in the auditory cortex of cats with early blindness are narrower than those in normal cats. We hypothesize that this phenomenon may subserve more accurate decoding of neural spike trains. Although optimal auditory tuning functions are wider in the absence of visual information (Figure
<xref ref-type="fig" rid="F4">4</xref>
B), our results predict that if the blindness is compensated by an increase in the number of auditory neurons (for instance, if some visual neurons are rewired to respond to auditory stimuli), the auditory tuning functions will in fact be narrower than in the case of bimodal sensory integration. Indeed, neurobiological experiments verify that the specificity of cortical neurons can be modified under conditions of sensory deprivation: auditory neurons of deaf subjects react to visual stimuli (Finney et al.,
<xref ref-type="bibr" rid="B23">2001</xref>
) and visual neurons of blind subjects react to sounds (Rauschecker and Harris,
<xref ref-type="bibr" rid="B52">1983</xref>
; Weeks et al.,
<xref ref-type="bibr" rid="B61">2000</xref>
). We predict that even when the compensation is partial, namely when only a portion of the visual population transforms to sound-sensitive neurons, the optimal tuning functions in a noisy environment are still narrower than the “original” tuning functions in two functioning modalities (Figure
<xref ref-type="fig" rid="F4">4</xref>
B).</p>
</sec>
</sec>
<sec id="s19">
<title>Dynamic optimal width</title>
<p>Two important features of the decoding process pertain to the time available for decoding and to the prior information at hand. In principle, we may expect that different attributes are required of the optimal tuning functions under different conditions. We have seen in Figure
<xref ref-type="fig" rid="F2">2</xref>
(see also Eq.
<xref ref-type="disp-formula" rid="E3">1</xref>
) that the optimal width increases with the initial uncertainty and decreases with effective time. In this case the width is set in advance and the quantity being optimized is the decoding performance at the
<italic>end</italic>
of the time window. We conclude that tuning functions should be narrower when more knowledge about the stimulus is expected to be available at time
<italic>t</italic>
. However, in realistic situations the decoding time may depend on external circumstances which may not be known in advance. It is more natural to assume that since observations accumulate over time, the tuning functions should adapt in real time based on past information, in such a way that performance is optimal at any time instance, as opposed to some pre-specified time. To address this possibility, we now allow the width to be a function of time and seek an optimal width function. Moreover, it seems more functionally reasonable to set the MMSE process as an optimality criterion rather than the MMSE at an arbitrary time point. As a consequence, the optimal width function may depend on the random accumulation of observations, namely it becomes an optimal width process.</p>
<p>We begin by analyzing the simple case of a piecewise-constant process of the form</p>
<p>α(
<italic>t</italic>
:
<italic>i</italic>
Δ
<italic>t</italic>
 ≤ 
<italic>t</italic>
 < (
<italic>i</italic>
 + 1)Δ
<italic>t</italic>
) = α
<sub>
<italic>i</italic>
</sub>
, (
<italic>i</italic>
 = 0, 1, …)</p>
<p>and search for optimal (possibly random) variables
<inline-formula>
<mml:math id="M95">
<mml:mrow>
<mml:msubsup>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>i</mml:mi>
</mml:msub>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mo></mml:mo>
</mml:msubsup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
At each moment, we assume that α(
<italic>t</italic>
) is large enough with respect to Δ
<italic>c</italic>
so that the mean firing rate of the population, Σ
<sub>
<italic>m</italic>
</sub>
λ
<sub>
<italic>m</italic>
</sub>
(
<italic>x</italic>
,
<italic>t</italic>
), is independent of the stimulus. Therefore, the posterior distribution is now</p>
<disp-formula id="E37">
<mml:math id="M96">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:mi>exp</mml:mi>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">[</mml:mo>
<mml:mo>α</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">]</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<italic>t</italic>
<sub>
<italic>i</italic>
(
<italic>m</italic>
)</sub>
is the time of the
<italic>i</italic>
(
<italic>m</italic>
)-th spike generated by the
<italic>m</italic>
-th sensory cell. Summing over all spike-times in each Δ
<italic>t</italic>
-long interval, it is simple to show that at the end of the
<italic>L</italic>
-th interval the posterior density function is Gaussian with variance</p>
<disp-formula id="E38">
<mml:math id="M97">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mi>L</mml:mi>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>i</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>i</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M98">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>i</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>Σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>i</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>~</mml:mo>
<mml:mtext>Pois(</mml:mtext>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>i</mml:mi>
</mml:msub>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mtext>)</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
for all
<italic>i</italic>
and
<inline-formula>
<mml:math id="M99">
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo>=</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
<inline-formula>
<mml:math id="M100">
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mo>/</mml:mo>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
<p>The value of
<inline-formula>
<mml:math id="M101">
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mtext>0</mml:mtext>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
is obtained by minimizing
<inline-formula>
<mml:math id="M102">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mn>0</mml:mn>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
When “choosing” the optimal width for the second interval, the population can rely on the spikes observed so far to modify its width so as to minimize
<inline-formula>
<mml:math id="M103">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mn>1</mml:mn>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
where
<inline-formula>
<mml:math id="M104">
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mn>0</mml:mn>
</mml:msub>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
By recursion, at time
<italic>t</italic>
 = 
<italic>i</italic>
Δ
<italic>t</italic>
the optimal width parameter α
<sub>
<italic>i</italic>
</sub>
is determined by taking into account all spikes in the interval [0,(
<italic>i</italic>
 − 1)Δ
<italic>t</italic>
] and minimizing
<inline-formula>
<mml:math id="M105">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>i</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>i</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
where</p>
<disp-formula id="E39">
<mml:math id="M106">
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>i</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi mathvariant="script">J</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:math>
</disp-formula>
<p>reflects the effective uncertainty at time
<italic>i</italic>
Δ
<italic>t</italic>
after integrating prior knowledge and information from observations. We see that the optimal width process is monotonically non-increasing (since the sequence
<inline-formula>
<mml:math id="M107">
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>i</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>}</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
is non-increasing), and the rate of reduction in tuning functions width is affected by the rate of spike arrivals. Examples for both slow and fast spiking processes can be seen in Figure
<xref ref-type="fig" rid="F5">5</xref>
A, where the average optimal process (averaged over 1000 trials) is plotted as well. In general, an optimal width process is unlikely to drastically deviate from the average due to an internal “control” mechanism: if few spikes were obtained then the width is still relatively large, increasing the chances of future spikes, whereas multiplicity of spikes results in small width, limiting the probability of observing more spikes. In the limit Δ
<italic>t</italic>
 → 0, the optimal width process starts exactly at σ
<sub>
<italic>x</italic>
</sub>
and jumps to a value
<inline-formula>
<mml:math id="M108">
<mml:mrow>
<mml:msqrt>
<mml:mn>2</mml:mn>
</mml:msqrt>
</mml:mrow>
</mml:math>
</inline-formula>
-times smaller than its previous value at the occurrence of each spike (see Section
<xref ref-type="sec" rid="s26">“Dynamics of the Optimal Width Process”</xref>
in Appendix for proof).</p>
<fig id="F5" position="float">
<label>Figure 5</label>
<caption>
<p>
<bold>(A)</bold>
Sample realizations of optimal width processes for fast (bottom) and slow (top) spiking processes. The average over 1000 trials is plotted in the middle (σ
<sub>
<italic>x</italic>
</sub>
 = 1 and Δ
<italic>t</italic>
<sub>eff</sub>
 = 0.1).
<bold>(B)</bold>
Average optimal width processes for different values of prior standard deviation, all coinciding with the function
<inline-formula>
<mml:math id="M109">
<mml:mrow>
<mml:mover accent="true">
<mml:mo>α</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>3</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
</caption>
<graphic xlink:href="fncom-04-00130-g005"></graphic>
</fig>
<p>When we examine the average optimal width process for different values of prior standard deviation (Figure
<xref ref-type="fig" rid="F5">5</xref>
B), we see that prior to the encoding onset it is always best to keep the tuning functions practically as wide as the probability density function of the stimulus (i.e., at
<italic>t</italic>
 = 0, before any spikes are obtained, set α
<sup>opt</sup>
(
<italic>t</italic>
 = 0) = σ
<sub>
<italic>x</italic>
</sub>
for all realizations). The average rate of dynamic narrowing is then related to the initial uncertainty, where the fastest narrowing occurs in the most uncertain environment. Note that under the conditions stated in Section
<xref ref-type="sec" rid="s5">“Analytical Derivation of the MMSE”</xref>
, the mean population activity Σ
<sub>
<italic>m</italic>
</sub>
λ
<sub>
<italic>m</italic>
</sub>
(
<italic>x</italic>
) is proportional to the width parameter α. Thus, Figure
<xref ref-type="fig" rid="F5">5</xref>
B can be interpreted as reflecting a dynamic decrease in population activity as a function of time. Furthermore, there is an excellent empirical fit between the average optimal process to the simple function</p>
<disp-formula id="E40">
<mml:math id="M110">
<mml:mrow>
<mml:mover accent="true">
<mml:mo>α</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo>;</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>3</mml:mn>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Implementation of an optimal width process seems biologically implausible, due to its discontinuity and its perfect synchronization with the spikes. It is more likely for biological tuning functions to adopt the average optimal width process strategy, namely to automatically commence a dynamic narrowing at the beginning of an encoding period, independently of the generated spikes. But is the
<italic>average</italic>
optimal width process still more efficient than constant width? To address this question, we simulated the dynamics of four populations: two with constant widths tuned for optimal performance at the middle and at the end of the decoding time window, respectively, one with a piecewise-optimal width process and another one with a width function corresponding to the average optimal width process. As expected, each of the constant-width populations outperforms the other at the time for which it is tuned (Figure
<xref ref-type="fig" rid="F6">6</xref>
). The dynamic-width populations significantly outperform them both for short times, where for later times the differences become negligible. Therefore, implementation of dynamic width offers a clear advantage over operation with constant width, especially since there is seldom a reference time of interest to which the tuning functions could be tuned in advance. Interestingly, the predetermined width function is as good as the optimal width process for short times and even outperforms it for longer times, meaning that the performance is not being compromised when a predetermined width function is employed in place of the optimal width process.</p>
<fig id="F6" position="float">
<label>Figure 6</label>
<caption>
<p>
<bold>The MMSE associated with four different populations, each one tuned to a different optimality criterion</bold>
. The MMSE was assessed using Monte Carlo methods.
<italic>Inset</italic>
: Enlargement for late times.</p>
</caption>
<graphic xlink:href="fncom-04-00130-g006"></graphic>
</fig>
</sec>
<sec id="s20">
<title>Biological Implications</title>
<p>Our prediction that tuning functions should dynamically narrow during the course of encoding a stimulus, coincides with some reported experimental phenomena. Wang et al. (
<xref ref-type="bibr" rid="B60">2005</xref>
) recorded the activity of auditory cortical neurons in awake marmoset monkeys in response to a sound stimulus, which is the preferred stimulus of only one of the neurons. When comparing the activity profiles of the two neurons, they found that both fire intensively immediately following stimulus presentation, but only the neuron which is tuned to the stimulus maintained high activity throughout stimulus duration. Such behavior is equivalent to (and can stem from) dynamic narrowing of receptive fields. Widespread onset responses (caused by initially large receptive fields) subserve fast detection of the occurrence of sounds, whereas sustained firing in specific neurons facilitates extraction of the exact features of the sound. Dynamic narrowing of receptive fields following stimulus application was also observed in area 17 of anesthetized cats by Wörgötter et al. (
<xref ref-type="bibr" rid="B63">1998</xref>
). In the context of one-dimensional tuning functions, an illustrative example for dynamic narrowing was observed by Gutfreund et al. (
<xref ref-type="bibr" rid="B27">2002</xref>
) in the external nucleus of the inferior colliculus in anesthetized barn owls. The authors recorded from a population of neurons tuned to a short range of inter-aural time differences (ITD) in response to stimuli with different ITD values. While initial responses were intensive for all stimuli, intensive ongoing responses were restricted to stimuli within the ITD range preferred by the population, implying a dynamic reduction in tuning function width. A similar phenomenon was also obtained for single neurons. Benucci et al. (
<xref ref-type="bibr" rid="B7">2009</xref>
) quantified the instantaneous tuning functions of direction-sensitive V1 neurons in anesthetized cats and observed a dynamic narrowing following stimulus application, accompanied by a later recovery of the tuning function width, after the stimulus was changed or removed.</p>
</sec>
</sec>
<sec sec-type="discussion" id="s21">
<title>Discussion</title>
<p>In this paper we have studied optimal encoding of environmental signals by a population of spiking neurons, characterized by tuning functions which quantify the firing probability as a function of the input. Within the framework of optimal Bayesian decoding, based on the mean square reconstruction error criterion, we investigated the properties of optimal encoding. Based on the well known inequality, bounding the MMSE by the Bayesian Cramér–Rao lower bound (Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
), we tested the hypothesis that the tuning function width minimizing the MMSE can be recovered by minimizing the lower bound. This hidden assumption was implied in previous studies dealing with classical, non-Bayesian, estimators based on neural decoding (Seung and Sompolinsky,
<xref ref-type="bibr" rid="B55">1993</xref>
; Zhang and Sejnowski,
<xref ref-type="bibr" rid="B66">1999</xref>
; Brown and Backer,
<xref ref-type="bibr" rid="B12">2006</xref>
). Unfortunately, as argued in Section
<xref ref-type="sec" rid="s8">“Results”</xref>
, the predictions were often incompatible with the assumptions required in the derivation of the bound, and thus could not be utilized to compare bound-based predictions with results based on direct minimization of the MMSE. It should be noted that in the non-Bayesian setting an optimal estimator does not necessarily exist, because the performance of each estimator depends on the stimulus, which is an unknown parameter. For instance,
<inline-formula>
<mml:math id="M111">
<mml:mrow>
<mml:mover accent="true">
<mml:mi>X</mml:mi>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo></mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:math>
</inline-formula>
is the optimal estimator if and only if
<italic>X</italic>
 = 
<italic>a</italic>
. The above-mentioned studies overcame this problem by assuming that the tuning functions are dense enough so that the population's Fisher information can be approximated by an integral and thus becomes
<italic>independent</italic>
of the stimulus. They all concluded that in one dimension estimation performance improves with narrower tuning curves. However, the underlying assumption is valid only when the width is large enough with respect to Δ
<italic>c</italic>
, and obviously breaks down as α → 0. Therefore, values in the proximity of α = 0 are not part of the solution space, and lim
<sub>α→0</sub>
𝒥(
<italic>X</italic>
) cannot be estimated using the suggested approximation. Moreover, realistic environments are dynamic and it seems more reasonable to model their features as random variables rather than unknown parameters. This means that optimal tuning curves may be more fruitfully examined within a Bayesian framework. Indeed, neurobiological evidence indicates that the nervous system can adapt to changes in the statistical nature of the environment and its random features at multiple time scales (e.g., Pettet and Gilbert,
<xref ref-type="bibr" rid="B45">1992</xref>
; Brenner et al.,
<xref ref-type="bibr" rid="B11">2000</xref>
; Dragoi et al.,
<xref ref-type="bibr" rid="B18">2000</xref>
; Dean et al.,
<xref ref-type="bibr" rid="B14">2005</xref>
; Hosoya et al.,
<xref ref-type="bibr" rid="B29">2005</xref>
).</p>
<p>Starting from the Bayesian Cramér–Rao lower bound (Eq.
<xref ref-type="disp-formula" rid="E8">6</xref>
) we have studied predictions about tuning function properties based on this bound which, under appropriate conditions, is asymptotically tight. As we demonstrated, this bound-based approach has little value in predicting the true optimal tuning functions for finite decoding time. Even though the performance inequalities hold in all scenarios, optimizing the bound does not guarantee the same behavior for the bounded quantity. Moreover, an important, and often overlooked observation is the following. Performance bounds might be too model-dependent, and when the model is misspecified (as is often the case) they lose their operative meaning. For instance, when the model is incorrect, the error does not converge asymptotically to the BCRB, even though the estimator itself might converge to the true value of the state (White,
<xref ref-type="bibr" rid="B62">1982</xref>
). Thus, given that models are often inaccurate, the danger of using bounds is apparent even in the asymptotic limit.</p>
<p>By deriving analytical expressions for the minimal attainable MSE under various scenarios we have obtained optimal widths directly by minimizing the MMSE, without relying on bounds. Our analysis uncovers the dependence of optimal width on decoding time window, prior standard deviation and environmental noise. The relation between optimal width and prior standard deviation may very well explain physiological responses induced by attention, as noted in Section
<xref ref-type="sec" rid="s12">“MMSE-Based Optimal Width”</xref>
, where further experimental evidence supporting the predictions of this paper was discussed. In particular, the work of Korte and Rauschecker (
<xref ref-type="bibr" rid="B36">1993</xref>
) related to tuning functions in the auditory cortex of cats with early blindness was discussed, and specific predictions were made. We also showed that when the constant-width restriction is removed, tuning functions should narrow during the course of encoding a stimulus, a phenomenon which has already been demonstrated for A1 neurons in marmoset monkeys (Wang et al.,
<xref ref-type="bibr" rid="B60">2005</xref>
) and in the external nucleus of the inferior colliculus in barn owls (e.g., Gutfreund et al.,
<xref ref-type="bibr" rid="B27">2002</xref>
).</p>
<p>In summary, in this paper we examined optimal neuronal tuning functions within a Bayesian setting based on the MMSE criterion. Careful calculations were followed by theoretical results, based on a natural criterion of optimality which is commonly employed, but which has seldom been analyzed in the context of neural encoding. Our analysis yielded novel predictions about the context-dependence of optimal widths, stating that optimal tuning curves should adapt to the statistical properties of the environment – in accordance with ecological theories of sensory processing. Interestingly, the results predict at least two time scales of change. For example, when the statistical properties of the environment change (e.g., a change in the noise level or prior distribution) the optimal encoding should adapt on the environmental time scale in such a way that the tuning function widths increases with noise level. However, even in the context of a fixed stimulus, we predict that tuning functions should change on the fast time scale of stimulus presentation. Interestingly, recent results, summarized by Gollisch and Meister (
<xref ref-type="bibr" rid="B25">2010</xref>
), consider contrast adaptation in the retina taking place on a fast and slow time scale (see also Baccus and Meister,
<xref ref-type="bibr" rid="B3">2002</xref>
). The fast time scale, related to “contrast gain control” occurs on time scales of tens of millisecond, while the slow time-scale, lasting many seconds, has been referred to as “contrast adaptation”. While our results do not directly relate to contrast adaptation, the prediction that optimal adaptation takes place on at least two, widely separated, time scales is promising. Moreover, the circuit mechanisms proposed in (Gollisch and Meister,
<xref ref-type="bibr" rid="B25">2010</xref>
) may well subserve some of the computations related to tuning function narrowing. These results, and the above-mentioned experimentally observed phenomena, suggest that biological sensory systems indeed adapt to changes in environmental statistics on multiple time scales. The theory provided in this paper offers a clear functional explanation of these phenomena, based on the notion of optimal dynamic encoding.</p>
</sec>
<sec id="s22">
<title>Conflict of Interest Statement</title>
<p>The authors declare that the research was conducted in the absence of any commercial or financial relationships that could be construed as a potential conflict of interest.</p>
</sec>
</body>
<back>
<ack>
<p>This work was partially supported by grant No. 665/08 from the Israel Science Foundation. We thank Eli Nelken and Yoram Gutfreund for helpful discussions.</p>
</ack>
<app-group>
<app id="A1">
<title>Appendix</title>
<sec id="s23">
<title>Expectation of population fisher information</title>
<p>In this section we calculate the expected value of the Fisher information for a population of sensory neurons following Poisson spiking statistics, having Gaussian tuning functions of the form</p>
<disp-formula id="E41">
<mml:math id="M112">
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
<mml:mtext>  </mml:mtext>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>and encoding a stimulus with Gaussian prior distribution
<inline-formula>
<mml:math id="M113">
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>~</mml:mo>
<mml:mi>p</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mo></mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="script">N</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
We start by calculating the population's local Fisher information, taking into account the conditional independence of the Poisson processes:</p>
<disp-formula id="E42">
<mml:math id="M114">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mo> </mml:mo>
<mml:mo>=</mml:mo>
<mml:mo> </mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext>  </mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
<mml:mtext>ln</mml:mtext>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mi>P</mml:mi>
<mml:mo stretchy="false">(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo> </mml:mo>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
<mml:mtext>ln</mml:mtext>
<mml:mo></mml:mo>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mo> </mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext>  </mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>n</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>n</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>n</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:mstyle>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mtext>               </mml:mtext>
<mml:mo>×</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>n</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>n</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>Due to the conditional independence the expectation is separable for every
<italic>m</italic>
 ≠ 
<italic>n</italic>
, and equals 0 because
<inline-formula>
<mml:math id="M115">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mo stretchy="false">[</mml:mo>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mtext></mml:mtext>
<mml:mo>|</mml:mo>
<mml:mtext></mml:mtext>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">]</mml:mo>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Thus,</p>
<disp-formula id="E43">
<mml:math id="M116">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mover>
<mml:mover>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo stretchy="true"></mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>var</mml:mi>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mi>X</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:mover>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>X</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>Taking the expectation over the prior
<italic>p</italic>
(
<italic>x</italic>
) yields:</p>
<disp-formula id="E44">
<mml:math id="M117">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mtext>  </mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mi>d</mml:mi>
<mml:mi>x</mml:mi>
</mml:mrow>
</mml:mstyle>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:mi>d</mml:mi>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>where</p>
<disp-formula id="E45">
<mml:math id="M118">
<mml:mrow>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mtext></mml:mtext>
<mml:mo>;</mml:mo>
<mml:mtext></mml:mtext>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>By defining
<inline-formula>
<mml:math id="M119">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>~</mml:mo>
<mml:mi mathvariant="script">N</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mn>2</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
the integral becomes
<inline-formula>
<mml:math id="M120">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>Y</mml:mi>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
and by substituting
<inline-formula>
<mml:math id="M121">
<mml:mrow>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
we get</p>
<disp-formula id="E46">
<mml:math id="M122">
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>X</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mo></mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mfrac bevelled="true">
<mml:mn>5</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>m</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>In the multi-dimensional case
<bold>X</bold>
 ∼ 𝒩(μ
<sub>
<italic>x</italic>
</sub>
, Σ
<sub>
<italic>x</italic>
</sub>
), the tuning functions are of the form</p>
<disp-formula id="E47">
<mml:math id="M123">
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext>x</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mo></mml:mo>
<mml:mo>,</mml:mo>
<mml:mi>M</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
<mml:mtext></mml:mtext>
</mml:mrow>
</mml:math>
</disp-formula>
<p>and the population's Fisher information is given by</p>
<disp-formula id="E48">
<mml:math id="M124">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mtext>   </mml:mtext>
<mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>n</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>n</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>n</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>n</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>n</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>n</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>m</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mi>n</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>n</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>n</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>n</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext mathvariant="bold">c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>By virtue of the linearity, we calculate the expected value of 𝒥(
<bold>X</bold>
) with respect to
<bold>
<italic>X</italic>
</bold>
by taking expectation over the expression in curly brackets:</p>
<disp-formula id="E49">
<mml:math id="M125">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>{</mml:mo>
<mml:mo></mml:mo>
<mml:mo>}</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mi>D</mml:mi>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:mi>d</mml:mi>
<mml:mi>X</mml:mi>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
</mml:msup>
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mi>D</mml:mi>
<mml:mo>/</mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:mi>d</mml:mi>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
</mml:msup>
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo> </mml:mo>
<mml:mo>+</mml:mo>
<mml:mo> </mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>where</p>
<disp-formula id="E50">
<mml:math id="M126">
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mtext></mml:mtext>
<mml:mo>;</mml:mo>
<mml:mtext></mml:mtext>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>;</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<disp-formula id="E51">
<mml:math id="M127">
<mml:mrow>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>T</mml:mi>
</mml:msubsup>
<mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Using the identity (
<italic>A</italic>
<sup>−1</sup>
 + 
<italic>B</italic>
<sup>−1</sup>
)
<sup>−1</sup>
 = 
<italic>A</italic>
(
<italic>A</italic>
 + 
<italic>B</italic>
)
<sup>−1</sup>
<italic>B</italic>
(Searle,
<xref ref-type="bibr" rid="B53">1982</xref>
) and the symmetry of all matrices it is a simple mathematical exercise to show that</p>
<disp-formula id="E52">
<mml:math id="M128">
<mml:mtable columnalign="left">
<mml:mtr>
<mml:mtd>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mi mathvariant="script">J</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mtext mathvariant="bold">X</mml:mtext>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mi>t</mml:mi>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mi>M</mml:mi>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msub>
<mml:mo>ξ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mstyle>
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
<mml:msubsup>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mtext>     </mml:mtext>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>A</mml:mi>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mtext>c</mml:mtext>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>and ξ
<sub>
<italic>m</italic>
</sub>
 = (
<bold>c</bold>
<sub>m</sub>
 − 
<bold>μ</bold>
<sub>x</sub>
)
<sup>
<italic>T</italic>
</sup>
(
<italic>A
<sub>m</sub>
</italic>
 + Σ
<sub>
<italic>x</italic>
</sub>
)
<sup>−1</sup>
(
<bold>c</bold>
<sub>
<italic>m</italic>
</sub>
 − μ
<sub>
<italic>x</italic>
</sub>
).</p>
</sec>
<sec id="s24">
<title>Uniform mean firing rate of population</title>
<p>In this section we approximate the mean firing rate of the entire population of sensory cells for the case of equally spaced tuning functions with uniform width. First, consider the case
<italic>M</italic>
 = ∞, for which the population's mean firing rate is given by</p>
<disp-formula id="E53">
<mml:math id="M129">
<mml:mrow>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
<mml:mo>Δ</mml:mo>
<mml:mtext>c</mml:mtext>
</mml:mrow>
<mml:mo>α</mml:mo>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mstyle>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>The function λ(
<italic>x</italic>
,α) is continuous with respect to
<italic>x</italic>
, and therefore when the spacing goes to 0, Δ
<italic>c</italic>
·λ(
<italic>x</italic>
,α) converges to the Riemann integral</p>
<disp-formula id="E54">
<mml:math id="M130">
<mml:mrow>
<mml:munder>
<mml:mrow>
<mml:mi>lim</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo></mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
</mml:munder>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
<mml:mo>α</mml:mo>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mi>d</mml:mi>
<mml:mi>c</mml:mi>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mo>α</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>which is independent of
<italic>x</italic>
. This means that for any ε > 0 there exists δ > 0 such that if Δ
<italic>c</italic>
/α < δ then the relative ripple (digression from uniformity) in the total firing rate</p>
<disp-formula id="E55">
<mml:math id="M131">
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
<mml:mi>min</mml:mi>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mi>min</mml:mi>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:math>
</disp-formula>
<p>is smaller than ε.</p>
<p>Now consider the case of finite
<italic>M</italic>
,</p>
<disp-formula id="E56">
<mml:math id="M132">
<mml:mrow>
<mml:mi>λ</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>α</mml:mi>
<mml:mo>;</mml:mo>
<mml:mi>M</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mi>λ</mml:mi>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>M</mml:mi>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mtext>2</mml:mtext>
</mml:mfrac>
</mml:mrow>
<mml:mo></mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>M</mml:mi>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mrow>
<mml:mo></mml:mo>
</mml:mrow>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
<mml:mi>Δ</mml:mi>
<mml:mi>c</mml:mi>
</mml:mrow>
<mml:mi>α</mml:mi>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mstyle>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>Since the limit at
<italic>M</italic>
 → ∞ exists, for every
<italic>x</italic>
and ε > 0 there exists
<italic>M</italic>
<sub>ε</sub>
(
<italic>x</italic>
) > 0 such that for all
<italic>M</italic>
 > 
<italic>M</italic>
<sub>ε</sub>
(
<italic>x</italic>
) the difference between the infinite sum to the finite sum is less than ε, and therefore λ(
<italic>x</italic>
, α;
<italic>M</italic>
) can be well approximated by</p>
<disp-formula id="E57">
<mml:math id="M133">
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
<mml:mo>α</mml:mo>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mi>d</mml:mi>
<mml:mi>c</mml:mi>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
<mml:mo>α</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mo>α</mml:mo>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>To quantify the desired ratio between the width and the spacing we plot the relative ripple (Figure
<xref ref-type="fig" rid="F7">7</xref>
A). For α > 0.583Δ
<italic>c</italic>
the relative ripple falls down below 0.5%, rendering the approximation λ(
<italic>x</italic>
, α;
<italic>M</italic>
) ≅ λ(α) quite accurate. Note that the approximation fails near the most extreme tuning functions, but for a sufficiently large population this would not have any effect on the results, because the probability of
<italic>X</italic>
falling into these regions would be vanishingly small for any rapidly decaying prior.</p>
<fig id="F7" position="anchor">
<label>Figure 7</label>
<caption>
<p>
<bold>The relative ripple in the mean firing rate of a population of neurons with Gaussian tuning functions: (A)</bold>
in single dimension,
<bold>(B)</bold>
in two dimensions.</p>
</caption>
<graphic xlink:href="fncom-04-00130-g007"></graphic>
</fig>
<p>The proof for the multi-dimensional case is similar, where the population's mean firing rate is approximated by</p>
<disp-formula id="E58">
<mml:math id="M134">
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msup>
</mml:mrow>
</mml:mfrac>
<mml:mstyle displaystyle="true">
<mml:mrow>
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mo></mml:mo>
</mml:munderover>
<mml:mrow>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext>x</mml:mtext>
<mml:mo></mml:mo>
<mml:mtext>c</mml:mtext>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>T</mml:mi>
</mml:msup>
<mml:msup>
<mml:mi>A</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mtext>x</mml:mtext>
<mml:mo></mml:mo>
<mml:mtext>c</mml:mtext>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mi>d</mml:mi>
<mml:mtext>c</mml:mtext>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mi>max</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:mrow>
</mml:mstyle>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msqrt>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>π</mml:mo>
</mml:mrow>
</mml:msqrt>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>c</mml:mi>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mi>d</mml:mi>
</mml:msup>
<mml:msqrt>
<mml:mrow>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mi>A</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msqrt>
<mml:mo></mml:mo>
<mml:mo>λ</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mi>A</mml:mi>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>The conditions which make the approximation valid vary with the dimensionality of the problem – as the dimension increases the width-spacing ratio must be larger in order to maintain the same approximation accuracy. For instance, in two dimensions where
<italic>A</italic>
 = α
<bold>I</bold>
(Figure
<xref ref-type="fig" rid="F7">7</xref>
B), the relative ripple falls down below 0.5% only for α > 1.446Δ
<italic>c</italic>
.</p>
<p>As mentioned in Section
<xref ref-type="sec" rid="s13">“The Univariate Case”</xref>
, even when the approximation in Eq.
<xref ref-type="disp-formula" rid="E15">10</xref>
fails (i.e., when the mean population firing rate is highly non-uniform) the relationship in Eq.
<xref ref-type="disp-formula" rid="E18">11</xref>
still holds, namely the MMSE can be accurately estimated using the derivation for uniform mean population firing rate. While the normalized MMSE can be shown analytically to converge to 1 in the limit α → 0 (see
<xref ref-type="sec" rid="s13">The Univariate Case</xref>
), Figure
<xref ref-type="fig" rid="F8">8</xref>
verifies that the approximation for the normalized MMSE practically coincides with the simulated normalized MMSE for finite values of α that do not satisfy α ≫ 
<italic>c</italic>
.</p>
<fig id="F8" position="anchor">
<label>Figure 8</label>
<caption>
<p>
<bold>Normalized MMSE of a sparse population of Gaussian tuning functions against tuning function width, for different values of effective decoding time, obtained theoretically (dashed lines) and in simulation (solid lines)</bold>
. Simulation parameters:
<italic>N</italic>
 = 251,
<italic>X</italic>
 ∈ [−4,4],
<italic>P</italic>
(
<italic>x</italic>
)∝N(0,1),
<italic>M</italic>
 = 250, Δ
<italic>c</italic>
 = 0.034, λ
<sub>max</sub>
 = 50.</p>
</caption>
<graphic xlink:href="fncom-04-00130-g008"></graphic>
</fig>
</sec>
<sec id="s25">
<title>MMSE for multisensory integration</title>
<p>In this section we derive the MMSE for the case of decoding bimodal spike trains. Similarly to the unimodal noisy case, it is straightforward to show that the joint posterior distribution of the environmental state and noise variables is given by</p>
<disp-formula id="E59">
<mml:math id="M135">
<mml:mrow>
<mml:mi>p</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mrow>
<mml:mo>|</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:mrow>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:msup>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:mo>×</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:msup>
</mml:mrow>
</mml:math>
</disp-formula>
<disp-formula id="E60">
<mml:math id="M136">
<mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:mo>×</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>which is Gaussian with respect to
<italic>W
<sub>a</sub>
</italic>
, seeing that the argument of the rightmost exponent is</p>
<disp-formula id="E61">
<mml:math id="M137">
<mml:mtable columnalign="left">
<mml:mtr>
<mml:mtd>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M138">
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Integration over
<italic>w
<sub>a</sub>
</italic>
gives the joint posterior distribution of the state and the “visual” noise:</p>
<disp-formula id="E62">
<mml:math id="M139">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mi>p</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>,</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mtext></mml:mtext>
<mml:mo>×</mml:mo>
<mml:mtext></mml:mtext>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mstyle scriptlevel="+1">
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
</mml:mstyle>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mrow>
<mml:mover>
<mml:mo>σ</mml:mo>
<mml:mo></mml:mo>
</mml:mover>
</mml:mrow>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<disp-formula id="E63">
<mml:math id="M140">
<mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:mo stretchy="false">(</mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mrow>
<mml:mover>
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
</mml:mrow>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:mo>×</mml:mo>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>+</mml:mo>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>which is Gaussian with respect to
<italic>W
<sub>v</sub>
</italic>
, seeing that the argument of the rightmost exponent is</p>
<disp-formula id="E64">
<mml:math id="M141">
<mml:mtable columnalign="left">
<mml:mtr>
<mml:mtd>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>w</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mn>2</mml:mn>
</mml:mfrac>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M142">
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
Integration over
<italic>w
<sub>v</sub>
</italic>
gives the marginal distribution of the state:</p>
<disp-formula id="E65">
<mml:math id="M143">
<mml:mtable columnalign="left">
<mml:mtr>
<mml:mtd>
<mml:mi>p</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo>|</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo>,</mml:mo>
<mml:msubsup>
<mml:mtext mathvariant="bold">N</mml:mtext>
<mml:mi>t</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mi>K</mml:mi>
<mml:msup>
<mml:mi>e</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mi>x</mml:mi>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>μ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mrow>
<mml:mover>
<mml:mo>σ</mml:mo>
<mml:mo></mml:mo>
</mml:mover>
</mml:mrow>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>a</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo></mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mrow>
<mml:mover>
<mml:mo>σ</mml:mo>
<mml:mo></mml:mo>
</mml:mover>
</mml:mrow>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mi>M</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mi>c</mml:mi>
<mml:mi>m</mml:mi>
<mml:mi>v</mml:mi>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:mi>x</mml:mi>
</mml:mrow>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
</mml:mstyle>
</mml:mrow>
</mml:msup>
<mml:mo>,</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>which can be shown to be Gaussian with variance</p>
<disp-formula id="E66">
<mml:math id="M144">
<mml:mrow>
<mml:msup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mn>2</mml:mn>
</mml:msup>
<mml:mo>=</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mover accent="true">
<mml:mo>σ</mml:mo>
<mml:mo>^</mml:mo>
</mml:mover>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>4</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>By defining
<inline-formula>
<mml:math id="M145">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>v</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:math>
</inline-formula>
and
<inline-formula>
<mml:math id="M146">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mi>m</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
</mml:msubsup>
<mml:mo>~</mml:mo>
<mml:mtext>Pois</mml:mtext>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
<mml:mi>a</mml:mi>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
we get a relatively simple expression for the MMSE:</p>
<disp-formula id="E67">
<mml:math id="M147">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msubsup>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
<mml:mo></mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msubsup>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>v</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>v</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>v</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>a</mml:mi>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mrow>
<mml:mi>w</mml:mi>
<mml:mo>,</mml:mo>
<mml:mi>a</mml:mi>
</mml:mrow>
<mml:mn>2</mml:mn>
</mml:msubsup>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mi>a</mml:mi>
</mml:msub>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msup>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
</sec>
<sec id="s26">
<title>Dynamics of the optimal width process</title>
<p>In this section we prove that for the optimal piecewise-constant width process defined in Section
<xref ref-type="sec" rid="s19">“Dynamic Optimal Width”</xref>
,</p>
<disp-formula id="E68">
<mml:math id="M148">
<mml:mrow>
<mml:munder>
<mml:mrow>
<mml:mi>lim</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo></mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
</mml:munder>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:math>
</disp-formula>
<p>and</p>
<disp-formula id="E69">
<mml:math id="M149">
<mml:mrow>
<mml:munder>
<mml:mrow>
<mml:mi>lim</mml:mi>
<mml:mo></mml:mo>
</mml:mrow>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
<mml:mo></mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
</mml:munder>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mi>i</mml:mi>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mi>i</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msub>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:msqrt>
<mml:mn>2</mml:mn>
</mml:msqrt>
<mml:mo>,</mml:mo>
<mml:mo stretchy="false">(</mml:mo>
<mml:mi>i</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
<mml:mo>,</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo>,</mml:mo>
<mml:mn></mml:mn>
<mml:mo>,</mml:mo>
<mml:mo stretchy="false">)</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where α
<sub>
<italic>i</italic>
</sub>
is the value of the width process after obtaining a total of
<italic>i</italic>
spikes.</p>
<p>For short intervals, the Poisson random variable
<inline-formula>
<mml:math id="M150">
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo></mml:mo>
<mml:mi>m</mml:mi>
</mml:msub>
<mml:msubsup>
<mml:mi>N</mml:mi>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
<mml:mi>m</mml:mi>
</mml:msubsup>
</mml:mrow>
</mml:math>
</inline-formula>
converges in probability to a Bernoulli random variable with success probability α
<sub>0</sub>
Δ
<italic>t</italic>
<sub>eff</sub>
. The MMSE at
<italic>t</italic>
 = Δ
<italic>t</italic>
then takes the form</p>
<disp-formula id="E70">
<mml:math id="M151">
<mml:mtable>
<mml:mtr>
<mml:mtd>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mstyle displaystyle="true">
<mml:munderover>
<mml:mo></mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>=</mml:mo>
<mml:mn>0</mml:mn>
</mml:mrow>
<mml:mn>1</mml:mn>
</mml:munderover>
<mml:mrow>
<mml:mfrac>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:mi>k</mml:mi>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mi>P</mml:mi>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:mi>k</mml:mi>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:mn>1</mml:mn>
<mml:mo></mml:mo>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
</mml:msub>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
</mml:mstyle>
<mml:mo>+</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msub>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
</mml:msub>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mtd>
</mml:mtr>
<mml:mtr>
<mml:mtd>
<mml:mo>=</mml:mo>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo></mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>=</mml:mo>
<mml:mn>1</mml:mn>
<mml:mo></mml:mo>
<mml:mo>Δ</mml:mo>
<mml:msub>
<mml:mi>t</mml:mi>
<mml:mrow>
<mml:mtext>eff</mml:mtext>
</mml:mrow>
</mml:msub>
<mml:mfrac>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
<mml:mo>.</mml:mo>
</mml:mtd>
</mml:mtr>
</mml:mtable>
</mml:math>
</disp-formula>
<p>The MMSE is minimized when
<inline-formula>
<mml:math id="M152">
<mml:mrow>
<mml:mrow>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>/</mml:mo>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:mrow>
</mml:math>
</inline-formula>
is maximized, and thus
<inline-formula>
<mml:math id="M153">
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
</mml:mrow>
</mml:math>
</inline-formula>
. Given the spikes history at
<italic>t</italic>
 = Δ
<italic>t</italic>
, if
<italic>Y</italic>
<sub>Δ
<italic>t</italic>
</sub>
 = 0 then the MMSE expression for the next interval remains unchanged, whereas if
<italic>Y</italic>
<sub>Δ
<italic>t</italic>
</sub>
 = 1 then the MMSE at the end of the next interval is given by</p>
<disp-formula id="E71">
<mml:math id="M154">
<mml:mrow>
<mml:mtext>MMSE</mml:mtext>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mtext>1</mml:mtext>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:msup>
<mml:mrow>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mtext>0</mml:mtext>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
</mml:mrow>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msup>
<mml:mo>+</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msub>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>=</mml:mo>
<mml:mi mathvariant="double-struck">E</mml:mi>
<mml:mrow>
<mml:mo>[</mml:mo>
<mml:mrow>
<mml:mfrac>
<mml:mtext>1</mml:mtext>
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
<mml:mo>+</mml:mo>
<mml:mrow>
<mml:mo>(</mml:mo>
<mml:mrow>
<mml:msub>
<mml:mi>Y</mml:mi>
<mml:mrow>
<mml:mn>2</mml:mn>
<mml:mo>Δ</mml:mo>
<mml:mi>t</mml:mi>
</mml:mrow>
</mml:msub>
<mml:mo></mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mo>)</mml:mo>
</mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mo></mml:mo>
<mml:mn>2</mml:mn>
</mml:mrow>
</mml:msubsup>
</mml:mrow>
</mml:mfrac>
</mml:mrow>
<mml:mo>]</mml:mo>
</mml:mrow>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</disp-formula>
<p>where
<inline-formula>
<mml:math id="M155">
<mml:mrow>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mi>x</mml:mi>
</mml:msub>
<mml:mo>/</mml:mo>
<mml:msqrt>
<mml:mn>2</mml:mn>
</mml:msqrt>
</mml:mrow>
</mml:math>
</inline-formula>
is the effective uncertainty after observing a single spike, and
<italic>Y</italic>
<sub>
<italic>t</italic>
</sub>
 − 1 is a Bernoulli random variable with success probability α
<sub>1</sub>
Δ
<italic>t</italic>
<sub>eff</sub>
. Applying the same analysis as before,
<inline-formula>
<mml:math id="M156">
<mml:mrow>
<mml:msubsup>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msub>
<mml:mo>σ</mml:mo>
<mml:mn>1</mml:mn>
</mml:msub>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mn>0</mml:mn>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>/</mml:mo>
<mml:msqrt>
<mml:mn>2</mml:mn>
</mml:msqrt>
<mml:mtext>.</mml:mtext>
</mml:mrow>
</mml:math>
</inline-formula>
By recursion, one can see that as long as
<italic>k</italic>
spikes were observed the optimal width for the next interval remains
<inline-formula>
<mml:math id="M157">
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>k</mml:mi>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>,</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
and if another spike is observed the optimal width for the next interval becomes
<inline-formula>
<mml:math id="M158">
<mml:mrow>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mrow>
<mml:mi>k</mml:mi>
<mml:mo>+</mml:mo>
<mml:mn>1</mml:mn>
</mml:mrow>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>=</mml:mo>
<mml:msubsup>
<mml:mo>α</mml:mo>
<mml:mi>k</mml:mi>
<mml:mrow>
<mml:mtext>opt</mml:mtext>
</mml:mrow>
</mml:msubsup>
<mml:mo>/</mml:mo>
<mml:msqrt>
<mml:mn>2</mml:mn>
</mml:msqrt>
<mml:mo>.</mml:mo>
</mml:mrow>
</mml:math>
</inline-formula>
</p>
</sec>
</app>
</app-group>
<ref-list>
<title>References</title>
<ref id="B1">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Anderson</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Lampl</surname>
<given-names>I.</given-names>
</name>
<name>
<surname>Gillespie</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Ferster</surname>
<given-names>D.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>The contribution of noise to contrast invariance of orientation tuning in cat visual cortex</article-title>
.
<source>Science</source>
<volume>290</volume>
,
<fpage>1968</fpage>
<lpage>1972</lpage>
<pub-id pub-id-type="doi">10.1126/science.290.5498.1968</pub-id>
<pub-id pub-id-type="pmid">11110664</pub-id>
</mixed-citation>
</ref>
<ref id="B2">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Averbeck</surname>
<given-names>B.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2006</year>
).
<article-title>Neural correlations, population coding and computation</article-title>
.
<source>Nat. Rev. Neurosci.</source>
<volume>7</volume>
,
<fpage>358</fpage>
<lpage>366</lpage>
<pub-id pub-id-type="doi">10.1038/nrn1888</pub-id>
<pub-id pub-id-type="pmid">16760916</pub-id>
</mixed-citation>
</ref>
<ref id="B3">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Baccus</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Meister</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2002</year>
).
<article-title>Fast and slow contrast adaptation in retinal circuitry</article-title>
.
<source>Neuron</source>
<volume>36</volume>
,
<fpage>909</fpage>
<lpage>919</lpage>
<pub-id pub-id-type="doi">10.1016/S0896-6273(02)01050-4</pub-id>
<pub-id pub-id-type="pmid">12467594</pub-id>
</mixed-citation>
</ref>
<ref id="B4">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Barbieri</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Frank</surname>
<given-names>L.</given-names>
</name>
<name>
<surname>Nguyen</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Quirk</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Solo</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Wilson</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Brown</surname>
<given-names>E.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Dynamic analyses of information encoding in neural ensembles</article-title>
.
<source>Neural Comput.</source>
<volume>16</volume>
,
<fpage>277</fpage>
<lpage>307</lpage>
<pub-id pub-id-type="doi">10.1162/089976604322742038</pub-id>
<pub-id pub-id-type="pmid">15006097</pub-id>
</mixed-citation>
</ref>
<ref id="B5">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Beck</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Ma</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>Kiani</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Hanks</surname>
<given-names>T.</given-names>
</name>
<name>
<surname>Churchland</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Roitman</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Shadlen</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2008</year>
).
<article-title>Probabilistic population codes for Bayesian decision making</article-title>
.
<source>Neuron</source>
<volume>60</volume>
,
<fpage>1142</fpage>
<lpage>1152</lpage>
<pub-id pub-id-type="doi">10.1016/j.neuron.2008.09.021</pub-id>
<pub-id pub-id-type="pmid">19109917</pub-id>
</mixed-citation>
</ref>
<ref id="B6">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Beck</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2007</year>
).
<article-title>Exact inferences in a neural implementation of a hidden Markov model</article-title>
.
<source>Neural Comput.</source>
<volume>19</volume>
,
<fpage>1344</fpage>
<lpage>1361</lpage>
<pub-id pub-id-type="doi">10.1162/neco.2007.19.5.1344</pub-id>
<pub-id pub-id-type="pmid">17381269</pub-id>
</mixed-citation>
</ref>
<ref id="B7">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Benucci</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Ringach</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Carandini</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Coding of stimulus sequences by population responses in visual cortex</article-title>
.
<source>Nat. Neurosci.</source>
<volume>12</volume>
,
<fpage>1317</fpage>
<pub-id pub-id-type="doi">10.1038/nn.2398</pub-id>
<pub-id pub-id-type="pmid">19749748</pub-id>
</mixed-citation>
</ref>
<ref id="B8">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bethge</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Rotermund</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Pawelzik</surname>
<given-names>K.</given-names>
</name>
</person-group>
(
<year>2002</year>
).
<article-title>Optimal short-term population coding: when Fisher information fails</article-title>
.
<source>Neural Comput.</source>
<volume>14</volume>
,
<fpage>2317</fpage>
<lpage>2351</lpage>
<pub-id pub-id-type="doi">10.1162/08997660260293247</pub-id>
<pub-id pub-id-type="pmid">12396565</pub-id>
</mixed-citation>
</ref>
<ref id="B9">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bethge</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Rotermund</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Pawelzik</surname>
<given-names>K.</given-names>
</name>
</person-group>
(
<year>2003</year>
).
<article-title>Optimal neural rate coding leads to bimodal firing rate distributions</article-title>
.
<source>Netw. Comput. Neural Syst.</source>
<volume>14</volume>
,
<fpage>303</fpage>
<lpage>319</lpage>
<pub-id pub-id-type="doi">10.1088/0954-898X/14/2/307</pub-id>
</mixed-citation>
</ref>
<ref id="B10">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bobrowski</surname>
<given-names>O.</given-names>
</name>
<name>
<surname>Meir</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Eldar</surname>
<given-names>Y.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Bayesian filtering in spiking neural networks: noise, adaptation, and multisensory integration</article-title>
.
<source>Neural Comput.</source>
<volume>21</volume>
,
<fpage>1277</fpage>
<lpage>1320</lpage>
<pub-id pub-id-type="doi">10.1162/neco.2008.01-08-692</pub-id>
<pub-id pub-id-type="pmid">19018706</pub-id>
</mixed-citation>
</ref>
<ref id="B11">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Brenner</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Bialek</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>de Ruyter van Steveninck</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>Adaptive rescaling maximizes information transmission</article-title>
.
<source>Neuron</source>
<volume>26</volume>
,
<fpage>695</fpage>
<lpage>702</lpage>
<pub-id pub-id-type="doi">10.1016/S0896-6273(00)81205-2</pub-id>
<pub-id pub-id-type="pmid">10896164</pub-id>
</mixed-citation>
</ref>
<ref id="B12">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Brown</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>Bäcker</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2006</year>
).
<article-title>Optimal neuronal tuning for finite stimulus spaces</article-title>
.
<source>Neural Comput.</source>
<volume>18</volume>
,
<fpage>1511</fpage>
<lpage>1526</lpage>
<pub-id pub-id-type="doi">10.1162/neco.2006.18.7.1511</pub-id>
<pub-id pub-id-type="pmid">16764512</pub-id>
</mixed-citation>
</ref>
<ref id="B13">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Brunel</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Nadal</surname>
<given-names>J.</given-names>
</name>
</person-group>
(
<year>1998</year>
).
<article-title>Mutual information, Fisher information, and population coding</article-title>
.
<source>Neural Comput.</source>
<volume>10</volume>
,
<fpage>1731</fpage>
<lpage>1757</lpage>
<pub-id pub-id-type="doi">10.1162/089976698300017115</pub-id>
<pub-id pub-id-type="pmid">9744895</pub-id>
</mixed-citation>
</ref>
<ref id="B14">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Dean</surname>
<given-names>I.</given-names>
</name>
<name>
<surname>Harper</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>McAlpine</surname>
<given-names>D.</given-names>
</name>
</person-group>
(
<year>2005</year>
).
<article-title>Neural population coding of sound level adapts to stimulus statistics</article-title>
.
<source>Nat. Neurosci.</source>
<volume>8</volume>
,
<fpage>1684</fpage>
<lpage>1689</lpage>
<pub-id pub-id-type="doi">10.1038/nn1541</pub-id>
<pub-id pub-id-type="pmid">16286934</pub-id>
</mixed-citation>
</ref>
<ref id="B15">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Dean</surname>
<given-names>I.</given-names>
</name>
<name>
<surname>Robinson</surname>
<given-names>B.</given-names>
</name>
<name>
<surname>Harper</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>McAlpine</surname>
<given-names>D.</given-names>
</name>
</person-group>
(
<year>2008</year>
).
<article-title>Rapid neural adaptation to sound level statistics</article-title>
.
<source>J. Neurosci.</source>
<volume>28</volume>
,
<fpage>6430</fpage>
<lpage>6438</lpage>
<pub-id pub-id-type="doi">10.1523/JNEUROSCI.0470-08.2008</pub-id>
<pub-id pub-id-type="pmid">18562614</pub-id>
</mixed-citation>
</ref>
<ref id="B16">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Deneve</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>2008</year>
).
<article-title>Bayesian spiking neurons I: inference</article-title>
.
<source>Neural Comput.</source>
<volume>20</volume>
,
<fpage>91</fpage>
<lpage>117</lpage>
<pub-id pub-id-type="doi">10.1162/neco.2008.20.1.91</pub-id>
<pub-id pub-id-type="pmid">18045002</pub-id>
</mixed-citation>
</ref>
<ref id="B17">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Deneve</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2001</year>
).
<article-title>Efficient computation and cue integration with noisy population codes</article-title>
.
<source>Nat. Neurosci.</source>
<volume>4</volume>
,
<fpage>826</fpage>
<lpage>831</lpage>
<pub-id pub-id-type="doi">10.1038/90541</pub-id>
<pub-id pub-id-type="pmid">11477429</pub-id>
</mixed-citation>
</ref>
<ref id="B18">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Dragoi</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Sharma</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Sur</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>Adaptation-induced plasticity of orientation tuning in adult visual cortex</article-title>
.
<source>Neuron</source>
<volume>28</volume>
,
<fpage>287</fpage>
<lpage>298</lpage>
<pub-id pub-id-type="doi">10.1016/S0896-6273(00)00103-3</pub-id>
<pub-id pub-id-type="pmid">11087001</pub-id>
</mixed-citation>
</ref>
<ref id="B19">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Duncan</surname>
<given-names>T.</given-names>
</name>
</person-group>
(
<year>1970</year>
).
<article-title>On the calculation of mutual information</article-title>
.
<source>SIAM J. Appl. Math.</source>
<volume>19</volume>
,
<fpage>215</fpage>
<lpage>220</lpage>
<pub-id pub-id-type="doi">10.1137/0119020</pub-id>
</mixed-citation>
</ref>
<ref id="B20">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Eden</surname>
<given-names>U.</given-names>
</name>
<name>
<surname>Frank</surname>
<given-names>L.</given-names>
</name>
<name>
<surname>Barbieri</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Solo</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Brown</surname>
<given-names>E.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Dynamic analysis of neural encoding by point process adaptive filtering</article-title>
.
<source>Neural Comput.</source>
<volume>16</volume>
,
<fpage>971</fpage>
<lpage>998</lpage>
<pub-id pub-id-type="doi">10.1162/089976604773135069</pub-id>
<pub-id pub-id-type="pmid">15070506</pub-id>
</mixed-citation>
</ref>
<ref id="B21">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Ernst</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Banks</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2002</year>
).
<article-title>Humans integrate visual and haptic information in a statistically optimal fashion</article-title>
.
<source>Nature</source>
<volume>415</volume>
,
<fpage>429</fpage>
<lpage>433</lpage>
<pub-id pub-id-type="doi">10.1038/415429a</pub-id>
<pub-id pub-id-type="pmid">11807554</pub-id>
</mixed-citation>
</ref>
<ref id="B22">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Eurich</surname>
<given-names>C.</given-names>
</name>
<name>
<surname>Wilke</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Schwegler</surname>
<given-names>H.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>Neural representation of multi-dimensional stimuli</article-title>
.
<source>Adv. Neural Inf. Process Syst.</source>
<volume>12</volume>
,
<fpage>115</fpage>
<lpage>121</lpage>
</mixed-citation>
</ref>
<ref id="B23">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Finney</surname>
<given-names>E.</given-names>
</name>
<name>
<surname>Fine</surname>
<given-names>I.</given-names>
</name>
<name>
<surname>Dobkins</surname>
<given-names>K.</given-names>
</name>
</person-group>
(
<year>2001</year>
).
<article-title>Visual stimuli activate auditory cortex in the deaf</article-title>
.
<source>Nat. Neurosci.</source>
<volume>4</volume>
,
<fpage>1171</fpage>
<lpage>1174</lpage>
<pub-id pub-id-type="doi">10.1038/nn763</pub-id>
<pub-id pub-id-type="pmid">11704763</pub-id>
</mixed-citation>
</ref>
<ref id="B24">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Geisler</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>Najemnik</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Ing</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Optimal stimulus encoders for natural tasks</article-title>
.
<source>J. Vision</source>
<volume>9</volume>
,
<fpage>13</fpage>
<lpage>17</lpage>
<pub-id pub-id-type="doi">10.1167/9.13.17</pub-id>
</mixed-citation>
</ref>
<ref id="B25">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Gollisch</surname>
<given-names>T.</given-names>
</name>
<name>
<surname>Meister</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2010</year>
).
<article-title>Eye smarter than scientists believed: neural computations in circuits of the retina</article-title>
.
<source>Neuron</source>
<volume>65</volume>
,
<fpage>150</fpage>
<lpage>164</lpage>
<pub-id pub-id-type="doi">10.1016/j.neuron.2009.12.009</pub-id>
<pub-id pub-id-type="pmid">20152123</pub-id>
</mixed-citation>
</ref>
<ref id="B26">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Guo</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Shamai</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Verdú</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>2005</year>
).
<article-title>Mutual information and minimum mean-square error in Gaussian channels</article-title>
.
<source>IEEE Trans. Inf. Theory</source>
<volume>51</volume>
,
<fpage>1261</fpage>
<lpage>1282</lpage>
<pub-id pub-id-type="doi">10.1109/TIT.2005.844072</pub-id>
</mixed-citation>
</ref>
<ref id="B27">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Gutfreund</surname>
<given-names>Y.</given-names>
</name>
<name>
<surname>Zheng</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>Knudsen</surname>
<given-names>E.</given-names>
</name>
</person-group>
(
<year>2002</year>
).
<article-title>Gated visual input to the central auditory system</article-title>
.
<source>Science</source>
<volume>297</volume>
,
<fpage>1556</fpage>
<pub-id pub-id-type="doi">10.1126/science.1073712</pub-id>
<pub-id pub-id-type="pmid">12202831</pub-id>
</mixed-citation>
</ref>
<ref id="B28">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Harper</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>McAlpine</surname>
<given-names>D.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Optimal neural population coding of an auditory spatial cue</article-title>
.
<source>Nature</source>
<volume>430</volume>
,
<fpage>682</fpage>
<lpage>686</lpage>
<pub-id pub-id-type="doi">10.1038/nature02768</pub-id>
<pub-id pub-id-type="pmid">15295602</pub-id>
</mixed-citation>
</ref>
<ref id="B29">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Hosoya</surname>
<given-names>T.</given-names>
</name>
<name>
<surname>Baccus</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Meister</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2005</year>
).
<article-title>Dynamic predictive coding by the retina</article-title>
.
<source>Nature</source>
<volume>436</volume>
,
<fpage>71</fpage>
<lpage>77</lpage>
<pub-id pub-id-type="doi">10.1038/nature03689</pub-id>
<pub-id pub-id-type="pmid">16001064</pub-id>
</mixed-citation>
</ref>
<ref id="B30">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Huys</surname>
<given-names>Q.</given-names>
</name>
<name>
<surname>Zemel</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Natarajan</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Dayan</surname>
<given-names>P.</given-names>
</name>
</person-group>
(
<year>2007</year>
).
<article-title>Fast population coding</article-title>
.
<source>Neural Comput.</source>
<volume>19</volume>
,
<fpage>404</fpage>
<lpage>441</lpage>
<pub-id pub-id-type="doi">10.1162/neco.2007.19.2.404</pub-id>
<pub-id pub-id-type="pmid">17206870</pub-id>
</mixed-citation>
</ref>
<ref id="B31">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Jacobs</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Fridman</surname>
<given-names>G.</given-names>
</name>
<name>
<surname>Douglas</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Alam</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Prusky</surname>
<given-names>G.</given-names>
</name>
<name>
<surname>Nirenberg</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Ruling out and ruling in neural codes</article-title>
.
<source>Proc. Natl. Acad. Sci. U.S.A.</source>
<volume>106</volume>
,
<fpage>5936</fpage>
<lpage>5941</lpage>
<pub-id pub-id-type="doi">10.1073/pnas.0900573106</pub-id>
<pub-id pub-id-type="pmid">19297621</pub-id>
</mixed-citation>
</ref>
<ref id="B32">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Jacobs</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>1999</year>
).
<article-title>Optimal integration of texture and motion cues to depth</article-title>
.
<source>Vision Res.</source>
<volume>39</volume>
,
<fpage>3621</fpage>
<lpage>3629</lpage>
<pub-id pub-id-type="doi">10.1016/S0042-6989(99)00088-7</pub-id>
<pub-id pub-id-type="pmid">10746132</pub-id>
</mixed-citation>
</ref>
<ref id="B33">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Johnson</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Ray</surname>
<given-names>W.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Optimal stimulus coding by neural populations using rate codes</article-title>
.
<source>J. Comput. Neurosci.</source>
<volume>16</volume>
,
<fpage>129</fpage>
<lpage>138</lpage>
<pub-id pub-id-type="doi">10.1023/B:JCNS.0000014106.09948.83</pub-id>
<pub-id pub-id-type="pmid">14758062</pub-id>
</mixed-citation>
</ref>
<ref id="B34">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Knill</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>The Bayesian brain: the role of uncertainty in neural coding and computation</article-title>
.
<source>Trends Neurosci.</source>
<volume>27</volume>
,
<fpage>712</fpage>
<lpage>719</lpage>
<pub-id pub-id-type="doi">10.1016/j.tins.2004.10.007</pub-id>
<pub-id pub-id-type="pmid">15541511</pub-id>
</mixed-citation>
</ref>
<ref id="B35">
<mixed-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Knill</surname>
<given-names>D.</given-names>
</name>
<name>
<surname>Richards</surname>
<given-names>W.</given-names>
</name>
</person-group>
(
<year>1996</year>
).
<source>Perception as Bayesian Inference</source>
.
<publisher-loc>New York, NY:</publisher-loc>
<publisher-name>Cambridge University Press</publisher-name>
</mixed-citation>
</ref>
<ref id="B36">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Korte</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Rauschecker</surname>
<given-names>J.</given-names>
</name>
</person-group>
(
<year>1993</year>
).
<article-title>Auditory spatial tuning of cortical neurons is sharpened in cats with early blindness</article-title>
.
<source>J. Neurophysiol.</source>
<volume>70</volume>
,
<fpage>1717</fpage>
<pub-id pub-id-type="pmid">8283227</pub-id>
</mixed-citation>
</ref>
<ref id="B37">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Lánsky</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Greenwood</surname>
<given-names>P.</given-names>
</name>
</person-group>
(
<year>2005</year>
).
<article-title>Optimal signal estimation in neuronal models</article-title>
.
<source>Neural Comput.</source>
<volume>17</volume>
,
<fpage>2240</fpage>
<lpage>2257</lpage>
<pub-id pub-id-type="doi">10.1162/0899766054615653</pub-id>
<pub-id pub-id-type="pmid">16105224</pub-id>
</mixed-citation>
</ref>
<ref id="B38">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Liu</surname>
<given-names>Y.</given-names>
</name>
<name>
<surname>Stevens</surname>
<given-names>C.</given-names>
</name>
<name>
<surname>Sharpee</surname>
<given-names>T.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Predictable irregularities in retinal receptive fields</article-title>
.
<source>Proc. Natl. Acad. Sci. U.S.A.</source>
<volume>106</volume>
,
<fpage>16499</fpage>
<lpage>16504</lpage>
<pub-id pub-id-type="doi">10.1073/pnas.0908926106</pub-id>
<pub-id pub-id-type="pmid">19805327</pub-id>
</mixed-citation>
</ref>
<ref id="B39">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Marom</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Meir</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Braun</surname>
<given-names>E.</given-names>
</name>
<name>
<surname>Gal</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Kermany</surname>
<given-names>E.</given-names>
</name>
<name>
<surname>Eytan</surname>
<given-names>D.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>On the precarious path of reverse neuro-engineering</article-title>
.
<source>Front. Comput. Neurosci.</source>
<volume>3</volume>
:
<issue>5</issue>
<pub-id pub-id-type="doi">10.3389/neuro.10.005.2009</pub-id>
<pub-id pub-id-type="pmid">19503751</pub-id>
</mixed-citation>
</ref>
<ref id="B40">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Martinez-Trujillo</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Treue</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Feature-based attention increases the selectivity of population responses in primate visual cortex</article-title>
.
<source>Curr. Biol.</source>
<volume>14</volume>
,
<fpage>744</fpage>
<lpage>751</lpage>
<pub-id pub-id-type="doi">10.1016/j.cub.2004.04.028</pub-id>
<pub-id pub-id-type="pmid">15120065</pub-id>
</mixed-citation>
</ref>
<ref id="B41">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Ma</surname>
<given-names>W.</given-names>
</name>
<name>
<surname>Beck</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2006</year>
).
<article-title>Bayesian inference with probabilistic population codes</article-title>
.
<source>Nat. Neurosci.</source>
<volume>9</volume>
,
<fpage>1432</fpage>
<lpage>1438</lpage>
<pub-id pub-id-type="doi">10.1038/nn1790</pub-id>
<pub-id pub-id-type="pmid">17057707</pub-id>
</mixed-citation>
</ref>
<ref id="B42">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>McDonnell</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Stocks</surname>
<given-names>N.</given-names>
</name>
</person-group>
(
<year>2008</year>
).
<article-title>Maximally informative stimuli and tuning curves for sigmoidal rate-coding neurons and populations</article-title>
.
<source>Phys. Rev. Lett.</source>
<volume>101</volume>
,
<fpage>058103</fpage>
<pub-id pub-id-type="doi">10.1103/PhysRevLett.101.058103</pub-id>
<pub-id pub-id-type="pmid">18764432</pub-id>
</mixed-citation>
</ref>
<ref id="B43">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Nikitin</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Stocks</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Morse</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>McDonnell</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2009</year>
).
<article-title>Neural population coding is optimized by discrete tuning curves</article-title>
.
<source>Phys. Rev. Lett.</source>
<volume>103</volume>
,
<fpage>138101</fpage>
<pub-id pub-id-type="doi">10.1103/PhysRevLett.103.138101</pub-id>
<pub-id pub-id-type="pmid">19905542</pub-id>
</mixed-citation>
</ref>
<ref id="B44">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Panzeri</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Treves</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Schultz</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Rolls</surname>
<given-names>E.</given-names>
</name>
</person-group>
(
<year>1999</year>
).
<article-title>On decoding the responses of a population of neurons from short time windows</article-title>
.
<source>Neural Comput.</source>
<volume>11</volume>
,
<fpage>1553</fpage>
<lpage>1577</lpage>
<pub-id pub-id-type="doi">10.1162/089976699300016142</pub-id>
<pub-id pub-id-type="pmid">10490938</pub-id>
</mixed-citation>
</ref>
<ref id="B45">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pettet</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Gilbert</surname>
<given-names>C.</given-names>
</name>
</person-group>
(
<year>1992</year>
).
<article-title>Dynamic changes in receptive-field size in cat primary visual cortex</article-title>
.
<source>Proc. Natl. Acad. Sci. U.S.A.</source>
<volume>89</volume>
,
<fpage>8366</fpage>
<lpage>8370</lpage>
<pub-id pub-id-type="doi">10.1073/pnas.89.17.8366</pub-id>
<pub-id pub-id-type="pmid">1518870</pub-id>
</mixed-citation>
</ref>
<ref id="B46">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pitkow</surname>
<given-names>X.</given-names>
</name>
<name>
<surname>Sompolinsky</surname>
<given-names>H.</given-names>
</name>
<name>
<surname>Meister</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>2007</year>
).
<article-title>A neural computation for visual acuity in the presence of eye movements</article-title>
.
<source>PLoS Biol.</source>
<volume>5</volume>
,
<fpage>e331</fpage>
<pub-id pub-id-type="doi">10.1371/journal.pbio.0050331</pub-id>
<pub-id pub-id-type="pmid">18162043</pub-id>
</mixed-citation>
</ref>
<ref id="B47">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Dayan</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Zemel</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>Information processing with population codes</article-title>
.
<source>Nat. Rev. Neurosci.</source>
<volume>1</volume>
,
<fpage>125</fpage>
<lpage>132</lpage>
<pub-id pub-id-type="doi">10.1038/35039062</pub-id>
<pub-id pub-id-type="pmid">11252775</pub-id>
</mixed-citation>
</ref>
<ref id="B48">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Dayan</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Zemel</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>2003</year>
).
<article-title>Computation and inference with population codes</article-title>
.
<source>Annu. Rev. Neurosci.</source>
<volume>26</volume>
,
<fpage>381</fpage>
<lpage>410</lpage>
<pub-id pub-id-type="doi">10.1146/annurev.neuro.26.041002.131112</pub-id>
<pub-id pub-id-type="pmid">12704222</pub-id>
</mixed-citation>
</ref>
<ref id="B49">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Deneve</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Ducom</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
</person-group>
(
<year>1999</year>
).
<article-title>Narrow versus wide tuning curves: what's best for a population code?</article-title>
<source>Neural Comput.</source>
<volume>11</volume>
,
<fpage>85</fpage>
<lpage>90</lpage>
<pub-id pub-id-type="doi">10.1162/089976699300016818</pub-id>
<pub-id pub-id-type="pmid">9950723</pub-id>
</mixed-citation>
</ref>
<ref id="B50">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Deneve</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Duhamel</surname>
<given-names>J.</given-names>
</name>
</person-group>
(
<year>2002</year>
).
<article-title>A computational perspective on the neural basis of multisensory spatial representations</article-title>
.
<source>Nat. Rev. Neurosci.</source>
<volume>3</volume>
,
<fpage>741</fpage>
<lpage>747</lpage>
<pub-id pub-id-type="doi">10.1038/nrn914</pub-id>
<pub-id pub-id-type="pmid">12209122</pub-id>
</mixed-citation>
</ref>
<ref id="B51">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Rao</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Bayesian computation in recurrent neural circuits</article-title>
.
<source>Neural Comput.</source>
<volume>16</volume>
,
<fpage>1</fpage>
<lpage>38</lpage>
<pub-id pub-id-type="doi">10.1162/08997660460733976</pub-id>
<pub-id pub-id-type="pmid">15006021</pub-id>
</mixed-citation>
</ref>
<ref id="B52">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Rauschecker</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Harris</surname>
<given-names>L.</given-names>
</name>
</person-group>
(
<year>1983</year>
).
<article-title>Auditory compensation of the effects of visual deprivation in the cat's superior colliculus</article-title>
.
<source>Exp. Brain Res.</source>
<volume>50</volume>
,
<fpage>69</fpage>
<lpage>83</lpage>
<pub-id pub-id-type="doi">10.1007/BF00238233</pub-id>
<pub-id pub-id-type="pmid">6641852</pub-id>
</mixed-citation>
</ref>
<ref id="B53">
<mixed-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Searle</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>1982</year>
).
<source>Matrix Algebra Useful for Statistics.</source>
<publisher-loc>New York, NY:</publisher-loc>
<publisher-name>John Wiley & Sons.</publisher-name>
</mixed-citation>
</ref>
<ref id="B54">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Seriès</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Latham</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>2004</year>
).
<article-title>Tuning curve sharpening for orientation selectivity: coding efficiency and the impact of correlations</article-title>
.
<source>Nat. Neurosci.</source>
<volume>7</volume>
,
<fpage>1129</fpage>
<lpage>1135</lpage>
<pub-id pub-id-type="doi">10.1038/nn1321</pub-id>
<pub-id pub-id-type="pmid">15452579</pub-id>
</mixed-citation>
</ref>
<ref id="B55">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Seung</surname>
<given-names>H.</given-names>
</name>
<name>
<surname>Sompolinsky</surname>
<given-names>H.</given-names>
</name>
</person-group>
(
<year>1993</year>
).
<article-title>Simple models for reading neuronal population codes</article-title>
.
<source>Proc. Natl. Acad. Sci. U.S.A.</source>
<volume>90</volume>
,
<fpage>10749</fpage>
<lpage>10753</lpage>
<pub-id pub-id-type="doi">10.1073/pnas.90.22.10749</pub-id>
<pub-id pub-id-type="pmid">8248166</pub-id>
</mixed-citation>
</ref>
<ref id="B56">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Toyoizumi</surname>
<given-names>T.</given-names>
</name>
<name>
<surname>Aihara</surname>
<given-names>K.</given-names>
</name>
<name>
<surname>Amari</surname>
<given-names>S.</given-names>
</name>
</person-group>
(
<year>2006</year>
).
<article-title>Fisher information for spike-based population decoding</article-title>
.
<source>Phys. Rev. Lett.</source>
<volume>97</volume>
,
<fpage>098102</fpage>
<pub-id pub-id-type="doi">10.1103/PhysRevLett.97.098102</pub-id>
<pub-id pub-id-type="pmid">17026405</pub-id>
</mixed-citation>
</ref>
<ref id="B57">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Twum-Danso</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Brockett</surname>
<given-names>R.</given-names>
</name>
</person-group>
(
<year>2001</year>
).
<article-title>Trajectory estimation from place cell data</article-title>
.
<source>Neural Netw.</source>
<volume>14</volume>
,
<fpage>835</fpage>
<lpage>844</lpage>
<pub-id pub-id-type="doi">10.1016/S0893-6080(01)00079-X</pub-id>
<pub-id pub-id-type="pmid">11665775</pub-id>
</mixed-citation>
</ref>
<ref id="B58">
<mixed-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Van Trees</surname>
<given-names>H.</given-names>
</name>
</person-group>
(
<year>1968</year>
).
<source>Detection, Estimation, and Modulation Theory</source>
, Part I.
<publisher-loc>New York, NY:</publisher-loc>
<publisher-name>John Wiley & Sons.</publisher-name>
</mixed-citation>
</ref>
<ref id="B59">
<mixed-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Van Trees</surname>
<given-names>H.</given-names>
</name>
<name>
<surname>Bell</surname>
<given-names>K.</given-names>
</name>
</person-group>
(
<year>2007</year>
).
<source>Bayesian Bounds for Parameter Estimation and Nonlinear Filtering/Tracking.</source>
<publisher-loc>New York, NY:</publisher-loc>
<publisher-name>John Wiley & Sons.</publisher-name>
</mixed-citation>
</ref>
<ref id="B60">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Wang</surname>
<given-names>X.</given-names>
</name>
<name>
<surname>Lu</surname>
<given-names>T.</given-names>
</name>
<name>
<surname>Snider</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Liang</surname>
<given-names>L.</given-names>
</name>
</person-group>
(
<year>2005</year>
).
<article-title>Sustained firing in auditory cortex evoked by preferred stimuli</article-title>
.
<source>Nature</source>
<volume>435</volume>
,
<fpage>341</fpage>
<pub-id pub-id-type="doi">10.1038/nature03565</pub-id>
<pub-id pub-id-type="pmid">15902257</pub-id>
</mixed-citation>
</ref>
<ref id="B61">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Weeks</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Horwitz</surname>
<given-names>B.</given-names>
</name>
<name>
<surname>Aziz-Sultan</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Tian</surname>
<given-names>B.</given-names>
</name>
<name>
<surname>Wessinger</surname>
<given-names>C.</given-names>
</name>
<name>
<surname>Cohen</surname>
<given-names>L.</given-names>
</name>
<name>
<surname>Hallett</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Rauschecker</surname>
<given-names>J.</given-names>
</name>
</person-group>
(
<year>2000</year>
).
<article-title>A positron emission tomographic study of auditory localization in the congenitally blind</article-title>
.
<source>J. Neurosci.</source>
<volume>20</volume>
,
<fpage>2664</fpage>
<pub-id pub-id-type="pmid">10729347</pub-id>
</mixed-citation>
</ref>
<ref id="B62">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>White</surname>
<given-names>H.</given-names>
</name>
</person-group>
(
<year>1982</year>
).
<article-title>Maximum likelihood estimation of misspecified models</article-title>
.
<source>Econometrica</source>
<volume>50</volume>
,
<fpage>1</fpage>
<lpage>25</lpage>
<pub-id pub-id-type="doi">10.2307/1912526</pub-id>
</mixed-citation>
</ref>
<ref id="B63">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Wörgötter</surname>
<given-names>F.</given-names>
</name>
<name>
<surname>Suder</surname>
<given-names>K.</given-names>
</name>
<name>
<surname>Zhao</surname>
<given-names>Y.</given-names>
</name>
<name>
<surname>Kerscher</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Eysel</surname>
<given-names>U.</given-names>
</name>
<name>
<surname>Funke</surname>
<given-names>K.</given-names>
</name>
</person-group>
(
<year>1998</year>
).
<article-title>State-dependent receptive field restructuring in the visual cortex</article-title>
.
<source>Nature</source>
<volume>396</volume>
,
<fpage>165</fpage>
<lpage>168</lpage>
<pub-id pub-id-type="doi">10.1038/24157</pub-id>
<pub-id pub-id-type="pmid">9823895</pub-id>
</mixed-citation>
</ref>
<ref id="B64">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Yeshurun</surname>
<given-names>Y.</given-names>
</name>
<name>
<surname>Carrasco</surname>
<given-names>M.</given-names>
</name>
</person-group>
(
<year>1999</year>
).
<article-title>Spatial attention improves performance in spatial resolution tasks</article-title>
.
<source>Vision Res.</source>
<volume>39</volume>
,
<fpage>293</fpage>
<lpage>306</lpage>
<pub-id pub-id-type="doi">10.1016/S0042-6989(98)00114-X</pub-id>
<pub-id pub-id-type="pmid">10326137</pub-id>
</mixed-citation>
</ref>
<ref id="B65">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Zemel</surname>
<given-names>R.</given-names>
</name>
<name>
<surname>Dayan</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Pouget</surname>
<given-names>A.</given-names>
</name>
</person-group>
(
<year>1998</year>
).
<article-title>Probabilistic interpretation of population codes</article-title>
.
<source>Neural Comput.</source>
<volume>10</volume>
,
<fpage>403</fpage>
<lpage>430</lpage>
<pub-id pub-id-type="doi">10.1162/089976698300017818</pub-id>
<pub-id pub-id-type="pmid">9472488</pub-id>
</mixed-citation>
</ref>
<ref id="B66">
<mixed-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Zhang</surname>
<given-names>K.</given-names>
</name>
<name>
<surname>Sejnowski</surname>
<given-names>T.</given-names>
</name>
</person-group>
(
<year>1999</year>
).
<article-title>Neuronal tuning: to sharpen or broaden?</article-title>
<source>Neural Comput.</source>
<volume>11</volume>
,
<fpage>75</fpage>
<lpage>84</lpage>
<pub-id pub-id-type="doi">10.1162/089976699300016809</pub-id>
<pub-id pub-id-type="pmid">9950722</pub-id>
</mixed-citation>
</ref>
</ref-list>
</back>
</pmc>
</record>

Pour manipuler ce document sous Unix (Dilib)

EXPLOR_STEP=$WICRI_ROOT/Ticri/CIDE/explor/HapticV1/Data/Pmc/Curation
HfdSelect -h $EXPLOR_STEP/biblio.hfd -nk 001D17 | SxmlIndent | more

Ou

HfdSelect -h $EXPLOR_AREA/Data/Pmc/Curation/biblio.hfd -nk 001D17 | SxmlIndent | more

Pour mettre un lien sur cette page dans le réseau Wicri

{{Explor lien
   |wiki=    Ticri/CIDE
   |area=    HapticV1
   |flux=    Pmc
   |étape=   Curation
   |type=    RBID
   |clé=     PMC:2978036
   |texte=   Error-Based Analysis of Optimal Tuning Functions Explains Phenomena Observed in Sensory Neurons
}}

Pour générer des pages wiki

HfdIndexSelect -h $EXPLOR_AREA/Data/Pmc/Curation/RBID.i   -Sk "pubmed:21079749" \
       | HfdSelect -Kh $EXPLOR_AREA/Data/Pmc/Curation/biblio.hfd   \
       | NlmPubMed2Wicri -a HapticV1 

Wicri

This area was generated with Dilib version V0.6.23.
Data generation: Mon Jun 13 01:09:46 2016. Site generation: Wed Mar 6 09:54:07 2024