Theoretical Neuroscience Computational and Mathematical Modeling of Neural Systems-Dayan,Abbott

Τηεορετιχαλ Νευροσχιενχε

Χοµπυτατιοναλ Νευροσχιενχε Τερρενχε ϑ. Σεϕνοωσκι ανδ Τοµασο Πογγιο, εδιτορσ Νευραλ Νετσ ιν Ελεχτριχ Φιση, Ωαλτερ Ηειλιγενβεργ, 1991. Τηε Χοµπυτατιοναλ Βραιν, Πατριχια Σ. Χηυρχηλανδ ανδ Τερρενχε ϑ. Σεϕνοωσκι, 1992 ∆ψναµιχ Βιολογιχαλ Νετωορκσ: Τηε Στοµατογαστριχ Νερϖουσ Σψστεµ, εδιτεδ βψ Ροναλδ Μ. Ηαρρισ−Ωαρριχκ, Εϖε Μαρδερ, Αλλεν Ι. Σελϖερστον, ανδ Μαυριχε Μουλινσ, 1992 Τηε Νευροβιολογψ οφ Νευραλ Νετωορκσ, εδιτεδ βψ ∆ανιελ Γαρδνερ, 1993 Λαργε−Σχαλε Νευροναλ Τηεοριεσ οφ τηε Βραιν, εδιτεδ βψ Χηριστοφ Κοχη ανδ ϑοελ Λ. ∆αϖισ, 1994 Τηε Τηεορετιχαλ Φουνδατιονσ οφ ∆ενδριτιχ Φυνχτιον: Σελεχτεδ Παπερσ οφ Ωιλφριδ Ραλλ ωιτη Χοµµενταριεσ, εδιτεδ βψ Ιδαν Σεγεϖ, ϑοην Ρινζελ, ανδ Γορδον Μ. Σηεπηερδ, 1995 Μοδελσ οφ Ινφορµατιον Προχεσσινγ ιν τηε Βασαλ Γανγλια, εδιτεδ βψ ϑαµεσ Χ. Ηουκ, ϑοελ Λ. ∆αϖισ, ανδ ∆αϖιδ Γ. Βεισερ, 1995 Σπικεσ: Εξπλορινγ τηε Νευραλ Χοδε, Φρεδ Ριεκε, ∆αϖιδ Ωαρλανδ, Ροβ δε Ρυψτερ ϖαν Στεϖενινχκ, ανδ Ωιλλιαµ Βιαλεκ, 1997 Νευρονσ, Νετωορκσ, ανδ Μοτορ Βεηαϖιορ, εδιτεδ βψ Παυλ Σ.Γ. Στειν, Στεν Γριλλνερ, Αλλεν Ι. Σελϖερστον, ανδ ∆ουγλασ Γ. Στυαρτ, 1997 Μετηοδσ ιν Νευροναλ Μοδελινγ: Φροµ Ιονσ το Νετωορκσ, σεχονδ εδιτιον, εδιτεδ βψ Χηριστοφ Κοχη ανδ Ιδαν Σεγεϖ, 1998 Φυνδαµενταλσ οφ Νευραλ Νετωορκ Μοδελινγ: Νευροπσψχηολογψ ανδ Χογνιτιϖε Νευροσχιενχε, εδιτεδ βψ Ρανδολπη Ω. Παρκσ, ∆ανιελ Σ. Λεϖινε, ανδ ∆εβρα Λ. Λονγ, 1998 Νευραλ Χοδεσ ανδ ∆ιστριβυτεδ Ρεπρεσεντατιονσ: Φουνδατιονσ οφ Νευραλ Χοµπυτατιον, εδιτεδ βψ Λαυρενχε Αββοττ ανδ Τερρενχε ϑ. Σεϕνοωσκι, 1998 Υνσυπερϖισεδ Λεαρνινγ: Φουνδατιονσ οφ Νευραλ Χοµπυτατιον, εδιτεδ βψ Γεοφφρεψ Ηιντον ανδ Τερρενχε ϑ. Σεϕνοωσκι, 1998 Φαστ Οσχιλλατιονσ ιν Χορτιχαλ Χιρχυιτσ, Ρογερ ∆. Τραυβ, ϑοην Γ.Ρ. ϑεφφρεψσ, ανδ Μιλεσ Α. Ωηιττινγτον, 1999 Χοµπυτατιοναλ ςισιον: Ινφορµατιον Προχεσσινγ ιν Περχεπτιον ανδ ςισυαλ Βεηαϖιορ, Ηανσπετερ Α. Μαλλοτ, 2000 Τηεορετιχαλ Νευροσχιενχε: Χοµπυτατιοναλ ανδ Ματηεµατιχαλ Μοδελινγ οφ Νευραλ Σψστεµσ, Πετερ ∆αψαν ανδ Λ.Φ. Αββοττ, 2001

Τηεορετιχαλ Νευροσχιενχε Χοµπυτατιοναλ ανδ Ματηεµατιχαλ Μοδελινγ οφ Νευραλ Σψστεµσ

Πετερ ∆αψαν ανδ Λ.Φ. Αββοττ

Τηε ΜΙΤ Πρεσσ Χαµβριδγε, Μασσαχηυσεττσ Λονδον, Ενγλανδ

χ 2001 Μασσαχηυσεττσ Ινστιτυτε οφ Τεχηνολογψ ⃝ Αλλ ριγητσ ρεσερϖεδ. Νο παρτ οφ τηισ βοοκ µαψ βε ρεπροδυχεδ ιν ανψ φορµ βψ ανψ ελεχτρονιχ ορ µεχηανιχαλ µεανσ (ινχλυδινγ πηοτοχοπψινγ, ρεχορδινγ, ορ ινφορµα− τιον στοραγε ανδ ρετριεϖαλ) ωιτηουτ περµισσιον ιν ωριτινγ φροµ τηε πυβλισηερ. Τψπεσετ ιν Παλατινο βψ τηε αυτηορσ υσινγ ΛΑΤΕΞ 2ε . Πριντεδ ανδ βουνδ ιν τηε Υνιτεδ Στατεσ οφ Αµεριχα. Λιβραρψ οφ Χονγρεσσ Χαταλογινγ−ιν−Πυβλιχατιον ∆ατα ∆αψαν, Πετερ. Τηεορετιχαλ νευροσχιενχε : χοµπυτατιοναλ ανδ µατηεµατιχαλ µοδελινγ οφ νευραλ σψστεµσ / Πετερ ∆αψαν ανδ Λ.Φ. Αββοττ. π. χµ. ^ (Χοµπυτατιοναλ νευροσχιενχε) Ινχλυδεσ βιβλιογραπηιχαλ ρεφερενχεσ. ΙΣΒΝ 0−262−04199−5 (ηχ. : αλκ. παπερ) 1. Νευραλ νετωορκσ (Νευροβιολογψ) ^ Χοµπυτερ σιµυλατιον. 2. Ηυµαν ινφορµατιον προχεσσινγ ^ Χοµπυτερ σιµυλατιον. 3. Χοµπυτατιοναλ νευροσχιενχε. Ι. Αββοττ, Λ.Φ. ΙΙ. Τιτλε. ΙΙΙ. Σεριεσ ΘΠ363.3 .∆39 2001 573.8a01a13−−δχ21 2001044005

Το ουρ φαµιλιεσ

This page intentionally left blank

Χοντεντσ Πρεφαχε

ξιιι

Ι Νευραλ Ενχοδινγ ανδ ∆εχοδινγ

1

1

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

3

1.1 1.2

Ιντροδυχτιον Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

3 8

1.3

Ωηατ Μακεσ α Νευρον Φιρε?

17

1.4 1.5

Σπικε−Τραιν Στατιστιχσ Τηε Νευραλ Χοδε

24 34

1.6 1.7

Χηαπτερ Συµµαρψ Αππενδιχεσ

39 40

1.8

Αννοτατεδ Βιβλιογραπηψ

43

2

3

Νευραλ Ενχοδινγ ΙΙ: Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ 45 2.1 2.2

Ιντροδυχτιον Εστιµατινγ Φιρινγ Ρατεσ

45 45

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

51

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

60

2.5

Στατιχ Νονλινεαριτιεσ: Χοµπλεξ Χελλσ

74

2.6

Ρεχεπτιϖε Φιελδσ ιν τηε Ρετινα ανδ ΛΓΝ

77

2.7

Χονστρυχτινγ ς1 Ρεχεπτιϖε Φιελδσ

79

2.8 Χηαπτερ Συµµαρψ 2.9 Αππενδιχεσ 2.10 Αννοτατεδ Βιβλιογραπηψ

81 81 84

Νευραλ ∆εχοδινγ 3.1 Ενχοδινγ ανδ ∆εχοδινγ

87 87

3.2 3.3 3.4

∆ισχριµινατιον Ποπυλατιον ∆εχοδινγ Σπικε−Τραιν ∆εχοδινγ

89 97 113

3.5

Χηαπτερ Συµµαρψ

118

ϖιιι 3.6 3.7 4

Αππενδιχεσ Αννοτατεδ Βιβλιογραπηψ

119 122

Ινφορµατιον Τηεορψ 4.1 Εντροπψ ανδ Μυτυαλ Ινφορµατιον

123 123

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

130

4.3

Εντροπψ ανδ Ινφορµατιον φορ Σπικε Τραινσ

145

4.4 4.5 4.6

Χηαπτερ Συµµαρψ Αππενδιξ Αννοτατεδ Βιβλιογραπηψ

149 150 150

ΙΙ Νευρονσ ανδ Νευραλ Χιρχυιτσ

151

5

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ 5.1 Ιντροδυχτιον

153 153

5.2

Ελεχτριχαλ Προπερτιεσ οφ Νευρονσ

153

5.3

Σινγλε−Χοµπαρτµεντ Μοδελσ

161

5.4

Ιντεγρατε−ανδ−Φιρε Μοδελσ

162

5.5

ςολταγε−∆επενδεντ Χονδυχτανχεσ

166

5.6

Τηε Ηοδγκιν−Ηυξλεψ Μοδελ

173

5.7 5.8 5.9

Μοδελινγ Χηαννελσ Σψναπτιχ Χονδυχτανχεσ Σψναπσεσ ον Ιντεγρατε−ανδ−Φιρε Νευρονσ

175 178 188

6

7

5.10 Χηαπτερ Συµµαρψ 5.11 Αππενδιχεσ

191 191

5.12 Αννοτατεδ Βιβλιογραπηψ

193

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

195

6.1

Λεϖελσ οφ Νευρον Μοδελινγ

195

6.2

Χονδυχτανχε−Βασεδ Μοδελσ

195

6.3

Τηε Χαβλε Εθυατιον

203

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

217

6.5

Χηαπτερ Συµµαρψ

224

6.6 6.7

Αππενδιχεσ Αννοτατεδ Βιβλιογραπηψ

224 228

Νετωορκ Μοδελσ 7.1 Ιντροδυχτιον 7.2 Φιρινγ−Ρατε Μοδελσ

229 229 231

7.3

241

Φεεδφορωαρδ Νετωορκσ

ιξ 7.4 7.5

Ρεχυρρεντ Νετωορκσ Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

244 265

7.6 7.7

Στοχηαστιχ Νετωορκσ Χηαπτερ Συµµαρψ

273 276

7.8 7.9

Αππενδιξ Αννοτατεδ Βιβλιογραπηψ

276 277

ΙΙΙ Αδαπτατιον ανδ Λεαρνινγ

279

8

Πλαστιχιτψ ανδ Λεαρνινγ 8.1 Ιντροδυχτιον

281 281

8.2 8.3

Σψναπτιχ Πλαστιχιτψ Ρυλεσ Υνσυπερϖισεδ Λεαρνινγ

284 293

8.4 8.5 8.6

Συπερϖισεδ Λεαρνινγ Χηαπτερ Συµµαρψ Αππενδιξ

313 326 327

8.7

Αννοτατεδ Βιβλιογραπηψ

328

9

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

331

9.1 9.2

Ιντροδυχτιον Χλασσιχαλ Χονδιτιονινγ

331 332

9.3 9.4

Στατιχ Αχτιον Χηοιχε Σεθυεντιαλ Αχτιον Χηοιχε

340 346

9.5

Χηαπτερ Συµµαρψ

354

9.6 9.7

Αππενδιξ Αννοτατεδ Βιβλιογραπηψ

355 357

10 Ρεπρεσεντατιοναλ Λεαρνινγ 10.1 Ιντροδυχτιον

359 359

10.2 ∆ενσιτψ Εστιµατιον 10.3 Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

368 373

10.4 ∆ισχυσσιον

389

10.5 Χηαπτερ Συµµαρψ 10.6 Αππενδιξ 10.7 Αννοτατεδ Βιβλιογραπηψ

394 395 396

Ματηεµατιχαλ Αππενδιξ Α.1 Λινεαρ Αλγεβρα

399 399

Α.2 Φινδινγ Εξτρεµα ανδ Λαγρανγε Μυλτιπλιερσ

408

Α.3 ∆ιφφερεντιαλ Εθυατιονσ

410

ξ Α.4 Ελεχτριχαλ Χιρχυιτσ Α.5 Προβαβιλιτψ Τηεορψ

413 415

Α.6 Αννοτατεδ Βιβλιογραπηψ

418

Ρεφερενχεσ

419

Ινδεξ

439

Εξερχισεσ

http://mitpress.mit.edu/dayan-abbott

Σεριεσ Φορεωορδ Χοµπυτατιοναλ νευροσχιενχε ισ αν αππροαχη το υνδερστανδινγ τηε ινφορ− µατιον χοντεντ οφ νευραλ σιγναλσ βψ µοδελινγ τηε νερϖουσ σψστεµ ατ µανψ διφφερεντ στρυχτυραλ σχαλεσ, ινχλυδινγ τηε βιοπηψσιχαλ, τηε χιρχυιτ, ανδ τηε σψστεµσ λεϖελσ. Χοµπυτερ σιµυλατιονσ οφ νευρονσ ανδ νευραλ νετωορκσ αρε χοµπλεµενταρψ το τραδιτιοναλ τεχηνιθυεσ ιν νευροσχιενχε. Τηισ βοοκ σεριεσ ωελχοµεσ χοντριβυτιονσ τηατ λινκ τηεορετιχαλ στυδιεσ ωιτη εξπεριµενταλ απ− προαχηεσ το υνδερστανδινγ ινφορµατιον προχεσσινγ ιν τηε νερϖουσ σψστεµ. Αρεασ ανδ τοπιχσ οφ παρτιχυλαρ ιντερεστ ινχλυδε βιοπηψσιχαλ µεχηανισµσ φορ χοµπυτατιον ιν νευρονσ, χοµπυτερ σιµυλατιονσ οφ νευραλ χιρχυιτσ, µοδελσ οφ λεαρνινγ, ρεπρεσεντατιον οφ σενσορψ ινφορµατιον ιν νευραλ νετωορκσ, σψσ− τεµσ µοδελσ οφ σενσορψ−µοτορ ιντεγρατιον, ανδ χοµπυτατιοναλ αναλψσισ οφ προβλεµσ ιν βιολογιχαλ σενσινγ, µοτορ χοντρολ, ανδ περχεπτιον.

Τερρενχε ϑ. Σεϕνοωσκι Τοµασο Πογγιο

This page intentionally left blank

Πρεφαχε Τηεορετιχαλ αναλψσισ ανδ χοµπυτατιοναλ µοδελινγ αρε ιµπορταντ τοολσ φορ χηαραχτεριζινγ ωηατ νερϖουσ σψστεµσ δο, δετερµινινγ ηοω τηεψ φυνχτιον, ανδ υνδερστανδινγ ωηψ τηεψ οπερατε ιν παρτιχυλαρ ωαψσ. Νευροσχιενχε ενχοµπασσεσ αππροαχηεσ ρανγινγ φροµ µολεχυλαρ ανδ χελλυλαρ στυδιεσ το ηυµαν πσψχηοπηψσιχσ ανδ πσψχηολογψ. Τηεορετιχαλ νευροσχιενχε ενχουρ− αγεσ χροσσταλκ αµονγ τηεσε συβδισχιπλινεσ βψ χονστρυχτινγ χοµπαχτ ρεπρε− σεντατιονσ οφ ωηατ ηασ βεεν λεαρνεδ, βυιλδινγ βριδγεσ βετωεεν διφφερεντ λεϖελσ οφ δεσχριπτιον, ανδ ιδεντιφψινγ υνιφψινγ χονχεπτσ ανδ πρινχιπλεσ. Ιν τηισ βοοκ, ωε πρεσεντ τηε βασιχ µετηοδσ υσεδ φορ τηεσε πυρποσεσ ανδ δισ− χυσσ εξαµπλεσ ιν ωηιχη τηεορετιχαλ αππροαχηεσ ηαϖε ψιελδεδ ινσιγητ ιντο νερϖουσ σψστεµ φυνχτιον. Τηε θυεστιονσ ωηατ, ηοω, ανδ ωηψ αρε αδδρεσσεδ βψ δεσχριπτιϖε, µεχηα− νιστιχ, ανδ ιντερπρετιϖε µοδελσ, εαχη οφ ωηιχη ωε δισχυσσ ιν τηε φολλοωινγ χηαπτερσ. ∆εσχριπτιϖε µοδελσ συµµαριζε λαργε αµουντσ οφ εξπεριµενταλ δεσχριπτιϖε µοδελσ δατα χοµπαχτλψ ψετ αχχυρατελψ, τηερεβψ χηαραχτεριζινγ ωηατ νευρονσ ανδ νευραλ χιρχυιτσ δο. Τηεσε µοδελσ µαψ βε βασεδ λοοσελψ ον βιοπηψσιχαλ, ανατοµιχαλ, ανδ πηψσιολογιχαλ ⇒νδινγσ, βυτ τηειρ πριµαρψ πυρποσε ισ το δεσχριβε πηενοµενα, νοτ το εξπλαιν τηεµ. Μεχηανιστιχ µοδελσ, ον τηε µεχηανιστιχ µοδελσ οτηερ ηανδ, αδδρεσσ τηε θυεστιον οφ ηοω νερϖουσ σψστεµσ οπερατε ον τηε βασισ οφ κνοων ανατοµψ, πηψσιολογψ, ανδ χιρχυιτρψ. Συχη µοδελσ οφτεν φορµ α βριδγε βετωεεν δεσχριπτιϖε µοδελσ χουχηεδ ατ διφφερεντ λεϖελσ. Ιν− τερπρετιϖε µοδελσ υσε χοµπυτατιοναλ ανδ ινφορµατιον−τηεορετιχ πρινχιπλεσ ιντερπρετιϖε µοδελσ το εξπλορε τηε βεηαϖιοραλ ανδ χογνιτιϖε σιγνι⇒χανχε οφ ϖαριουσ ασπεχτσ οφ νερϖουσ σψστεµ φυνχτιον, αδδρεσσινγ τηε θυεστιον οφ ωηψ νερϖουσ σψστεµσ οπερατε ασ τηεψ δο. Ιτ ισ οφτεν διφ⇒χυλτ το ιδεντιφψ τηε αππροπριατε λεϖελ οφ µοδελινγ φορ α παρτιχ− υλαρ προβλεµ. Α φρεθυεντ µιστακε ισ το ασσυµε τηατ α µορε δεταιλεδ µοδελ ισ νεχεσσαριλψ συπεριορ. Βεχαυσε µοδελσ αχτ ασ βριδγεσ βετωεεν λεϖελσ οφ υνδερστανδινγ, τηεψ µυστ βε δεταιλεδ ενουγη το µακε χονταχτ ωιτη τηε λοωερ λεϖελ ψετ σιµπλε ενουγη το προϖιδε χλεαρ ρεσυλτσ ατ τηε ηιγηερ λεϖελ.

Οργανιζατιον ανδ Αππροαχη Τηισ βοοκ ισ οργανιζεδ ιντο τηρεε παρτσ ον τηε βασισ οφ γενεραλ τηεµεσ. Παρτ Ι, Νευραλ Ενχοδινγ ανδ ∆εχοδινγ, (χηαπτερσ 1^4) ισ δεϖοτεδ το τηε χοδινγ οφ ινφορµατιον βψ αχτιον ποτεντιαλσ ανδ τηε ρεπρεσεντατιον οφ ιν−

ξιϖ

Πρεφαχε

φορµατιον βψ ποπυλατιονσ οφ νευρονσ ωιτη σελεχτιϖε ρεσπονσεσ. Μοδελ− ινγ οφ νευρονσ ανδ νευραλ χιρχυιτσ ον τηε βασισ οφ χελλυλαρ ανδ σψναπτιχ βιοπηψσιχσ ισ πρεσεντεδ ιν παρτ ΙΙ, Νευρονσ ανδ Νευραλ Χιρχυιτσ (χηαπτερσ 5^7). Τηε ρολε οφ πλαστιχιτψ ιν δεϖελοπµεντ ανδ λεαρνινγ ισ δισχυσσεδ ιν παρτ ΙΙΙ, Αδαπτατιον ανδ Λεαρνινγ (χηαπτερσ 8−10). Ωιτη τηε εξχεπτιον οφ χηαπτερσ 5 ανδ 6, ωηιχη ϕοιντλψ χοϖερ νευροναλ µοδελινγ, τηε χηαπτερσ αρε λαργελψ ινδεπενδεντ ανδ χαν βε σελεχτεδ ανδ ορδερεδ ιν α ϖαριετψ οφ ωαψσ φορ α ονε− ορ τωο−σεµεστερ χουρσε ατ ειτηερ τηε υνδεργραδυατε ορ τηε γραδ− υατε λεϖελ. βαχκγρουνδ

Αλτηουγη ωε προϖιδε σοµε βαχκγρουνδ µατεριαλ, ρεαδερσ ωιτηουτ πρεϖι− ουσ εξποσυρε το νευροσχιενχε σηουλδ ρεφερ το α νευροσχιενχε τεξτβοοκ συχη ασ Κανδελ, Σχηωαρτζ, & ϑεσσελλ (2000); Νιχηολλσ, Μαρτιν, & Ωαλλαχε (1992); Βεαρ, Χοννορσ, & Παραδισο (1996); Σηεπηερδ (1997); Ζιγµονδ ετ αλ. (1998); ορ Πυρϖεσ ετ αλ. (2000). Τηεορετιχαλ νευροσχιενχε ισ βασεδ ον τηε βελιεφ τηατ µετηοδσ οφ µατηεµατ− ιχσ, πηψσιχσ, ανδ χοµπυτερ σχιενχε χαν προϖιδε ιµπορταντ ινσιγητσ ιντο νερ− ϖουσ σψστεµ φυνχτιον. Υνφορτυνατελψ, µατηεµατιχσ χαν σοµετιµεσ σεεµ µορε οφ αν οβσταχλε τηαν αν αιδ το υνδερστανδινγ. Ωε ηαϖε νοτ ηεσιτατεδ το εµπλοψ τηε λεϖελ οφ αναλψσισ νεεδεδ το βε πρεχισε ανδ ριγορουσ. Ατ τιµεσ, τηισ µαψ στρετχη τηε τολερανχε οφ σοµε οφ ουρ ρεαδερσ. Ωε ενχουραγε συχη ρεαδερσ το χονσυλτ τηε Ματηεµατιχαλ Αππενδιξ, ωηιχη προϖιδεσ α βριεφ ρε− ϖιεω οφ µοστ οφ τηε µατηεµατιχαλ µετηοδσ υσεδ ιν τηε τεξτ, βυτ αλσο το περσεϖερε ανδ αττεµπτ το υνδερστανδ τηε ιµπλιχατιονσ ανδ χονσεθυενχεσ οφ α διφ⇒χυλτ δεριϖατιον εϖεν ιφ ιτσ στεπσ αρε υνχλεαρ.

εξερχισεσ

Τηεορετιχαλ νευροσχιενχε, λικε ανψ σκιλλ, χαν βε µαστερεδ ονλψ ωιτη πραχ− τιχε. Εξερχισεσ αρε προϖιδεδ φορ τηισ πυρποσε ον τηε ωεβ σιτε φορ τηισ βοοκ, http://mitpress.mit.edu/dayan-abbott. Ωε υργε τηε ρεαδερ το δο τηεµ. Ιν αδδιτιον, ιτ ωιλλ βε ηιγηλψ ινστρυχτιϖε φορ τηε ρεαδερ το χον− στρυχτ τηε µοδελσ δισχυσσεδ ιν τηε τεξτ ανδ εξπλορε τηειρ προπερτιεσ βεψονδ ωηατ ωε ηαϖε βεεν αβλε το δο ιν τηε αϖαιλαβλε σπαχε.

Ρεφερενχινγ Ιν ορδερ το µαινταιν τηε ⇓οω οφ τηε τεξτ, ωε ηαϖε κεπτ χιτατιονσ ωιτηιν τηε χηαπτερσ το α µινιµυµ. Εαχη χηαπτερ ενδσ ωιτη αν αννοτατεδ βιβλιογ− ραπηψ χονταινινγ συγγεστιονσ φορ φυρτηερ ρεαδινγ (ωηιχη αρε δενοτεδ βψ α βολδ φοντ), ινφορµατιον αβουτ ωορκσ χιτεδ ωιτηιν τηε χηαπτερ, ανδ ρεφ− ερενχεσ το ρελατεδ στυδιεσ. Ωε χονχεντρατε ον ιντροδυχινγ τηε βασιχ τοολσ οφ χοµπυτατιοναλ νευροσχιενχε ανδ δισχυσσινγ αππλιχατιονσ τηατ ωε τηινκ βεστ ηελπ τηε ρεαδερ το υνδερστανδ ανδ αππρεχιατε τηεµ. Τηισ µεανσ τηατ α νυµβερ οφ σψστεµσ ωηερε χοµπυτατιοναλ αππροαχηεσ ηαϖε βεεν αππλιεδ ωιτη σιγνι⇒χαντ συχχεσσ αρε νοτ δισχυσσεδ. Ρεφερενχεσ γιϖεν ιν τηε αννο− τατεδ βιβλιογραπηιεσ λεαδ τηε ρεαδερ τοωαρδ συχη αππλιχατιονσ. Μανψ πεο− πλε ηαϖε χοντριβυτεδ σιγνι⇒χαντλψ το τηε αρεασ ωε χοϖερ. Τηε βοοκσ ανδ ρεϖιεω αρτιχλεσ ιν τηε αννοτατεδ βιβλιογραπηιεσ προϖιδε µορε χοµπρεηεν− σιϖε ρεφερενχεσ το ωορκ τηατ ωε ηαϖε φαιλεδ το χιτε.

Πρεφαχε

ξϖ

Αχκνοωλεδγµεντσ Ωε αρε εξτρεµελψ γρατεφυλ το α λαργε νυµβερ οφ στυδεντσ ατ Βρανδεισ, τηε Γατσβψ Χοµπυτατιοναλ Νευροσχιενχε Υνιτ, ανδ ΜΙΤ, ανδ χολλεαγυεσ ατ µανψ ινστιτυτιονσ ωηο ηαϖε παινστακινγλψ ρεαδ, χοµµεντεδ ον, ανδ χριτ− ιχιζεδ νυµερουσ ϖερσιονσ οφ αλλ τηε χηαπτερσ. Ωε παρτιχυλαρλψ τηανκ Βαρδ Ερµεντρουτ, Μαρκ Γολδµαν, ϑοην Ηερτζ, Μαρκ Κϖαλε, Ζηαοπινγ Λι, Εϖε Μαρδερ, ανδ Ρεαδ Μονταγυε φορ προϖιδινγ εξτενσιϖε δισχυσσιον ανδ αδ− ϖιχε ον τηε εντιρε βοοκ. Α νυµβερ οφ πεοπλε ρεαδ σιγνι⇒χαντ πορτιονσ οφ τηε τεξτ ανδ προϖιδεδ ϖαλυαβλε χοµµεντσ, χριτιχισµ, ανδ ινσιγητ: Βιλλ ♦ ακ, Φαβ− Βιαλεκ, Πατ Χηυρχηλανδ, Νατηανιελ ∆αω, ∆αωει ∆ονγ, Πετερ Φολδι× ριζιο Γαββιανι, Ζουβιν Γηαηραµανι, Γεοφφ Γοοδηιλλ, ∆αϖιδ Ηεεγερ, Γεοφφ Ηιντον, Κεν Μιλλερ, Πηιλ Νελσον, Σαχηα Νελσον, Βρυνο Ολσηαυσεν, Μαρκ Πλυµβλεψ, Αλεξ Πουγετ, Φρεδ Ριεκε, ϑοην Ρινζελ, Εµιλιο Σαλινασ, Σεβαστιαν Σευνγ, Μικε Σηαδλεν, Σατινδερ Σινγη, Ριχη Συττον, Νιχκ Σωινδαλε, Χαρλ ϖαν ςρεεσωιϕκ, Χηρισ Ωιλλιαµσ, ∆αϖιδ Ωιλλσηαω, Χηαρλιε Ωιλσον, Ανγελα Ψυ, ανδ Ριχη Ζεµελ. Ωε ρεχειϖεδ σιγνι⇒χαντ αδδιτιοναλ ασσιστανχε ανδ αδϖιχε φροµ Γρεγ ∆εΑν− γελισ, Ανδψ Βαρτο, Ματτ Βεαλ, Συε Βεχκερ, Τονψ Βελλ, Παυλ Βρεσσλοφφ, Εµερψ Βροων, Ματτεο Χαρανδινι, Φρανχεσ Χηανχε, Ψανγ ∆αν, Κενϕι ∆οψα, Εδ Ερ− ωιν, ϑοην Φιτζπατριχκ, ∆αϖιδ Φοστερ, Μαρχυσ Φρεαν, Ραλπη Φρεεµαν, Εν− ριθυε Γαριβαψ, Φρεδεριχο Γιροσι, Χηαρλιε Γροσσ, Ανδρεασ Ηερζ, Μικε ϑορ− δαν, Σηαµ Κακαδε, Σζαβολχσ Κ×αλι, Χηριστοφ Κοχη, Σιµον Λαυγηλιν, ϑοην Λισµαν, Σηαων Λοχκερψ, Γυψ Μαψραζ, ϑοση Μχ∆ερµοττ, Μαρκυσ Μεισ− τερ, Εαρλ Μιλλερ, Θυαιδ Μορρισ, Τονψ Μοϖσηον, Ψυκο Μυνακατα, Ρανδψ ΟaΡειλλψ, Σιµον Οσινδερο, Τοµασο Πογγιο, Χλαψ Ρειδ, Μαξ Ριεσενηυβερ, ∆αριο Ρινγαχη, Ηοραχιο Ροτστειν, Σαµ Ροωεισ, Λανα Ρυτηερφορδ, Κεν Συγ− ινο, Αλεξει Σαµσονοϖιχη, Βοβ Σηαπλεψ, Ωολφραµ Σχηυλτζ, Ιδαν Σεγεϖ, Τερρψ ♦ οµ, ♦ Σεϕνοωσκι, ϑεσπερ Σϕοστρ Ηαιµ Σοµπολινκσψ, Φιονα Στεϖενσ, ∆αϖιδ Τανκ, Εµο Τοδοροϖ, Αλεσσανδρο Τρεϖεσ, Γινα Τυρριγιανο, ∆αϖιδ ςαν Εσ− σεν, Μαρτιν Ωαινωριγητ, Ξιαο−ϑινγ Ωανγ, Χηρισ Ωατκινσ, Μαξ Ωελλινγ, ϑεννψ Ωηιτινγ, Ματτ Ωιλσον, Λαυρενζ Ωισκοττ, ∆αννψ Ψουνγ, ανδ Κετχηεν Ζηανγ. Ωε τηανκ Μανεεση Σαηανι φορ αδϖιχε ανδ φορ ινδεξινγ α συβσταντιαλ παρτ οφ τηε τεξτ, Ηειδι Χαρτωριγητ φορ χρεατινγ τηε χοϖερ αρτ, ανδ Μιχηαελ Ρυττερ φορ ηισ πατιενχε ανδ χονσιστεντ χοµµιτµεντ. Π.∆. αχκνοωλεδγεσ τηε συπ− πορτ οφ τηε Γατσβψ Χηαριταβλε Φουνδατιον. Καρεν Αββοττ προϖιδεδ ϖαλυ− αβλε ηελπ ωιτη τηε ⇒γυρεσ ανδ ωιτη προοφρεαδινγ. Φιναλλψ, ωε απολογιζε το ανψονε ωε ηαϖε ιναδϖερτεντλψ οµιττεδ φροµ τηεσε λιστσ.

This page intentionally left blank

Ι

Νευραλ Ενχοδινγ ανδ ∆εχοδινγ

This page intentionally left blank

1

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

1.1

Ιντροδυχτιον

Νευρονσ αρε ρεµαρκαβλε αµονγ τηε χελλσ οφ τηε βοδψ ιν τηειρ αβιλιτψ το προπαγατε σιγναλσ ραπιδλψ οϖερ λαργε διστανχεσ. Τηεψ δο τηισ βψ γενερατ− ινγ χηαραχτεριστιχ ελεχτριχαλ πυλσεσ χαλλεδ αχτιον ποτεντιαλσ ορ, µορε σιµπλψ, σπικεσ τηατ χαν τραϖελ δοων νερϖε ⇒βερσ. Νευρονσ ρεπρεσεντ ανδ τρανσµιτ ινφορµατιον βψ ⇒ρινγ σεθυενχεσ οφ σπικεσ ιν ϖαριουσ τεµποραλ παττερνσ. Τηε στυδψ οφ νευραλ χοδινγ, ωηιχη ισ τηε συβϕεχτ οφ τηε ⇒ρστ φουρ χηαπτερσ οφ τηισ βοοκ, ινϖολϖεσ µεασυρινγ ανδ χηαραχτεριζινγ ηοω στιµυλυσ αττριβυτεσ, συχη ασ λιγητ ορ σουνδ ιντενσιτψ, ορ µοτορ αχτιονσ, συχη ασ τηε διρεχτιον οφ αν αρµ µοϖεµεντ, αρε ρεπρεσεντεδ βψ αχτιον ποτεντιαλσ. Τηε λινκ βετωεεν στιµυλυσ ανδ ρεσπονσε χαν βε στυδιεδ φροµ τωο οππο− σιτε ποιντσ οφ ϖιεω. Νευραλ ενχοδινγ, τηε συβϕεχτ οφ χηαπτερσ 1 ανδ 2, ρεφερσ το τηε µαπ φροµ στιµυλυσ το ρεσπονσε. Φορ εξαµπλε, ωε χαν χαταλογ ηοω νευρονσ ρεσπονδ το α ωιδε ϖαριετψ οφ στιµυλι, ανδ τηεν χονστρυχτ µοδελσ τηατ αττεµπτ το πρεδιχτ ρεσπονσεσ το οτηερ στιµυλι. Νευραλ δεχοδινγ ρεφερσ το τηε ρεϖερσε µαπ, φροµ ρεσπονσε το στιµυλυσ, ανδ τηε χηαλλενγε ισ το ρε− χονστρυχτ α στιµυλυσ, ορ χερταιν ασπεχτσ οφ τηατ στιµυλυσ, φροµ τηε σπικε σεθυενχεσ ιτ εϖοκεσ. Νευραλ δεχοδινγ ισ δισχυσσεδ ιν χηαπτερ 3. Ιν χηαπ− τερ 4, ωε χονσιδερ ηοω τηε αµουντ οφ ινφορµατιον ενχοδεδ βψ σεθυενχεσ οφ αχτιον ποτεντιαλσ χαν βε θυαντι⇒εδ ανδ µαξιµιζεδ. Βεφορε εµβαρκινγ ον τηισ τουρ οφ νευραλ χοδινγ, ωε βριε⇓ψ ρεϖιεω ηοω νευρονσ γενερατε τηειρ ρεσπονσεσ ανδ δισχυσσ ηοω νευραλ αχτιϖιτψ ισ ρεχορδεδ. Τηε βιοπηψσιχαλ µεχηανισµσ υνδερλψινγ νευραλ ρεσπονσεσ ανδ αχτιον ποτεντιαλ γενερατιον αρε τρεατεδ ιν γρεατερ δεταιλ ιν χηαπτερσ 5 ανδ 6.

Προπερτιεσ οφ Νευρονσ Νευρονσ αρε ηιγηλψ σπεχιαλιζεδ φορ γενερατινγ ελεχτριχαλ σιγναλσ ιν ρεσπονσε το χηεµιχαλ ανδ οτηερ ινπυτσ, ανδ τρανσµιττινγ τηεµ το οτηερ χελλσ. Σοµε ιµπορταντ µορπηολογιχαλ σπεχιαλιζατιονσ, σεεν ιν ⇒γυρε 1.1, αρε τηε δεν− δριτεσ τηατ ρεχειϖε ινπυτσ φροµ οτηερ νευρονσ ανδ τηε αξον τηατ χαρριεσ τηε νευροναλ ουτπυτ το οτηερ χελλσ. Τηε ελαβορατε βρανχηινγ στρυχτυρε οφ

4

αξονσ ανδ δενδριτεσ

ιον χηαννελσ

µεµβρανε ποτεντιαλ

ηψπερπολαριζατιον ανδ δεπολαριζατιον

αχτιον ποτεντιαλ

ρεφραχτορψ περιοδ

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

τηε δενδριτιχ τρεε αλλοωσ α νευρον το ρεχειϖε ινπυτσ φροµ µανψ οτηερ νευ− ρονσ τηρουγη σψναπτιχ χοννεχτιονσ. Τηε χορτιχαλ πψραµιδαλ νευρον οφ ⇒γ− υρε 1.1Α ανδ τηε χορτιχαλ ιντερνευρον οφ ⇒γυρε 1.1Χ εαχη ρεχειϖε τηουσανδσ οφ σψναπτιχ ινπυτσ, ανδ φορ τηε χερεβελλαρ Πυρκινϕε χελλ οφ ⇒γυρε 1.1Β τηε νυµβερ ισ οϖερ 100,000. Φιγυρε 1.1 δοεσ νοτ σηοω τηε φυλλ εξτεντ οφ τηε αξονσ οφ τηεσε νευρονσ. Αξονσ φροµ σινγλε νευρονσ χαν τραϖερσε λαργε φραχτιονσ οφ τηε βραιν ορ, ιν σοµε χασεσ, οφ τηε εντιρε βοδψ. Ιν τηε µουσε βραιν, ιτ ηασ βεεν εστιµατεδ τηατ χορτιχαλ νευρονσ τψπιχαλλψ σενδ ουτ α τοταλ οφ αβουτ 40 µµ οφ αξον ανδ ηαϖε αππροξιµατελψ 10 µµ οφ τοταλ δενδριτιχ χαβλε ιν τηειρ βρανχηεδ δενδριτιχ τρεεσ. Τηε αξον µακεσ αν αϖεραγε οφ 180 σψναπτιχ χοννεχτιονσ ωιτη οτηερ νευρονσ περ µµ οφ λενγτη ανδ τηε δεν− δριτιχ τρεε ρεχειϖεσ, ον αϖεραγε, 2 σψναπτιχ ινπυτσ περ µµ. Τηε χελλ βοδψ ορ σοµα οφ α τψπιχαλ χορτιχαλ νευρον ρανγεσ ιν διαµετερ φροµ αβουτ 10 το 50 µµ. Αλονγ ωιτη τηεσε µορπηολογιχαλ φεατυρεσ, νευρονσ ηαϖε πηψσιολογιχαλ σπεχιαλιζατιονσ. Μοστ προµινεντ αµονγ τηεσε αρε α ωιδε ϖαριετψ οφ µεµβρανε−σπαννινγ ιον χηαννελσ τηατ αλλοω ιονσ, πρεδοµιναντλψ σοδιυµ (Να+ ), ποτασσιυµ (Κ+ ), χαλχιυµ (Χα2+ ), ανδ χηλοριδε (Χλ− ), το µοϖε ιντο ανδ ουτ οφ τηε χελλ. Ιον χηαννελσ χοντρολ τηε ⇓οω οφ ιονσ αχροσσ τηε χελλ µεµβρανε βψ οπενινγ ανδ χλοσινγ ιν ρεσπονσε το ϖολταγε χηανγεσ ανδ το βοτη ιντερναλ ανδ εξτερναλ σιγναλσ. Τηε ελεχτριχαλ σιγναλ οφ ρελεϖανχε το τηε νερϖουσ σψστεµ ισ τηε διφφερενχε ιν ελεχτριχαλ ποτεντιαλ βετωεεν τηε ιντεριορ οφ α νευρον ανδ τηε συρρουνδ− ινγ εξτραχελλυλαρ µεδιυµ. Υνδερ ρεστινγ χονδιτιονσ, τηε ποτεντιαλ ινσιδε τηε χελλ µεµβρανε οφ α νευρον ισ αβουτ −70 µς ρελατιϖε το τηατ οφ τηε συρ− ρουνδινγ βατη (ωηιχη ισ χονϖεντιοναλλψ δε⇒νεδ το βε 0 µς), ανδ τηε χελλ ισ σαιδ το βε πολαριζεδ. Ιον πυµπσ λοχατεδ ιν τηε χελλ µεµβρανε µαινταιν χονχεντρατιον γραδιεντσ τηατ συππορτ τηισ µεµβρανε ποτεντιαλ διφφερενχε. Φορ εξαµπλε, Να+ ισ µυχη µορε χονχεντρατεδ ουτσιδε α νευρον τηαν ιν− σιδε ιτ, ανδ τηε χονχεντρατιον οφ Κ+ ισ σιγνι⇒χαντλψ ηιγηερ ινσιδε τηε νευ− ρον τηαν ιν τηε εξτραχελλυλαρ µεδιυµ. Ιονσ τηυσ ⇓οω ιντο ανδ ουτ οφ α χελλ δυε το βοτη ϖολταγε ανδ χονχεντρατιον γραδιεντσ. Χυρρεντ ιν τηε φορµ οφ ποσιτιϖελψ χηαργεδ ιονσ ⇓οωινγ ουτ οφ τηε χελλ (ορ νεγατιϖελψ χηαργεδ ιονσ ⇓οωινγ ιντο τηε χελλ) τηρουγη οπεν χηαννελσ µακεσ τηε µεµβρανε ποτεν− τιαλ µορε νεγατιϖε, α προχεσσ χαλλεδ ηψπερπολαριζατιον. Χυρρεντ ⇓οωινγ ιντο τηε χελλ χηανγεσ τηε µεµβρανε ποτεντιαλ το λεσσ νεγατιϖε ορ εϖεν ποσ− ιτιϖε ϖαλυεσ. Τηισ ισ χαλλεδ δεπολαριζατιον. Ιφ α νευρον ισ δεπολαριζεδ συφ⇒χιεντλψ το ραισε τηε µεµβρανε ποτεντιαλ αβοϖε α τηρεσηολδ λεϖελ, α ποσιτιϖε φεεδβαχκ προχεσσ ισ ινιτιατεδ, ανδ τηε νευρον γενερατεσ αν αχτιον ποτεντιαλ. Αν αχτιον ποτεντιαλ ισ α ρουγηλψ 100 µς ⇓υχτυατιον ιν τηε ελεχτριχαλ ποτεντιαλ αχροσσ τηε χελλ µεµβρανε τηατ λαστσ φορ αβουτ 1 µσ (⇒γυρε 1.2Α). Αχτιον ποτεντιαλ γενερατιον αλσο δεπενδσ ον τηε ρεχεντ ηιστορψ οφ χελλ ⇒ρινγ. Φορ α φεω µιλλισεχονδσ ϕυστ αφτερ αν αχτιον ποτεντιαλ ηασ βεεν ⇒ρεδ, ιτ µαψ βε ϖιρτυαλλψ ιµποσσιβλε το ινιτιατε ανοτηερ σπικε. Τηισ ισ χαλλεδ τηε αβσολυτε ρεφραχτορψ περιοδ. Φορ α λονγερ ιντερϖαλ κνοων ασ τηε ρελατιϖε ρεφραχτορψ περιοδ, λαστινγ υπ το τενσ οφ µιλ− λισεχονδσ αφτερ α σπικε, ιτ ισ µορε διφ⇒χυλτ το εϖοκε αν αχτιον ποτεντιαλ.

1.1

Ιντροδυχτιον

5

B

A

dendrite apical dendrite

soma soma basal dendrite

axon

C dendrite axon

axon collaterals soma axon

Φιγυρε 1.1 ∆ιαγραµσ οφ τηρεε νευρονσ. (Α) Α χορτιχαλ πψραµιδαλ χελλ. Τηεσε αρε τηε πριµαρψ εξχιτατορψ νευρονσ οφ τηε χερεβραλ χορτεξ. Πψραµιδαλ χελλ αξονσ βρανχη λοχαλλψ, σενδινγ αξον χολλατεραλσ το σψναπσε ωιτη νεαρβψ νευρονσ, ανδ αλσο προϕεχτ µορε δισταλλψ το χονδυχτ σιγναλσ το οτηερ παρτσ οφ τηε βραιν ανδ νερϖουσ σψστεµ. (Β) Α Πυρκινϕε χελλ οφ τηε χερεβελλυµ. Πυρκινϕε χελλ αξονσ τρανσµιτ τηε ουτπυτ οφ τηε χερεβελλαρ χορτεξ. (Χ) Α στελλατε χελλ οφ τηε χερεβραλ χορτεξ. Στελλατε χελλσ αρε ονε οφ α λαργε χλασσ οφ ιντερνευρονσ τηατ προϖιδε ινηιβιτορψ ινπυτ το τηε νευρονσ οφ τηε χερεβραλ χορτεξ. Τηεσε ⇒γυρεσ αρε µαγνι⇒εδ αβουτ 150−φολδ. (∆ραωινγσ φροµ Χαϕαλ, 1911; ⇒γυρε φροµ ∆οωλινγ, 1992.)

Αχτιον ποτεντιαλσ αρε οφ γρεατ ιµπορτανχε βεχαυσε τηεψ αρε τηε ονλψ φορµ οφ µεµβρανε ποτεντιαλ ⇓υχτυατιον τηατ χαν προπαγατε οϖερ λαργε διστανχεσ. Συβτηρεσηολδ ποτεντιαλ ⇓υχτυατιονσ αρε σεϖερελψ αττενυατεδ οϖερ διστανχεσ οφ 1 µµ ορ λεσσ. Αχτιον ποτεντιαλσ, ον τηε οτηερ ηανδ, αρε ρεγενερατεδ αχτιϖελψ αλονγ αξον προχεσσεσ ανδ χαν τραϖελ ραπιδλψ οϖερ λαργε διστανχεσ ωιτηουτ αττενυατιον. Αξονσ τερµινατε ατ σψναπσεσ ωηερε τηε ϖολταγε τρανσιεντ οφ τηε αχτιον ποτεντιαλ οπενσ ιον χηαννελσ, προδυχινγ αν ιν⇓υξ οφ Χα2+ τηατ λεαδσ το τηε ρελεασε οφ α νευροτρανσµιττερ (⇒γυρε 1.2Β). Τηε νευροτρανσµιττερ βινδσ το ρεχεπτορσ ατ τηε σιγναλ−ρεχειϖινγ ορ ποστσψναπτιχ σιδε οφ τηε σψναπσε,

σψναπσε

6

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

A

B axon terminal of presynaptic neuron

membrane potential (µς)

20

microtubules mitochondrion

0

synaptic vesicles cleft

-20 dendritic specialization

-40

dendritic spine of postsynaptic neuron

dendrite

-60 0

100

200

time (µσ)

Φιγυρε 1.2 (Α) Αν αχτιον ποτεντιαλ ρεχορδεδ ιντραχελλυλαρλψ φροµ α χυλτυρεδ ρατ νεο− χορτιχαλ πψραµιδαλ χελλ. (Β) ∆ιαγραµ οφ α σψναπσε. Τηε αξον τερµιναλ ορ βουτον ισ ατ τηε ενδ οφ τηε αξοναλ βρανχη σεεν εντερινγ φροµ τηε τοπ οφ τηε ⇒γυρε. Ιτ ισ ⇒λλεδ ωιτη σψναπτιχ ϖεσιχλεσ χονταινινγ τηε νευροτρανσµιττερ τηατ ισ ρελεασεδ ωηεν αν αχτιον ποτεντιαλ αρριϖεσ φροµ τηε πρεσψναπτιχ νευρον. Τρανσµιττερ χροσσεσ τηε σψναπτιχ χλεφτ ανδ βινδσ το ρεχεπτορσ ον τηε δενδριτιχ σπινε, α προχεσσ ρουγηλψ 1 µµ λονγ τηατ εξτενδσ φροµ τηε δενδριτε οφ τηε ποστσψναπτιχ νευρον. Εξχιτατορψ σψναπσεσ οντο χορτιχαλ πψραµιδαλ χελλσ φορµ ον δενδριτιχ σπινεσ ασ σηοων ηερε. Οτηερ σψναπσεσ φορµ διρεχτλψ ον τηε δενδριτεσ, αξον, ορ σοµα οφ τηε ποστσψναπτιχ νευρον. (Α ρεχορδεδ βψ Λ. Ρυτηερφορδ ιν τηε λαβορατορψ οφ Γ. Τυρριγιανο; Β αδαπτεδ φροµ Κανδελ ετ αλ., 1991.)

χαυσινγ ιον−χονδυχτινγ χηαννελσ το οπεν. ∆επενδινγ ον τηε νατυρε οφ τηε ιον ⇓οω, τηε σψναπσεσ χαν ηαϖε ειτηερ αν εξχιτατορψ, δεπολαριζινγ, ορ αν ινηιβιτορψ, τψπιχαλλψ ηψπερπολαριζινγ, εφφεχτ ον τηε ποστσψναπτιχ νευρον.

Ρεχορδινγ Νευροναλ Ρεσπονσεσ

σηαρπ ανδ πατχη ελεχτροδεσ

Φιγυρε 1.3 ιλλυστρατεσ ιντραχελλυλαρ ανδ εξτραχελλυλαρ µετηοδσ φορ ρεχορδ− ινγ νευροναλ ρεσπονσεσ ελεχτριχαλλψ (τηεψ χαν αλσο βε ρεχορδεδ οπτιχαλλψ). Μεµβρανε ποτεντιαλσ αρε µεασυρεδ ιντραχελλυλαρλψ βψ χοννεχτινγ α ηολλοω γλασσ ελεχτροδε ⇒λλεδ ωιτη α χονδυχτινγ ελεχτρολψτε το α νευρον, ανδ χοµ− παρινγ τηε ποτεντιαλ ιτ ρεχορδσ ωιτη τηατ οφ α ρεφερενχε ελεχτροδε πλαχεδ ιν τηε εξτραχελλυλαρ µεδιυµ. Ιντραχελλυλαρ ρεχορδινγσ αρε µαδε ειτηερ ωιτη σηαρπ ελεχτροδεσ ινσερτεδ τηρουγη τηε µεµβρανε ιντο τηε χελλ, ορ πατχη ελεχτροδεσ τηατ ηαϖε βροαδερ τιπσ ανδ αρε σεαλεδ τιγητλψ το τηε συρφαχε οφ τηε µεµβρανε. Αφτερ τηε πατχη ελεχτροδε σεαλσ, τηε µεµβρανε βενεατη ιτσ τιπ ισ ειτηερ βροκεν ορ περφορατεδ, προϖιδινγ ελεχτριχαλ χονταχτ ωιτη τηε ιν− τεριορ οφ τηε χελλ. Τηε τοπ τραχε ιν ⇒γυρε 1.3 ισ α σχηεµατιχ οφ αν ιντραχελλυλαρ ρεχορδινγ φροµ τηε σοµα οφ α νευρον ⇒ρινγ α σεθυενχε οφ αχτιον ποτεντιαλσ. Τηε ρεχορδινγ σηοωσ ραπιδ σπικεσ ριδινγ ον τοπ οφ α µορε σλοωλψ ϖαρψινγ συβτηρεσηολδ ποτεντιαλ. Τηε βοττοµ τραχε ισ α σχηεµατιχ οφ αν ιντραχελλυλαρ ρεχορδινγ µαδε σοµε διστανχε ουτ ον τηε αξον οφ τηε νευρον. Τηεσε τραχεσ

1.1

Ιντροδυχτιον

7

dendrite 15 µς 0.1 µς 100 µς

axon

100 µσ

Φιγυρε 1.3 Τηρεε σιµυλατεδ ρεχορδινγσ φροµ α νευρον. Τηε τοπ τραχε ρεπρεσεντσ α ρεχορδινγ φροµ αν ιντραχελλυλαρ ελεχτροδε χοννεχτεδ το τηε σοµα οφ τηε νευρον. Τηε ηειγητ οφ τηε αχτιον ποτεντιαλσ ηασ βεεν χλιππεδ το σηοω τηε συβτηρεσηολδ µεµ− βρανε ποτεντιαλ µορε χλεαρλψ. Τηε τιµε σχαλε ισ συχη τηατ τηε αχτιον ποτεντιαλ τραϕεχ− τορψ χαννοτ βε ρεσολϖεδ. Τηε βοττοµ τραχε ρεπρεσεντσ α ρεχορδινγ φροµ αν ιντραχελ− λυλαρ ελεχτροδε χοννεχτεδ το τηε αξον σοµε διστανχε αωαψ φροµ τηε σοµα. Τηε φυλλ ηειγητ οφ τηε αχτιον ποτεντιαλσ ισ ινδιχατεδ ιν τηισ τραχε. Τηε µιδδλε τραχε ισ α σιµ− υλατεδ εξτραχελλυλαρ ρεχορδινγ. Αχτιον ποτεντιαλσ αππεαρ ασ ρουγηλψ εθυαλ ποσιτιϖε ανδ νεγατιϖε ποτεντιαλ ⇓υχτυατιονσ ωιτη αν αµπλιτυδε οφ αρουνδ 0.1 µς. Τηισ ισ ρουγηλψ 1000 τιµεσ σµαλλερ τηαν τηε αππροξιµατελψ 0.1 ς αµπλιτυδε οφ αν ιντραχελ− λυλαρλψ ρεχορδεδ αχτιον ποτεντιαλ. (Νευρον δραωινγ ισ τηε σαµε ασ ⇒γυρε 1.1Α.)

αρε δραωινγσ, νοτ ρεαλ ρεχορδινγσ; συχη ιντραχελλυλαρ αξον ρεχορδινγσ, αλ− τηουγη ποσσιβλε ιν σοµε τψπεσ οφ χελλσ, αρε διφ⇒χυλτ ανδ ραρε. Ιντραχελλυλαρ ρεχορδινγσ φροµ τηε σοµα αρε τηε νορµ, βυτ ιντραχελλυλαρ δενδριτιχ ρεχορδ− ινγσ αρε ινχρεασινγλψ βεινγ µαδε ασ ωελλ. Τηε συβτηρεσηολδ µεµβρανε πο− τεντιαλ ωαϖεφορµ, αππαρεντ ιν τηε σοµα ρεχορδινγ, ισ χοµπλετελψ αβσεντ ον τηε αξον δυε το αττενυατιον, βυτ τηε αχτιον ποτεντιαλ σεθυενχε ιν τηε τωο ρεχορδινγσ ισ τηε σαµε. Τηισ ιλλυστρατεσ τηε ιµπορταντ ποιντ τηατ σπικεσ, βυτ νοτ συβτηρεσηολδ ποτεντιαλσ, προπαγατε ρεγενερατιϖελψ δοων αξονσ. Τηε µιδδλε τραχε ιν ⇒γυρε 1.3 ιλλυστρατεσ αν ιδεαλιζεδ, νοισε−φρεε εξτραχελ− λυλαρ ρεχορδινγ. Ηερε αν ελεχτροδε ισ πλαχεδ νεαρ α νευρον βυτ ιτ δοεσ νοτ πενετρατε τηε χελλ µεµβρανε. Συχη ρεχορδινγσ χαν ρεϖεαλ τηε αχτιον ποτεν− τιαλσ ⇒ρεδ βψ α νευρον, βυτ νοτ ιτσ συβτηρεσηολδ µεµβρανε ποτεντιαλσ. Εξ− τραχελλυλαρ ρεχορδινγσ αρε τψπιχαλλψ υσεδ φορ ιν ϖιϖο εξπεριµεντσ, εσπεχιαλλψ τηοσε ινϖολϖινγ βεηαϖινγ ανιµαλσ. Ιντραχελλυλαρ ρεχορδινγσ αρε σοµετιµεσ µαδε ιν ϖιϖο, βυτ τηισ ισ διφ⇒χυλτ το δο. Ιντραχελλυλαρ ρεχορδινγ ισ µορε χοµµονλψ υσεδ φορ ιν ϖιτρο πρεπαρατιονσ, συχη ασ σλιχεσ οφ νευραλ τισσυε. Τηε ρεσπονσεσ στυδιεδ ιν τηισ χηαπτερ αρε αχτιον ποτεντιαλ σεθυενχεσ τηατ χαν βε ρεχορδεδ ειτηερ ιντρα− ορ εξτραχελλυλαρλψ.

εξτραχελλυλαρ ελεχτροδεσ

8

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

Φροµ Στιµυλυσ το Ρεσπονσε Χηαραχτεριζινγ τηε ρελατιονσηιπ βετωεεν στιµυλυσ ανδ ρεσπονσε ισ διφ⇒χυλτ βεχαυσε νευροναλ ρεσπονσεσ αρε χοµπλεξ ανδ ϖαριαβλε. Νευρονσ τψπιχαλλψ ρεσπονδ βψ προδυχινγ χοµπλεξ σπικε σεθυενχεσ τηατ ρε⇓εχτ βοτη τηε ιντριν− σιχ δψναµιχσ οφ τηε νευρον ανδ τηε τεµποραλ χηαραχτεριστιχσ οφ τηε στιµυ− λυσ. Ισολατινγ φεατυρεσ οφ τηε ρεσπονσε τηατ ενχοδε χηανγεσ ιν τηε στιµυλυσ χαν βε διφ⇒χυλτ, εσπεχιαλλψ ιφ τηε τιµε σχαλε φορ τηεσε χηανγεσ ισ οφ τηε σαµε ορδερ ασ τηε αϖεραγε ιντερϖαλ βετωεεν σπικεσ. Νευραλ ρεσπονσεσ χαν ϖαρψ φροµ τριαλ το τριαλ εϖεν ωηεν τηε σαµε στιµυλυσ ισ πρεσεντεδ ρεπεατεδλψ. Τηερε αρε µανψ ποτεντιαλ σουρχεσ οφ τηισ ϖαριαβιλιτψ, ινχλυδινγ ϖαριαβλε λεϖ− ελσ οφ αρουσαλ ανδ αττεντιον, ρανδοµνεσσ ασσοχιατεδ ωιτη ϖαριουσ βιοπηψσ− ιχαλ προχεσσεσ τηατ αφφεχτ νευροναλ ⇒ρινγ, ανδ τηε εφφεχτσ οφ οτηερ χογνιτιϖε προχεσσεσ τακινγ πλαχε δυρινγ α τριαλ. Τηε χοµπλεξιτψ ανδ τριαλ−το−τριαλ ϖαρι− αβιλιτψ οφ αχτιον ποτεντιαλ σεθυενχεσ µακε ιτ υνλικελψ τηατ ωε χαν δεσχριβε ανδ πρεδιχτ τηε τιµινγ οφ εαχη σπικε δετερµινιστιχαλλψ. Ινστεαδ, ωε σεεκ α µοδελ τηατ χαν αχχουντ φορ τηε προβαβιλιτιεσ τηατ διφφερεντ σπικε σεθυενχεσ αρε εϖοκεδ βψ α σπεχι⇒χ στιµυλυσ. Τψπιχαλλψ, µανψ νευρονσ ρεσπονδ το α γιϖεν στιµυλυσ, ανδ στιµυλυσ φεα− τυρεσ αρε τηερεφορε ενχοδεδ βψ τηε αχτιϖιτιεσ οφ λαργε νευραλ ποπυλατιονσ. Ιν στυδψινγ ποπυλατιον χοδινγ, ωε µυστ εξαµινε νοτ ονλψ τηε ⇒ρινγ παττερνσ οφ ινδιϖιδυαλ νευρονσ βυτ αλσο τηε ρελατιονσηιπσ οφ τηεσε ⇒ρινγ παττερνσ το εαχη οτηερ αχροσσ τηε ποπυλατιον οφ ρεσπονδινγ χελλσ. Ιν τηισ χηαπτερ, ωε ιντροδυχε τηε ⇒ρινγ ρατε ανδ σπικε−τραιν χορρελατιον φυνχτιονσ, ωηιχη αρε βασιχ µεασυρεσ οφ σπικινγ προβαβιλιτψ ανδ στατιστιχσ. Ωε αλσο δισχυσσ σπικε−τριγγερεδ αϖεραγινγ, α µετηοδ φορ ρελατινγ αχτιον ποτεντιαλσ το τηε στιµυλυσ τηατ εϖοκεδ τηεµ. Φιναλλψ, ωε πρεσεντ βασιχ στοχηαστιχ δεσχριπτιονσ οφ σπικε γενερατιον, τηε ηοµογενεουσ ανδ ινηο− µογενεουσ Ποισσον µοδελσ, ανδ δισχυσσ α σιµπλε µοδελ οφ νευραλ ρε− σπονσεσ το ωηιχη τηεψ λεαδ. Ιν χηαπτερ 2, ωε χοντινυε ουρ δισχυσσιον οφ νευραλ ενχοδινγ βψ σηοωινγ ηοω ρεϖερσε−χορρελατιον µετηοδσ αρε υσεδ το χονστρυχτ εστιµατεσ οφ ⇒ρινγ ρατεσ ιν ρεσπονσε το τιµε−ϖαρψινγ στιµυλι. Τηεσε µετηοδσ ηαϖε βεεν αππλιεδ εξτενσιϖελψ το νευραλ ρεσπονσεσ ιν τηε ρετινα, λατεραλ γενιχυλατε νυχλευσ (ΛΓΝ) οφ τηε τηαλαµυσ, ανδ πριµαρψ ϖι− συαλ χορτεξ, ανδ ωε ρεϖιεω τηε ρεσυλτινγ µοδελσ.

1.2

Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

Αχτιον ποτεντιαλσ χονϖεψ ινφορµατιον τηρουγη τηειρ τιµινγ. Αλτηουγη αχ− τιον ποτεντιαλσ χαν ϖαρψ σοµεωηατ ιν δυρατιον, αµπλιτυδε, ανδ σηαπε, τηεψ αρε τψπιχαλλψ τρεατεδ ασ ιδεντιχαλ στερεοτψπεδ εϖεντσ ιν νευραλ ενχοδινγ στυδιεσ. Ιφ ωε ιγνορε τηε βριεφ δυρατιον οφ αν αχτιον ποτεντιαλ (αβουτ 1 µσ), αν αχτιον ποτεντιαλ σεθυενχε χαν βε χηαραχτεριζεδ σιµπλψ βψ α λιστ οφ τηε τιµεσ ωηεν σπικεσ οχχυρρεδ. Φορ ν σπικεσ, ωε δενοτε τηεσε τιµεσ βψ τι ωιτη ι = 1, 2, . . . , ν. Τηε τριαλ δυρινγ ωηιχη τηε σπικεσ αρε ρεχορδεδ ισ τακεν το

1.2

Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

9

σταρτ ατ τιµε 0 ανδ ενδ ατ τιµε Τ, σο 0 ≤ τι ≤ Τ φορ αλλ ι. Τηε σπικε σεθυενχε χαν αλσο βε ρεπρεσεντεδ ασ α συµ οφ ιν⇒νιτεσιµαλλψ ναρροω, ιδεαλιζεδ σπικεσ ιν τηε φορµ οφ ∆ιραχ δ φυνχτιονσ (σεε τηε Ματηεµατιχαλ Αππενδιξ),

ρ(τ ) =

ν ! ι=1

δ(τ − τι ) .

(1.1)

Ωε χαλλ ρ(τ ) τηε νευραλ ρεσπονσε φυνχτιον ανδ υσε ιτ το ρε−εξπρεσσ συµσ οϖερ σπικεσ ασ ιντεγραλσ οϖερ τιµε. Φορ εξαµπλε, φορ ανψ ωελλ−βεηαϖεδ φυνχτιον η (τ ), ωε χαν ωριτε ν ! ι=1

η ( τ − τι ) =

"

∞

δτ η (τ)ρ(τ − τ) ,

νευραλ ρεσπονσε φυνχτιον ρ(τ )

(1.2)

−∞

ωηερε τηε ιντεγραλ ισ οϖερ τηε δυρατιον οφ τηε τριαλ. Τηε εθυαλιτψ φολλοωσ φροµ τηε βασιχ δε⇒νινγ εθυατιον φορ α δ φυνχτιον, " δτ δ(τ − τ)η (τ) = η (τ ) , (1.3)

δ φυνχτιον

προϖιδεδ τηατ τηε λιµιτσ οφ τηε ιντεγραλ συρρουνδ τηε ποιντ τ (ιφ τηεψ δο νοτ, τηε ιντεγραλ ισ 0). Βεχαυσε τηε σεθυενχε οφ αχτιον ποτεντιαλσ γενερατεδ βψ α γιϖεν στιµυλυσ ϖαριεσ φροµ τριαλ το τριαλ, νευροναλ ρεσπονσεσ αρε τψπιχαλλψ τρεατεδ στατιστι− χαλλψ ορ προβαβιλιστιχαλλψ. Φορ εξαµπλε, τηεψ µαψ βε χηαραχτεριζεδ βψ ⇒ρινγ ρατεσ, ρατηερ τηαν ασ σπεχι⇒χ σπικε σεθυενχεσ. Υνφορτυνατελψ, τηε τερµ m⇒ρ− ινγ ρατεn ισ αππλιεδ χονϖεντιοναλλψ το α νυµβερ οφ διφφερεντ θυαντιτιεσ. Τηε σιµπλεστ οφ τηεσε ισ ωηατ ωε χαλλ τηε σπικε−χουντ ρατε, ωηιχη ισ οβταινεδ βψ χουντινγ τηε νυµβερ οφ αχτιον ποτεντιαλσ τηατ αππεαρ δυρινγ α τριαλ ανδ διϖιδινγ βψ τηε δυρατιον οφ τηε τριαλ. Ωε δενοτε τηε σπικε−χουντ ρατε βψ ρ, ωηερε " ν 1 Τ ρ= = δτ ρ(τ) . (1.4) Τ Τ 0 # Τηε σεχονδ εθυαλιτψ φολλοωσ φροµ τηε φαχτ τηατ δτ ρ(τ) = ν ανδ ινδιχατεσ τηατ τηε σπικε−χουντ ρατε ισ τηε τιµε αϖεραγε οφ τηε νευραλ ρεσπονσε φυνχ− τιον οϖερ τηε δυρατιον οφ τηε τριαλ. Τηε σπικε−χουντ ρατε χαν βε δετερµινεδ φροµ α σινγλε τριαλ, βυτ ατ τηε εξ− πενσε οφ λοσινγ αλλ τεµποραλ ρεσολυτιον αβουτ ϖαριατιονσ ιν τηε νευραλ ρε− σπονσε δυρινγ τηε χουρσε οφ τηε τριαλ. Α τιµε−δεπενδεντ ⇒ρινγ ρατε χαν βε δε⇒νεδ βψ χουντινγ σπικεσ οϖερ σηορτ τιµε ιντερϖαλσ, βυτ τηισ χαν νο λονγερ βε χοµπυτεδ φροµ α σινγλε τριαλ. Φορ εξαµπλε, ωε χαν δε⇒νε τηε ⇒ρινγ ρατε ατ τιµε τ δυρινγ α τριαλ βψ χουντινγ αλλ τηε σπικεσ τηατ οχχυρρεδ βετωεεν τιµεσ τ ανδ τ + %τ, φορ σοµε σµαλλ ιντερϖαλ %τ, ανδ διϖιδινγ τηισ χουντ βψ %τ. Ηοωεϖερ, φορ σµαλλ %τ, ωηιχη αλλοωσ φορ ηιγη τεµποραλ ρεσολυτιον, τηε ρεσυλτ οφ τηε σπικε χουντ ον ανψ γιϖεν τριαλ ισ απτ το βε ειτηερ 0 ορ 1, γιϖινγ ονλψ τωο ποσσιβλε ⇒ρινγ−ρατε ϖαλυεσ. Τηε σολυτιον το τηισ προβλεµ ισ το αϖ− εραγε οϖερ µυλτιπλε τριαλσ. Τηυσ, ωε δε⇒νε τηε τιµε−δεπενδεντ ⇒ρινγ ρατε

σπικε−χουντ ρατε ρ

10

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

ασ τηε αϖεραγε νυµβερ οφ σπικεσ (αϖεραγεδ οϖερ τριαλσ) αππεαρινγ δυρινγ α σηορτ ιντερϖαλ βετωεεν τιµεσ τ ανδ τ + %τ, διϖιδεδ βψ τηε δυρατιον οφ τηε ιντερϖαλ.

τριαλ αϖεραγε ⟨ ⟩

⇒ρινγ ρατε r (τ )

Τηε νυµβερ οφ σπικεσ οχχυρρινγ βετωεεν τιµεσ τ ανδ τ + %τ ον α σινγλε τριαλ ισ τηε ιντεγραλ οφ τηε νευραλ ρεσπονσε φυνχτιον οϖερ τηατ τιµε ιντερϖαλ. Τηε αϖεραγε νυµβερ οφ σπικεσ δυρινγ τηισ ιντερϖαλ ισ τηε ιντεγραλ οφ τηε τριαλ− αϖεραγεδ νευραλ ρεσπονσε φυνχτιον. Ωε υσε ανγλε βραχκετσ, ⟨ ⟩, το δενοτε αϖεραγεσ οϖερ τριαλσ τηατ υσε τηε σαµε στιµυλυσ, σο τηατ ⟨ζ⟩ φορ ανψ θυαντιτψ ζ ισ τηε συµ οφ τηε ϖαλυεσ οφ ζ οβταινεδ φροµ µανψ τριαλσ ινϖολϖινγ τηε σαµε στιµυλυσ, διϖιδεδ βψ τηε νυµβερ οφ τριαλσ. Τηε τριαλ−αϖεραγεδ νευραλ ρεσπονσε φυνχτιον ισ δενοτεδ βψ ⟨ρ(τ )⟩, ανδ τηε τιµε−δεπενδεντ ⇒ρινγ ρατε ισ γιϖεν βψ r (τ ) =

1 %τ

"

τ+%τ τ

δτ ⟨ρ(τ)⟩ .

(1.5)

Ωε υσε τηε νοτατιον r (τ ) φορ τηισ ιµπορταντ θυαντιτψ (ασ οπποσεδ το ρ φορ τηε σπικε−χουντ ρατε), ανδ ωηεν ωε υσε τηε τερµ m⇒ρινγ ρατεn ωιτηουτ ανψ µοδι⇒ερσ, ωε µεαν r (τ ). Φορµαλλψ, τηε λιµιτ %τ → 0 σηουλδ βε τακεν ον τηε ριγητ σιδε οφ τηισ εξπρεσσιον, βυτ, ιν εξτραχτινγ α τιµε−δεπενδεντ ⇒ρινγ ρατε φροµ δατα, τηε ϖαλυε οφ %τ µυστ βε λαργε ενουγη σο τηερε αρε συφ⇒χιεντ νυµβερσ οφ σπικεσ ωιτηιν τηε ιντερϖαλ δε⇒νινγ r (τ ) το οβταιν α ρελιαβλε εσ− τιµατε οφ τηε αϖεραγε.

σπικινγ προβαβιλιτψ

Φορ συφ⇒χιεντλψ σµαλλ %τ, r (τ )%τ ισ τηε αϖεραγε νυµβερ οφ σπικεσ οχχυρρινγ βετωεεν τιµεσ τ ανδ τ + %τ οϖερ µυλτιπλε τριαλσ. Τηε αϖεραγε νυµβερ οφ σπικεσ οϖερ α λονγερ τιµε ιντερϖαλ ισ γιϖεν βψ τηε ιντεγραλ οφ r (τ ) οϖερ τηατ ιντερϖαλ. Ιφ %τ ισ σµαλλ, τηερε ωιλλ νεϖερ βε µορε τηαν ονε σπικε ωιτηιν τηε ιντερϖαλ βετωεεν τ ανδ τ + %τ ον ανψ γιϖεν τριαλ. Τηισ µεανσ τηατ r (τ )%τ ισ αλσο τηε φραχτιον οφ τριαλσ ον ωηιχη α σπικε οχχυρρεδ βετωεεν τηοσε τιµεσ. Εθυιϖαλεντλψ, r (τ )%τ ισ τηε προβαβιλιτψ τηατ α σπικε οχχυρσ δυρινγ τηισ τιµε ιντερϖαλ. Τηισ προβαβιλιστιχ ιντερπρετατιον προϖιδεσ α φορµαλ δε⇒νιτιον οφ τηε τιµε−δεπενδεντ ⇒ρινγ ρατε; r (τ )%τ ισ τηε προβαβιλιτψ οφ α σπικε οχχυρ− ρινγ δυρινγ α σηορτ ιντερϖαλ οφ δυρατιον %τ αρουνδ τηε τιµε τ. Ιν ανψ ιντεγραλ εξπρεσσιον συχη ασ εθυατιον 1.2, τηε νευραλ ρεσπονσε φυνχ− τιον γενερατεσ α χοντριβυτιον ωηενεϖερ α σπικε οχχυρσ. Ιφ ωε υσε τηε τριαλ− αϖεραγε ρεσπονσε φυνχτιον ινστεαδ, ασ ιν εθυατιον 1.5, τηισ γενερατεσ χον− τριβυτιονσ προπορτιοναλ το τηε φραχτιον οφ τριαλσ ον ωηιχη α σπικε οχχυρρεδ. Βεχαυσε οφ τηε ρελατιονσηιπ βετωεεν τηισ φραχτιον ανδ τηε ⇒ρινγ ρατε, ωε χαν ρεπλαχε τηε τριαλ−αϖεραγεδ νευραλ ρεσπονσε φυνχτιον ωιτη τηε ⇒ρινγ ρατε r (τ ) ωιτηιν ανψ ωελλ−βεηαϖεδ ιντεγραλ, φορ εξαµπλε, " " δτ η (τ) ⟨ρ(τ − τ)⟩ = δτ η (τ)r (τ − τ) (1.6) φορ ανψ φυνχτιον η. Τηισ εσταβλισηεσ αν ιµπορταντ ρελατιονσηιπ βετωεεν τηε αϖεραγε νευραλ ρεσπονσε φυνχτιον ανδ τηε ⇒ρινγ ρατε; τηε τωο αρε εθυιϖα− λεντ ωηεν υσεδ ινσιδε ιντεγραλσ. Ιτ αλσο προϖιδεσ ανοτηερ ιντερπρετατιον οφ r (τ ) ασ τηε τριαλ−αϖεραγεδ δενσιτψ οφ σπικεσ αλονγ τηε τιµε αξισ.

1.2

Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

11

Ιν τηε σαµε ωαψ τηατ τηε ρεσπονσε φυνχτιον ρ(τ ) χαν βε αϖεραγεδ αχροσσ τριαλσ το γιϖε τηε ⇒ρινγ ρατε r (τ ), τηε σπικε−χουντ ⇒ρινγ ρατε χαν βε αϖεραγεδ οϖερ τριαλσ, ψιελδινγ α θυαντιτψ τηατ ωε ρεφερ το ασ τηε αϖεραγε ⇒ρινγ ρατε. Τηισ ισ δενοτεδ βψ ⟨ρ⟩ ανδ ισ γιϖεν βψ 1 ⟨ν⟩ = ⟨ρ⟩ = Τ Τ

"

0

Τ

1 δτ ⟨ρ(τ)⟩ = Τ

"

0

Τ

δτ r (τ ) .

(1.7)

Τηε ⇒ρστ εθυαλιτψ ινδιχατεσ τηατ ⟨ρ⟩ ισ ϕυστ τηε αϖεραγε νυµβερ οφ σπικεσ περ τριαλ διϖιδεδ βψ τηε τριαλ δυρατιον. Τηε τηιρδ εθυαλιτψ φολλοωσ φροµ τηε εθυιϖαλενχε οφ τηε ⇒ρινγ ρατε ανδ τηε τριαλ−αϖεραγεδ νευραλ ρεσπονσε φυνχτιον ωιτηιν ιντεγραλσ (εθυατιον 1.6). Τηε αϖεραγε ⇒ρινγ ρατε ισ εθυαλ το βοτη τηε τιµε αϖεραγε οφ r (τ ) ανδ τηε τριαλ αϖεραγε οφ τηε σπικε−χουντ ρατε ρ. Οφ χουρσε, α σπικε−χουντ ρατε ανδ αϖεραγε ⇒ρινγ ρατε χαν βε δε⇒νεδ βψ χουντινγ σπικεσ οϖερ ανψ τιµε περιοδ, νοτ νεχεσσαριλψ τηε εντιρε δυρατιον οφ α τριαλ. Τηε τερµ m⇒ρινγ ρατεn ισ χοµµονλψ υσεδ φορ αλλ τηρεε θυαντιτιεσ, r (τ ), ρ, ανδ ⟨ρ⟩. Ωηενεϖερ ποσσιβλε, ωε υσε τηε τερµσ m⇒ρινγ ρατεn, mσπικε−χουντ ρατεn, ανδ mαϖεραγε ⇒ρινγ ρατεn φορ r (τ ), ρ, ανδ ⟨ρ⟩, ρεσπεχτιϖελψ, βυτ ωηεν τηισ βεχοµεσ τοο χυµβερσοµε, τηε διφφερεντ µατηεµατιχαλ νοτατιονσ σερϖε το διστινγυιση τηεµ. Ιν παρτιχυλαρ, ωε διστινγυιση τηε σπικε−χουντ ρατε ρ φροµ τηε τιµε−δεπενδεντ ⇒ρινγ ρατε r (τ ) βψ υσινγ α διφφερεντ φοντ ανδ βψ ινχλυδινγ τηε τιµε αργυµεντ ιν τηε λαττερ εξπρεσσιον (υνλεσσ r (τ ) ισ ινδε− πενδεντ οφ τιµε). Τηε διφφερενχε βετωεεν τηε φοντσ ισ ρατηερ συβτλε, βυτ τηε χοντεξτ σηουλδ µακε ιτ χλεαρ ωηιχη ρατε ισ βεινγ υσεδ.

Μεασυρινγ Φιρινγ Ρατεσ Τηε ⇒ρινγ ρατε r (τ ) χαννοτ βε δετερµινεδ εξαχτλψ φροµ τηε λιµιτεδ δατα αϖαιλαβλε φροµ α ⇒νιτε νυµβερ οφ τριαλσ. Ιν αδδιτιον, τηερε ισ νο υνιθυε ωαψ το αππροξιµατε r (τ ). Α δισχυσσιον οφ τηε διφφερεντ µετηοδσ αλλοωσ υσ το ιντροδυχε τηε χονχεπτ οφ α λινεαρ ⇒λτερ ανδ κερνελ τηατ ωιλλ βε υσεδ εξτεν− σιϖελψ ιν τηε φολλοωινγ χηαπτερσ. Ωε ιλλυστρατε τηεσε µετηοδσ βψ εξτραχτινγ ⇒ρινγ ρατεσ φροµ α σινγλε τριαλ, βυτ µορε αχχυρατε ρεσυλτσ χουλδ βε οβταινεδ βψ αϖεραγινγ οϖερ µυλτιπλε τριαλσ. Φιγυρε 1.4 χοµπαρεσ α νυµβερ οφ ωαψσ οφ αππροξιµατινγ r (τ ) φροµ α σπικε σεθυενχε. Φιγυρε 1.4Α σηοωσ 3 σ οφ τηε ρεσπονσε οφ α νευρον ιν τηε ιν− φεροτεµποραλ χορτεξ ρεχορδεδ ωηιλε α µονκεψ ωατχηεδ α ϖιδεο. Νευρονσ ιν τηε ρεγιον οφ χορτεξ ωηερε τηισ ρεχορδινγ ωασ µαδε αρε σελεχτιϖε φορ χοµπλεξ ϖισυαλ ιµαγεσ, ινχλυδινγ φαχεσ. Α σιµπλε ωαψ οφ εξτραχτινγ αν εσ− τιµατε οφ τηε ⇒ρινγ ρατε φροµ α σπικε τραιν λικε τηισ ισ το διϖιδε τιµε ιντο δισχρετε βινσ οφ δυρατιον %τ, χουντ τηε νυµβερ οφ σπικεσ ωιτηιν εαχη βιν, ανδ διϖιδε βψ %τ. Φιγυρε 1.4Β σηοωσ τηε αππροξιµατε ⇒ρινγ ρατε χοµπυτεδ υσινγ τηισ προχεδυρε ωιτη α βιν σιζε οφ 100 µσ. Νοτε τηατ ωιτη τηισ προχε− δυρε, τηε θυαντιτψ βεινγ χοµπυτεδ ισ ρεαλλψ τηε σπικε−χουντ ⇒ρινγ ρατε οϖερ τηε δυρατιον οφ τηε βιν, ανδ τηατ τηε ⇒ρινγ ρατε r (τ ) ωιτηιν α γιϖεν βιν ισ αππροξιµατεδ βψ τηισ σπικε−χουντ ρατε.

αϖεραγε ⇒ρινγ ρατε ⟨ρ⟩

12

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

rate (Ηζ) rate (Ηζ)

C

100

100

rate (Ηζ)

B

100

rate (Ηζ)

spikes

A

100

50 0

50 0

D 50 0

E 50 0 0.0

0.5

1.0

1.5

2.0

2.5

3.0

time (σ) Φιγυρε 1.4 Φιρινγ ρατεσ αππροξιµατεδ βψ διφφερεντ προχεδυρεσ. (Α) Α σπικε τραιν φροµ α νευρον ιν τηε ινφεροτεµποραλ χορτεξ οφ α µονκεψ ρεχορδεδ ωηιλε τηατ ανι− µαλ ωατχηεδ α ϖιδεο ον α µονιτορ υνδερ φρεε ϖιεωινγ χονδιτιονσ. (Β) ∆ισχρετε−τιµε ⇒ρινγ ρατε οβταινεδ βψ βιννινγ τιµε ανδ χουντινγ σπικεσ ωιτη %τ = 100 µσ. (Χ) Απ− προξιµατε ⇒ρινγ ρατε δετερµινεδ βψ σλιδινγ α ρεχτανγυλαρ ωινδοω φυνχτιον αλονγ τηε σπικε τραιν ωιτη %τ = 100 µσ. (∆) Αππροξιµατε ⇒ρινγ ρατε χοµπυτεδ υσινγ α Γαυσσιαν ωινδοω φυνχτιον ωιτη στ = 100 µσ. (Ε) Αππροξιµατε ⇒ρινγ ρατε υσινγ τηε ωινδοω φυνχτιον οφ εθυατιον 1.12 ωιτη 1/α = 100 µσ. (∆ατα φροµ Βαδδελεψ ετ αλ., 1997.)

Τηε βιννινγ ανδ χουντινγ προχεδυρε ιλλυστρατεδ ιν ⇒γυρε 1.4Β γενερατεσ αν εστιµατε οφ τηε ⇒ρινγ ρατε τηατ ισ α πιεχεωισε χονσταντ φυνχτιον οφ τιµε, ρεσεµβλινγ α ηιστογραµ. Βεχαυσε σπικε χουντσ χαν τακε ονλψ ιντεγερ ϖαλ− υεσ, τηε ρατεσ χοµπυτεδ βψ τηισ µετηοδ ωιλλ αλωαψσ βε ιντεγερ µυλτιπλεσ οφ 1/%τ, ανδ τηυσ τηεψ τακε δισχρετε ϖαλυεσ. ∆εχρεασινγ τηε ϖαλυε οφ %τ ινχρεασεσ τεµποραλ ρεσολυτιον βψ προϖιδινγ αν εστιµατε οφ τηε ⇒ρινγ ρατε ατ µορε ⇒νελψ σπαχεδ ιντερϖαλσ οφ τιµε, βυτ ατ τηε εξπενσε οφ δεχρεασινγ τηε ρεσολυτιον φορ διστινγυισηινγ διφφερεντ ρατεσ. Ονε ωαψ το αϖοιδ θυαντιζεδ ⇒ρινγ ρατεσ ισ το ϖαρψ τηε βιν σιζε σο τηατ α ⇒ξεδ νυµβερ οφ σπικεσ αππεαρσ ιν εαχη βιν. Τηε ⇒ρινγ ρατε ισ τηεν αππροξιµατεδ ασ τηατ ⇒ξεδ νυµβερ οφ σπικεσ διϖιδεδ βψ τηε ϖαριαβλε βιν ωιδτη. Χουντινγ σπικεσ ιν πρεασσιγνεδ βινσ προδυχεσ α ⇒ρινγ−ρατε εστιµατε τηατ δεπενδσ νοτ ονλψ ον τηε σιζε οφ τηε τιµε βινσ βυτ αλσο ον τηειρ πλαχεµεντ. Το αϖοιδ τηε αρβιτραρινεσσ ιν τηε πλαχεµεντ οφ βινσ, ωε χαν ινστεαδ τακε α σινγλε βιν ορ ωινδοω οφ δυρατιον %τ ανδ σλιδε ιτ αλονγ τηε σπικε τραιν,

1.2

Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

13

χουντινγ τηε νυµβερ οφ σπικεσ ωιτηιν τηε ωινδοω ατ εαχη λοχατιον. Τηε ϕαγγεδ χυρϖε ιν ⇒γυρε 1.4Χ σηοωσ τηε ρεσυλτ οφ σλιδινγ α 100 µσ ωιδε ωινδοω αλονγ τηε σπικε τραιν. Τηε ⇒ρινγ ρατε αππροξιµατεδ ιν τηισ ωαψ χαν βε εξπρεσσεδ ασ τηε συµ οφ α ωινδοω φυνχτιον οϖερ τηε τιµεσ τι φορ ι = 1, 2, . . . , ν ωηεν τηε ν σπικεσ ιν α παρτιχυλαρ σεθυενχε οχχυρρεδ, rαππροξ (τ ) = ωηερε τηε ωινδοω φυνχτιον ισ $ 1/%τ w(τ ) = 0

ν !

w(τ − τι ) ,

(1.8)

ιφ − %τ/2 ≤ τ < %τ/2 οτηερωισε .

(1.9)

ι=1

Υσε οφ α σλιδινγ ωινδοω αϖοιδσ τηε αρβιτραρινεσσ οφ βιν πλαχεµεντ ανδ προδυχεσ α ρατε τηατ µιγητ αππεαρ το ηαϖε α βεττερ τεµποραλ ρεσολυτιον. Ηοωεϖερ, ιτ µυστ βε ρεµεµβερεδ τηατ τηε ρατεσ οβταινεδ ατ τιµεσ σεπα− ρατεδ βψ λεσσ τηαν ονε βιν ωιδτη αρε χορρελατεδ βεχαυσε τηεψ ινϖολϖε σοµε οφ τηε σαµε σπικεσ. Τηε συµ ιν εθυατιον 1.8 χαν αλσο βε ωριττεν ασ τηε ιντεγραλ οφ τηε ωινδοω φυνχτιον τιµεσ τηε νευραλ ρεσπονσε φυνχτιον (σεε εθυατιον 1.2): " ∞ rαππροξ (τ ) = δτ w(τ)ρ(τ − τ) . (1.10) −∞

Τηε ιντεγραλ ιν εθυατιον 1.10 ισ χαλλεδ α λινεαρ ⇒λτερ, ανδ τηε ωινδοω φυνχ− τιον w, αλσο χαλλεδ τηε ⇒λτερ κερνελ, σπεχι⇒εσ ηοω τηε νευραλ ρεσπονσε φυνχ− τιον εϖαλυατεδ ατ τιµε τ − τ χοντριβυτεσ το τηε ⇒ρινγ ρατε αππροξιµατεδ ατ τιµε τ. Τηε ϕαγγεδ αππεαρανχε οφ τηε χυρϖε ιν ⇒γυρε 1.4Χ ισ χαυσεδ βψ τηε δισχον− τινυουσ σηαπε οφ τηε ωινδοω φυνχτιον υσεδ. Αν αππροξιµατε ⇒ρινγ ρατε χαν βε χοµπυτεδ υσινγ ϖιρτυαλλψ ανψ ωινδοω φυνχτιον w(τ) τηατ γοεσ το 0 ουτσιδε α ρεγιον νεαρ τ = 0, προϖιδεδ τηατ ιτσ τιµε ιντεγραλ ισ εθυαλ το 1. Φορ εξαµπλε, ινστεαδ οφ τηε ρεχτανγυλαρ ωινδοω φυνχτιον υσεδ ιν ⇒γυρε 1.4Χ, w(τ) χαν βε α Γαυσσιαν: & % 1 τ2 w(τ) = √ (1.11) εξπ − 2 . 2σ w 2πσw Ιν τηισ χασε, σw χοντρολσ τηε τεµποραλ ρεσολυτιον οφ τηε ρεσυλτινγ ρατε, πλαψ− ινγ α ρολε αναλογουσ το %τ. Α χοντινυουσ ωινδοω φυνχτιον λικε τηε Γαυσ− σιαν υσεδ ιν εθυατιον 1.8 γενερατεσ α ⇒ρινγ−ρατε εστιµατε τηατ ισ α σµοοτη φυνχτιον οφ τιµε (⇒γυρε 1.4∆). Βοτη τηε ρεχτανγυλαρ ανδ τηε Γαυσσιαν ωινδοω φυνχτιονσ αππροξιµατε τηε ⇒ρινγ ρατε ατ ανψ τιµε, υσινγ σπικεσ ⇒ρεδ βοτη βεφορε ανδ αφτερ τηατ τιµε. Α ποστσψναπτιχ νευρον µονιτορινγ τηε σπικε τραιν οφ α πρεσψναπτιχ χελλ ηασ αχχεσσ ονλψ το σπικεσ τηατ ηαϖε πρεϖιουσλψ οχχυρρεδ. Αν αππροξιµατιον οφ τηε ⇒ρινγ ρατε ατ τιµε τ τηατ δεπενδσ ονλψ ον σπικεσ ⇒ρεδ βεφορε τ χαν βε χαλχυλατεδ υσινγ α ωινδοω φυνχτιον τηατ ϖανισηεσ ωηεν ιτσ αργυµεντ

λινεαρ ⇒λτερ ανδ κερνελ

14

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

ισ νεγατιϖε. Συχη α ωινδοω φυνχτιον ορ κερνελ ισ χαλλεδ χαυσαλ. Ονε χοµ− µονλψ υσεδ φορµ ισ τηε α φυνχτιον

w(τ) = [α2 τ εξπ(−ατ)]+ ηαλφ−ωαϖε ρεχτι⇒χατιον [ ]+

(1.12)

ωηερε 1/α δετερµινεσ τηε τεµποραλ ρεσολυτιον οφ τηε ρεσυλτινγ ⇒ρινγ−ρατε εστιµατε. Τηε νοτατιον [ζ]+ φορ ανψ θυαντιτψ ζ στανδσ φορ τηε ηαλφ−ωαϖε ρεχτι⇒χατιον οπερατιον, $ ζ ιφ ζ ≥ 0 [ζ]+ = (1.13) 0 οτηερωισε . Φιγυρε 1.4Ε σηοωσ τηε ⇒ρινγ ρατε αππροξιµατεδ βψ συχη α χαυσαλ σχηεµε. Νοτε τηατ τηισ ρατε τενδσ το πεακ λατερ τηαν τηε ρατε χοµπυτεδ ιν ⇒γυρε 1.4∆ υσινγ α τεµποραλλψ σψµµετριχ ωινδοω φυνχτιον.

Τυνινγ Χυρϖεσ

στιµυλυσ σ

ρεσπονσε τυνινγ χυρϖε φ (σ )

πριµαρψ ϖισυαλ χορτεξ ς1

Γαυσσιαν τυνινγ χυρϖε

Νευροναλ ρεσπονσεσ τψπιχαλλψ δεπενδ ον µανψ διφφερεντ προπερτιεσ οφ α στιµυλυσ. Ιν τηισ χηαπτερ, ωε χηαραχτεριζε ρεσπονσεσ οφ νευρονσ ασ φυνχ− τιονσ οφ ϕυστ ονε οφ τηε στιµυλυσ αττριβυτεσ το ωηιχη τηεψ µαψ βε σενσιτιϖε. Τηε ϖαλυε οφ τηισ σινγλε αττριβυτε ισ δενοτεδ βψ σ. Ιν χηαπτερ 2, ωε χονσιδερ µορε χοµπλετε στιµυλυσ χηαραχτεριζατιονσ. Α σιµπλε ωαψ οφ χηαραχτεριζινγ τηε ρεσπονσε οφ α νευρον ισ το χουντ τηε νυµβερ οφ αχτιον ποτεντιαλσ ⇒ρεδ δυρινγ τηε πρεσεντατιον οφ α στιµυλυσ. Τηισ αππροαχη ισ µοστ αππροπριατε ιφ τηε παραµετερ σ χηαραχτεριζινγ τηε στιµυλυσ ισ ηελδ χονσταντ οϖερ τηε τριαλ. Ιφ ωε αϖεραγε τηε νυµβερ οφ αχ− τιον ποτεντιαλσ ⇒ρεδ οϖερ (ιν τηεορψ, αν ιν⇒νιτε νυµβερ οφ) τριαλσ ανδ δι− ϖιδε βψ τηε τριαλ δυρατιον, ωε οβταιν τηε αϖεραγε ⇒ρινγ ρατε, ⟨ρ⟩, δε⇒νεδ ιν εθυατιον 1.7. Τηε αϖεραγε ⇒ρινγ ρατε ωριττεν ασ α φυνχτιον οφ σ, ⟨ρ⟩ = φ (σ ), ισ χαλλεδ τηε νευραλ ρεσπονσε τυνινγ χυρϖε. Τηε φυνχτιοναλ φορµ οφ α τυν− ινγ χυρϖε δεπενδσ ον τηε παραµετερ σ υσεδ το δεσχριβε τηε στιµυλυσ. Τηε πρεχισε χηοιχε οφ παραµετερσ υσεδ ασ αργυµεντσ οφ τυνινγ χυρϖε φυνχτιονσ ισ παρτιαλλψ α µαττερ οφ χονϖεντιον. Βεχαυσε τυνινγ χυρϖεσ χορρεσπονδ το ⇒ρινγ ρατεσ, τηεψ αρε µεασυρεδ ιν υνιτσ οφ σπικεσ περ σεχονδ ορ Ηζ. Φιγυρε 1.5Α σηοωσ εξτραχελλυλαρ ρεχορδινγσ οφ α νευρον ιν τηε πριµαρψ ϖι− συαλ χορτεξ (ς1) οφ α µονκεψ. Ωηιλε τηεσε ρεχορδινγσ ωερε βεινγ µαδε, α βαρ οφ λιγητ ωασ µοϖεδ ατ διφφερεντ ανγλεσ αχροσσ τηε ρεγιον οφ τηε ϖισυαλ ⇒ελδ ωηερε τηε χελλ ρεσπονδεδ το λιγητ. Τηισ ρεγιον ισ χαλλεδ τηε ρεχεπ− τιϖε ⇒ελδ οφ τηε νευρον. Νοτε τηατ τηε νυµβερ οφ αχτιον ποτεντιαλσ ⇒ρεδ δεπενδσ ον τηε ανγλε οφ οριεντατιον οφ τηε βαρ. Τηε σαµε εφφεχτ ισ σηοων ιν ⇒γυρε 1.5Β ιν τηε φορµ οφ α ρεσπονσε τυνινγ χυρϖε, ωηιχη ινδιχατεσ ηοω τηε αϖεραγε ⇒ρινγ ρατε δεπενδσ ον τηε οριεντατιον οφ τηε λιγητ βαρ στιµυλυσ. Τηε δατα ηαϖε βεεν ⇒ττεδ βψ α ρεσπονσε τυνινγ χυρϖε οφ τηε φορµ ' &2 ( % 1 σ − σµαξ φ (σ ) = ρµαξ εξπ − , (1.14) 2 σφ

1.2

A

Σπικε Τραινσ ανδ Φιρινγ Ρατεσ

15

B 60

φ (Ηζ)

50 40 30 20 10 0 -40

-20

0

20

40

σ (orientation angle in degrees)

Φιγυρε 1.5 (Α) Ρεχορδινγσ φροµ α νευρον ιν τηε πριµαρψ ϖισυαλ χορτεξ οφ α µονκεψ. Α βαρ οφ λιγητ ωασ µοϖεδ αχροσσ τηε ρεχεπτιϖε ⇒ελδ οφ τηε χελλ ατ διφφερεντ ανγλεσ. Τηε διαγραµσ το τηε λεφτ οφ εαχη τραχε σηοω τηε ρεχεπτιϖε ⇒ελδ ασ α δασηεδ σθυαρε ανδ τηε λιγητ σουρχε ασ α βλαχκ βαρ. Τηε βιδιρεχτιοναλ µοτιον οφ τηε λιγητ βαρ ισ ινδιχατεδ βψ τηε αρροωσ. Τηε ανγλε οφ τηε βαρ ινδιχατεσ τηε οριεντατιον οφ τηε λιγητ βαρ φορ τηε χορρεσπονδινγ τραχε. (Β) Αϖεραγε ⇒ρινγ ρατε οφ α χατ ς1 νευρον πλοττεδ ασ α φυνχτιον οφ τηε οριεντατιον ανγλε οφ τηε λιγητ βαρ στιµυλυσ. Τηε χυρϖε ισ α ⇒τ υσινγ τηε φυνχτιον 1.14 ωιτη παραµετερσ ρµαξ = 52.14 Ηζ, σµαξ = 0◦ , ανδ σ φ = 14.73◦ . (Α αδαπτεδ φροµ Ωανδελλ, 1995, βασεδ ον αν οριγιναλ ⇒γυρε φροµ Ηυβελ ανδ Ωιεσελ, 1968; Β δατα ποιντσ φροµ Ηενρψ ετ αλ., 1974).)

ωηερε σ ισ τηε οριεντατιον ανγλε οφ τηε λιγητ βαρ, σµαξ ισ τηε οριεντατιον ανγλε εϖοκινγ τηε µαξιµυµ αϖεραγε ρεσπονσε ρατε ρµαξ (ωιτη σ − σµαξ τακεν το λιε ιν τηε ρανγε βετωεεν −90◦ ανδ +90◦ ), ανδ σ φ δετερµινεσ τηε ωιδτη οφ τηε τυνινγ χυρϖε. Τηε νευρον ρεσπονδσ µοστ ϖιγορουσλψ ωηεν α στιµυλυσ ηαϖινγ σ = σµαξ ισ πρεσεντεδ, σο ωε χαλλ σµαξ τηε πρεφερρεδ οριεντατιον ανγλε οφ τηε νευρον. Ρεσπονσε τυνινγ χυρϖεσ χαν βε υσεδ το χηαραχτεριζε τηε σελεχτιϖιτιεσ οφ νευ− ρονσ ιν ϖισυαλ ανδ οτηερ σενσορψ αρεασ το α ϖαριετψ οφ στιµυλυσ παραµετερσ. Τυνινγ χυρϖεσ χαν αλσο βε µεασυρεδ φορ νευρονσ ιν µοτορ αρεασ, ιν ωηιχη χασε τηε αϖεραγε ⇒ρινγ ρατε ισ εξπρεσσεδ ασ α φυνχτιον οφ ονε ορ µορε πα− ραµετερσ δεσχριβινγ α µοτορ αχτιον. Φιγυρε 1.6Α σηοωσ αν εξαµπλε οφ εξ− τραχελλυλαρ ρεχορδινγσ φροµ α νευρον ιν πριµαρψ µοτορ χορτεξ ιν α µονκεψ τηατ ηασ βεεν τραινεδ το ρεαχη ιν διφφερεντ διρεχτιονσ. Τηε σταχκεδ τραχεσ φορ εαχη διρεχτιον αρε ραστερσ σηοωινγ τηε ρεσυλτσ οφ ⇒ϖε διφφερεντ τριαλσ. Τηε ηοριζονταλ αξισ ιν τηεσε τραχεσ ρεπρεσεντσ τιµε, ανδ εαχη µαρκ ινδιχατεσ αν αχτιον ποτεντιαλ. Τηε ⇒ρινγ παττερν οφ τηε χελλ, ιν παρτιχυλαρ τηε ρατε ατ ωηιχη σπικεσ αρε γενερατεδ, ισ χορρελατεδ ωιτη τηε διρεχτιον οφ αρµ µοϖε− µεντ, ανδ τηυσ ενχοδεσ ινφορµατιον αβουτ τηισ ασπεχτ οφ τηε µοτορ αχτιον. Φιγυρε 1.6Β σηοωσ τηε ρεσπονσε τυνινγ χυρϖε οφ αν Μ1 νευρον πλοττεδ ασ α φυνχτιον οφ τηε διρεχτιον οφ αρµ µοϖεµεντ. Ηερε τηε δατα ποιντσ ηαϖε βεεν ⇒ττεδ βψ α τυνινγ χυρϖε οφ τηε φορµ φ (σ ) = ρ0 + (ρµαξ − ρ0 ) χοσ(σ − σµαξ ) ,

(1.15)

ωηερε σ ισ τηε ρεαχηινγ ανγλε οφ τηε αρµ, σµαξ ισ τηε ρεαχηινγ ανγλε ασσοχι−

πριµαρψ µοτορ χορτεξ Μ1

χοσινε τυνινγ χυρϖε

16

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

A

B

60

φ (Ηζ)

50 40 30 20 10 0 0

50

100

150

200

250

300 350

σ (movement direction in degrees)

Φιγυρε 1.6 (Α) Ρεχορδινγσ φροµ τηε πριµαρψ µοτορ χορτεξ οφ α µονκεψ περφορµ− ινγ αν αρµ−ρεαχηινγ τασκ. Τηε ηανδ οφ τηε µονκεψ σταρτεδ φροµ α χεντραλ ρεστινγ λοχατιον, ανδ ρεαχηινγ µοϖεµεντσ ωερε µαδε ιν τηε διρεχτιονσ ινδιχατεδ βψ τηε αρροωσ. Τηε ραστερσ φορ εαχη διρεχτιον σηοω αχτιον ποτεντιαλσ ⇒ρεδ ον ⇒ϖε τριαλσ. (Β) Αϖεραγε ⇒ρινγ ρατε πλοττεδ ασ α φυνχτιον οφ τηε διρεχτιον ιν ωηιχη τηε µον− κεψ µοϖεδ ιτσ αρµ. Τηε χυρϖε ισ α ⇒τ υσινγ τηε φυνχτιον 1.15 ωιτη παραµετερσ ρµαξ = 54.69 Ηζ, ρ0 = 32.34 Ηζ, ανδ σµαξ = 161.25◦ . (Α αδαπτεδ φροµ Γεοργοπου− λοσ ετ αλ., 1982, ωηιχη ισ αλσο τηε σουρχε οφ τηε δατα ποιντσ ιν Β.)

ατεδ ωιτη τηε µαξιµυµ ρεσπονσε ρµαξ , ανδ ρ0 ισ αν οφφσετ ορ βαχκγρουνδ ⇒ρινγ ρατε τηατ σηιφτσ τηε τυνινγ χυρϖε υπ φροµ τηε ζερο αξισ. Τηε µινιµυµ ⇒ρινγ ρατε πρεδιχτεδ βψ εθυατιον 1.15 ισ 2ρ0 − ρµαξ . Φορ τηε νευρον οφ ⇒γ− υρε 1.6Β, τηισ ισ α ποσιτιϖε θυαντιτψ, βυτ φορ σοµε Μ1 νευρονσ 2ρ0 − ρµαξ < 0, ανδ τηε φυνχτιον 1.15 ισ νεγατιϖε οϖερ σοµε ρανγε οφ ανγλεσ. Βεχαυσε ⇒ρ− ινγ ρατεσ χαννοτ βε νεγατιϖε, τηε χοσινε τυνινγ χυρϖε µυστ βε ηαλφ−ωαϖε ρεχτι⇒εδ ιν τηεσε χασεσ (σεε εθυατιον 1.13), φ (σ ) = [ρ0 + (ρµαξ − ρ0 ) χοσ(σ − σµαξ )]+ .

σιγµοιδαλ τυνινγ χυρϖε

(1.16)

Φιγυρε 1.7Β σηοωσ ηοω τηε αϖεραγε ⇒ρινγ ρατε οφ α ς1 νευρον δεπενδσ ον ρετιναλ δισπαριτψ ανδ ιλλυστρατεσ ανοτηερ ιµπορταντ τψπε οφ τυνινγ χυρϖε. Ρετιναλ δισπαριτψ ισ α διφφερενχε ιν τηε ρετιναλ λοχατιον οφ αν ιµαγε βετωεεν τηε τωο εψεσ (⇒γυρε 1.7Α). Σοµε νευρονσ ιν αρεα ς1 αρε σενσιτιϖε το δισπαρ− ιτψ, ρεπρεσεντινγ αν εαρλψ σταγε ιν τηε ρεπρεσεντατιον οφ ϖιεωινγ διστανχε. Ιν ⇒γυρε 1.7Β, τηε δατα ποιντσ ηαϖε βεεν ⇒ττεδ ωιτη α τυνινγ χυρϖε χαλλεδ α λογιστιχ ορ σιγµοιδαλ φυνχτιον, ρ ) µαξ *. φ (σ ) = (1.17) 1 + εξπ (σ1/2 − σ )/%σ Ιν τηισ χασε, σ ισ τηε ρετιναλ δισπαριτψ, τηε παραµετερ σ1/2 ισ τηε δισπαριτψ τηατ προδυχεσ α ⇒ρινγ ρατε ηαλφ ασ βιγ ασ τηε µαξιµυµ ϖαλυε ρµαξ , ανδ %σ χοντρολσ ηοω θυιχκλψ τηε ⇒ρινγ ρατε ινχρεασεσ ασ α φυνχτιον οφ σ. Ιφ %σ ισ νεγατιϖε, τηε ⇒ρινγ ρατε ισ α µονοτονιχαλλψ δεχρεασινγ φυνχτιον οφ σ ρατηερ τηαν α µονοτονιχαλλψ ινχρεασινγ φυνχτιον ασ ιν ⇒γυρε 1.7Β.

Σπικε−Χουντ ςαριαβιλιτψ Τυνινγ χυρϖεσ αλλοω υσ το πρεδιχτ τηε αϖεραγε ⇒ρινγ ρατε, βυτ τηεψ δο νοτ δεσχριβε ηοω τηε σπικε−χουντ ⇒ρινγ ρατε ρ ϖαριεσ αβουτ ιτσ µεαν ϖαλυε

1.3

Ωηατ Μακεσ α Νευρον Φιρε?

A

Φ

17

B 40

σ

φ (Ηζ)

30 20 10 0 -1.0

-0.5

0.0

0.5

1.0

σ (retinal disparity in degrees) Φιγυρε 1.7 (Α) ∆ε⇒νιτιον οφ ρετιναλ δισπαριτψ. Τηε γραψ λινεσ ωιτη αρροωσ σηοω τηε λοχατιον ον εαχη ρετινα οφ αν οβϕεχτ λοχατεδ νεαρερ τηαν τηε ⇒ξατιον ποιντ Φ. Τηε ιµαγε φροµ τηε ⇒ξατιον ποιντ φαλλσ ατ τηε φοϖεα ιν εαχη εψε, τηε σµαλλ πιτ ωηερε τηε βλαχκ λινεσ µεετ τηε ρετινα. Τηε ιµαγε φροµ α νεαρερ οβϕεχτ φαλλσ το τηε λεφτ οφ τηε φοϖεα ιν τηε λεφτ εψε ανδ το τηε ριγητ οφ τηε φοϖεα ιν τηε ριγητ εψε. Φορ οβϕεχτσ φαρτηερ αωαψ τηαν τηε ⇒ξατιον ποιντ, τηισ ωουλδ βε ρεϖερσεδ. Τηε δισπαριτψ ανγλε σ ισ ινδιχατεδ ιν τηε ⇒γυρε. (Β) Αϖεραγε ⇒ρινγ ρατε οφ α χατ ς1 νευρον ρεσπονδινγ το σεπαρατε βαρσ οφ λιγητ ιλλυµινατινγ εαχη εψε, πλοττεδ ασ α φυνχτιον οφ τηε δισπαριτψ. Βεχαυσε τηισ νευρον ⇒ρεσ φορ ποσιτιϖε σ ϖαλυεσ, ιτ ισ χαλλεδ α φαρ−τυνεδ χελλ. Τηε χυρϖε ισ α ⇒τ υσινγ τηε φυνχτιον 1.17 ωιτη παραµετερσ ρµαξ = 36.03 Ηζ, σ1/2 = 0.036◦ , ανδ %σ = 0.029◦ . (Α αδαπτεδ φροµ Ωανδελλ, 1995; Β δατα ποιντσ φροµ Πογγιο ανδ Ταλβοτ, 1981.)

⟨ρ⟩ = φ (σ ) φροµ τριαλ το τριαλ. Ωηιλε τηε µαπ φροµ στιµυλυσ το αϖεραγε ρεσπονσε µαψ βε δεσχριβεδ δετερµινιστιχαλλψ, ιτ ισ λικελψ τηατ σινγλε−τριαλ ρεσπονσεσ συχη ασ σπικε−χουντ ρατεσ χαν βε µοδελεδ ονλψ ιν α προβαβιλισ− τιχ µαννερ. Φορ εξαµπλε, ρ ϖαλυεσ χαν βε γενερατεδ φροµ α προβαβιλιτψ διστριβυτιον ωιτη µεαν φ (σ ). Τηε τριαλ−το−τριαλ δεϖιατιον οφ ρ φροµ φ (σ ) ισ χονσιδερεδ το βε νοισε, ανδ συχη µοδελσ αρε οφτεν χαλλεδ νοισε µοδελσ. Τηε στανδαρδ δεϖιατιον φορ τηε νοισε διστριβυτιον ειτηερ χαν βε ινδεπεν− δεντ οφ φ (σ ), ιν ωηιχη χασε τηε ϖαριαβιλιτψ ισ χαλλεδ αδδιτιϖε νοισε, ορ ιτ χαν δεπενδ ον φ (σ ). Μυλτιπλιχατιϖε νοισε χορρεσπονδσ το ηαϖινγ τηε στανδαρδ δεϖιατιον προπορτιοναλ το φ (σ ). Ρεσπονσε ϖαριαβιλιτψ εξτενδσ βεψονδ τηε λεϖελ οφ σπικε χουντσ το τηε εντιρε τεµποραλ παττερν οφ αχτιον ποτεντιαλσ. Λατερ ιν τηισ χηαπτερ, ωε δισχυσσ α µοδελ οφ τηε νευροναλ ρεσπονσε τηατ υσεσ α στοχηαστιχ σπικε γενερατορ το προδυχε ρεσπονσε ϖαριαβιλιτψ. Τηισ αππροαχη τακεσ α δετερµινιστιχ εστιµατε οφ τηε ⇒ρινγ ρατε, rεστ (τ ), ανδ προδυχεσ α στοχηαστιχ σπικινγ παττερν φροµ ιτ. Τηε σπικε γενερατορ προδυχεσ ϖαριαβλε νυµβερσ ανδ παττερνσ οφ αχτιον ποτεντιαλσ, εϖεν ιφ τηε σαµε εστιµατεδ ⇒ρινγ ρατε ισ υσεδ ον εαχη τριαλ.

1.3

Ωηατ Μακεσ α Νευρον Φιρε?

Ρεσπονσε τυνινγ χυρϖεσ χηαραχτεριζε τηε αϖεραγε ρεσπονσε οφ α νευρον το α γιϖεν στιµυλυσ. Ωε νοω χονσιδερ τηε χοµπλεµενταρψ προχεδυρε οφ αϖ−

18

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

εραγινγ τηε στιµυλι τηατ προδυχε α γιϖεν ρεσπονσε. Το αϖεραγε στιµυλι ιν τηισ ωαψ, ωε νεεδ το σπεχιφψ ωηατ ⇒ξεδ ρεσπονσε ωε ωιλλ υσε το mτριγγερn τηε αϖεραγε. Τηε µοστ οβϖιουσ χηοιχε ισ τηε ⇒ρινγ οφ αν αχτιον ποτεντιαλ. Τηυσ, ωε ασκ, mΩηατ, ον αϖεραγε, διδ τηε στιµυλυσ δο βεφορε αν αχτιον πο− τεντιαλ ωασ ⇒ρεδ?n Τηε ρεσυλτινγ θυαντιτψ, χαλλεδ τηε σπικε−τριγγερεδ αϖερ− αγε στιµυλυσ, προϖιδεσ α υσεφυλ ωαψ οφ χηαραχτεριζινγ νευροναλ σελεχτιϖιτψ. Σπικε−τριγγερεδ αϖεραγεσ αρε χοµπυτεδ υσινγ στιµυλι χηαραχτεριζεδ βψ α παραµετερ σ (τ ) τηατ ϖαριεσ οϖερ τιµε. Βεφορε βεγιννινγ ουρ δισχυσσιον οφ σπικε τριγγερινγ, ωε δεσχριβε σοµε φεατυρεσ οφ συχη στιµυλι.

∆εσχριβινγ τηε Στιµυλυσ

Ωεβερ[σ λαω Φεχηνερ[σ λαω

#Τ 0

δτ σ (τ )/ Τ = 0

στιµυλυσ ανδ τιµε αϖεραγεσ

Νευρονσ ρεσπονδινγ το σενσορψ στιµυλι φαχε τηε διφ⇒χυλτ τασκ οφ ενχοδινγ παραµετερσ τηατ χαν ϖαρψ οϖερ αν ενορµουσ δψναµιχ ρανγε. Φορ εξαµπλε, πηοτορεχεπτορσ ιν τηε ρετινα χαν ρεσπονδ το σινγλε πηοτονσ ορ χαν οπερ− ατε ιν βριγητ λιγητ ωιτη αν ιν⇓υξ οφ µιλλιονσ οφ πηοτονσ περ σεχονδ. Το δεαλ ωιτη συχη ωιδε−ρανγινγ στιµυλι, σενσορψ νευρονσ οφτεν ρεσπονδ µοστ στρονγλψ το ραπιδ χηανγεσ ιν στιµυλυσ προπερτιεσ ανδ αρε ρελατιϖελψ ινσεν− σιτιϖε το στεαδψ−στατε λεϖελσ. Στεαδψ−στατε ρεσπονσεσ αρε ηιγηλψ χοµπρεσσεδ φυνχτιονσ οφ στιµυλυσ ιντενσιτψ, τψπιχαλλψ ωιτη λογαριτηµιχ ορ ωεακ ποωερ− λαω δεπενδενχεσ. Τηισ χοµπρεσσιον ηασ αν ιντερεστινγ πσψχηοπηψσιχαλ χορρελατε. Ωεβερ µεασυρεδ ηοω διφφερεντ τηε ιντενσιτψ οφ τωο στιµυλι ηαδ το βε φορ τηεµ το βε ρελιαβλψ δισχριµινατεδ, τηε mϕυστ νοτιχεαβλεn διφφερενχε %σ. Ηε φουνδ τηατ, φορ α γιϖεν στιµυλυσ, %σ ισ προπορτιοναλ το τηε µαγνι− τυδε οφ τηε στιµυλυσ σ, σο τηατ %σ/σ ισ χονσταντ. Τηισ ρελατιονσηιπ ισ χαλλεδ Ωεβερaσ λαω. Φεχηνερ συγγεστεδ τηατ νοτιχεαβλε διφφερενχεσ σετ τηε σχαλε φορ περχειϖεδ στιµυλυσ ιντενσιτιεσ. Ιντεγρατινγ Ωεβερaσ λαω, τηισ µεανσ τηατ τηε περχειϖεδ ιντενσιτψ οφ α στιµυλυσ οφ αβσολυτε ιντενσιτψ σ ϖαριεσ ασ λογ σ. Τηισ ισ κνοων ασ Φεχηνερaσ λαω. Σενσορψ σψστεµσ µακε νυµερουσ αδαπτατιονσ, υσινγ α ϖαριετψ οφ µεχη− ανισµσ, το αδϕυστ το τηε αϖεραγε λεϖελ οφ στιµυλυσ ιντενσιτψ. Ωηεν α στιµυλυσ γενερατεσ συχη αδαπτατιον, τηε ρελατιονσηιπ βετωεεν στιµυλυσ ανδ ρεσπονσε ισ οφτεν στυδιεδ ιν α ποτεντιαλλψ σιµπλερ ρεγιµε βψ δεσχριβ− ινγ ρεσπονσεσ το ⇓υχτυατιονσ αβουτ α µεαν στιµυλυσ λεϖελ. Ιν τηισ χασε, σ (τ ) ισ δε⇒νεδ σο τηατ ιτσ τιµε αϖεραγε οϖερ τηε δυρατιον οφ α τριαλ ισ 0, #Τ 0 δτ σ (τ )/ Τ = 0. Ωε φρεθυεντλψ ιµποσε τηισ χονδιτιον.

Ουρ αναλψσισ οφ νευραλ ενχοδινγ ινϖολϖεσ τωο διφφερεντ τψπεσ οφ αϖεραγεσ: αϖεραγεσ οϖερ ρεπεατεδ τριαλσ τηατ εµπλοψ τηε σαµε στιµυλυσ, ωηιχη ωε δενοτε βψ ανγλε βραχκετσ, ανδ αϖεραγεσ οϖερ διφφερεντ στιµυλι. Ωε χουλδ ιντροδυχε α σεχονδ νοτατιον φορ αϖεραγεσ οϖερ στιµυλι, βυτ τηισ χαν βε αϖοιδεδ ωηεν υσινγ τιµε−δεπενδεντ στιµυλι. Ινστεαδ οφ πρεσεντινγ α νυµ− βερ οφ διφφερεντ στιµυλι ανδ αϖεραγινγ οϖερ τηεµ, ωε χαν στρινγ τογετηερ αλλ οφ τηε στιµυλι ωε ωιση το χονσιδερ ιντο α σινγλε τιµε−δεπενδεντ στιµυλυσ σεθυενχε ανδ αϖεραγε οϖερ τιµε. Τηυσ, στιµυλυσ αϖεραγεσ αρε ρεπλαχεδ βψ τιµε αϖεραγεσ. Αλτηουγη α ρεσπονσε ρεχορδεδ οϖερ α τριαλ δεπενδσ ονλψ ον τηε ϖαλυεσ

1.3

Ωηατ Μακεσ α Νευρον Φιρε?

19

τακεν βψ σ (τ ) δυρινγ τηατ τριαλ, σοµε οφ τηε µατηεµατιχαλ αναλψσεσ πρε− σεντεδ ιν τηισ χηαπτερ ανδ ιν χηαπτερ 2 αρε σιµπλι⇒εδ ιφ ωε δε⇒νε τηε στιµ− υλυσ ατ οτηερ τιµεσ ασ ωελλ. Ιτ ισ χονϖενιεντ ιφ ιντεγραλσ ινϖολϖινγ τηε στιµ− υλυσ αρε τιµε−τρανσλατιοναλλψ ινϖαριαντ σο τηατ φορ ανψ φυνχτιον η ανδ τιµε ιντερϖαλ τ " Τ " Τ " Τ+τ δτ η (σ (τ )) = δτ η (σ (τ )) . (1.18) δτ η (σ (τ + τ)) = 0

τ

0

Το ασσυρε τηε λαστ εθυαλιτψ, ωε δε⇒νε τηε στιµυλυσ ουτσιδε τηε τιµε λιµιτσ οφ τηε τριαλ βψ τηε ρελατιον σ ( Τ + τ) = σ (τ) φορ ανψ τ , τηερεβψ µακινγ τηε στιµυλυσ περιοδιχ.

περιοδιχ στιµυλυσ

Τηε Σπικε−Τριγγερεδ Αϖεραγε Τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ, Χ (τ), ισ τηε αϖεραγε ϖαλυε οφ τηε στιµυλυσ α τιµε ιντερϖαλ τ βεφορε α σπικε ισ ⇒ρεδ. Ιν οτηερ ωορδσ, φορ α σπικε οχχυρρινγ ατ τιµε τι , ωε δετερµινε σ (τι − τ), ανδ τηεν ωε συµ οϖερ αλλ ν σπικεσ ιν α τριαλ, ι = 1, 2, . . . , ν, ανδ διϖιδε τηε τοταλ βψ ν. Ιν αδδιτιον, ωε αϖεραγε οϖερ τριαλσ. Τηυσ, , + , + ν ν 1! 1 ! σ (τι − τ) ≈ σ (τι − τ) . (1.19) Χ (τ) = ν ι=1 ⟨ν⟩ ι=1

Τηε αππροξιµατε εθυαλιτψ οφ τηε λαστ εξπρεσσιον φολλοωσ φροµ τηε φαχτ τηατ ιφ ν ισ λαργε, τηε τοταλ νυµβερ οφ σπικεσ ον εαχη τριαλ ισ ωελλ αππροξιµατεδ βψ τηε αϖεραγε νυµβερ οφ σπικεσ περ τριαλ, ν ≈ ⟨ν⟩. Ωε µακε υσε οφ τηισ απ− προξιµατιον βεχαυσε ιτ αλλοωσ υσ το ρελατε τηε σπικε−τριγγερεδ αϖεραγε το οτηερ θυαντιτιεσ χοµµονλψ υσεδ το χηαραχτεριζε τηε ρελατιονσηιπ βετωεεν στιµυλυσ ανδ ρεσπονσε (σεε βελοω). Φιγυρε 1.8 προϖιδεσ α σχηεµατιχ δε− σχριπτιον οφ τηε χοµπυτατιον οφ τηε σπικε−τριγγερεδ αϖεραγε. Εαχη τιµε α σπικε αππεαρσ, τηε στιµυλυσ ιν α τιµε ωινδοω πρεχεδινγ τηε σπικε ισ ρεχορδεδ. Αλτηουγη τηε ρανγε οφ τ ϖαλυεσ ιν εθυατιον 1.19 ισ υνλιµιτεδ, τηε ρεσπονσε ισ τψπιχαλλψ αφφεχτεδ ονλψ βψ τηε στιµυλυσ ιν α ωινδοω α φεω ηυν− δρεδ µιλλισεχονδσ ωιδε ιµµεδιατελψ πρεχεδινγ α σπικε. Μορε πρεχισελψ, ωε εξπεχτ Χ (τ) το αππροαχη 0 φορ ποσιτιϖε τ ϖαλυεσ λαργερ τηαν τηε χορρε− λατιον τιµε βετωεεν τηε στιµυλυσ ανδ τηε ρεσπονσε. Ιφ τηε στιµυλυσ ηασ νο τεµποραλ χορρελατιονσ ωιτη ιτσελφ, ωε αλσο εξπεχτ Χ (τ) το βε 0 φορ τ < 0, βεχαυσε τηε ρεσπονσε οφ α νευρον χαννοτ δεπενδ ον φυτυρε στιµυλι. Ιν πραχ− τιχε, τηε στιµυλυσ ισ ρεχορδεδ ονλψ οϖερ α ⇒νιτε τιµε περιοδ, ασ ινδιχατεδ βψ τηε σηαδεδ αρεασ ιν ⇒γυρε 1.8. Τηε ρεχορδεδ στιµυλι φορ αλλ σπικεσ αρε τηεν συµµεδ ανδ τηε προχεδυρε ισ ρεπεατεδ οϖερ µυλτιπλε τριαλσ. Τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ χαν βε εξπρεσσεδ ασ αν ιντεγραλ οφ τηε στιµυλυσ τιµεσ τηε νευραλ ρεσπονσε φυνχτιον οφ εθυατιον 1.1. Ιφ ωε ρε− πλαχε τηε συµ οϖερ σπικεσ ωιτη αν ιντεγραλ, ασ ιν εθυατιον 1.2, ανδ υσε τηε αππροξιµατε εξπρεσσιον φορ Χ (τ) ιν εθυατιον 1.19, ωε ⇒νδ " Τ " Τ 1 1 Χ (τ) = δτ ⟨ρ(τ )⟩ σ (τ − τ) = δτ r (τ )σ (τ − τ) . (1.20) ⟨ν⟩ 0 ⟨ν⟩ 0

σπικε−τριγγερεδ αϖεραγε Χ (τ)

20

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

σ time

spike-triggered average

Φιγυρε 1.8 Σχηεµατιχ οφ τηε προχεδυρε φορ χοµπυτινγ τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ. Εαχη γραψ ρεχτανγλε χονταινσ τηε στιµυλυσ πριορ το ονε οφ τηε σπικεσ σηοων αλονγ τηε τιµε αξισ. Τηεσε αρε αϖεραγεδ το προδυχε τηε ωαϖεφορµ σηοων ατ τηε λοωερ ριγητ, ωηιχη ισ τηε αϖεραγε στιµυλυσ βεφορε α σπικε. Τηε στιµυλυσ ιν τηισ εξαµπλε ισ α πιεχεωισε χονσταντ φυνχτιον οφ τιµε. (Αδαπτεδ φροµ Ριεκε ετ αλ., 1997.)

Τηε σεχονδ εθυαλιτψ ισ δυε το τηε εθυιϖαλενχε οφ ⟨ρ(τ )⟩ ανδ r (τ ) ωιτηιν ιντεγραλσ. Εθυατιον 1.20 αλλοωσ υσ το ρελατε τηε σπικε−τριγγερεδ αϖεραγε το τηε χορρελατιον φυνχτιον οφ τηε ⇒ρινγ ρατε ανδ τηε στιµυλυσ. Χορρελατιον φυνχτιονσ αρε α υσεφυλ ωαψ οφ δετερµινινγ ηοω τωο θυαντιτιεσ τηατ ϖαρψ οϖερ τιµε αρε ρελατεδ το ονε ανοτηερ. Τηε τωο θυαντιτιεσ βεινγ ⇒ρινγ−ρατε στιµυλυσ ρελατεδ αρε εϖαλυατεδ ατ διφφερεντ τιµεσ, ονε ατ τιµε τ ανδ τηε οτηερ ατ τιµε χορρελατιον φυνχτιον τ + τ . Τηε χορρελατιον φυνχτιον ισ τηεν οβταινεδ βψ αϖεραγινγ τηειρ προδυχτ Θrσ οϖερ αλλ τ ϖαλυεσ, ανδ ιτ ισ α φυνχτιον οφ τ . Τηε χορρελατιον φυνχτιον οφ τηε ⇒ρινγ ρατε ανδ τηε στιµυλυσ ισ Θrσ (τ) =

1 Τ

"

0

Τ

δτ r (τ )σ (τ + τ) .

(1.21)

Βψ χοµπαρινγ εθυατιονσ 1.20 ανδ 1.21, ωε ⇒νδ τηατ Χ (τ) =

ρεϖερσε χορρελατιον φυνχτιον

1 Θrσ (−τ) , ⟨ρ⟩

(1.22)

ωηερε ⟨ρ⟩ = ⟨ν⟩/ Τ ισ τηε αϖεραγε ⇒ρινγ ρατε οϖερ τηε σετ οφ τριαλσ. Βεχαυσε τηε αργυµεντ οφ τηε χορρελατιον φυνχτιον ιν εθυατιον 1.22 ισ −τ , τηε σπικε− τριγγερεδ αϖεραγε στιµυλυσ ισ οφτεν χαλλεδ τηε ρεϖερσε χορρελατιον φυνχτιον. Ιτ ισ προπορτιοναλ το τηε χορρελατιον οφ τηε ⇒ρινγ ρατε ωιτη τηε στιµυλυσ ατ πρεχεδινγ τιµεσ.

Ωηατ Μακεσ α Νευρον Φιρε?

21

100

600 µς

50 µς

200 100 ττ(ms) (µσ)

-100

Χ (µς)

300

C(τ) (mV)

1.3

-200 200 µσ

-300

Φιγυρε 1.9 Τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ φορ α νευρον οφ τηε ελεχτροσενσορψ λατεραλ−λινε λοβε οφ τηε ωεακλψ ελεχτριχ ⇒ση Ειγενµαννια. Τηε υππερ λεφτ τραχε ισ τηε ποτεντιαλ υσεδ το γενερατε τηε ελεχτριχ ⇒ελδ το ωηιχη τηισ νευρον ισ σενσιτιϖε. Τηε εϖοκεδ σπικε τραιν ισ πλοττεδ βελοω τηε στιµυλυσ ποτεντιαλ. Τηε πλοτ ον τηε ριγητ ισ τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ. (Αδαπτεδ φροµ Γαββιανι ετ αλ., 1996.)

Τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ ισ ωιδελψ υσεδ το στυδψ ανδ χηαραχ− τεριζε νευραλ ρεσπονσεσ. Βεχαυσε Χ (τ) ισ τηε αϖεραγε ϖαλυε οφ τηε στιµυλυσ ατ α τιµε τ βεφορε α σπικε, λαργερ ϖαλυεσ οφ τ ρεπρεσεντ τιµεσ φαρτηερ ιν τηε παστ ρελατιϖε το τηε τιµε οφ τηε τριγγερινγ σπικε. Φορ τηισ ρεασον, ωε πλοτ σπικε−τριγγερεδ αϖεραγεσ ωιτη τηε τιµε αξισ γοινγ βαχκωαρδ χοµπαρεδ το τηε νορµαλ χονϖεντιον. Τηισ αλλοωσ τηε αϖεραγε σπικε−τριγγερινγ στιµυλυσ το βε ρεαδ οφφ φροµ τηε πλοτσ ιν τηε υσυαλ λεφτ−το−ριγητ ορδερ. Φιγυρε 1.9 σηοωσ τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ φορ α νευρον ιν τηε ελεχτροσενσορψ λατεραλ−λινε λοβε οφ τηε ωεακλψ ελεχτριχ ⇒ση Ειγενµαν− νια. Ωεακλψ ελεχτριχ ⇒ση γενερατε οσχιλλατινγ ελεχτριχ ⇒ελδσ φροµ αν ιντερναλ ελεχτριχ οργαν. ∆ιστορτιονσ ιν τηε ελεχτριχ ⇒ελδ προδυχεδ βψ νεαρβψ οβϕεχτσ αρε δετεχτεδ βψ σενσορσ σπρεαδ οϖερ τηε σκιν οφ τηε ⇒ση. Τηε λατεραλ−λινε λοβε αχτσ ασ α ρελαψ στατιον αλονγ τηε προχεσσινγ πατηωαψ φορ ελεχτροσενσορψ σιγναλσ. Φλυχτυατινγ ελεχτριχαλ ποτεντιαλσ, συχη ασ τηατ σηοων ιν τηε υππερ λεφτ τραχε οφ ⇒γυρε 1.9, ελιχιτ ρεσπονσεσ φροµ ελεχτροσενσορψ λατεραλ−λινε λοβε νευρονσ, ασ σεεν ιν τηε λοωερ λεφτ τραχε. Τηε σπικε−τριγγερεδ αϖεραγε στιµ− υλυσ, πλοττεδ ατ τηε ριγητ, ινδιχατεσ τηατ, ον αϖεραγε, τηε ελεχτριχ ποτεντιαλ µαδε α ποσιτιϖε υπσωινγ φολλοωεδ βψ α λαργε νεγατιϖε δεϖιατιον πριορ το α σπικε βεινγ ⇒ρεδ βψ τηισ νευρον. Τηε ρεσυλτσ οβταινεδ βψ σπικε−τριγγερεδ αϖεραγινγ δεπενδ ον τηε παρτιχ− υλαρ σετ οφ στιµυλι υσεδ δυρινγ αν εξπεριµεντ. Ηοω σηουλδ τηισ σετ βε χηοσεν? Ιν χηαπτερ 2, ωε σηοω τηατ τηερε αρε χερταιν αδϖανταγεσ το υσινγ α στιµυλυσ τηατ ισ υνχορρελατεδ φροµ ονε τιµε το τηε νεξτ, α ωηιτε−νοισε στιµυλυσ. Α ηευριστιχ αργυµεντ συππορτινγ τηε υσε οφ συχη στιµυλι ισ τηατ ιν ασκινγ ωηατ µακεσ α νευρον ⇒ρε, ωε µαψ ωαντ το σαµπλε ιτσ ρεσπονσεσ το στιµυλυσ ⇓υχτυατιονσ ατ αλλ φρεθυενχιεσ ωιτη εθυαλ ωειγητ (ι.ε., εθυαλ ποωερ), ανδ τηισ ισ ονε οφ τηε προπερτιεσ οφ ωηιτε−νοισε στιµυλι. Ιν πραχ− τιχε, ωηιτε−νοισε στιµυλι χαν βε γενερατεδ ωιτη εθυαλ ποωερ ονλψ υπ το α ⇒νιτε φρεθυενχψ χυτοφφ, βυτ νευρονσ ρεσπονδ το στιµυλυσ ⇓υχτυατιονσ ονλψ ωιτηιν α λιµιτεδ φρεθυενχψ ρανγε ανψωαψ. Φιγυρε 1.9 ισ βασεδ ον συχη αν αππροξιµατε ωηιτε−νοισε στιµυλυσ. Τηε ποωερ ιν α σιγναλ ασ α φυνχτιον

22

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

οφ ιτσ φρεθυενχψ ισ χαλλεδ τηε ποωερ σπεχτρυµ ορ ποωερ σπεχτραλ δενσιτψ. Ωηιτε νοισε ηασ α ⇓ατ ποωερ σπεχτρυµ.

Ωηιτε−Νοισε Στιµυλι

στιµυλυσ αυτοχορρελατιον φυνχτιον Θσσ

Τηε δε⇒νινγ χηαραχτεριστιχ οφ α ωηιτε−νοισε στιµυλυσ ισ τηατ ιτσ ϖαλυε ατ ανψ ονε τιµε ισ υνχορρελατεδ ωιτη ιτσ ϖαλυε ατ ανψ οτηερ τιµε. Τηισ χον− διτιον χαν βε εξπρεσσεδ υσινγ τηε στιµυλυσ−στιµυλυσ χορρελατιον φυνχτιον, αλσο χαλλεδ τηε στιµυλυσ αυτοχορρελατιον, ωηιχη ισ δε⇒νεδ βψ αναλογψ ωιτη εθυατιον 1.21 ασ Θσσ (τ) =

1 Τ

"

Τ 0

δτ σ (τ )σ (τ + τ) .

(1.23)

ϑυστ ασ α χορρελατιον φυνχτιον προϖιδεσ ινφορµατιον αβουτ τηε τεµποραλ ρε− λατιονσηιπ βετωεεν τωο θυαντιτιεσ, σο αν αυτοχορρελατιον φυνχτιον τελλσ υσ αβουτ ηοω α θυαντιτψ ατ ονε τιµε ισ ρελατεδ το ιτσελφ εϖαλυατεδ ατ ανοτηερ τιµε. Φορ ωηιτε νοισε, τηε στιµυλυσ αυτοχορρελατιον φυνχτιον ισ 0 ιν τηε ρανγε −Τ/2 < τ < Τ/2 εξχεπτ ωηεν τ = 0, ανδ οϖερ τηισ ρανγε Θσσ (τ) = σσ2 δ(τ) .

(1.24)

Τηε χονσταντ σσ , ωηιχη ηασ τηε υνιτσ οφ τηε στιµυλυσ τιµεσ τηε σθυαρε ροοτ οφ τηε υνιτ οφ τιµε, ρε⇓εχτσ τηε µαγνιτυδε οφ τηε ϖαριαβιλιτψ οφ τηε ωηιτε νοισε. Ιν αππενδιξ Α, ωε σηοω τηατ εθυατιον 1.24 ισ εθυιϖαλεντ το τηε στατεµεντ τηατ ωηιτε νοισε ηασ εθυαλ ποωερ ατ αλλ φρεθυενχιεσ. Νο πηψσιχαλ σψστεµ χαν γενερατε νοισε τηατ ισ ωηιτε το αρβιτραριλψ ηιγη φρε− θυενχιεσ. Αππροξιµατιονσ οφ ωηιτε νοισε τηατ αρε µισσινγ ηιγη−φρεθυενχψ χοµπονεντσ χαν βε υσεδ, προϖιδεδ τηε µισσινγ φρεθυενχιεσ αρε ωελλ αβοϖε τηε σενσιτιϖιτψ οφ τηε νευρον υνδερ ινϖεστιγατιον. Το αππροξιµατε ωηιτε νοισε, ωε χονσιδερ τιµεσ τηατ αρε ιντεγερ µυλτιπλεσ οφ α βασιχ υνιτ οφ δυρα− τιον %τ, τηατ ισ, τιµεσ τ = µ%τ φορ µ = 1, 2, . . . , Μ ωηερε Μ%τ = Τ. Τηε φυνχτιον σ (τ ) ισ τηεν χονστρυχτεδ ασ α δισχρετε σεθυενχε οφ στιµυλυσ ϖαλυεσ. Τηισ προδυχεσ α στεπλικε στιµυλυσ ωαϖεφορµ, λικε τηε ονε τηατ αππεαρσ ιν ⇒γυρε 1.8, ωιτη α χονσταντ στιµυλυσ ϖαλυε σµ πρεσεντεδ δυρινγ τιµε βιν µ. Ιν τερµσ οφ τηε δισχρετε−τιµε ϖαλυεσ σµ , τηε χονδιτιον τηατ τηε στιµυλυσ ισ υνχορρελατεδ ισ $ 2 Μ 1 ! σσ /%τ ιφ π = 0 σ µ σ µ+ π = (1.25) 0 οτηερωισε . Μ µ=1

Τηε φαχτορ οφ 1/%τ ον τηε ριγητ σιδε οφ τηισ εθυατιον ρεπροδυχεσ τηε δ φυνχ− τιον οφ εθυατιον 1.24 ιν τηε λιµιτ %τ → 0. Φορ αππροξιµατε ωηιτε νοισε, τηε αυτοχορρελατιον φυνχτιον ισ 0 εξχεπτ φορ α ρεγιον αρουνδ τ = 0 ωιτη ωιδτη οφ ορδερ %τ. Σιµιλαρλψ, τηε βιννινγ οφ τιµε ιντο δισχρετε ιντερϖαλσ οφ σιζε %τ µεανσ τηατ τηε νοισε γενερατεδ ηασ α ⇓ατ ποωερ σπεχτρυµ ονλψ υπ το φρεθυενχιεσ οφ ορδερ 1/(2%τ ).

Ωηατ Μακεσ α Νευρον Φιρε?

velocity (degs/ σ )

A

23 B

50

0 25 µσ velocity (degs/ σ )

C

velocity (degs/ σ )

1.3

50

0 10 µσ

50

0 5 µσ

Φιγυρε 1.10 Σινγλε− ανδ µυλτιπλε−σπικε−τριγγερεδ αϖεραγε στιµυλι φορ α βλοω⇓ψ Η1 νευρον ρεσπονδινγ το α µοϖινγ ϖισυαλ ιµαγε. (Α) Τηε αϖεραγε στιµυλυσ ϖελοχιτψ τριγγερεδ ον α σινγλε σπικε. (Β) Τηε αϖεραγε στιµυλυσ ϖελοχιτψ βεφορε τωο σπικεσ ωιτη α σεπαρατιον οφ 10 ± 1 µσ. (Χ) Τηε αϖεραγε στιµυλυσ βεφορε τωο σπικεσ ωιτη α σεπαρατιον οφ 5 ± 1 µσ. (∆ατα φροµ δε Ρυψτερ ϖαν Στεϖενινχκ ανδ Βιαλεκ, 1988; ⇒γυρε αδαπτεδ φροµ Ριεκε ετ αλ., 1997.)

Αν αππροξιµατιον το ωηιτε νοισε χαν βε γενερατεδ βψ χηοοσινγ εαχη σµ ινδεπενδεντλψ φροµ α προβαβιλιτψ διστριβυτιον ωιτη µεαν 0 ανδ ϖαριανχε σσ2 /%τ. Ανψ ρεασοναβλε προβαβιλιτψ φυνχτιον σατισφψινγ τηεσε τωο χονδι− τιονσ χαν βε υσεδ το γενερατε τηε στιµυλυσ ϖαλυεσ ωιτηιν εαχη τιµε βιν. Α σπεχιαλ χλασσ οφ ωηιτε−νοισε στιµυλι, Γαυσσιαν ωηιτε νοισε, ρεσυλτσ ωηεν τηε προβαβιλιτψ διστριβυτιον υσεδ το γενερατε τηε σµ ϖαλυεσ ισ α Γαυσσιαν φυνχ− τιον. Τηε φαχτορ οφ 1/%τ ιν τηε ϖαριανχε ινδιχατεσ τηατ τηε ϖαριαβιλιτψ µυστ βε ινχρεασεδ ασ τηε τιµε βινσ γετ σµαλλερ. Α νυµβερ οφ οτηερ σχηεµεσ φορ εφ⇒χιεντλψ γενερατινγ αππροξιµατιονσ οφ ωηιτε−νοισε στιµυλι αρε δισχυσσεδ ιν τηε ρεφερενχεσ ατ τηε ενδ οφ τηισ χηαπτερ.

Μυλτιπλε−Σπικε−Τριγγερεδ Αϖεραγεσ ανδ Σπικε−Τριγγερεδ Χορρελατιονσ Ιν αδδιτιον το τριγγερινγ ον σινγλε σπικεσ, στιµυλυσ αϖεραγεσ χαν βε χοµ− πυτεδ βψ τριγγερινγ ον ϖαριουσ χοµβινατιονσ οφ σπικεσ. Φιγυρε 1.10 σηοωσ σοµε εξαµπλεσ οφ τωο−σπικε τριγγερσ. Τηεσε ρεσυλτσ χοµε φροµ α στυδψ οφ τηε Η1 µοϖεµεντ−σενσιτιϖε ϖισυαλ νευρον οφ τηε βλοω⇓ψ. Τηε Η1 νευ− ρον δετεχτσ τηε µοτιον οφ ϖισυαλ ιµαγεσ δυρινγ ⇓ιγητ ιν ορδερ το γενερατε ανδ γυιδε σταβιλιζινγ µοτορ χορρεχτιονσ. Ιτ ρεσπονδσ το µοτιον οφ τηε ϖι− συαλ σχενε. Ιν τηε εξπεριµεντσ, τηε ⇓ψ ισ ηελδ ⇒ξεδ ωηιλε α ϖισυαλ ιµαγε ωιτη α τιµε−ϖαρψινγ ϖελοχιτψ σ (τ ) ισ πρεσεντεδ. Φιγυρε 1.10Α, σηοωινγ τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ, ινδιχατεσ τηατ τηισ νευρον ρεσπονδσ το ποσιτιϖε ανγυλαρ ϖελοχιτιεσ αφτερ α λατενχψ οφ αβουτ 15 µσ. Φιγυρε 1.10Β ισ τηε αϖεραγε στιµυλυσ πριορ το τηε αππεαρανχε οφ τωο σπικεσ σεπαρατεδ βψ 10 ± 1 µσ. Ιν τηισ χασε, τηε τωο−σπικε αϖεραγε ισ σιµιλαρ το τηε συµ οφ τωο σινγλε−σπικε−τριγγερεδ αϖεραγε στιµυλι δισπλαχεδ φροµ ονε ανοτηερ βψ 10 µσ. Τηυσ, φορ 10 µσ σεπαρατιονσ, τωο σπικεσ οχχυρρινγ τογετηερ τελλ υσ νο µορε ασ α τωο−σπικε υνιτ τηαν τηεψ ωουλδ ινδιϖιδυαλλψ. Τηισ ρεσυλτ χηανγεσ ωηεν σηορτερ σεπαρατιονσ αρε χονσιδερεδ. Φιγυρε 1.10Χ σηοωσ τηε

24

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

αϖεραγε στιµυλυσ τριγγερεδ ον τωο σπικεσ σεπαρατεδ βψ 5 ± 1 µσ. Τηε αϖ− εραγε στιµυλυσ τριγγερεδ ον α παιρ οφ σπικεσ σεπαρατεδ βψ 5 µσ ισ νοτ τηε σαµε ασ τηε συµ οφ τηε αϖεραγε στιµυλι φορ εαχη σπικε σεπαρατελψ. Σπικε−τριγγερεδ αϖεραγεσ οφ οτηερ στιµυλυσ−δεπενδεντ θυαντιτιεσ χαν προ− ϖιδε αδδιτιοναλ ινσιγητ ιντο νευραλ ενχοδινγ, φορ εξαµπλε, σπικε−τριγγερεδ αϖεραγε αυτοχορρελατιον φυνχτιονσ. Οβϖιουσλψ, σπικε−τριγγερεδ αϖεραγεσ οφ ηιγηερ−ορδερ στιµυλυσ χοµβινατιονσ χαν βε χονσιδερεδ ασ ωελλ.

1.4

Σπικε−Τραιν Στατιστιχσ

Α χοµπλετε δεσχριπτιον οφ τηε στοχηαστιχ ρελατιονσηιπ βετωεεν α στιµυλυσ ανδ α ρεσπονσε ωουλδ ρεθυιρε υσ το κνοω τηε προβαβιλιτιεσ χορρεσπονδινγ το εϖερψ σεθυενχε οφ σπικεσ τηατ χαν βε εϖοκεδ βψ τηε στιµυλυσ. Σπικε τιµεσ αρε χοντινυουσ ϖαριαβλεσ, ανδ, ασ α ρεσυλτ, τηε προβαβιλιτψ φορ α σπικε το οχχυρ ατ ανψ πρεχισελψ σπεχι⇒εδ τιµε ισ αχτυαλλψ ζερο. Το γετ α νονζερο ϖαλυε, ωε µυστ ασκ φορ τηε προβαβιλιτψ τηατ α σπικε οχχυρσ ωιτηιν α σπεχ− ι⇒εδ ιντερϖαλ, φορ εξαµπλε, τηε ιντερϖαλ βετωεεν τιµεσ τ ανδ τ + %τ. Φορ σµαλλ %τ, τηε προβαβιλιτψ οφ α σπικε φαλλινγ ιν τηισ ιντερϖαλ ισ προπορτιοναλ το τηε σιζε οφ τηε ιντερϖαλ, %τ. Α σιµιλαρ ρελατιον ηολδσ φορ ανψ χοντινυουσ στοχηαστιχ ϖαριαβλε ζ. Τηε προβαβιλιτψ τηατ ζ τακεσ α ϖαλυε βετωεεν ζ ανδ ζ + %ζ, φορ σµαλλ %ζ (στριχτλψ σπεακινγ, ασ %ζ → 0), ισ εθυαλ το π[ζ]%ζ, ωηερε π[ζ] ισ χαλλεδ α προβαβιλιτψ δενσιτψ. Τηρουγηουτ τηισ βοοκ, ωε υσε τηε νοτατιον Π[ ] το δενοτε προβαβιλιτιεσ ανδ π[ ] το δενοτε προβαβιλιτψ δενσιτιεσ. Ωε υσε τηε βραχκετ νοτατιον Π[ ] γενερ− ιχαλλψ φορ τηε προβαβιλιτψ οφ σοµετηινγ οχχυρρινγ ανδ αλσο το δενοτε α σπε− χι⇒χ προβαβιλιτψ φυνχτιον. Ιν τηε λαττερ χασε, τηε νοτατιον Π ( ) ωουλδ βε µορε αππροπριατε, βυτ σωιτχηινγ βετωεεν σθυαρε βραχκετσ ανδ παρεντηε− σεσ ισ χονφυσινγ, σο τηε ρεαδερ ωιλλ ηαϖε το υσε τηε χοντεξτ το διστινγυιση βετωεεν τηεσε χασεσ. Τηε προβαβιλιτψ οφ α σπικε σεθυενχε αππεαρινγ ισ προπορτιοναλ το τηε προβ− αβιλιτψ δενσιτψ οφ σπικε τιµεσ, π[τ1 , τ2 , . . . , τν ]. Ιν οτηερ ωορδσ, τηε προβα− βιλιτψ Π[τ1 , τ2 , . . . , τν ] τηατ α σεθυενχε οφ ν σπικεσ οχχυρσ ωιτη σπικε ι φαλλινγ βετωεεν τιµεσ τι ανδ τι + %τ φορ ι = 1, 2, . . . , ν ισ γιϖεν ιν τερµσ οφ τηισ δενσιτψ βψ τηε ρελατιον Π[τ1 , τ2 , . . . , τν ] = π[τ1 , τ2 , . . . , τν ](%τ )ν . Υνφορτυνατελψ, τηε νυµβερ οφ ποσσιβλε σπικε σεθυενχεσ ισ τψπιχαλλψ σο λαργε τηατ δετερµινινγ ορ εϖεν ρουγηλψ εστιµατινγ αλλ οφ τηειρ προβαβιλιτιεσ οφ οχχυρρενχε ισ ιµποσσιβλε. Ινστεαδ, ωε µυστ ρελψ ον σοµε στατιστιχαλ µοδελ τηατ αλλοωσ υσ το εστιµατε τηε προβαβιλιτψ οφ αν αρβιτραρψ σπικε σεθυενχε οχχυρρινγ, γιϖεν ουρ κνοωλεδγε οφ τηε ρεσπονσεσ αχτυαλλψ ρεχορδεδ. Τηε ⇒ρινγ ρατε r (τ ) δετερµινεσ τηε προβαβιλιτψ οφ ⇒ρινγ α σινγλε σπικε ιν α σµαλλ ιντερϖαλ αρουνδ τηε τιµε τ, βυτ r (τ ) ισ νοτ, ιν γενεραλ, συφ⇒χιεντ ινφορµατιον το πρεδιχτ τηε προβαβιλιτιεσ οφ σπικε σεθυενχεσ. Φορ εξαµπλε, τηε προβαβιλ− ιτψ οφ τωο σπικεσ οχχυρρινγ τογετηερ ιν α σεθυενχε ισ νοτ νεχεσσαριλψ εθυαλ το τηε προδυχτ οφ τηε προβαβιλιτιεσ τηατ τηεψ οχχυρ ινδιϖιδυαλλψ, βεχαυσε

1.4

Σπικε−Τραιν Στατιστιχσ

25

τηε πρεσενχε οφ ονε σπικε µαψ εφφεχτ τηε οχχυρρενχε οφ τηε οτηερ. Ιφ, ηοω− εϖερ, τηε προβαβιλιτψ οφ γενερατινγ αν αχτιον ποτεντιαλ ισ ινδεπενδεντ οφ τηε πρεσενχε ορ τιµινγ οφ οτηερ σπικεσ (ι.ε., ιφ τηε σπικεσ αρε στατιστιχαλλψ ιν− δεπενδεντ) τηε ⇒ρινγ ρατε ισ αλλ τηατ ισ νεεδεδ το χοµπυτε τηε προβαβιλιτιεσ φορ αλλ ποσσιβλε αχτιον ποτεντιαλ σεθυενχεσ. Α στοχηαστιχ προχεσσ τηατ γενερατεσ α σεθυενχε οφ εϖεντσ, συχη ασ αχτιον ποτεντιαλσ, ισ χαλλεδ α ποιντ προχεσσ. Ιν γενεραλ, τηε προβαβιλιτψ οφ αν εϖεντ οχχυρρινγ ατ ανψ γιϖεν τιµε χουλδ δεπενδ ον τηε εντιρε ηιστορψ οφ πρεχεδ− ινγ εϖεντσ. Ιφ τηισ δεπενδενχε εξτενδσ ονλψ το τηε ιµµεδιατελψ πρεχεδινγ εϖεντ, σο τηατ τηε ιντερϖαλσ βετωεεν συχχεσσιϖε εϖεντσ αρε ινδεπενδεντ, τηε ποιντ προχεσσ ισ χαλλεδ α ρενεωαλ προχεσσ. Ιφ τηερε ισ νο δεπενδενχε ατ αλλ ον πρεχεδινγ εϖεντσ, σο τηατ τηε εϖεντσ τηεµσελϖεσ αρε στατιστιχαλλψ ινδεπενδεντ, ωε ηαϖε α Ποισσον προχεσσ. Τηε Ποισσον προχεσσ προϖιδεσ αν εξτρεµελψ υσεφυλ αππροξιµατιον οφ στοχηαστιχ νευροναλ ⇒ρινγ. Το µακε τηε πρεσεντατιον εασιερ το φολλοω, ωε σεπαρατε τωο χασεσ, τηε ηοµογενεουσ Ποισσον προχεσσ, φορ ωηιχη τηε ⇒ρινγ ρατε ισ χονσταντ οϖερ τιµε, ανδ τηε ινηοµογενεουσ Ποισσον προχεσσ, ωηιχη ινϖολϖεσ α τιµε−δεπενδεντ ⇒ρινγ ρατε.

Τηε Ηοµογενεουσ Ποισσον Προχεσσ Ωε δενοτε τηε ⇒ρινγ ρατε φορ α ηοµογενεουσ Ποισσον προχεσσ βψ r (τ ) = r βεχαυσε ιτ ισ ινδεπενδεντ οφ τιµε. Ωηεν τηε ⇒ρινγ ρατε ισ χονσταντ, τηε Ποισσον προχεσσ γενερατεσ εϖερψ σεθυενχε οφ ν σπικεσ οϖερ α ⇒ξεδ τιµε ιντερϖαλ ωιτη εθυαλ προβαβιλιτψ. Ασ α ρεσυλτ, τηε προβαβιλιτψ Π[τ1 , τ2 , . . . , τν ] χαν βε εξπρεσσεδ ιν τερµσ οφ ανοτηερ προβαβιλιτψ φυνχτιον ΠΤ [ν], ωηιχη ισ τηε προβαβιλιτψ τηατ αν αρβιτραρψ σεθυενχε οφ εξαχτλψ ν σπικεσ οχχυρσ ωιτηιν α τριαλ οφ δυρατιον Τ. Ασσυµινγ τηατ τηε σπικε τιµεσ αρε ορδερεδ σο τηατ 0 ≤ τ1 ≤ τ2 ≤ . . . ≤ τν ≤ Τ, τηε ρελατιονσηιπ ισ % &ν %τ Π[τ1 , τ2 , . . . , τν ] = ν!ΠΤ [ν] . (1.26) Τ Τηισ ρελατιονσηιπ ισ α σπεχιαλ χασε οφ εθυατιον 1.37 δεριϖεδ βελοω. Το χοµπυτε ΠΤ [ν], ωε διϖιδε τηε τιµε Τ ιντο Μ βινσ οφ σιζε %τ = Τ/ Μ. Ωε χαν ασσυµε τηατ %τ ισ σµαλλ ενουγη σο τηατ ωε νεϖερ γετ τωο σπικεσ ωιτηιν ανψ ονε βιν βεχαυσε, ατ τηε ενδ οφ τηε χαλχυλατιον, ωε τακε τηε λιµιτ %τ → 0. ΠΤ [ν] ισ τηε προδυχτ οφ τηρεε φαχτορσ: τηε προβαβιλιτψ οφ γενερατ− ινγ ν σπικεσ ωιτηιν α σπεχι⇒εδ σετ οφ τηε Μ βινσ, τηε προβαβιλιτψ οφ νοτ γενερατινγ σπικεσ ιν τηε ρεµαινινγ Μ − ν βινσ, ανδ α χοµβινατοριαλ φαχτορ εθυαλ το τηε νυµβερ οφ ωαψσ οφ πυττινγ ν σπικεσ ιντο Μ βινσ. Τηε προβα− βιλιτψ οφ α σπικε οχχυρρινγ ιν ονε σπεχι⇒χ βιν ισ r%τ, ανδ τηε προβαβιλιτψ οφ ν σπικεσ αππεαρινγ ιν ν σπεχι⇒χ βινσ ισ (r%τ )ν . Σιµιλαρλψ, τηε προβαβιλιτψ οφ νοτ ηαϖινγ α σπικε ιν α γιϖεν βιν ισ (1 − r%τ ), σο τηε προβαβιλιτψ οφ ηαϖινγ τηε ρεµαινινγ Μ − ν βινσ ωιτηουτ ανψ σπικεσ ιν τηεµ ισ (1 − r%τ ) Μ−ν . Φι− ναλλψ, τηε νυµβερ οφ ωαψσ οφ πυττινγ ν σπικεσ ιντο Μ βινσ ισ γιϖεν βψ τηε

ποιντ προχεσσ

ρενεωαλ προχεσσ Ποισσον προχεσσ

26

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ B

1.0

ν=0 ν=1 ν=2 ν=5

ΠΤ[ν]

0.8 0.6 0.4

0.15

0.10

ΠΤ[ν]

A

0.05

0.2 0.0

0.00 0

1

2

3

4

5

6

0

5

10

15

20

ν

rΤ

Φιγυρε 1.11 (Α) Τηε προβαβιλιτψ τηατ α ηοµογενεουσ Ποισσον προχεσσ γενερατεσ ν σπικεσ ιν α τιµε περιοδ οφ δυρατιον Τ πλοττεδ φορ ν = 0, 1, 2, ανδ 5. Τηε προβαβιλιτψ ισ πλοττεδ ασ φυνχτιον οφ τηε ρατε τιµεσ τηε δυρατιον οφ τηε ιντερϖαλ, rΤ, το µακε τηε πλοτ αππλιχαβλε φορ ανψ ρατε. (Β) Τηε προβαβιλιτψ οφ ⇒νδινγ ν σπικεσ δυρινγ α τιµε περιοδ φορ ωηιχη rΤ = 10 (δοτσ) χοµπαρεδ ωιτη α Γαυσσιαν διστριβυτιον ωιτη µεαν ανδ ϖαριανχε εθυαλ το 10 (λινε).

βινοµιαλ χοεφ⇒χιεντ Μ!/( Μ − ν )!ν!. Πυττινγ αλλ τηεσε φαχτορσ τογετηερ, ωε ⇒νδ Μ! ΠΤ [ν] = λιµ ( r % τ )ν ( 1 − r % τ ) Μ−ν . (1.27) %τ→0 ( Μ − ν )!ν!

Το τακε τηε λιµιτ, ωε νοτε τηατ ασ %τ → 0, Μ γροωσ ωιτηουτ βουνδ βεχαυσε Μ%τ = Τ. Βεχαυσε ν ισ ⇒ξεδ, ωε χαν ωριτε Μ − ν ≈ Μ = Τ/%τ. Υσινγ τηισ αππροξιµατιον ανδ δε⇒νινγ ϵ = −r%τ, ωε ⇒νδ τηατ ) *−rΤ λιµ (1 − r%τ ) Μ−ν = λιµ (1 + ϵ)1/ϵ = ε−rΤ = εξπ(−rΤ ) (1.28) %τ→0

ϵ→0

βεχαυσε λιµϵ→0 (1 + ϵ)1/ϵ ισ, βψ δε⇒νιτιον, ε = εξπ(1 ). Μ!/( Μ − ν )! ≈ Μν = ( Τ/%τ )ν , σο

Φορ λαργε Μ,

(rΤ )ν εξπ(−rΤ ) . (1.29) ν! Τηισ ισ χαλλεδ τηε Ποισσον διστριβυτιον. Τηε προβαβιλιτιεσ ΠΤ [ν], φορ α φεω ν ϖαλυεσ, αρε πλοττεδ ασ α φυνχτιον οφ rΤ ιν ⇒γυρε 1.11Α. Νοτε τηατ ασ ν ινχρεασεσ, τηε προβαβιλιτψ ρεαχηεσ ιτσ µαξιµυµ ατ λαργερ Τ ϖαλυεσ ανδ τηατ λαργε ν ϖαλυεσ αρε µορε λικελψ τηαν σµαλλ ονεσ φορ λαργε Τ. Φιγυρε 1.11Β σηοωσ τηε προβαβιλιτιεσ οφ ϖαριουσ νυµβερσ οφ σπικεσ οχχυρρινγ ωηεν τηε αϖεραγε νυµβερ οφ σπικεσ ισ 10. Φορ λαργε rΤ, ωηιχη χορρεσπονδσ το α λαργε εξπεχτεδ νυµβερ οφ σπικεσ, τηε Ποισσον διστριβυτιον αππροαχηεσ α Γαυσ− σιαν διστριβυτιον ωιτη µεαν ανδ ϖαριανχε εθυαλ το rΤ. Φιγυρε 1.11Β σηοωσ τηατ τηισ αππροξιµατιον ισ αλρεαδψ θυιτε γοοδ φορ rΤ = 10. ΠΤ [ν] =

Ποισσον διστριβυτιον

Ωε χαν χοµπυτε τηε ϖαριανχε οφ σπικε χουντσ προδυχεδ βψ α Ποισσον προ− χεσσ φροµ τηε προβαβιλιτιεσ ιν εθυατιον 1.29. Φορ σπικεσ χουντεδ οϖερ αν ιντερϖαλ οφ δυρατιον Τ, τηε ϖαριανχε οφ τηε σπικε χουντ (δεριϖεδ ιν απ− πενδιξ Β) ισ

σν2 = ⟨ν2 ⟩ − ⟨ν⟩2 = rΤ .

(1.30)

1.4

Σπικε−Τραιν Στατιστιχσ

27

Τηυσ τηε ϖαριανχε ανδ µεαν οφ τηε σπικε χουντ αρε εθυαλ. Τηε ρατιο οφ τηεσε τωο θυαντιτιεσ, σν2 /⟨ν⟩, ισ χαλλεδ τηε Φανο φαχτορ ανδ τακεσ τηε ϖαλυε 1 φορ α ηοµογενεουσ Ποισσον προχεσσ, ινδεπενδεντ οφ τηε τιµε ιντερϖαλ Τ. Τηε προβαβιλιτψ δενσιτψ οφ τιµε ιντερϖαλσ βετωεεν αδϕαχεντ σπικεσ ισ χαλλεδ τηε ιντερσπικε ιντερϖαλ διστριβυτιον, ανδ ιτ ισ α υσεφυλ στατιστιχ φορ χηαραχτερ− ιζινγ σπικινγ παττερνσ. Συπποσε τηατ α σπικε οχχυρσ ατ α τιµε τι φορ σοµε ϖαλυε οφ ι. Τηε προβαβιλιτψ οφ α ηοµογενεουσ Ποισσον προχεσσ γενερατινγ τηε νεξτ σπικε σοµεωηερε ιν τηε ιντερϖαλ τι + τ ≤ τι+1 < τι + τ + %τ, φορ σµαλλ %τ, ισ τηε προβαβιλιτψ τηατ νο σπικε ισ ⇒ρεδ φορ α τιµε τ , τιµεσ τηε προβαβιλιτψ, r%τ, οφ γενερατινγ α σπικε ωιτηιν τηε φολλοωινγ σµαλλ ιντερϖαλ %τ. Φροµ εθυατιον 1.29, ωιτη ν = 0, τηε προβαβιλιτψ οφ νοτ ⇒ρινγ α σπικε φορ περιοδ τ ισ εξπ(−rτ), σο τηε προβαβιλιτψ οφ αν ιντερσπικε ιντερϖαλ φαλλινγ βετωεεν τ ανδ τ + %τ ισ Π[τ ≤ τι+1 − τι < τ + %τ] = r%τ εξπ(−rτ) .

Φανο φαχτορ

ιντερσπικε ιντερϖαλ διστριβυτιον

(1.31)

Τηε προβαβιλιτψ δενσιτψ οφ ιντερσπικε ιντερϖαλσ ισ, βψ δε⇒νιτιον, τηισ προβ− αβιλιτψ ωιτη τηε φαχτορ %τ ρεµοϖεδ. Τηυσ, τηε ιντερσπικε ιντερϖαλ διστριβυ− τιον φορ α ηοµογενεουσ Ποισσον σπικε τραιν ισ αν εξπονεντιαλ. Τηε µοστ λικελψ ιντερσπικε ιντερϖαλσ αρε σηορτ ονεσ, ανδ λονγ ιντερϖαλσ ηαϖε α προβα− βιλιτψ τηατ φαλλσ εξπονεντιαλλψ ασ α φυνχτιον οφ τηειρ δυρατιον. Φροµ τηε ιντερσπικε ιντερϖαλ διστριβυτιον οφ α ηοµογενεουσ Ποισσον σπικε τραιν, ωε χαν χοµπυτε τηε µεαν ιντερσπικε ιντερϖαλ, " ∞ 1 δτ τ r εξπ(−rτ) = , ⟨τ⟩ = (1.32) r 0 ανδ τηε ϖαριανχε οφ τηε ιντερσπικε ιντερϖαλσ, " ∞ 1 στ2 = δτ τ 2 r εξπ(−rτ) − ⟨τ⟩2 = 2 . r 0

(1.33)

Τηε ρατιο οφ τηε στανδαρδ δεϖιατιον το τηε µεαν ισ χαλλεδ τηε χοεφ⇒χιεντ οφ ϖαριατιον, Χς =

στ , ⟨τ⟩

(1.34)

ανδ ιτ τακεσ τηε ϖαλυε 1 φορ α ηοµογενεουσ Ποισσον προχεσσ. Τηισ ισ α νεχεσσαρψ, τηουγη νοτ συφ⇒χιεντ, χονδιτιον το ιδεντιφψ α Ποισσον σπικε τραιν. Ρεχαλλ τηατ τηε Φανο φαχτορ φορ α Ποισσον προχεσσ ισ αλσο 1. Φορ ανψ ρενεωαλ προχεσσ, τηε Φανο φαχτορ εϖαλυατεδ οϖερ λονγ τιµε ιντερϖαλσ αππροαχηεσ τηε ϖαλυε Χς2 .

Τηε Σπικε−Τραιν Αυτοχορρελατιον Φυνχτιον Τηε σπικε ιντερϖαλ διστριβυτιον µεασυρεσ τηε διστριβυτιον οφ τιµεσ βετωεεν συχχεσσιϖε αχτιον ποτεντιαλσ ιν α τραιν. Ιτ ισ υσεφυλ το γενεραλιζε τηισ χον− χεπτ ανδ δετερµινε τηε διστριβυτιον οφ τιµεσ βετωεεν ανψ τωο σπικεσ ιν

χοεφ⇒χιεντ οφ ϖαριατιον Χς

28

σπικε−τραιν αυτοχορρελατιον φυνχτιον Θρρ

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

α τραιν. Τηισ ισ χαλλεδ τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον, ανδ ιτ ισ παρτιχυλαρλψ υσεφυλ φορ δετεχτινγ παττερνσ ιν σπικε τραινσ, µοστ νοταβλψ οσ− χιλλατιονσ. Τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ τηε αυτοχορρελατιον οφ τηε νευραλ ρεσπονσε φυνχτιον οφ εθυατιον 1.1 ωιτη ιτσ αϖεραγε οϖερ τιµε ανδ τριαλσ συβτραχτεδ ουτ. Τηε τιµε αϖεραγε οφ τηε νευραλ ρεσπονσε φυνχ− τιον, φροµ εθυατιον 1.4, ισ τηε σπικε−χουντ ρατε ρ, ανδ τηε τριαλ αϖεραγε οφ τηισ θυαντιτψ ισ ⟨ρ⟩ = ⟨ν⟩/ Τ. Τηυσ, τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ " 1 Τ Θρρ (τ) = δτ ⟨(ρ(τ ) − ⟨ρ⟩) (ρ(τ + τ) − ⟨ρ⟩)⟩ . (1.35) Τ 0 Βεχαυσε τηε αϖεραγε ισ συβτραχτεδ φροµ τηε νευραλ ρεσπονσε φυνχτιον ιν τηισ εξπρεσσιον, Θρρ σηουλδ ρεαλλψ βε χαλλεδ αν αυτοχοϖαριανχε, νοτ αν αυτοχορ− ρελατιον, βυτ ιν πραχτιχε ιτ ισνaτ. Τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ χονστρυχτεδ φροµ δατα ιν τηε φορµ οφ α ηιστογραµ βψ διϖιδινγ τιµε ιντο βινσ. Τηε ϖαλυε οφ τηε ηιστογραµ φορ α βιν λαβελεδ ωιτη α ποσιτιϖε ορ νεγατιϖε ιντεγερ µ ισ χοµπυτεδ βψ δετερµινινγ τηε νυµβερ οφ τηε τιµεσ τηατ ανψ τωο σπικεσ ιν τηε τραιν αρε σεπαρατεδ βψ α τιµε ιντερϖαλ λψινγ βετωεεν (µ − 1/2 )%τ ανδ (µ + 1/2 )%τ ωιτη %τ τηε βιν σιζε. Τηισ ινχλυδεσ αλλ παιρινγσ, εϖεν βετωεεν α σπικε ανδ ιτσελφ. Ωε χαλλ τηισ νυµβερ Νµ . Ιφ τηε ιντερϖαλσ βετωεεν τηε ν2 σπικε παιρσ ιν τηε τραιν ωερε υνιφορµλψ διστριβυτεδ οϖερ τηε ρανγε φροµ 0 το Τ, τηερε ωουλδ βε ν2 %τ/ Τ ιντερϖαλσ ιν εαχη βιν. Τηισ υνιφορµ τερµ ισ ρεµοϖεδ φροµ τηε αυτοχορρελατιον ηιστογραµ βψ συβτραχτινγ ν2 %τ/ Τ φροµ Νµ φορ αλλ µ. Τηε σπικε−τραιν αυτοχορρελατιον ηιστογραµ ισ τηεν δε⇒νεδ βψ διϖιδινγ τηε ρεσυλτινγ νυµβερσ βψ Τ, σο τηε ϖαλυε οφ τηε ηιστογραµ ιν βιν µ ισ Ηµ = Νµ / Τ − ν2 %τ/ Τ 2 . Φορ σµαλλ βιν σιζεσ, τηε µ = 0 τερµ ιν τηε ηιστογραµ χουντσ τηε αϖεραγε νυµβερ οφ σπικεσ, τηατ ισ Νµ = ⟨ν⟩ ανδ ιν τηε λιµιτ %τ → 0, Η0 = ⟨ν⟩/ Τ ισ τηε αϖεραγε ⇒ρινγ ρατε ⟨ρ⟩. Βεχαυσε οτηερ βινσ ηαϖε Ηµ οφ ορδερ %τ, τηε λαργε µ = 0 τερµ ισ οφτεν ρεµοϖεδ φροµ ηιστογραµ πλοτσ. Τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ δε⇒νεδ ασ Ηµ /%τ ιν τηε λιµιτ %τ → 0, ανδ ιτ ηασ τηε υνιτσ οφ α ⇒ρινγ ρατε σθυαρεδ. Ιν τηισ λιµιτ, τηε µ = 0 βιν βεχοµεσ α δ φυνχτιον, Η0 /%τ → ⟨ρ⟩δ(τ). Ασ ωε ηαϖε σεεν, τηε διστριβυτιον οφ ιντερσπικε ιντερϖαλσ φορ αδϕαχεντ σπικεσ ιν α ηοµογενεουσ Ποισσον σπικε τραιν ισ εξπονεντιαλ (εθυατιον 1.31). Βψ χοντραστ, τηε ιντερϖαλσ βετωεεν ανψ τωο σπικεσ (νοτ νεχεσσαριλψ αδϕαχεντ) ιν συχη α τραιν αρε υνιφορµλψ διστριβυτεδ. Ασ α ρεσυλτ, τηε συβτραχτιον προ− χεδυρε ουτλινεδ αβοϖε γιϖεσ Ηµ = 0 φορ αλλ βινσ εξχεπτ φορ τηε µ = 0 βιν τηατ χονταινσ τηε χοντριβυτιον οφ τηε ζερο ιντερϖαλσ βετωεεν σπικεσ ανδ τηεµ− σελϖεσ. Τηε αυτοχορρελατιον φυνχτιον φορ α Ποισσον σπικε τραιν γενερατεδ ατ α χονσταντ ρατε ⟨ρ⟩ = r ισ τηυσ Θρρ (τ) = rδ(τ) .

χροσσ−χορρελατιον φυνχτιον

(1.36)

Α χροσσ−χορρελατιον φυνχτιον βετωεεν σπικε τραινσ φροµ τωο διφφερεντ νευ− ρονσ χαν βε δε⇒νεδ βψ αναλογψ ωιτη τηε αυτοχορρελατιον φυνχτιον βψ δε− τερµινινγ τηε διστριβυτιον οφ ιντερϖαλσ βετωεεν παιρσ οφ σπικεσ, ονε τακεν

1.4

Σπικε−Τραιν Στατιστιχσ

29

B

A

-80

0

+80

-80

time (µσ)

0

+80

time (µσ)

Φιγυρε 1.12 Αυτοχορρελατιον ανδ χροσσ−χορρελατιον ηιστογραµσ φορ νευρονσ ιν τηε πριµαρψ ϖισυαλ χορτεξ οφ α χατ. (Α) Αυτοχορρελατιον ηιστογραµσ φορ νευρονσ ρεχορδεδ ιν τηε ριγητ (υππερ) ανδ λεφτ (λοωερ) ηεµισπηερεσ σηοω α περιοδιχ πατ− τερν ινδιχατινγ οσχιλλατιονσ ατ αβουτ 40 Ηζ. Τηε λοωερ διαγραµ ινδιχατεσ στρονγερ οσχιλλατιονσ ιν τηε λεφτ ηεµισπηερε. (Β) Τηε χροσσ−χορρελατιον ηιστογραµ φορ τηεσε τωο νευρονσ σηοωσ τηατ τηειρ οσχιλλατιονσ αρε σψνχηρονιζεδ ωιτη λιττλε τιµε δελαψ. (Αδαπτεδ φροµ Ενγελ ετ αλ., 1991.)

φροµ εαχη τραιν. Τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ αν εϖεν φυνχ− τιον οφ τ , Θρρ (τ) = Θρρ (−τ), βυτ τηε χροσσ−χορρελατιον φυνχτιον ισ νοτ νεχεσ− σαριλψ εϖεν. Α πεακ ατ ζερο ιντερϖαλ ιν α χροσσ−χορρελατιον φυνχτιον σιγνι⇒εσ τηατ τηε τωο νευρονσ αρε ⇒ρινγ σψνχηρονουσλψ. Ασψµµετριχ σηιφτσ ιν τηισ πεακ αωαψ φροµ 0 ρεσυλτ φροµ ⇒ξεδ δελαψσ βετωεεν τηε ⇒ρινγ οφ τηε τωο νευρονσ, ανδ τηεψ ινδιχατε νονσψνχηρονουσ βυτ πηασε−λοχκεδ ⇒ρινγ. Πε− ριοδιχ στρυχτυρε ιν ειτηερ αν αυτοχορρελατιον ορ α χροσσ−χορρελατιον φυνχτιον ορ ηιστογραµ ινδιχατεσ τηατ τηε ⇒ρινγ προβαβιλιτψ οσχιλλατεσ. Συχη περιοδιχ στρυχτυρε ισ σεεν ιν τηε ηιστογραµσ οφ ⇒γυρε 1.12, σηοωινγ 40 Ηζ οσχιλλα− τιονσ ιν νευρονσ οφ χατ πριµαρψ ϖισυαλ χορτεξ τηατ αρε ρουγηλψ σψνχηρονιζεδ βετωεεν τηε τωο χερεβραλ ηεµισπηερεσ.

Τηε Ινηοµογενεουσ Ποισσον Προχεσσ Ωηεν τηε ⇒ρινγ ρατε δεπενδσ ον τιµε, διφφερεντ σεθυενχεσ οφ ν σπικεσ οχ− χυρ ωιτη διφφερεντ προβαβιλιτιεσ, ανδ π[τ1 , τ2 , . . . , τν ] δεπενδσ ον τηε σπικε τιµεσ. Βεχαυσε σπικεσ αρε στιλλ γενερατεδ ινδεπενδεντλψ βψ αν ινηοµογε− νεουσ Ποισσον προχεσσ, τηειρ τιµεσ εντερ ιντο π[τ1 , τ2 , . . . , τν ] ονλψ τηρουγη τηε τιµε−δεπενδεντ ⇒ρινγ ρατε r (τ ). Ασσυµινγ, ασ βεφορε, τηατ τηε σπικε τιµεσ αρε ορδερεδ 0 ≤ τ1 ≤ τ2 ≤ . . . ≤ τν ≤ Τ, τηε προβαβιλιτψ δενσιτψ φορ ν σπικε τιµεσ (δεριϖεδ ιν αππενδιξ Χ) ισ &% " Τ ν δτ r (τ ) r ( τι ) . π[τ1 , τ2 , . . . , τν ] = εξπ − 0

ι=1

(1.37)

30

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

Τηισ ρεσυλτ αππλιεσ ιφ τηε σπικε τιµεσ ηαϖε βεεν ωριττεν ιν τεµποραλ ορδερ. Ιφ τηε σπικε τιµεσ αρε νοτ ορδερεδ, σο τηατ, φορ εξαµπλε, ωε αρε ιντερεστεδ ιν τηε προβαβιλιτψ δενσιτψ φορ ανψ σπικε οχχυρρινγ ατ τηε τιµε τ1 , νοτ νεχεσ− σαριλψ τηε ⇒ρστ σπικε, τηισ εξπρεσσιον σηουλδ βε διϖιδεδ βψ α φαχτορ οφ ν! το αχχουντ φορ τηε νυµβερ οφ διφφερεντ ποσσιβλε ορδερινγσ οφ σπικε τιµεσ.

Τηε Ποισσον Σπικε Γενερατορ Σπικε σεθυενχεσ χαν βε σιµυλατεδ βψ υσινγ σοµε εστιµατε οφ τηε ⇒ρινγ ρατε, rεστ (τ ), πρεδιχτεδ φροµ κνοωλεδγε οφ τηε στιµυλυσ, το δριϖε α Ποισσον προχεσσ. Α σιµπλε προχεδυρε φορ γενερατινγ σπικεσ ιν α χοµπυτερ προγραµ ισ βασεδ ον τηε φαχτ τηατ τηε εστιµατεδ προβαβιλιτψ οφ ⇒ρινγ α σπικε δυρινγ α σηορτ ιντερϖαλ οφ δυρατιον %τ ισ rεστ (τ )%τ. Τηε προγραµ προγρεσσεσ τηρουγη τιµε ιν σµαλλ στεπσ οφ σιζε %τ ανδ γενερατεσ, ατ εαχη τιµε στεπ, α ρανδοµ νυµβερ ξρανδ χηοσεν υνιφορµλψ ιν τηε ρανγε βετωεεν 0 ανδ 1. Ιφ rεστ (τ )%τ > ξρανδ ατ τηατ τιµε στεπ, α σπικε ισ ⇒ρεδ; οτηερωισε ιτ ισ νοτ. Φορ α χονσταντ ⇒ρινγ ρατε, ιτ ισ φαστερ το χοµπυτε σπικε τιµεσ τι φορ ι = 1, 2, . . . ν ιτερατιϖελψ βψ γενερατινγ ιντερσπικε ιντερϖαλσ φροµ αν εξπονεν− τιαλ προβαβιλιτψ δενσιτψ (εθυατιον 1.31). Ιφ ξρανδ ισ υνιφορµλψ διστριβυτεδ οϖερ τηε ρανγε βετωεεν 0 ανδ 1, τηε νεγατιϖε οφ ιτσ λογαριτηµ ισ εξπονεν− τιαλλψ διστριβυτεδ. Τηυσ, ωε χαν γενερατε σπικε τιµεσ ιτερατιϖελψ φροµ τηε φορµυλα τι+1 = τι − λν( ξρανδ )/r. Υνλικε τηε αλγοριτηµ δισχυσσεδ ιν τηε πρεϖι− ουσ παραγραπη, τηισ µετηοδ ωορκσ ονλψ φορ χονσταντ ⇒ρινγ ρατεσ. Ηοωεϖερ, ιτ χαν βε εξτενδεδ το τιµε−δεπενδεντ ρατεσ βψ υσινγ α προχεδυρε χαλλεδ ρεϕεχτιον σαµπλινγ ορ σπικε τηιννινγ. Τηε τηιννινγ τεχηνιθυε ρεθυιρεσ α βουνδ rµαξ ον τηε εστιµατεδ ⇒ρινγ ρατε συχη τηατ rεστ (τ ) ≤ rµαξ ατ αλλ τιµεσ. Ωε ⇒ρστ γενερατε α σπικε σεθυενχε χορρεσπονδινγ το τηε χονσταντ ρατε rµαξ βψ ιτερατινγ τηε ρυλε τι+1 = τι − λν( ξρανδ )/rµαξ . Τηε σπικεσ αρε τηεν τηιννεδ βψ γενερατινγ ανοτηερ ξρανδ φορ εαχη ι ανδ ρεµοϖινγ τηε σπικε ατ τιµε τι φροµ τηε τραιν ιφ rεστ (τι )/rµαξ < ξρανδ . Ιφ rεστ (τι )/rµαξ ≥ ξρανδ , σπικε ι ισ ρε− ταινεδ. Τηιννινγ χορρεχτσ φορ τηε διφφερενχε βετωεεν τηε εστιµατεδ τιµε− δεπενδεντ ρατε ανδ τηε µαξιµυµ ρατε. Φιγυρε 1.13 σηοωσ αν εξαµπλε οφ α µοδελ οφ αν οριεντατιον−σελεχτιϖε ς1 νευρον χονστρυχτεδ ιν τηισ ωαψ. Ιν τηισ µοδελ, τηε εστιµατεδ ⇒ρινγ ρατε ισ δετερµινεδ φροµ τηε ρεσπονσε τυνινγ χυρϖε οφ ⇒γυρε 1.5Β, ' % &2 ( 1 σ (τ ) − σµαξ rεστ (τ ) = φ (σ (τ )) = ρµαξ εξπ − . (1.38) 2 σφ Τηισ ισ αν εξτρεµελψ σιµπλι⇒εδ µοδελ οφ ρεσπονσε δψναµιχσ, βεχαυσε τηε ⇒ρινγ ρατε ατ ανψ γιϖεν τιµε δεπενδσ ονλψ ον τηε ϖαλυε οφ τηε στιµυλυσ ατ τηατ ινσταντ οφ τιµε ανδ νοτ ον ιτσ ρεχεντ ηιστορψ. Μοδελσ τηατ αλλοω φορ α δεπενδενχε οφ ⇒ρινγ ρατε ον στιµυλυσ ηιστορψ αρε δισχυσσεδ ιν χηαπτερ 2. Ιν ⇒γυρε 1.13, τηε οριεντατιον ανγλε ινχρεασεσ ιν α σεθυενχε οφ στεπσ. Τηε ⇒ρινγ ρατε φολλοωσ τηεσε χηανγεσ, ανδ τηε Ποισσον προχεσσ γενερατεσ αν ιρρεγυλαρ ⇒ρινγ παττερν τηατ ρε⇓εχτσ τηε υνδερλψινγ ρατε βυτ ϖαριεσ φροµ τριαλ το τριαλ.

stimulus orientation (degrees)

1.4

Σπικε−Τραιν Στατιστιχσ

31

60 40 20 0 -20 -40 -60

firing rate (Ηζ)

60

40

20

0

50

100

150

200

250

300

350

400

450

500

time (µσ)

spikes

0

Φιγυρε 1.13 Μοδελ οφ αν οριεντατιον−σελεχτιϖε νευρον. Τηε οριεντατιον ανγλε (τοπ πανελ) ωασ ινχρεασεδ φροµ αν ινιτιαλ ϖαλυε οφ −40◦ βψ 20◦ εϖερψ 100 µσ. Τηε ⇒ρινγ ρατε (µιδδλε πανελ) ωασ υσεδ το γενερατε σπικεσ (βοττοµ πανελ) υσινγ α Ποισσον σπικε γενερατορ. Τηε βοττοµ πανελ σηοωσ σπικε σεθυενχεσ γενερατεδ ον ⇒ϖε διφ− φερεντ τριαλσ.

Χερταιν φεατυρεσ οφ νευροναλ ⇒ρινγ ϖιολατε τηε ινδεπενδενχε ασσυµπτιον τηατ φορµσ τηε βασισ οφ τηε Ποισσον µοδελ, ατ λεαστ ιφ α χονσταντ ⇒ρινγ ρατε ισ υσεδ. Ωε ηαϖε αλρεαδψ µεντιονεδ τηε αβσολυτε ανδ ρελατιϖε ρεφραχτορψ περιοδσ, ωηιχη αρε περιοδσ οφ τιµε φολλοωινγ τηε γενερατιον οφ αν αχτιον ποτεντιαλ ωηεν τηε προβαβιλιτψ οφ α σπικε οχχυρρινγ ισ γρεατλψ ορ σοµεωηατ ρεδυχεδ. Φρεθυεντλψ, τηεσε αρε µοστ προµινεντ φεατυρεσ οφ ρεαλ νευροναλ σπικε τραινσ τηατ αρε νοτ χαπτυρεδ βψ α Ποισσον µοδελ. Ρεφραχτορψ εφφεχτσ χαν βε ινχορπορατεδ ιντο α Ποισσον µοδελ οφ σπικε γενερατιον βψ σεττινγ τηε ⇒ρινγ ρατε το 0 ιµµεδιατελψ αφτερ α σπικε ισ ⇒ρεδ, ανδ τηεν λεττινγ ιτ ρετυρν το ιτσ πρεδιχτεδ ϖαλυε αχχορδινγ το σοµε δψναµιχ ρυλε συχη ασ αν εξπονεντιαλ ρεχοϖερψ.

Χοµπαρισον ωιτη ∆ατα Τηε Ποισσον προχεσσ ισ σιµπλε ανδ υσεφυλ, βυτ δοεσ ιτ µατχη δατα ον νευραλ ρεσπονσε ϖαριαβιλιτψ? Το αδδρεσσ τηισ θυεστιον, ωε εξαµινε Φανο φαχτορσ, ιντερσπικε ιντερϖαλ διστριβυτιονσ, ανδ χοεφ⇒χιεντσ οφ ϖαριατιον.

32

B multiplier

1000

100

1.1 1 0.9

10

C exponent

variance (spikes2)

A

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

1

0.1 0.1

1.1 1 0.9

1

10

mean (spikes)

100

3

10

30

100

300

1000

count duration (µσ)

Φιγυρε 1.14 ςαριαβιλιτψ οφ ΜΤ νευρονσ ιν αλερτ µαχαθυε µονκεψσ ρεσπονδινγ το µοϖινγ ϖισυαλ ιµαγεσ. (Α) ςαριανχε οφ τηε σπικε χουντσ φορ α 256 µσ χουντινγ περιοδ πλοττεδ αγαινστ τηε µεαν σπικε χουντ. Τηε στραιγητ λινε ισ τηε πρεδιχτιον οφ τηε Ποισσον µοδελ. ∆ατα αρε φροµ 94 χελλσ ρεχορδεδ υνδερ α ϖαριετψ οφ στιµυλυσ χονδιτιονσ. (Β) Τηε µυλτιπλιερ Α ιν τηε ρελατιονσηιπ βετωεεν σπικε−χουντ ϖαριανχε ανδ µεαν ασ α φυνχτιον οφ τηε δυρατιον οφ τηε χουντινγ ιντερϖαλ. (Χ) Τηε εξπονεντ Β ιν τηισ ρελατιον ασ α φυνχτιον οφ τηε δυρατιον οφ τηε χουντινγ ιντερϖαλ. (Αδαπτεδ φροµ ΟaΚεεφε ετ αλ., 1997.)

Τηε Φανο φαχτορ δεσχριβεσ τηε ρελατιονσηιπ βετωεεν τηε µεαν σπικε χουντ οϖερ α γιϖεν ιντερϖαλ ανδ τηε σπικε−χουντ ϖαριανχε. Μεαν σπικε χουντσ ⟨ν⟩ ανδ ϖαριανχεσ σν2 φροµ α ωιδε ϖαριετψ οφ νευροναλ ρεχορδινγσ ηαϖε βεεν ⇒ττεδ το τηε εθυατιον σν2 = Α⟨ν⟩ Β , ανδ τηε µυλτιπλιερ Α ανδ εξπονεντ Β ηαϖε βεεν δετερµινεδ. Τηε ϖαλυεσ οφ βοτη Α ανδ Β τψπιχαλλψ λιε βετωεεν 1.0 ανδ 1.5. Βεχαυσε τηε Ποισσον µοδελ πρεδιχτσ Α = Β = 1, τηισ ινδιχατεσ τηατ τηε δατα σηοω α ηιγηερ δεγρεε οφ ϖαριαβιλιτψ τηαν τηε Ποισσον µοδελ ωουλδ πρεδιχτ. Ηοωεϖερ, µανψ οφ τηεσε εξπεριµεντσ ινϖολϖε ανεστηετιζεδ ανιµαλσ, ανδ ιτ ισ κνοων τηατ ρεσπονσε ϖαριαβιλιτψ ισ ηιγηερ ιν ανεστηετιζεδ τηαν ιν αλερτ ανιµαλσ.

αρεα ΜΤ

Φιγυρε 1.14 σηοωσ δατα φορ σπικε−χουντ µεανσ ανδ ϖαριανχεσ εξτραχτεδ φροµ ρεχορδινγσ οφ ΜΤ νευρονσ ιν αλερτ µαχαθυε µονκεψσ υσινγ α νυµ− βερ οφ διφφερεντ στιµυλι. Τηε ΜΤ (µεδιαλ τεµποραλ) αρεα ισ α ϖισυαλ ρεγιον οφ τηε πριµατε χορτεξ ωηερε µανψ νευρονσ αρε σενσιτιϖε το ιµαγε µοτιον. Τηε ινδιϖιδυαλ µεανσ ανδ ϖαριανχεσ αρε σχαττερεδ ιν ⇒γυρε 1.14Α, βυτ τηεψ χλυστερ αρουνδ τηε διαγοναλ ωηιχη ισ τηε Ποισσον πρεδιχτιον. Σιµιλαρλψ, τηε ρεσυλτσ σηοω Α ανδ Β ϖαλυεσ χλοσε το 1, τηε Ποισσον ϖαλυεσ (⇒γυρε 1.14Β). Οφ χουρσε, µανψ νευραλ ρεσπονσεσ χαννοτ βε δεσχριβεδ βψ Ποισσον στατισ− τιχσ, βυτ ιτ ισ ρεασσυρινγ το σεε α χασε ωηερε τηε Ποισσον µοδελ σεεµσ α ρεασοναβλε αππροξιµατιον. Ασ µεντιονεδ πρεϖιουσλψ, ωηεν σπικε τραινσ αρε νοτ δεσχριβεδ ϖερψ αχχυρατελψ βψ α Ποισσον µοδελ, ρεφραχτορψ εφφεχτσ αρε οφτεν τηε πριµαρψ ρεασον. Ιντερσπικε ιντερϖαλ διστριβυτιονσ αρε εξτραχτεδ φροµ δατα ασ ιντερσπικε ιν− τερϖαλ ηιστογραµσ βψ χουντινγ τηε νυµβερ οφ ιντερϖαλσ φαλλινγ ιν δισχρετε τιµε βινσ. Φιγυρε 1.15Α πρεσεντσ αν εξαµπλε φροµ τηε ρεσπονσεσ οφ α νον− βυρστινγ χελλ ιν αρεα ΜΤ οφ α µονκεψ ιν ρεσπονσε το ιµαγεσ χονσιστινγ οφ

1.4

Σπικε−Τραιν Στατιστιχσ

33

percent of isi

A

B 6.4

6.4

3.2

3.2

0

0

20

40

60

80

100

0

0

20

40

60

80

100

interspike interval (µσ)

interspike interval (µσ)

Φιγυρε 1.15 (Α) Ιντερσπικε ιντερϖαλ διστριβυτιον φροµ αν ΜΤ νευρον ρεσπονδινγ το α µοϖινγ, ρανδοµ−δοτ ιµαγε. Τηε προβαβιλιτψ οφ ιντερσπικε ιντερϖαλσ φαλλινγ ιντο τηε διφφερεντ βινσ, εξπρεσσεδ ασ α περχενταγε, ισ πλοττεδ αγαινστ ιντερσπικε ιντερϖαλ. (Β) Ιντερσπικε ιντερϖαλ ηιστογραµ γενερατεδ φροµ α Ποισσον µοδελ ωιτη α στοχηαστιχ ρεφραχτορψ περιοδ. (Αδαπτεδ φροµ Βαιρ ετ αλ., 1994.)

ρανδοµλψ µοϖινγ δοτσ ωιτη α ϖαριαβλε αµουντ οφ χοηερενχε ιµποσεδ ον τηειρ µοτιον (σεε χηαπτερ 3 φορ α µορε δεταιλεδ δεσχριπτιον). Φορ ιντερσπικε ιντερϖαλσ λονγερ τηαν αβουτ 10 µσ, τηε σηαπε οφ τηισ ηιστογραµ ισ εξπονεν− τιαλ, ιν αγρεεµεντ ωιτη εθυατιον 1.31. Ηοωεϖερ, φορ σηορτερ ιντερϖαλσ τηερε ισ α δισχρεπανχψ. Ωηιλε τηε ηοµογενεουσ Ποισσον διστριβυτιον οφ εθυα− τιον 1.31 ρισεσ φορ σηορτ ιντερσπικε ιντερϖαλσ, τηε εξπεριµενταλ ρεσυλτσ σηοω α ραπιδ δεχρεασε. Τηισ ισ τηε ρεσυλτ οφ ρεφραχτορινεσσ µακινγ σηορτ ιντερ− σπικε ιντερϖαλσ λεσσ λικελψ τηαν τηε Ποισσον µοδελ ωουλδ πρεδιχτ. ∆ατα ον ιντερσπικε ιντερϖαλσ χαν βε ⇒ττεδ µορε αχχυρατελψ βψ α γαµµα διστριβυτιον, π[τ ] =

r (rτ)κ εξπ(−rτ) κ!

(1.39)

ωιτη κ > 0, τηαν βψ τηε εξπονεντιαλ διστριβυτιον οφ τηε Ποισσον µοδελ, ωηιχη ηασ κ = 0. Φιγυρε 1.15Β σηοωσ α τηεορετιχαλ ηιστογραµ οβταινεδ βψ αδδινγ α ρεφραχ− τορψ περιοδ οφ ϖαριαβλε δυρατιον το τηε Ποισσον µοδελ. Σπικινγ ωασ προ− ηιβιτεδ δυρινγ τηε ρεφραχτορψ περιοδ, ανδ τηεν ωασ δεσχριβεδ ονχε αγαιν βψ α ηοµογενεουσ Ποισσον προχεσσ. Τηε ρεφραχτορψ περιοδ ωασ ρανδοµλψ χηοσεν φροµ α Γαυσσιαν διστριβυτιον ωιτη α µεαν οφ 5 µσ ανδ α στανδαρδ δεϖιατιον οφ 2 µσ (ονλψ ρανδοµ δραωσ τηατ γενερατεδ ποσιτιϖε ρεφραχτορψ περιοδσ ωερε ινχλυδεδ). Τηε ρεσυλτινγ ιντερσπικε ιντερϖαλ διστριβυτιον οφ ⇒γυρε 1.15Β αγρεεσ θυιτε ωελλ ωιτη τηε δατα. Χς ϖαλυεσ εξτραχτεδ φροµ τηε σπικε τραινσ οφ νευρονσ ρεχορδεδ ιν µονκεψσ φροµ αρεα ΜΤ ανδ πριµαρψ ϖισυαλ χορτεξ (ς1) αρε σηοων ιν ⇒γυρε 1.16. Τηε δατα ηαϖε βεεν διϖιδεδ ιντο γρουπσ βασεδ ον τηε µεαν ιντερσπικε ιν− τερϖαλ, ανδ τηε χοεφ⇒χιεντ οφ ϖαριατιον ισ πλοττεδ ασ α φυνχτιον οφ τηισ µεαν ιντερϖαλ, εθυιϖαλεντ το 1/⟨ρ⟩. Εξχεπτ φορ σηορτ µεαν ιντερσπικε ιντερϖαλσ, τηε ϖαλυεσ αρε νεαρ 1, αλτηουγη τηεψ τενδ το χλυστερ σλιγητλψ λοωερ τηαν 1, τηε Ποισσον ϖαλυε. Τηε σµαλλ Χς ϖαλυεσ φορ σηορτ ιντερσπικε ιντερϖαλσ αρε δυε το τηε ρεφραχτορψ περιοδ. Τηε σολιδ χυρϖε ισ τηε πρεδιχτιον οφ α Ποισσον µοδελ ωιτη ρεφραχτορινεσσ. Τηε Ποισσον µοδελ ωιτη ρεφραχτορινεσσ προϖιδεσ α ρεασοναβλψ γοοδ δε− σχριπτιον οφ α σιγνι⇒χαντ αµουντ οφ δατα, εσπεχιαλλψ χονσιδερινγ ιτσ σιµ−

γαµµα διστριβυτιον

34

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

1.2 1.0

Χς

0.8 0.6 0.4 0.2 0

0

10

20

30

average isi (µσ) Φιγυρε 1.16 Χοεφ⇒χιεντσ οφ ϖαριατιον φορ α λαργε νυµβερ οφ ς1 ανδ ΜΤ νευρονσ πλοττεδ ασ α φυνχτιον οφ µεαν ιντερσπικε ιντερϖαλ. Τηε σολιδ χυρϖε ισ τηε ρεσυλτ οφ α Ποισσον µοδελ ωιτη α ρεφραχτορψ περιοδ. (Αδαπτεδ φροµ Σοφτκψ ανδ Κοχη, 1992.)

πλιχιτψ. Ηοωεϖερ, τηερε αρε χασεσ ιν ωηιχη τηε αχχυραχψ ιν τηε τιµινγ ανδ νυµβερσ οφ σπικεσ ⇒ρεδ βψ α νευρον ισ χονσιδεραβλψ ηιγηερ τηαν ωουλδ βε ιµπλιεδ βψ Ποισσον στατιστιχσ. Φυρτηερµορε, εϖεν ωηεν ιτ συχχεσσφυλλψ δεσχριβεσ δατα, τηε Ποισσον µοδελ δοεσ νοτ προϖιδε α µεχηανιστιχ εξπλανα− τιον οφ νευροναλ ρεσπονσε ϖαριαβιλιτψ. Σπικε γενερατιον, βψ ιτσελφ, ισ ηιγηλψ ρελιαβλε ιν ρεαλ νευρονσ. Φιγυρε 1.17 χοµπαρεσ τηε ρεσπονσε οφ ς1 χελλσ το χονσταντ χυρρεντ ινϕεχτιον ιν ϖιϖο ανδ ιν ϖιτρο. Τηε ιν ϖιτρο ρεσπονσε ισ α ρεγυλαρ ανδ ρεπροδυχιβλε σπικε τραιν (λεφτ πανελ). Τηε σαµε χυρρεντ ινϕεχ− τιον παραδιγµ αππλιεδ ιν ϖιϖο προδυχεσ α ηιγηλψ ιρρεγυλαρ παττερν οφ ⇒ρ− ινγ (χεντερ πανελ) σιµιλαρ το τηε ρεσπονσε το α µοϖινγ βαρ στιµυλυσ (ριγητ πανελ). Αλτηουγη σοµε οφ τηε βασιχ στατιστιχαλ προπερτιεσ οφ ⇒ρινγ ϖαριαβιλ− ιτψ µαψ βε χαπτυρεδ βψ τηε Ποισσον µοδελ οφ σπικε γενερατιον, τηε σπικε− γενερατινγ µεχηανισµ ιτσελφ ιν ρεαλ νευρονσ ισ χλεαρλψ νοτ ρεσπονσιβλε φορ τηε ϖαριαβιλιτψ. Ωε εξπλορε ιδεασ αβουτ ποσσιβλε σουρχεσ οφ σπικε−τραιν ϖαρι− αβιλιτψ ιν χηαπτερ 5. Σοµε νευρονσ ⇒ρε αχτιον ποτεντιαλσ ιν χλυστερσ ορ βυρστσ οφ σπικεσ τηατ χαν− νοτ βε δεσχριβεδ βψ α Ποισσον προχεσσ ωιτη α ⇒ξεδ ρατε. Βυρστινγ χαν βε ινχλυδεδ ιν α Ποισσον µοδελ βψ αλλοωινγ τηε ⇒ρινγ ρατε το ⇓υχτυατε ιν ορ− δερ το δεσχριβε τηε ηιγη ρατε οφ ⇒ρινγ δυρινγ α βυρστ. Σοµετιµεσ τηε διστρι− βυτιον οφ βυρστσ τηεµσελϖεσ χαν βε δεσχριβεδ βψ α Ποισσον προχεσσ (συχη α δουβλψ στοχηαστιχ προχεσσ ισ χαλλεδ α Χοξ προχεσσ).

1.5

Τηε Νευραλ Χοδε

Τηε νατυρε οφ τηε νευραλ χοδε ισ α τοπιχ οφ ιντενσε δεβατε ωιτηιν τηε νευρο− σχιενχε χοµµυνιτψ. Μυχη οφ τηε δισχυσσιον ηασ φοχυσεδ ον ωηετηερ νευ− ρονσ υσε ρατε χοδινγ ορ τεµποραλ χοδινγ, οφτεν ωιτηουτ α χλεαρ δε⇒νιτιον οφ ωηατ τηεσε τερµσ µεαν. Ωε φεελ τηατ τηε χεντραλ ισσυε ιν νευραλ χοδινγ ισ ωηετηερ ινδιϖιδυαλ αχτιον ποτεντιαλσ ανδ ινδιϖιδυαλ νευρονσ ενχοδε ινδε−

1.5

Τηε Νευραλ Χοδε in vitro current injection

35 in vivo current injection

in vivo visual stimulation

20 µς 100 µσ

Φιγυρε 1.17 Ιντραχελλυλαρ ρεχορδινγσ φροµ χατ ς1 νευρονσ. Τηε λεφτ πανελ ισ τηε ρε− σπονσε οφ α νευρον ιν αν ιν ϖιτρο σλιχε πρεπαρατιον το χονσταντ χυρρεντ ινϕεχτιον. Τηε χεντερ ανδ ριγητ πανελσ σηοω ρεχορδινγσ φροµ νευρονσ ιν ϖιϖο ρεσπονδινγ το ειτηερ ινϕεχτεδ χυρρεντ (χεντερ) ορ α µοϖινγ ϖισυαλ ιµαγε (ριγητ). (Αδαπτεδ φροµ Ηολτ ετ αλ., 1996.)

πενδεντλψ οφ εαχη οτηερ, ορ ωηετηερ χορρελατιονσ βετωεεν διφφερεντ σπικεσ ανδ διφφερεντ νευρονσ χαρρψ σιγνι⇒χαντ αµουντσ οφ ινφορµατιον. Ωε τηερε− φορε χοντραστ ινδεπενδεντ−σπικε ανδ ινδεπενδεντ−νευρον χοδεσ ωιτη χορ− ρελατιον χοδεσ βεφορε αδδρεσσινγ τηε ισσυε οφ τεµποραλ χοδινγ.

Ινδεπενδεντ−Σπικε, Ινδεπενδεντ−Νευρον, ανδ Χορρελατιον Χοδεσ Τηε νευραλ ρεσπονσε, ανδ ιτσ ρελατιον το τηε στιµυλυσ, αρε χοµπλετελψ χηαρ− αχτεριζεδ βψ τηε προβαβιλιτψ διστριβυτιον οφ σπικε τιµεσ ασ α φυνχτιον οφ τηε στιµυλυσ. Ιφ σπικε γενερατιον χαν βε δεσχριβεδ ασ αν ινηοµογενεουσ Ποισσον προχεσσ, τηισ προβαβιλιτψ διστριβυτιον χαν βε χοµπυτεδ φροµ τηε τιµε−δεπενδεντ ⇒ρινγ ρατε r (τ ), υσινγ εθυατιον 1.37. Ιν τηισ χασε, r (τ ) χον− ταινσ αλλ τηε ινφορµατιον αβουτ τηε στιµυλυσ τηατ χαν βε εξτραχτεδ φροµ τηε σπικε τραιν, ανδ τηε νευραλ χοδε χουλδ ρεασοναβλψ βε χαλλεδ α ρατε χοδε. Υνφορτυνατελψ, τηισ δε⇒νιτιον δοεσ νοτ αγρεε ωιτη χοµµον υσαγε. Ιν− στεαδ, ωε ωιλλ χαλλ α χοδε βασεδ σολελψ ον τηε τιµε−δεπενδεντ ⇒ρινγ ρατε αν ινδεπενδεντ−σπικε χοδε. Τηισ ρεφερσ το τηε φαχτ τηατ τηε γενερατιον οφ εαχη σπικε ισ ινδεπενδεντ οφ αλλ τηε οτηερ σπικεσ ιν τηε τραιν. Ιφ ινδιϖιδ− υαλ σπικεσ δο νοτ ενχοδε ινδεπενδεντλψ οφ εαχη οτηερ, ωε χαλλ τηε χοδε α χορρελατιον χοδε, βεχαυσε χορρελατιονσ βετωεεν σπικε τιµεσ µαψ χαρρψ αδ− διτιοναλ ινφορµατιον. Ιν ρεαλιτψ, ινφορµατιον ισ λικελψ το βε χαρριεδ βοτη βψ ινδιϖιδυαλ σπικεσ ανδ τηρουγη χορρελατιονσ, ανδ σοµε αρβιτραρψ διϖιδινγ λινε µυστ βε εσταβλισηεδ το χηαραχτεριζε τηε χοδε. Ιδεντιφψινγ α χορρελατιον χοδε σηουλδ ρεθυιρε τηατ α σιγνι⇒χαντ αµουντ οφ ινφορµατιον βε χαρριεδ βψ χορρελατιονσ, φορ εξαµπλε, ασ µυχη ασ ισ χαρριεδ βψ τηε ινδιϖιδυαλ σπικεσ. Α σιµπλε εξαµπλε οφ α χορρελατιον χοδε ωουλδ οχχυρ ιφ σιγνι⇒χαντ αµουντσ οφ ινφορµατιον αβουτ α στιµυλυσ ωερε χαρριεδ βψ ιντερσπικε ιντερϖαλσ. Ιν τηισ χασε, ιφ ωε χονσιδερεδ σπικε τιµεσ ινδιϖιδυαλλψ, ινδεπενδεντλψ οφ εαχη οτηερ, ωε ωουλδ µισσ τηε ινφορµατιον χαρριεδ βψ τηε ιντερϖαλσ βετωεεν τηεµ. Τηισ ισ ϕυστ ονε εξαµπλε οφ α χορρελατιον χοδε. Ινφορµατιον χουλδ βε χαρριεδ βψ µορε χοµπλεξ ρελατιονσηιπσ βετωεεν σπικεσ.

ινδεπενδεντ−σπικε χοδε

χορρελατιον χοδε

36

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

Ινδεπενδεντ−σπικε χοδεσ αρε µυχη σιµπλερ το αναλψζε τηαν χορρελατιον χοδεσ, ανδ µοστ ωορκ ον νευραλ χοδινγ ασσυµεσ σπικε ινδεπενδενχε. Ωηεν χαρεφυλ στυδιεσ ηαϖε βεεν δονε, ιτ ηασ βεεν φουνδ τηατ σοµε ιν− φορµατιον ισ χαρριεδ βψ χορρελατιονσ βετωεεν τωο ορ µορε σπικεσ, βυτ τηισ ινφορµατιον ισ ραρελψ λαργερ τηαν 10% οφ τηε ινφορµατιον χαρριεδ βψ σπικεσ χονσιδερεδ ινδεπενδεντλψ. Οφ χουρσε, ιτ ισ ποσσιβλε τηατ, δυε το ουρ ιγνο− ρανχε οφ τηε mρεαλn νευραλ χοδε, ωε ηαϖε νοτ ψετ υνχοϖερεδ ορ εξαµινεδ τηε τψπεσ οφ χορρελατιονσ τηατ αρε µοστ σιγνι⇒χαντ φορ νευραλ χοδινγ. Αλ− τηουγη τηισ ισ νοτ ιµποσσιβλε, ωε ϖιεω ιτ ασ υνλικελψ ανδ φεελ τηατ τηε εϖ− ιδενχε φορ ινδεπενδεντ−σπικε χοδινγ, ατ λεαστ ασ α φαιρλψ αχχυρατε αππροξι− µατιον, ισ θυιτε χονϖινχινγ.

ινδεπενδεντ− νευρον χοδε

σψνχηρονψ ανδ οσχιλλατιονσ

ηιπποχαµπαλ πλαχε χελλσ

Τηε δισχυσσιον το τηισ ποιντ ηασ φοχυσεδ ον ινφορµατιον χαρριεδ βψ σινγλε νευρονσ, βυτ ινφορµατιον ισ τψπιχαλλψ ενχοδεδ βψ νευροναλ ποπυλατιονσ. Ωηεν ωε στυδψ ποπυλατιον χοδινγ, ωε µυστ χονσιδερ ωηετηερ ινδιϖιδ− υαλ νευρονσ αχτ ινδεπενδεντλψ, ορ ωηετηερ χορρελατιονσ βετωεεν διφφερεντ νευρονσ χαρρψ αδδιτιοναλ ινφορµατιον. Τηε αναλψσισ οφ ποπυλατιον χοδινγ ισ εασιεστ ιφ τηε ρεσπονσε οφ εαχη νευρον ισ χονσιδερεδ στατιστιχαλλψ ινδε− πενδεντ, ανδ συχη ινδεπενδεντ−νευρον χοδινγ ισ τψπιχαλλψ ασσυµεδ ιν τηε αναλψσισ οφ ποπυλατιον χοδεσ (χηαπτερ 3). Τηε ινδεπενδεντ−νευρον ηψποτηεσισ δοεσ νοτ µεαν τηατ τηε σπικε τραινσ οφ διφφερεντ νευρονσ αρε νοτ χοµβινεδ ιντο αν ενσεµβλε χοδε. Ρατηερ, ιτ µεανσ τηατ τηεψ χαν βε χοµβινεδ ωιτηουτ τακινγ χορρελατιονσ ιντο αχχουντ. Το τεστ τηε ϖαλιδιτψ οφ τηισ ασσυµπτιον, ωε µυστ ασκ ωηετηερ χορρελατιονσ βετωεεν τηε σπικινγ οφ διφφερεντ νευρονσ προϖιδε αδδιτιοναλ ινφορµατιον αβουτ α στιµυλυσ τηατ χαννοτ βε οβταινεδ βψ χονσιδερινγ αλλ οφ τηειρ ⇒ρινγ παττερνσ ινδιϖιδυαλλψ. Σψνχηρονουσ ⇒ρινγ οφ τωο ορ µορε νευρονσ ισ ονε µεχηανισµ φορ χονϖεψ− ινγ ινφορµατιον ιν α ποπυλατιον χορρελατιον χοδε. Ρηψτηµιχ οσχιλλατιονσ οφ ποπυλατιον αχτιϖιτψ προϖιδε ανοτηερ ποσσιβλε µεχηανισµ, ασ δισχυσσεδ βε− λοω. Βοτη σψνχηρονουσ ⇒ρινγ ανδ οσχιλλατιονσ αρε χοµµον φεατυρεσ οφ τηε αχτιϖιτψ οφ νευροναλ ποπυλατιονσ. Ηοωεϖερ, τηε εξιστενχε οφ τηεσε φεατυρεσ ισ νοτ συφ⇒χιεντ φορ εσταβλισηινγ α χορρελατιον χοδε, βεχαυσε ιτ ισ εσσεντιαλ το σηοω τηατ α σιγνι⇒χαντ αµουντ οφ ινφορµατιον ισ χαρριεδ βψ τηε ρεσυλτινγ χορρελατιονσ. Τηε ασσυµπτιον οφ ινδεπενδεντ−νευρον χοδινγ ισ α υσεφυλ σιµπλι⇒χατιον τηατ ισ νοτ ιν γροσσ χοντραδιχτιον ωιτη εξπεριµενταλ δατα, βυτ ιτ ισ λεσσ ωελλ εσταβλισηεδ ανδ µορε λικελψ το βε χηαλλενγεδ ιν τηε φυτυρε τηαν τηε ινδεπενδεντ−σπικε ηψποτηεσισ. Πλαχε−χελλ χοδινγ οφ σπατιαλ λοχατιον ιν τηε ρατ ηιπποχαµπυσ ισ αν εξαµπλε ιν ωηιχη ατ λεαστ σοµε αδδιτιοναλ ινφορµατιον αππεαρσ το βε χαρριεδ βψ χορ− ρελατιονσ βετωεεν τηε ⇒ρινγ παττερνσ οφ νευρονσ ιν α ποπυλατιον. Τηε ηιπ− ποχαµπυσ ισ α στρυχτυρε λοχατεδ δεεπ ινσιδε τηε τεµποραλ λοβε τηατ πλαψσ αν ιµπορταντ ρολε ιν µεµορψ φορµατιον ανδ ισ ινϖολϖεδ ιν α ϖαριετψ οφ σπατιαλ τασκσ. Τηε ⇒ρινγ ρατεσ οφ µανψ ηιπποχαµπαλ νευρονσ, ρεχορδεδ ωηεν α ρατ ισ µοϖινγ αρουνδ α φαµιλιαρ ενϖιρονµεντ, δεπενδ ον τηε λο− χατιον οφ τηε ανιµαλ ανδ αρε ρεστριχτεδ το σπατιαλλψ λοχαλιζεδ αρεασ χαλλεδ τηε πλαχε ⇒ελδσ οφ τηε χελλσ. Ιν αδδιτιον, ωηεν α ρατ εξπλορεσ αν ενϖιρον− µεντ, ηιπποχαµπαλ νευρονσ ⇒ρε χολλεχτιϖελψ ιν α ρηψτηµιχ παττερν ωιτη α φρεθυενχψ ιν τηε τηετα ρανγε, 7−12 Ηζ. Τηε σπικινγ τιµε οφ αν ινδιϖιδυαλ

phase (degrees)

1.5

Τηε Νευραλ Χοδε

37

360

180

spikes

0 20 0

1.1

1.2

1.3

1.4

position (µ) Φιγυρε 1.18 Ποσιτιον ϖερσυσ πηασε φορ α ηιπποχαµπαλ πλαχε χελλ. Εαχη δοτ ιν τηε υππερ ⇒γυρε σηοωσ τηε πηασε οφ τηε τηετα ρηψτηµ πλοττεδ αγαινστ τηε ποσιτιον οφ τηε ανιµαλ ατ τηε τιµε ωηεν α σπικε ωασ ⇒ρεδ. Τηε λινεαρ ρελατιον σηοωσ τηατ ινφορ− µατιον αβουτ ποσιτιον ισ χονταινεδ ιν τηε ρελατιϖε πηασε οφ ⇒ρινγ. Τηε λοωερ πλοτ ισ α χονϖεντιοναλ πλαχε ⇒ελδ τυνινγ χυρϖε οφ σπικε χουντ ϖερσυσ ποσιτιον. (Αδαπτεδ φροµ ΟaΚεεφε ανδ Ρεχχε, 1993.)

πλαχε χελλ ρελατιϖε το τηε πηασε οφ τηε ποπυλατιον τηετα ρηψτηµ γιϖεσ αδδι− τιοναλ ινφορµατιον αβουτ τηε λοχατιον οφ τηε ρατ νοτ προϖιδεδ βψ πλαχε χελλσ χονσιδερεδ ινδιϖιδυαλλψ. Τηε ρελατιονσηιπ βετωεεν λοχατιον ανδ πηασε οφ πλαχε−χελλ ⇒ρινγ σηοων ιν ⇒γυρε 1.18 µεανσ, φορ εξαµπλε, τηατ ωε χαν δισ− τινγυιση τωο λοχατιονσ ον οπποσιτε σιδεσ οφ τηε πεακ οφ α σινγλε νευρονaσ τυνινγ χυρϖε τηατ χορρεσπονδ το τηε σαµε ⇒ρινγ ρατε, βψ κνοωινγ ωηεν τηε σπικεσ οχχυρρεδ ρελατιϖε το τηε τηετα ρηψτηµ. Ηοωεϖερ, τηε αµουντ οφ αδδιτιοναλ ινφορµατιον χαρριεδ βψ χορρελατιονσ βετωεεν πλαχε−⇒ελδ ⇒ρινγ ανδ τηε τηετα ρηψτηµ ηασ νοτ βεεν φυλλψ θυαντι⇒εδ.

Τεµποραλ Χοδεσ Τηε χονχεπτ οφ τεµποραλ χοδινγ αρισεσ ωηεν ωε χονσιδερ ηοω πρεχισελψ ωε µυστ µεασυρε σπικε τιµεσ το εξτραχτ µοστ οφ τηε ινφορµατιον φροµ α νευροναλ ρεσπονσε. Τηισ πρεχισιον δετερµινεσ τηε τεµποραλ ρεσολυτιον οφ τηε νευραλ χοδε. Α νυµβερ οφ στυδιεσ ηαϖε φουνδ τηατ τηισ τεµποραλ ρεσ− ολυτιον ισ ον α µιλλισεχονδ τιµε σχαλε, ινδιχατινγ τηατ πρεχισε σπικε τιµινγ ισ α σιγνι⇒χαντ ελεµεντ ιν νευραλ ενχοδινγ. Σιµιλαρλψ, ωε χαν ασκ ωηετηερ ηιγη−φρεθυενχψ ⇒ρινγ−ρατε ⇓υχτυατιονσ χαρρψ σιγνι⇒χαντ ινφορµατιον αβουτ α στιµυλυσ. Ωηεν πρεχισε σπικε τιµινγ ορ ηιγη−φρεθυενχψ ⇒ρινγ−ρατε ⇓υχ− τυατιονσ αρε φουνδ το χαρρψ ινφορµατιον, τηε νευραλ χοδε ισ οφτεν ιδεντι⇒εδ ασ α τεµποραλ χοδε.

38

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

Τηε τεµποραλ στρυχτυρε οφ α σπικε τραιν ορ ⇒ρινγ ρατε εϖοκεδ βψ α στιµυλυσ ισ δετερµινεδ βοτη βψ τηε δψναµιχσ οφ τηε στιµυλυσ ανδ βψ τηε νατυρε οφ τηε νευραλ ενχοδινγ προχεσσ. Στιµυλι τηατ χηανγε ραπιδλψ τενδ το γενερατε πρεχισελψ τιµεδ σπικεσ ανδ ραπιδλψ χηανγινγ ⇒ρινγ ρατεσ νο µαττερ ωηατ νευραλ χοδινγ στρατεγψ ισ βεινγ υσεδ. Τεµποραλ χοδινγ ρεφερσ το (ορ σηουλδ ρεφερ το) τεµποραλ πρεχισιον ιν τηε ρεσπονσε τηατ δοεσ νοτ αρισε σολελψ φροµ τηε δψναµιχσ οφ τηε στιµυλυσ, βυτ τηατ νεϖερτηελεσσ ρελατεσ το προπερτιεσ οφ τηε στιµυλυσ. Τηε ιντερπλαψ βετωεεν στιµυλυσ ανδ ενχοδινγ δψναµιχσ µακεσ τηε ιδεντι⇒χατιον οφ α τεµποραλ χοδε διφ⇒χυλτ. Τηε ισσυε οφ τεµποραλ χοδινγ ισ διστινχτ ανδ ινδεπενδεντ φροµ τηε ισσυε οφ ινδεπενδεντ−σπικε χοδινγ δισχυσσεδ αβοϖε. Ιφ τηε ινδεπενδεντ−σπικε ηψ− ποτηεσισ ισ ϖαλιδ, τηε τεµποραλ χηαραχτερ οφ τηε νευραλ χοδε ισ δετερµινεδ βψ τηε βεηαϖιορ οφ r (τ ). Ιφ r (τ ) ϖαριεσ σλοωλψ ωιτη τιµε, τηε χοδε ισ τψπιχαλλψ χαλλεδ α ρατε χοδε, ανδ ιφ ιτ ϖαριεσ ραπιδλψ, τηε χοδε ισ χαλλεδ τεµποραλ. Φιγ− υρε 1.19 προϖιδεσ αν εξαµπλε οφ διφφερεντ ⇒ρινγ−ρατε βεηαϖιορσ φορ α νευρον ιν αρεα ΜΤ οφ α µονκεψ ρεχορδεδ οϖερ µυλτιπλε τριαλσ ωιτη τηρεε διφφερεντ στιµυλι (χονσιστινγ οφ µοϖινγ ρανδοµ δοτσ). Τηε αχτιϖιτψ ιν τηε τοπ πανελ ωουλδ τψπιχαλλψ βε ρεγαρδεδ ασ ρε⇓εχτινγ ρατε χοδινγ, ανδ τηε αχτιϖιτψ ιν τηε βοττοµ πανελ ασ ρε⇓εχτινγ τεµποραλ χοδινγ. Ηοωεϖερ, τηε ιδεντι⇒χα− τιον οφ ρατε ανδ τεµποραλ χοδινγ ιν τηισ ωαψ ισ αµβιγυουσ βεχαυσε ιτ ισ νοτ οβϖιουσ ωηατ χριτεριον σηουλδ βε υσεδ το χηαραχτεριζε τηε χηανγεσ ιν r (τ ) ασ σλοω ορ ραπιδ. Ονε ποσσιβιλιτψ ισ το υσε τηε σπικεσ το διστινγυιση σλοω φροµ ραπιδ, σο τηατ α τεµποραλ χοδε ισ ιδεντι⇒εδ ωηεν πεακσ ιν τηε ⇒ρινγ ρατε οχχυρ ωιτη ρουγηλψ τηε σαµε φρεθυενχψ ασ τηε σπικεσ τηεµσελϖεσ. Ιν τηισ χασε, εαχη πεακ χορρεσπονδσ το τηε ⇒ρινγ οφ ονλψ ονε, ορ ατ µοστ α φεω αχτιον πο− τεντιαλσ. Ωηιλε τηισ δε⇒νιτιον µακεσ ιντυιτιϖε σενσε, ιτ ισ προβλεµατιχ το εξτενδ ιτ το τηε χασε οφ ποπυλατιον χοδινγ. Ωηεν µανψ νευρονσ αρε ιν− ϖολϖεδ, ανψ σινγλε νευρον µαψ ⇒ρε ονλψ α φεω σπικεσ βεφορε ιτσ ⇒ρινγ ρατε χηανγεσ, βυτ χολλεχτιϖελψ τηε ποπυλατιον µαψ προδυχε α λαργε νυµβερ οφ σπικεσ οϖερ τηε σαµε τιµε περιοδ. Τηυσ, βψ τηισ δε⇒νιτιον, α νευρον τηατ αππεαρσ το εµπλοψ α τεµποραλ χοδε µαψ βε παρτ οφ α ποπυλατιον τηατ δοεσ νοτ. Ανοτηερ προποσαλ ισ το υσε τηε στιµυλυσ, ρατηερ τηαν τηε ρεσπονσε, το εσταβ− λιση ωηατ µακεσ α τεµποραλ χοδε. Ιν τηισ χασε, α τεµποραλ χοδε ισ δε⇒νεδ ασ ονε ιν ωηιχη ινφορµατιον ισ χαρριεδ βψ δεταιλσ οφ σπικε τιµινγ ον α σχαλε σηορτερ τηαν τηε φαστεστ τιµε χηαραχτεριζινγ ϖαριατιονσ οφ τηε στιµυλυσ. Τηισ ρεθυιρεσ τηατ ινφορµατιον αβουτ τηε στιµυλυσ βε χαρριεδ βψ Φουριερ χοµ− πονεντσ οφ r (τ ) ατ φρεθυενχιεσ ηιγηερ τηαν τηοσε πρεσεντ ιν τηε στιµυλυσ. Μανψ οφ τηε χασεσ ωηερε α τεµποραλ χοδε ηασ βεεν ρεπορτεδ υσινγ σπικεσ το δε⇒νε τηε νατυρε οφ τηε χοδε ωουλδ βε χαλλεδ ρατε χοδεσ ιφ τηε στιµυλυσ ωερε υσεδ ινστεαδ. Τηε δεβατε βετωεεν ρατε ανδ τεµποραλ χοδινγ δοµινατεσ δισχυσσιονσ αβουτ τηε νατυρε οφ τηε νευραλ χοδε. ∆ετερµινινγ τηε τεµποραλ ρεσολυτιον οφ τηε νευραλ χοδε ισ χλεαρλψ ιµπορταντ, βυτ µυχη οφ τηισ δεβατε σεεµσ υν− ινφορµατιϖε. Ωε φεελ τηατ τηε χεντραλ χηαλλενγε ισ το ιδεντιφψ ρελατιονσηιπσ

spikes/σ

1.6

Χηαπτερ Συµµαρψ

39

140

0

500

1000

time (µσ)

1500

2000

Φιγυρε 1.19 Τιµε−δεπενδεντ ⇒ρινγ ρατεσ φορ διφφερεντ στιµυλυσ παραµετερσ. Τηε ραστερσ σηοω µυλτιπλε τριαλσ δυρινγ ωηιχη αν ΜΤ νευρον ρεσπονδεδ το τηε σαµε µοϖινγ, ρανδοµ−δοτ στιµυλυσ. Φιρινγ ρατεσ, σηοων αβοϖε τηε ραστερ πλοτσ, ωερε χονστρυχτεδ φροµ τηε µυλτιπλε τριαλσ βψ χουντινγ σπικεσ ωιτηιν δισχρετε τιµε βινσ ανδ αϖεραγινγ οϖερ τριαλσ. Τηε τηρεε διφφερεντ ρεσυλτσ αρε φροµ τηε σαµε νευρον βυτ υσινγ διφφερεντ στιµυλι. Τηε στιµυλι ωερε αλωαψσ παττερνσ οφ µοϖινγ ρανδοµ δοτσ, βυτ τηε χοηερενχε οφ τηε µοτιον ωασ ϖαριεδ (σεε χηαπτερ 3 φορ µορε ινφορµατιον αβουτ τηισ στιµυλυσ). (Αδαπτεδ φροµ Βαιρ ανδ Κοχη, 1996.)

βετωεεν τηε ⇒ρινγ παττερνσ οφ διφφερεντ νευρονσ ιν α ρεσπονδινγ ποπυλα− τιον ανδ το υνδερστανδ τηειρ σιγνι⇒χανχε φορ νευραλ χοδινγ.

1.6

Χηαπτερ Συµµαρψ

Ωιτη τηισ χηαπτερ, ωε ηαϖε βεγυν ουρ στυδψ οφ τηε ωαψ τηατ νευρονσ εν− χοδε ινφορµατιον υσινγ σπικεσ. Ωε υσεδ α σεθυενχε οφ δ φυνχτιονσ, τηε νευραλ ρεσπονσε φυνχτιον, το ρεπρεσεντ α σπικε τραιν ανδ δε⇒νεδ τηρεε τψπεσ οφ ⇒ρινγ ρατεσ: τηε τιµε−δεπενδεντ ⇒ρινγ ρατε r (τ ), τηε σπικε−χουντ ρατε ρ,

40

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

ανδ τηε αϖεραγε ⇒ρινγ ρατε ⟨ρ⟩. Ιν τηε δισχυσσιον οφ ηοω τηε ⇒ρινγ ρατε r (τ ) χουλδ βε εξτραχτεδ φροµ δατα, ωε ιντροδυχεδ τηε ιµπορταντ χονχεπτσ οφ α λινεαρ ⇒λτερ ανδ α κερνελ αχτινγ ασ α σλιδινγ ωινδοω φυνχτιον. Τηε αϖεραγε ⇒ρινγ ρατε εξπρεσσεδ ασ α φυνχτιον οφ α στατιχ στιµυλυσ παραµετερ ισ χαλλεδ τηε ρεσπονσε τυνινγ χυρϖε, ανδ ωε πρεσεντεδ εξαµπλεσ οφ Γαυσσιαν, χο− σινε, ανδ σιγµοιδαλ τυνινγ χυρϖεσ. Σπικε−τριγγερεδ αϖεραγεσ οφ στιµυλι, ορ ρεϖερσε χορρελατιον φυνχτιονσ, ωερε ιντροδυχεδ το χηαραχτεριζε τηε σελεχτιϖ− ιτψ οφ νευρονσ το δψναµιχ στιµυλι. Τηε ηοµογενεουσ ανδ ινηοµογενεουσ Ποισσον προχεσσεσ ωερε πρεσεντεδ ασ µοδελσ οφ στοχηαστιχ σπικε σεθυενχεσ. Ωε δε⇒νεδ χορρελατιον φυνχτιονσ, αυτο− ανδ χροσσ−χορρελατιονσ, ανδ ποωερ σπεχτρα, ανδ υσεδ τηε Φανο φαχτορ, ιντερσπικε−ιντερϖαλ ηιστογραµ, ανδ χο− εφ⇒χιεντ οφ ϖαριατιον το χηαραχτεριζε τηε στοχηαστιχ προπερτιεσ οφ σπικινγ. Ωε χονχλυδεδ ωιτη α δισχυσσιον οφ ινδεπενδεντ−σπικε ανδ ινδεπενδεντ− νευρον χοδεσ ϖερσυσ χορρελατιον χοδεσ, ανδ οφ τηε τεµποραλ πρεχισιον οφ σπικε τιµινγ ασ αδδρεσσεδ ιν δισχυσσιονσ οφ τεµποραλ χοδινγ.

1.7

Αππενδιχεσ

Α: Τηε Ποωερ Σπεχτρυµ οφ Ωηιτε Νοισε Τηε Φουριερ τρανσφορµ οφ τηε στιµυλυσ αυτοχορρελατιον φυνχτιον (σεε τηε Ματηεµατιχαλ Αππενδιξ), 1 Θ˜ σσ (ω) = Τ ποωερ σπεχτρυµ

"

Τ/ 2

δτ Θσσ (τ) εξπ(ιωτ) ,

(1.40)

− Τ/ 2

ισ χαλλεδ τηε ποωερ σπεχτρυµ. Βεχαυσε ωε ηαϖε δε⇒νεδ τηε στιµυλυσ ασ περιοδιχ ουτσιδε τηε ρανγε οφ τηε τριαλ Τ, ωε ηαϖε υσεδ α ⇒νιτε−τιµε Φουριερ τρανσφορµ ανδ ω σηουλδ βε ρεστριχτεδ το ϖαλυεσ τηατ αρε ιντεγερ µυλτιπλεσ οφ 2π/ Τ. Ωε χαν χοµπυτε τηε ποωερ σπεχτρυµ φορ α ωηιτε−νοισε στιµυλυσ υσινγ τηε φαχτ τηατ Θσσ (τ) = σσ2 δ(τ) φορ ωηιτε νοισε,

σ2 Θ˜ σσ (ω) = σ Τ

"

Τ/ 2

δτ δ(τ) εξπ(ιωτ) =

− Τ/ 2

σσ2 . Τ

(1.41)

Τηισ ισ τηε δε⇒νινγ χηαραχτεριστιχ οφ ωηιτε νοισε; ιτσ ποωερ σπεχτρυµ ισ ινδεπενδεντ οφ φρεθυενχψ. Υσινγ τηε δε⇒νιτιον οφ τηε στιµυλυσ αυτοχορρελατιον φυνχτιον, ωε χαν αλσο ωριτε " " 1 Τ/ 2 1 Τ ˜ δτ σ (τ ) δτ σ (τ + τ) εξπ(ιωτ) (1.42) Θσσ (ω) = Τ 0 Τ − Τ/ 2 " " 1 Τ/ 2 1 Τ δτ σ (τ ) εξπ(−ιωτ ) δτ σ (τ + τ) εξπ(ιω(τ + τ)) . = Τ 0 Τ − Τ/ 2

1.7 Αππενδιχεσ

41

Τηε ⇒ρστ ιντεγραλ ον τηε ριγητ σιδε οφ τηε σεχονδ εθυαλιτψ ισ τηε χοµπλεξ χονϕυγατε οφ τηε Φουριερ τρανσφορµ οφ τηε στιµυλυσ, 1 σ˜(ω) = Τ

"

Τ

δτ σ (τ ) εξπ(ιωτ ) .

(1.43)

0

Τηε σεχονδ ιντεγραλ, βεχαυσε οφ τηε περιοδιχιτψ οφ τηε ιντεγρανδ (ωηεν ω ισ αν ιντεγερ µυλτιπλε οφ 2π/ Τ) ισ εθυαλ το σ˜(ω). Τηερεφορε, Θ˜ σσ (ω) = |σ˜(ω)|2 ,

(1.44)

ωηιχη προϖιδεσ ανοτηερ δε⇒νιτιον οφ τηε στιµυλυσ ποωερ σπεχτρυµ. Ιτ ισ τηε αβσολυτε σθυαρε οφ τηε Φουριερ τρανσφορµ οφ τηε στιµυλυσ. Αλτηουγη εθυατιονσ 1.40 ανδ 1.44 αρε βοτη σουνδ, τηεψ δο νοτ προϖιδε α στατιστιχαλλψ εφ⇒χιεντ µετηοδ οφ εστιµατινγ τηε ποωερ σπεχτρυµ οφ δισχρετε αππροξιµατιονσ το ωηιτε−νοισε σεθυενχεσ γενερατεδ βψ τηε µετηοδσ δε− σχριβεδ ιν τηισ χηαπτερ. Τηατ ισ, τηε αππαρεντλψ νατυραλ προχεδυρε οφ τακινγ α ωηιτε−νοισε σεθυενχε σ (µ%τ ) φορ µ = 1, 2, . . . , Τ/%τ, ανδ χοµπυτινγ τηε σθυαρε αµπλιτυδε οφ ιτσ Φουριερ τρανσφορµ ατ φρεθυενχψ ω, .2 . Τ/%τ . %Τ .. ! . σ (τ ) εξπ(−ιωµ%τ ). , . . Τ . µ=1

ισ α βιασεδ ανδ εξτρεµελψ νοισψ ωαψ οφ εστιµατινγ Θ˜ σσ (ω). Τηισ εστιµατορ ισ χαλλεδ τηε περιοδογραµ. Τηε στατιστιχαλ προβλεµσ ωιτη τηε περιοδογραµ, ανδ σοµε οφ τηε µανψ συγγεστεδ σολυτιονσ, αρε δισχυσσεδ ιν αλµοστ ανψ τεξτβοοκ ον σπεχτραλ αναλψσισ (σεε, ε.γ., Περχιϖαλ ανδ Ωαλδρον, 1993).

περιοδογραµ

Β: Μοµεντσ οφ τηε Ποισσον ∆ιστριβυτιον Τηε αϖεραγε νυµβερ οφ σπικεσ γενερατεδ βψ α Ποισσον προχεσσ ωιτη χον− σταντ ρατε r οϖερ α τιµε Τ ισ

⟨ν⟩ =

∞ ! ν=0

νΠΤ [ν] =

∞ ! ν (rΤ )ν ν=0

ν!

εξπ(−rΤ ) ,

(1.45)

εξπ(−rΤ ) − ⟨ν⟩2 .

(1.46)

ανδ τηε ϖαριανχε ιν τηε σπικε χουντ ισ

σν2 ( Τ ) =

∞ ! ν=0

ν2 ΠΤ [ν] − ⟨ν⟩2 =

∞ ! ν2 (rΤ )ν ν=0

ν!

Το χοµπυτε τηεσε θυαντιτιεσ, ωε νεεδ το χαλχυλατε τηε τωο συµσ αππεαρινγ ιν τηεσε εθυατιονσ. Α γοοδ ωαψ το δο τηισ ισ το χοµπυτε τηε µοµεντ− γενερατινγ φυνχτιον µοµεντ−γενερατινγ φυνχτιον ∞ ! (rΤ )ν εξπ(αν ) εξπ(−rΤ ) . (1.47) γ (α) = ν! ν=0

42

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

Τηε κτη δεριϖατιϖε οφ γ ωιτη ρεσπεχτ το α, εϖαλυατεδ ατ τηε ποιντ α = 0, ισ . ∞ ! δκ γ .. νκ (rΤ )ν εξπ(−rΤ ) , = ν! δακ .α=0 ν=0

(1.48)

σο ονχε ωε ηαϖε χοµπυτεδ γ, ωε νεεδ το χαλχυλατε ονλψ ιτσ ⇒ρστ ανδ σεχονδ δεριϖατιϖεσ το δετερµινε τηε/συµσ ωε νεεδ. Ρεαρρανγινγ τηε τερµσ α βιτ, ανδ ρεχαλλινγ τηατ εξπ( ζ ) = ζν / ν!, ωε ⇒νδ ) *ν ∞ ! rΤ εξπ(α) γ (α) = εξπ(−rΤ ) = εξπ(−rΤ ) εξπ (rΤεα ) . (1.49) ν! ν=0 Τηε δεριϖατιϖεσ αρε τηεν δγ = rΤεα εξπ(−rΤ ) εξπ(rΤεα ) δα

(1.50)

ανδ δ2 γ = (rΤεα )2 εξπ(−rΤ ) εξπ(rΤεα ) + rΤεα εξπ(−rΤ ) εξπ(rΤεα ) . δ α2

(1.51)

Εϖαλυατινγ τηεσε ατ α = 0 ανδ πυττινγ τηε ρεσυλτσ ιντο εθυατιονσ 1.45 ανδ 1.46 γιϖεσ τηε ρεσυλτσ ⟨ν⟩ = rΤ ανδ σν2 ( Τ ) = (rΤ )2 + rΤ − (rΤ )2 = rΤ.

Χ: Ινηοµογενεουσ Ποισσον Στατιστιχσ Τηε προβαβιλιτψ δενσιτψ φορ α παρτιχυλαρ σπικε σεθυενχε ωιτη σπικε τιµεσ τι φορ ι = 1, 2, . . . , ν ισ οβταινεδ φροµ τηε χορρεσπονδινγ προβαβιλιτψ διστρι− βυτιον βψ µυλτιπλψινγ τηε προβαβιλιτψ τηατ τηε σπικεσ οχχυρ ωηεν τηεψ δο βψ τηε προβαβιλιτψ τηατ νο οτηερ σπικεσ οχχυρ. Ωε βεγιν βψ χοµπυτινγ τηε προβαβιλιτψ τηατ νο σπικεσ αρε γενερατεδ δυρινγ τηε τιµε ιντερϖαλ φροµ τι το τι+1 βετωεεν τωο αδϕαχεντ σπικεσ. Ωε δετερµινε τηισ βψ διϖιδινγ τηε ιντερϖαλ ιντο Μ βινσ οφ σιζε %τ ανδ σεττινγ Μ%τ = τι+1 − τι . Ωε ωιλλ υλ− τιµατελψ τακε τηε λιµιτ %τ → 0. Τηε ⇒ρινγ ρατε δυρινγ βιν µ ωιτηιν τηισ ιντερϖαλ ισ r (τι + µ%τ ). Βεχαυσε τηε προβαβιλιτψ οφ ⇒ρινγ α σπικε ιν τηισ βιν ισ r (τι + µ%τ )%τ, τηε προβαβιλιτψ οφ νοτ ⇒ρινγ α σπικε ισ 1 − r (τι + µ%τ )%τ. Το ηαϖε νο σπικεσ δυρινγ τηε εντιρε ιντερϖαλ, ωε µυστ στρινγ τογετηερ Μ συχη βινσ, ανδ τηε προβαβιλιτψ οφ τηισ οχχυρρινγ ισ τηε προδυχτ οφ τηε ινδι− ϖιδυαλ προβαβιλιτιεσ, Π[νο σπικεσ] =

Μ -

µ=1

(1 − r (τι + µ%τ )%τ ) .

(1.52)

Ωε εϖαλυατε τηισ εξπρεσσιον βψ τακινγ ιτσ λογαριτηµ, λν Π[νο σπικεσ] =

Μ !

µ=1

λν (1 − r (τι + µ%τ )%τ ) ,

(1.53)

1.8

Αννοτατεδ Βιβλιογραπηψ

43

υσινγ τηε φαχτ τηατ τηε λογαριτηµ οφ α προδυχτ ισ τηε συµ οφ τηε λογαριτηµσ οφ τηε µυλτιπλιεδ τερµσ. Υσινγ τηε αππροξιµατιον λν(1 − r (τι + µ%τ )%τ ) ≈ −r (τι + µ%τ )%τ, ϖαλιδ φορ σµαλλ %τ, ωε χαν σιµπλιφψ τηισ το λν Π[νο σπικεσ] = −

Μ !

µ=1

r (τι + µ%τ )%τ .

(1.54)

Ιν τηε λιµιτ %τ → 0, τηε αππροξιµατιον βεχοµεσ εξαχτ ανδ τηισ συµ βε− χοµεσ τηε ιντεγραλ οφ r (τ ) φροµ τι το τι+1 , λν Π[νο σπικεσ] = −

"

τι+1 τι

δτ r (τ ) .

(1.55)

Εξπονεντιατινγ τηισ εθυατιον γιϖεσ τηε ρεσυλτ ωε νεεδ, & % " τι+1 δτ r (τ ) . Π[νο σπικεσ] = εξπ −

(1.56)

τι

Τηε προβαβιλιτψ δενσιτψ π[τ1 , τ2 , . . . , τν ] ισ τηε προδυχτ οφ τηε δενσιτιεσ φορ τηε ινδιϖιδυαλ σπικεσ ανδ τηε προβαβιλιτιεσ οφ νοτ γενερατινγ σπικεσ δυρινγ τηε ιντερσπικε ιντερϖαλσ, βετωεεν τιµε 0 ανδ τηε ⇒ρστ σπικε, ανδ βετωεεν τηε τιµε οφ τηε λαστ σπικε ανδ τηε ενδ οφ τηε τριαλ περιοδ: % " τ1 & & % " Τ π[τ1 , τ2 , . . . , τν ] = εξπ − δτ r (τ ) × δτ r (τ ) εξπ − 0

r (τν )

ν −1 ι=1

τν

% " r (τι ) εξπ −

τι+1

& δτ r (τ ) .

τι

(1.57)

Τηε εξπονεντιαλσ ιν τηισ εξπρεσσιον αλλ χοµβινε βεχαυσε τηε προδυχτ οφ εξπονεντιαλσ ισ τηε εξπονεντιαλ οφ τηε συµ, σο τηε διφφερεντ ιντεγραλσ ιν τηισ συµ αδδ υπ το φορµ α σινγλε ιντεγραλ: % " τ1 % " & % " Τ & ν−1 εξπ − εξπ − δτ r (τ ) εξπ − δτ r (τ ) τν

0

' '" ν−1 " τ1 ! = εξπ − δτ r (τ ) + 0

& % " Τ = εξπ − δτ r (τ ) .

ι=1

τι+1

τι

ι=1

δτ r (τ ) +

"

Τ

τν

τι+1 τι

& δτ r (τ )

((

δτ r (τ )

(1.58)

0

Συβστιτυτινγ τηισ ιντο 1.57 γιϖεσ τηε ρεσυλτ ιν εθυατιον 1.37.

1.8

Αννοτατεδ Βιβλιογραπηψ

Βραιτενβεργ & Σχηυζ (1991) προϖιδεσ σοµε οφ τηε θυαντιτατιϖε µεασυρεσ οφ νευροανατοµιχαλ προπερτιεσ οφ χορτεξ τηατ ωε θυοτε. Ριεκε ετ αλ. (1997)

44

Νευραλ Ενχοδινγ Ι: Φιρινγ Ρατεσ ανδ Σπικε Στατιστιχσ

δεσχριβεσ τηε αναλψσισ οφ σπικεσ ανδ τηε ρελατιονσηιπσ βετωεεν νευραλ ρε− σπονσεσ ανδ στιµυλι, ανδ ισ α γενεραλ ρεφερενχε φορ µατεριαλ ωε πρεσεντ ιν χηαπτερσ 1^4. Γαββιανι & Κοχη (1998) προϖιδεσ ανοτηερ αχχουντ οφ σοµε οφ τηισ µατεριαλ. Τηε µατηεµατιχσ υνδερλψινγ ποιντ προχεσσεσ, τηε νατυραλ στατιστιχαλ µοδελ φορ σπικε σεθυενχεσ, ισ φουνδ ιν Χοξ (1962) ανδ Χοξ & Ισηαµ (1980), ινχλυδινγ τηε ρελατιονσηιπ βετωεεν τηε Φανο φαχτορ ανδ τηε χοεφ⇒χιεντ οφ ϖαριατιον. Α γενεραλ αναλψσισ οφ ηιστογραµ ρεπρεσεν− τατιονσ αππεαρσ ιν Σχοττ (1992), ανδ ωηιτε−νοισε ανδ ⇒λτερινγ τεχηνιθυεσ (ουρ αναλψσισ οφ ωηιχη χοντινυεσ ιν χηαπτερ 2) αρε δεσχριβεδ ιν δε Βοερ & Κυψπερ (1968), Μαρµαρελισ & Μαρµαρελισ (1978), ανδ Ωιενερ (1958). Βερρψ & Μειστερ (1998) δισχυσσ τηε εφφεχτσ οφ ρεφραχτορινεσσ ον παττερνσ οφ σπικινγ. Ιν χηαπτερσ 1 ανδ 3, ωε δισχυσσ τωο σψστεµσ ασσοχιατεδ ωιτη στυδιεσ οφ σπικε ενχοδινγ; τηε Η1 νευρον ιν τηε ϖισυαλ σψστεµ οφ ⇓ιεσ, ρεϖιεωεδ βψ Ριεκε ετ αλ. (1997), ανδ αρεα ΜΤ οφ µονκεψσ, δισχυσσεδ βψ Παρκερ & Νεω− σοµε (1998). Ωανδελλ (1995) ιντροδυχεσ οριεντατιον ανδ δισπαριτψ τυνινγ, ρελεϖαντ το εξαµπλεσ πρεσεντεδ ιν τηισ χηαπτερ.

2

Νευραλ Ενχοδινγ ΙΙ: Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

2.1

Ιντροδυχτιον

Τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ ιντροδυχεδ ιν χηαπτερ 1 ισ α σταν− δαρδ ωαψ οφ χηαραχτεριζινγ τηε σελεχτιϖιτψ οφ α νευρον. Ιν τηισ χηαπτερ, ωε σηοω ηοω σπικε−τριγγερεδ αϖεραγεσ ανδ ρεϖερσε−χορρελατιον τεχηνιθυεσ χαν βε υσεδ το χονστρυχτ εστιµατεσ οφ ⇒ρινγ ρατεσ εϖοκεδ βψ αρβιτραρψ τιµε−δεπενδεντ στιµυλι. Φιρινγ ρατεσ χαλχυλατεδ διρεχτλψ φροµ ρεϖερσε− χορρελατιον φυνχτιονσ προϖιδε ονλψ α λινεαρ εστιµατε οφ τηε ρεσπονσε οφ α νευρον, βυτ ιν τηισ χηαπτερ ωε αλσο πρεσεντ ϖαριουσ µετηοδσ φορ ινχλυδινγ νονλινεαρ εφφεχτσ συχη ασ ⇒ρινγ τηρεσηολδσ. Σπικε−τριγγερεδ αϖεραγεσ ανδ ρεϖερσε−χορρελατιον τεχηνιθυεσ ηαϖε βεεν υσεδ εξτενσιϖελψ το στυδψ προπερτιεσ οφ ϖισυαλλψ ρεσπονσιϖε νευρονσ ιν τηε ρετινα (ρετιναλ γανγλιον χελλσ), λατεραλ γενιχυλατε νυχλευσ (ΛΓΝ), ανδ πρι− µαρψ ϖισυαλ χορτεξ (ς1 ορ αρεα 17). Ατ τηεσε εαρλψ σταγεσ οφ ϖισυαλ προχεσσ− ινγ, τηε ρεσπονσεσ οφ σοµε νευρονσ (σιµπλε χελλσ ιν πριµαρψ ϖισυαλ χορτεξ, φορ εξαµπλε) χαν βε δεσχριβεδ θυιτε αχχυρατελψ υσινγ τηισ αππροαχη. Οτηερ νευρονσ (χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ, φορ εξαµπλε) χαν βε δε− σχριβεδ βψ εξτενδινγ τηε φορµαλισµ. Ρεϖερσε−χορρελατιον τεχηνιθυεσ ηαϖε αλσο βεεν αππλιεδ το ρεσπονσεσ οφ νευρονσ ιν ϖισυαλ αρεασ ς2, αρεα 18, ανδ ΜΤ, βυτ τηεψ γενεραλλψ φαιλ το χαπτυρε τηε µορε χοµπλεξ ανδ νονλινεαρ φεα− τυρεσ τψπιχαλ οφ ρεσπονσεσ ατ λατερ σταγεσ οφ τηε ϖισυαλ σψστεµ. ∆εσχριπτιονσ οφ ϖισυαλ ρεσπονσεσ βασεδ ον ρεϖερσε χορρελατιον αρε αππροξιµατε, ανδ τηεψ δο νοτ εξπλαιν ηοω ϖισυαλ ρεσπονσεσ αρισε φροµ τηε σψναπτιχ, χελλυλαρ, ανδ νετωορκ προπερτιεσ οφ ρετιναλ, ΛΓΝ, ανδ χορτιχαλ χιρχυιτσ. Νεϖερτηελεσσ, τηεψ προϖιδε αν ιµπορταντ φραµεωορκ φορ χηαραχτεριζινγ ρεσπονσε σελεχ− τιϖιτιεσ, α ρεφερενχε ποιντ φορ ιδεντιφψινγ ανδ χηαραχτεριζινγ νοϖελ εφφεχτσ, ανδ α βασισ φορ βυιλδινγ µεχηανιστιχ µοδελσ, σοµε οφ ωηιχη αρε δισχυσσεδ ατ τηε ενδ οφ τηισ χηαπτερ ανδ ιν χηαπτερ 7.

2.2

Εστιµατινγ Φιρινγ Ρατεσ

Ιν χηαπτερ 1, ωε δισχυσσεδ α σιµπλε µοδελ ιν ωηιχη ⇒ρινγ ρατεσ ωερε εστι− µατεδ ασ ινσταντανεουσ φυνχτιονσ οφ τηε στιµυλυσ, υσινγ ρεσπονσε τυνινγ

ρετινα ΛΓΝ ς1, αρεα 17

46

⇒ρινγ ρατε εστιµατε rεστ (τ )

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

χυρϖεσ. Τηε αχτιϖιτψ οφ α νευρον ατ τιµε τ τψπιχαλλψ δεπενδσ ον τηε βεηαϖ− ιορ οφ τηε στιµυλυσ οϖερ α περιοδ οφ τιµε σταρτινγ α φεω ηυνδρεδ µιλλισεχ− ονδσ πριορ το τ ανδ ενδινγ περηαπσ τενσ οφ µιλλισεχονδσ βεφορε τ. Ρεϖερσε− χορρελατιον µετηοδσ χαν βε υσεδ το χονστρυχτ α µορε αχχυρατε µοδελ τηατ ινχλυδεσ τηε εφφεχτσ οφ τηε στιµυλυσ οϖερ συχη αν εξτενδεδ περιοδ οφ τιµε. Τηε βασιχ προβλεµ ισ το χονστρυχτ αν εστιµατε rεστ (τ ) οφ τηε ⇒ρινγ ρατε r (τ ) εϖοκεδ βψ α στιµυλυσ σ (τ ). Τηε σιµπλεστ ωαψ το χονστρυχτ αν εστιµατε ισ το ασσυµε τηατ τηε ⇒ρινγ ρατε ατ ανψ γιϖεν τιµε χαν βε εξπρεσσεδ ασ α ωειγητεδ συµ οφ τηε ϖαλυεσ τακεν βψ τηε στιµυλυσ ατ εαρλιερ τιµεσ. Βε− χαυσε τιµε ισ α χοντινυουσ ϖαριαβλε, τηισ mσυµn αχτυαλλψ τακεσ τηε φορµ οφ αν ιντεγραλ, ανδ ωε ωριτε " ∞ δτ ∆ (τ)σ (τ − τ) . (2.1) rεστ (τ ) = r0 + 0

Τηε τερµ r0 αχχουντσ φορ ανψ βαχκγρουνδ ⇒ρινγ τηατ µαψ οχχυρ ωηεν σ = 0. ∆ (τ) ισ α ωειγητινγ φαχτορ τηατ δετερµινεσ ηοω στρονγλψ, ανδ ωιτη ωηατ σιγν, τηε ϖαλυε οφ τηε στιµυλυσ ατ τιµε τ − τ αφφεχτσ τηε ⇒ρινγ ρατε ατ τιµε τ. Νοτε τηατ τηε ιντεγραλ ιν εθυατιον 2.1 ισ α λινεαρ ⇒λτερ οφ τηε σαµε φορµ ασ τηε εξπρεσσιονσ υσεδ το χοµπυτε rαππροξ (τ ) ιν χηαπτερ 1. Ασ δισχυσσεδ ιν χηαπτερ 1, σενσορψ σψστεµσ τενδ το αδαπτ το τηε αβσολυτε ιντενσιτψ οφ α στιµυλυσ. Ιτ ισ εασιερ το αχχουντ φορ τηε ρεσπονσεσ το ⇓υχτυ− ατιονσ οφ α στιµυλυσ αρουνδ σοµε µεαν βαχκγρουνδ λεϖελ τηαν ιτ ισ ισ το αχχουντ φορ αδαπτατιον προχεσσεσ. Ωε τηερεφορε ασσυµε τηρουγηουτ τηισ χηαπτερ τηατ τηε στιµυλυσ παραµετερ σ (τ ) ηασ βεεν δε⇒νεδ ωιτη ιτσ µεαν ϖαλυε συβτραχτεδ ουτ. Τηισ µεανσ τηατ τηε τιµε ιντεγραλ οφ σ (τ ) οϖερ τηε δυρατιον οφ α τριαλ ισ 0.

ςολτερρα εξπανσιον

Ωιενερ εξπανσιον Ωιενερ κερνελ

Ωε ηαϖε προϖιδεδ α ηευριστιχ ϕυστι⇒χατιον φορ τηε τερµσ ιν εθυατιον 2.1 βυτ, µορε φορµαλλψ, τηεψ χορρεσπονδ το τηε ⇒ρστ τωο τερµσ ιν α σψστεµατιχ εξπανσιον οφ τηε ρεσπονσε ιν ποωερσ οφ τηε στιµυλυσ. Συχη αν εξπανσιον, χαλλεδ α ςολτερρα εξπανσιον, ισ τηε φυνχτιοναλ εθυιϖαλεντ οφ τηε Ταψλορ σεριεσ εξπανσιον υσεδ το γενερατε ποωερ σεριεσ αππροξιµατιονσ οφ φυνχτιονσ. Φορ τηε χασε ωε αρε χονσιδερινγ, ιτ τακεσ τηε φορµ " " rεστ (τ ) = r0 + δτ ∆ (τ)σ (τ − τ) + δτ1 δτ2 ∆2 (τ1 , τ2 )σ (τ − τ1 )σ (τ − τ2 ) + " δτ1 δτ2 δτ3 ∆3 (τ1 , τ2 , τ3 )σ (τ − τ1 )σ (τ − τ2 )σ (τ − τ3 ) + . . . . (2.2) Τηισ σεριεσ ωασ ρεαρρανγεδ βψ Ωιενερ το µακε τηε τερµσ εασιερ το χοµπυτε. Τηε ⇒ρστ τωο τερµσ οφ τηε ςολτερρα ανδ Ωιενερ εξπανσιονσ αρε ιδεντιχαλ ανδ αρε γιϖεν βψ τηε τωο εξπρεσσιονσ ον τηε ριγητ σιδε οφ εθυατιον 2.1. Φορ τηισ ρεασον, ∆ ισ χαλλεδ τηε ⇒ρστ Ωιενερ κερνελ, τηε λινεαρ κερνελ, ορ, ωηεν ηιγηερ−ορδερ τερµσ (τερµσ ινϖολϖινγ µορε τηαν ονε φαχτορ οφ τηε στιµυλυσ) αρε νοτ βεινγ χονσιδερεδ, σιµπλψ τηε κερνελ. Το χονστρυχτ αν εστιµατε οφ τηε ⇒ρινγ ρατε βασεδ ον εθυατιον 2.1, ωε χηοοσε τηε κερνελ ∆ το µινιµιζε τηε σθυαρεδ διφφερενχε βετωεεν τηε εστιµατεδ ρεσπονσε το α στιµυλυσ ανδ τηε αχτυαλ µεασυρεδ ρεσπονσε αϖεραγεδ οϖερ

2.2

Εστιµατινγ Φιρινγ Ρατεσ

47

τηε δυρατιον οφ τηε τριαλ, Τ, 1 Ε= Τ

"

Τ

0

δτ (rεστ (τ ) − r (τ ))2 .

(2.3)

Τηισ εξπρεσσιον χαν βε µινιµιζεδ βψ σεττινγ ιτσ δεριϖατιϖε ωιτη ρεσπεχτ το τηε φυνχτιον ∆ το 0 (σεε αππενδιξ Α). Τηε ρεσυλτ ισ τηατ ∆ σατισ⇒εσ αν εθυατιον ινϖολϖινγ τωο θυαντιτιεσ ιντροδυχεδ ιν χηαπτερ 1, τηε ⇒ρινγ ρατε− # στιµυλυσ χορρελατιον φυνχτιον, Θrσ (τ) =# δτ r (τ ) σ (τ + τ)/ Τ, ανδ τηε στιµυ− λυσ αυτοχορρελατιον φυνχτιον, Θσσ (τ) = δτ σ (τ ) σ (τ + τ)/ Τ: " ∞ δτ ′ Θσσ (τ − τ ′ ) ∆ (τ ′ ) = Θrσ (−τ) . (2.4)

οπτιµαλ κερνελ

0

Τηε µετηοδ ωε αρε δεσχριβινγ ισ χαλλεδ ρεϖερσε χορρελατιον βεχαυσε τηε ⇒ρ− ινγ ρατε^στιµυλυσ χορρελατιον φυνχτιον ισ εϖαλυατεδ ατ −τ ιν τηισ εθυατιον. Εθυατιον 2.4 χαν βε σολϖεδ µοστ εασιλψ ιφ τηε στιµυλυσ ισ ωηιτε νοισε, αλ− τηουγη ιτ χαν βε σολϖεδ ιν τηε γενεραλ χασε ασ ωελλ (σεε αππενδιξ Α). Φορ α ωηιτε−νοισε στιµυλυσ Θσσ (τ) = σσ2 δ(τ) (σεε χηαπτερ 1), σο τηε λεφτ σιδε οφ εθυατιον 2.4 ισ " ∞ δτ ′ δ(τ − τ ′ ) ∆ (τ ′ ) = σσ2 ∆ (τ) . (2.5) σσ2 0

Ασ α ρεσυλτ, τηε κερνελ τηατ προϖιδεσ τηε βεστ λινεαρ εστιµατε οφ τηε ⇒ρινγ ρατε ισ ∆ (τ) =

Θrσ (−τ) ⟨ρ⟩Χ (τ) = , σσ2 σσ2

(2.6)

ωηερε Χ (τ) ισ τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ ανδ ⟨ρ⟩ ισ τηε αϖερ− αγε ⇒ρινγ ρατε οφ τηε νευρον. Φορ τηε σεχονδ εθυαλιτψ, ωε ηαϖε υσεδ τηε ρελατιον Θrσ (−τ) = ⟨ρ⟩Χ (τ) φροµ χηαπτερ 1. Βασεδ ον τηισ ρεσυλτ, τηε σταν− δαρδ µετηοδ υσεδ το δετερµινε τηε οπτιµαλ κερνελ ισ το µεασυρε τηε σπικε− τριγγερεδ αϖεραγε στιµυλυσ ιν ρεσπονσε το α ωηιτε−νοισε στιµυλυσ. Ιν χηαπτερ 1, ωε ιντροδυχεδ τηε Η1 νευρον οφ τηε ⇓ψ ϖισυαλ σψστεµ, ωηιχη ρεσπονδσ το µοϖινγ ιµαγεσ. Φιγυρε 2.1 σηοωσ α πρεδιχτιον οφ τηε ⇒ρινγ ρατε οφ τηισ νευρον οβταινεδ φροµ α λινεαρ ⇒λτερ. Τηε ϖελοχιτψ οφ τηε µοϖ− ινγ ιµαγε ισ πλοττεδ ιν 2.1Α, ανδ τωο τψπιχαλ ρεσπονσεσ αρε σηοων ιν 2.1Β. Τηε ⇒ρινγ ρατε πρεδιχτεδ φροµ α λινεαρ εστιµατορ, ασ δισχυσσεδ αβοϖε, ανδ τηε ⇒ρινγ ρατε χοµπυτεδ φροµ τηε δατα βψ βιννινγ ανδ χουντινγ σπικεσ αρε χοµπαρεδ ιν ⇒γυρε 2.1Χ. Τηε αγρεεµεντ ισ γοοδ ιν ρεγιονσ ωηερε τηε µεα− συρεδ ρατε ϖαριεσ σλοωλψ, βυτ τηε εστιµατε φαιλσ το χαπτυρε ηιγη−φρεθυενχψ ⇓υχτυατιονσ οφ τηε ⇒ρινγ ρατε, πρεσυµαβλψ βεχαυσε οφ νονλινεαρ εφφεχτσ νοτ χαπτυρεδ βψ τηε λινεαρ κερνελ. Σοµε συχη εφφεχτσ χαν βε δεσχριβεδ βψ α στατιχ νονλινεαρ φυνχτιον, ασ δισχυσσεδ βελοω. Οτηερσ µαψ ρεθυιρε ινχλυδ− ινγ ηιγηερ−ορδερ τερµσ ιν α ςολτερρα ορ Ωιενερ εξπανσιον.

ωηιτε−νοισε κερνελ

48

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

60

σ (degrees/ σ)

40 20 0 -20 -40 -60

spikes

B

firing rate (Ηζ)

C 100

50

0 0

100

200

300

400

500

time (µσ)

Φιγυρε 2.1 Πρεδιχτιον οφ τηε ⇒ρινγ ρατε φορ αν Η1 νευρον ρεσπονδινγ το α µοϖινγ ϖι− συαλ ιµαγε. (Α) Τηε ϖελοχιτψ οφ τηε ιµαγε υσεδ το στιµυλατε τηε νευρον. (Β) Τωο οφ τηε 100 σπικε σεθυενχεσ υσεδ ιν τηισ εξπεριµεντ. (Χ) Χοµπαρισον οφ τηε µεασυρεδ ανδ χοµπυτεδ ⇒ρινγ ρατεσ. Τηε δασηεδ λινε ισ τηε ⇒ρινγ ρατε εξτραχτεδ διρεχτλψ φροµ τηε σπικε τραινσ. Τηε σολιδ λινε ισ αν εστιµατε οφ τηε ⇒ρινγ ρατε χονστρυχτεδ βψ λινεαρλψ ⇒λτερινγ τηε στιµυλυσ ωιτη αν οπτιµαλ κερνελ. (Αδαπτεδ φροµ Ριεκε ετ αλ., 1997.)

Τηε Μοστ Εφφεχτιϖε Στιµυλυσ Νευροναλ σελεχτιϖιτψ ισ οφτεν χηαραχτεριζεδ βψ δεσχριβινγ στιµυλι τηατ εϖοκε µαξιµαλ ρεσπονσεσ. Τηε ρεϖερσε−χορρελατιον αππροαχη προϖιδεσ α βασισ φορ τηισ προχεδυρε βψ ρελατινγ τηε οπτιµαλ κερνελ φορ ⇒ρινγ−ρατε εστιµατιον το τηε στιµυλυσ πρεδιχτεδ το εϖοκε τηε µαξιµυµ ⇒ρινγ ρατε, συβϕεχτ το α χον− στραιντ. Α χονστραιντ ισ εσσεντιαλ βεχαυσε τηε λινεαρ εστιµατε ιν εθυατιον 2.1 ισ υνβουνδεδ. Τηε χονστραιντ ωε υσε ισ τηατ τηε τιµε ιντεγραλ οφ τηε σθυαρε οφ τηε στιµυλυσ οϖερ τηε δυρατιον οφ τηε τριαλ ισ ηελδ ⇒ξεδ. Ωε χαλλ τηισ ιντε− γραλ τηε στιµυλυσ ενεργψ. Τηε στιµυλυσ φορ ωηιχη εθυατιον 2.1 πρεδιχτσ τηε µαξιµυµ ρεσπονσε ατ σοµε ⇒ξεδ τιµε συβϕεχτ το τηισ χονστραιντ, ισ χοµ− πυτεδ ιν αππενδιξ Β. Τηε ρεσυλτ ισ τηατ τηε στιµυλυσ προδυχινγ τηε µαξι− µυµ ρεσπονσε ισ προπορτιοναλ το τηε οπτιµαλ λινεαρ κερνελ ορ, εθυιϖαλεντλψ, το τηε ωηιτε−νοισε σπικε−τριγγερεδ αϖεραγε στιµυλυσ. Τηισ ισ αν ιµπορταντ ρεσυλτ βεχαυσε ιν χασεσ ωηερε α ωηιτε−νοισε αναλψσισ ηασ νοτ βεεν δονε, ωε µαψ στιλλ ηαϖε σοµε ιδεα ωηατ στιµυλυσ προδυχεσ τηε µαξιµυµ ρεσπονσε. Τηε µαξιµυµ στιµυλυσ αναλψσισ προϖιδεσ αν ιντυιτιϖε ιντερπρετατιον οφ

2.2

Εστιµατινγ Φιρινγ Ρατεσ

49

τηε λινεαρ εστιµατε οφ εθυατιον 2.1. Ατ ⇒ξεδ στιµυλυσ ενεργψ, τηε ιντεγραλ ιν 2.1 µεασυρεσ τηε οϖερλαπ βετωεεν τηε αχτυαλ στιµυλυσ ανδ τηε µοστ εφ− φεχτιϖε στιµυλυσ. Ιν οτηερ ωορδσ, ιτ ινδιχατεσ ηοω ωελλ τηε αχτυαλ στιµυλυσ µατχηεσ τηε µοστ εφφεχτιϖε στιµυλυσ. Μισµατχηεσ βετωεεν τηεσε τωο ρε− δυχε τηε ϖαλυε οφ τηε ιντεγραλ ανδ ρεσυλτ ιν λοωερ πρεδιχτιονσ φορ τηε ⇒ρινγ ρατε.

Στατιχ Νονλινεαριτιεσ Τηε οπτιµαλ κερνελ προδυχεσ αν εστιµατε οφ τηε ⇒ρινγ ρατε τηατ ισ α λινεαρ φυνχτιον οφ τηε στιµυλυσ. Νευρονσ ανδ νερϖουσ σψστεµσ αρε νονλινεαρ, σο α λινεαρ εστιµατε ισ ονλψ αν αππροξιµατιον, αλβειτ α υσεφυλ ονε. Τηε λιν− εαρ πρεδιχτιον ηασ τωο οβϖιουσ προβλεµσ: τηερε ισ νοτηινγ το πρεϖεντ τηε πρεδιχτεδ ⇒ρινγ ρατε φροµ βεχοµινγ νεγατιϖε, ανδ τηε πρεδιχτεδ ρατε δοεσ νοτ σατυρατε, βυτ ινστεαδ ινχρεασεσ ωιτηουτ βουνδ ασ τηε µαγνιτυδε οφ τηε στιµυλυσ ινχρεασεσ. Ονε ωαψ το δεαλ ωιτη τηεσε ανδ σοµε οφ τηε οτηερ δε− ⇒χιενχιεσ οφ α λινεαρ πρεδιχτιον ισ το ωριτε τηε ⇒ρινγ ρατε ασ α βαχκγρουνδ ρατε πλυσ α νονλινεαρ φυνχτιον οφ τηε λινεαρλψ ⇒λτερεδ στιµυλυσ. Ωε υσε Λ το ρεπρεσεντ τηε λινεαρ τερµ ωε ηαϖε βεεν δισχυσσινγ τηυσ φαρ: " ∞ Λ (τ ) = δτ ∆ (τ)σ (τ − τ) . (2.7) 0

Τηε µοδι⇒χατιον ισ το ρεπλαχε τηε λινεαρ πρεδιχτιον rεστ (τ ) = r0 + Λ (τ ) ωιτη τηε γενεραλιζατιον rεστ (τ ) = r0 + Φ ( Λ (τ )) ,

(2.8)

ωηερε Φ ισ αν αρβιτραρψ φυνχτιον. Φ ισ χαλλεδ α στατιχ νονλινεαριτψ το στρεσσ τηατ ιτ ισ α φυνχτιον οφ τηε λινεαρ ⇒λτερ ϖαλυε εϖαλυατεδ ινσταντανεουσλψ ατ τηε τιµε οφ τηε ρατε εστιµατιον. Ιφ Φ ισ αππροπριατελψ βουνδεδ φροµ αβοϖε ανδ βελοω, τηε εστιµατεδ ⇒ρινγ ρατε ωιλλ νεϖερ βε νεγατιϖε ορ υνρεαλιστι− χαλλψ λαργε. Φ χαν βε εξτραχτεδ φροµ δατα βψ µεανσ οφ τηε γραπηιχαλ προχεδυρε ιλλυσ− τρατεδ ιν ⇒γυρε 2.2Α. Φιρστ, α λινεαρ εστιµατε οφ τηε ⇒ρινγ ρατε ισ χοµπυτεδ υσινγ τηε οπτιµαλ κερνελ δε⇒νεδ βψ εθυατιον 2.4. Νεξτ α πλοτ ισ µαδε οφ τηε παιρσ οφ ποιντσ ( Λ (τ ), r (τ )) ατ ϖαριουσ τιµεσ ανδ φορ ϖαριουσ στιµυλι, ωηερε r (τ ) ισ τηε αχτυαλ ρατε εξτραχτεδ φροµ τηε δατα. Τηερε ωιλλ βε α χερταιν αµουντ οφ σχαττερ ιν τηισ πλοτ δυε το τηε ιναχχυραχψ οφ τηε εστιµατιον. Ιφ τηε σχαττερ ισ νοτ τοο λαργε, ηοωεϖερ, τηε ποιντσ σηουλδ φαλλ αλονγ α χυρϖε, ανδ τηισ χυρϖε ισ α πλοτ οφ τηε φυνχτιον Φ ( Λ ). Ιτ χαν βε εξτραχτεδ βψ ⇒ττινγ α φυνχτιον το τηε ποιντσ ον τηε σχαττερ πλοτ. Τηε φυνχτιον Φ τψπιχαλλψ χον− ταινσ χονσταντσ υσεδ το σετ τηε ⇒ρινγ ρατε το ρεαλιστιχ ϖαλυεσ. Τηεσε γιϖε υσ τηε φρεεδοµ το νορµαλιζε ∆ (τ) ιν σοµε χονϖενιεντ ωαψ, χορρεχτινγ φορ τηε αρβιτραρψ νορµαλιζατιον βψ αδϕυστινγ τηε παραµετερσ ωιτηιν Φ. Στατιχ νονλινεαριτιεσ αρε υσεδ το ιντροδυχε βοτη ⇒ρινγ τηρεσηολδσ ανδ σατυ− ρατιον ιντο εστιµατεσ οφ νευραλ ρεσπονσεσ. Τηρεσηολδσ χαν βε δεσχριβεδ βψ

rεστ (τ ) ωιτη στατιχ νονλινεαριτψ

50

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

B 100

100

80

80

60

60

Φ (Ηζ)

r (Ηζ)

A

40 20

Eq. 2.9 Eq. 2.10 Eq. 2.11

40 20

0

0 0

1

2

3

4

5

0

1

Λ

2

3

4

5

Λ

Φιγυρε 2.2 (Α) Α γραπηιχαλ προχεδυρε φορ δετερµινινγ στατιχ νονλινεαριτιεσ. Λινεαρ εστιµατεσ Λ ανδ αχτυαλ ⇒ρινγ ρατεσ r αρε πλοττεδ (σολιδ ποιντσ) ανδ ⇒ττεδ βψ τηε φυνχ− τιον Φ ( Λ ) (σολιδ λινε). (Β) ∆ιφφερεντ στατιχ νονλινεαριτιεσ υσεδ ιν εστιµατινγ νευραλ ρεσπονσεσ. Λ ισ διµενσιονλεσσ, ανδ εθυατιονσ 2.9, 2.10, ανδ 2.11 ηαϖε βεεν υσεδ ωιτη Γ = 25 Ηζ, Λ0 = 1, Λ1/2 = 3, ρµαξ = 100 Ηζ, γ1 = 2, ανδ γ2 = 1/2.

ωριτινγ Φ ( Λ ) = Γ[Λ − Λ0 ]+ , τηρεσηολδ φυνχτιον ρεχτι⇒χατιον

σιγµοιδαλ φυνχτιον

(2.9)

ωηερε Λ0 ισ τηε τηρεσηολδ ϖαλυε τηατ Λ µυστ ατταιν βεφορε ⇒ρινγ βεγινσ. Αβοϖε τηε τηρεσηολδ, τηε ⇒ρινγ ρατε ισ α λινεαρ φυνχτιον οφ Λ, ωιτη Γ αχτινγ ασ τηε χονσταντ οφ προπορτιοναλιτψ. Ηαλφ−ωαϖε ρεχτι⇒χατιον ισ α σπεχιαλ χασε οφ τηισ ωιτη Λ0 = 0. Τηατ τηισ φυνχτιον δοεσ νοτ σατυρατε ισ νοτ α προβλεµ ιφ λαργε στιµυλυσ ϖαλυεσ αρε αϖοιδεδ. Ιφ νεεδεδ, α σατυρατινγ νονλινεαριτψ χαν βε ινχλυδεδ ιν Φ, ανδ α σιγµοιδαλ φυνχτιον ισ οφτεν υσεδ φορ τηισ πυρποσε, Φ( Λ ) =

r ) µαξ *. 1 + εξπ γ1 ( Λ1/2 − Λ )

(2.10)

Ηερε ρµαξ ισ τηε µαξιµυµ ποσσιβλε ⇒ρινγ ρατε, Λ1/2 ισ τηε ϖαλυε οφ Λ φορ ωηιχη Φ αχηιεϖεσ ηαλφ οφ τηισ µαξιµαλ ϖαλυε, ανδ γ1 δετερµινεσ ηοω ραπιδλψ τηε ⇒ρινγ ρατε ινχρεασεσ ασ α φυνχτιον οφ Λ. Ανοτηερ χηοιχε τηατ χοµβινεσ α ηαρδ τηρεσηολδ ωιτη σατυρατιον υσεσ α ρεχτι⇒εδ ηψπερβολιχ ταν− γεντ φυνχτιον, ) * Φ ( Λ ) = rµαξ [τανη γ2 ( Λ − Λ0 ) ]+ , (2.11) ωηερε ρµαξ ανδ γ2 πλαψ σιµιλαρ ρολεσ ασ ιν εθυατιον 2.10, ανδ Λ0 ισ τηε τηρεσηολδ. Φιγυρε 2.2Β σηοωσ τηε διφφερεντ νονλινεαρ φυνχτιονσ τηατ ωε ηαϖε δισχυσσεδ.

Αλτηουγη τηε στατιχ νονλινεαριτψ χαν βε ανψ φυνχτιον, τηε εστιµατε οφ εθυα− τιον 2.8 ισ στιλλ ρεστριχτιϖε βεχαυσε ιτ αλλοωσ φορ νο δεπενδενχε ον ωειγητεδ αυτοχορρελατιονσ οφ τηε στιµυλυσ ορ οτηερ ηιγηερ−ορδερ τερµσ ιν τηε ςολτερρα σεριεσ. Φυρτηερµορε, ονχε τηε στατιχ νονλινεαριτψ ισ ιντροδυχεδ, τηε λινεαρ κερνελ δεριϖεδ φροµ εθυατιον 2.4 ισ νο λονγερ οπτιµαλ βεχαυσε ιτ ωασ χηο− σεν το µινιµιζε τηε σθυαρεδ ερρορ οφ τηε λινεαρ εστιµατε rεστ (τ ) = r0 + Λ (τ ),

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

51

stimulus

response Linear Filter

Static Nonlinearity

Spike Generator

Φιγυρε 2.3 Σιµυλατινγ σπικινγ ρεσπονσεσ το στιµυλι. Τηε ιντεγραλ οφ τηε στιµυλυσ σ τιµεσ τηε οπτιµαλ κερνελ ∆ ισ ⇒ρστ χοµπυτεδ. Τηε εστιµατεδ ⇒ρινγ ρατε ισ τηε βαχκ− γρουνδ ρατε r0 πλυσ α νονλινεαρ φυνχτιον οφ τηε ουτπυτ οφ τηε λινεαρ ⇒λτερ χαλχυλατιον. Φιναλλψ, τηε εστιµατεδ ⇒ρινγ ρατε ισ υσεδ το δριϖε α Ποισσον προχεσσ τηατ γενερατεσ σπικεσ.

νοτ τηε εστιµατε ωιτη τηε στατιχ νονλινεαριτψ rεστ (τ ) = r0 + Φ ( Λ (τ )). Α τηε− ορεµ δυε το Βυσσγανγ (σεε αππενδιξ Χ) συγγεστσ τηατ εθυατιον 2.6 ωιλλ προϖιδε α ρεασοναβλε κερνελ, εϖεν ιν τηε πρεσενχε οφ α στατιχ νονλινεαριτψ, ιφ τηε ωηιτε νοισε στιµυλυσ υσεδ ισ Γαυσσιαν. Ιν σοµε χασεσ, τηε λινεαρ τερµ οφ τηε ςολτερρα σεριεσ φαιλσ το πρεδιχτ τηε ρε− σπονσε εϖεν ωηεν στατιχ νονλινεαριτιεσ αρε ινχλυδεδ. Σψστεµατιχ ιµπροϖε− µεντσ χαν βε αττεµπτεδ βψ ινχλυδινγ µορε τερµσ ιν τηε ςολτερρα ορ Ωιενερ σεριεσ, βυτ ιν πραχτιχε ιτ ισ θυιτε διφ⇒χυλτ το γο βεψονδ τηε ⇒ρστ φεω τερµσ. Τηε αχχυραχψ ωιτη ωηιχη τηε ⇒ρστ τερµ, ορ ⇒ρστ φεω τερµσ, ιν α ςολτερρα σεριεσ χαν πρεδιχτ τηε ρεσπονσεσ οφ α νευρον χαν σοµετιµεσ βε ιµπροϖεδ βψ ρεπλαχινγ τηε παραµετερ σ ιν εθυατιον 2.7 ωιτη αν αππροπριατελψ χηοσεν φυνχτιον οφ σ, σο τηατ " ∞ Λ (τ ) = δτ ∆ (τ) φ (σ (τ − τ)) . (2.12) 0

Α ρεασοναβλε χηοιχε φορ τηισ φυνχτιον ισ τηε ρεσπονσε τυνινγ χυρϖε. Ωιτη τηισ χηοιχε, τηε λινεαρ πρεδιχτιον ισ εθυαλ το τηε ρεσπονσε τυνινγ χυρϖε, Λ = φ (σ ), φορ στατιχ στιµυλι, προϖιδεδ τηατ τηε ιντεγραλ οφ τηε κερνελ ∆ ισ εθυαλ το 1. Φορ τιµε−δεπενδεντ στιµυλι, ωε χαν τηινκ οφ εθυατιον 2.12 ασ α δψναµιχ εξτενσιον οφ τηε ρεσπονσε τυνινγ χυρϖε. Α µοδελ οφ τηε σπικε τραινσ εϖοκεδ βψ α στιµυλυσ χαν βε χονστρυχτεδ βψ υσινγ τηε ⇒ρινγ−ρατε εστιµατε οφ εθυατιον 2.8 το δριϖε α Ποισσον σπικε γεν− ερατορ (σεε χηαπτερ 1). Φιγυρε 2.3 σηοωσ τηε στρυχτυρε οφ συχη α µοδελ ωιτη α λινεαρ ⇒λτερ, α στατιχ νονλινεαριτψ, ανδ α στοχηαστιχ σπικε γενερατορ. Ιν τηε ⇒γυρε, σπικεσ αρε σηοων βεινγ γενερατεδ βψ χοµπαρινγ τηε σπικινγ προβ− αβιλιτψ r (τ )%τ το α ρανδοµ νυµβερ, αλτηουγη τηε οτηερ µετηοδσ δισχυσσεδ ιν χηαπτερ 1 χουλδ βε υσεδ ινστεαδ. Αλσο, τηε λινεαρ ⇒λτερ αχτσ διρεχτλψ ον τηε στιµυλυσ σ ιν ⇒γυρε 2.3, βυτ ιτ χουλδ αχτ ινστεαδ ον σοµε φυνχτιον φ (σ ), συχη ασ τηε ρεσπονσε τυνινγ χυρϖε.

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

Βεφορε δισχυσσινγ ηοω ρεϖερσε−χορρελατιον µετηοδσ αρε αππλιεδ το ϖισυαλλψ ρεσπονσιϖε νευρονσ, ωε ρεϖιεω τηε βασιχ ανατοµψ ανδ πηψσιολογψ οφ τηε

52

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

B

rod and cone receptors (R)

R

H

horizontal (H) bipolar (B)

B

B A

amacrine (A)

retinal ganglion (G)

R

G1 G2

light

to optic nerve

Φιγυρε 2.4 (Α) Αν ανατοµιχαλ διαγραµ οφ τηε χιρχυιτρψ οφ τηε ρετινα οφ α δογ. Χελλ τψπεσ αρε ιδεντι⇒εδ ατ ριγητ. Ιν τηε ινταχτ εψε, χουντεριντυιτιϖελψ, λιγητ εντερσ τηρουγη τηε σιδε οπποσιτε φροµ τηε πηοτορεχεπτορσ. (Β) Ιντραχελλυλαρ ρεχορδινγσ φροµ ρετιναλ νευρονσ οφ τηε µυδ πυππψ ρεσπονδινγ το α ⇓αση οφ λιγητ λαστινγ φορ 1 σ. Ιν τηε χολυµν οφ χελλσ ον τηε λεφτ σιδε οφ τηε διαγραµ, τηε ρεσυλτινγ ηψπερπο− λαριζατιονσ αρε αβουτ 4 µς ιν τηε ροδ ανδ ρετιναλ γανγλιον χελλσ, ανδ 8 µς ιν τηε βιπολαρ χελλ. Πλυσεσ ανδ µινυσεσ ρεπρεσεντ εξχιτατορψ ανδ ινηιβιτορψ σψναπσεσ, ρε− σπεχτιϖελψ. (Α αδαπτεδ φροµ Νιχηολλσ ετ αλ., 1992; δραωινγ φροµ Χαϕαλ, 1911. Β δατα φροµ Ωερβλιν ανδ ∆οωλινγ 1969; ⇒γυρε αδαπτεδ φροµ ∆οωλινγ, 1992.)

εαρλψ σταγεσ οφ τηε ϖισυαλ σψστεµ. Τηε χονϖερσιον οφ α λιγητ στιµυλυσ ιντο αν ελεχτριχαλ σιγναλ ανδ υλτιµατελψ αν αχτιον ποτεντιαλ σεθυενχε οχχυρσ ιν τηε ρετινα. Φιγυρε 2.4Α ισ αν ανατοµιχαλ διαγραµ σηοωινγ τηε ⇒ϖε πρινχιπαλ χελλ τψπεσ οφ τηε ρετινα, ανδ ⇒γυρε 2.4Β ισ α ρουγη χιρχυιτ διαγραµ. Ιν τηε ρετινα, λιγητ ισ ⇒ρστ χονϖερτεδ ιντο αν ελεχτριχαλ σιγναλ βψ α πηοτοτρανσδυχ− τιον χασχαδε ωιτηιν ροδ ανδ χονε πηοτορεχεπτορ χελλσ. Φιγυρε 2.4Β σηοωσ ιντραχελλυλαρ ρεχορδινγσ µαδε ιν νευρονσ οφ τηε ρετινα οφ α µυδ πυππψ (αν αµπηιβιαν). Τηε στιµυλυσ υσεδ φορ τηεσε ρεχορδινγσ ωασ α ⇓αση οφ λιγητ φαλλινγ πριµαριλψ ιν τηε ρεγιον οφ τηε πηοτορεχεπτορ ατ τηε λεφτ οφ ⇒γ− υρε 2.4Β. Τηε ροδ χελλσ, εσπεχιαλλψ τηε ονε ον τηε λεφτ σιδε οφ ⇒γυρε 2.4Β, αρε ηψπερπολαριζεδ βψ τηε λιγητ ⇓αση. Τηισ ελεχτριχαλ σιγναλ ισ πασσεδ αλονγ το βιπολαρ ανδ ηοριζονταλ χελλσ τηρουγη σψναπτιχ χοννεχτιονσ. Νοτε τηατ ιν ονε οφ τηε βιπολαρ χελλσ, τηε σιγναλ ηασ βεεν ινϖερτεδ, λεαδινγ το δεπολαρ− ιζατιον. Τηεσε σµοοτηλψ χηανγινγ µεµβρανε ποτεντιαλσ προϖιδε α γραδεδ ρεπρεσεντατιον οφ τηε λιγητ ιντενσιτψ δυρινγ τηε ⇓αση. Τηισ φορµ οφ χοδ− ινγ ισ αδεθυατε φορ σιγναλινγ ωιτηιν τηε ρετινα, ωηερε διστανχεσ αρε σµαλλ. Ηοωεϖερ, ιτ ισ ιναδεθυατε φορ τηε τασκ οφ χονϖεψινγ ινφορµατιον φροµ τηε ρετινα το τηε βραιν. ρετιναλ γανγλιον χελλσ

Τηε ουτπυτ νευρονσ οφ τηε ρετινα αρε τηε ρετιναλ γανγλιον χελλσ, ωηοσε αξονσ φορµ τηε οπτιχ νερϖε. Ασ σεεν ιν ⇒γυρε 2.4Β, τηε συβτηρεσηολδ ποτεντιαλσ

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

53

lateral geniculate nucleus retina

optic chiasm

primary visual cortex

retina lateral geniculate nucleus

Φιγυρε 2.5 Πατηωαψ φροµ τηε ρετινα τηρουγη τηε λατεραλ γενιχυλατε νυχλευσ (ΛΓΝ) οφ τηε τηαλαµυσ το τηε πριµαρψ ϖισυαλ χορτεξ ιν τηε ηυµαν βραιν. (Αδαπτεδ φροµ Νιχηολλσ ετ αλ., 1992.)

οφ τηε τωο ρετιναλ γανγλιον χελλσ σηοων αρε σιµιλαρ το τηοσε οφ τηε βιπολαρ χελλσ ιµµεδιατελψ αβοϖε τηεµ ιν τηε ⇒γυρε, βυτ νοω ωιτη συπεριµποσεδ αχτιον ποτεντιαλσ. Τηε τωο ρετιναλ γανγλιον χελλσ σηοων ιν τηε ⇒γυρε ηαϖε διφφερεντ ρεσπονσεσ ανδ τρανσµιτ διφφερεντ σεθυενχεσ οφ αχτιον ποτεντιαλσ. Γ2 ⇒ρεσ ωηιλε τηε λιγητ ισ ον, ανδ Γ1 ⇒ρεσ ωηεν ιτ τυρνσ οφφ. Τηεσε αρε χαλλεδ ΟΝ ανδ ΟΦΦ ρεσπονσεσ, ρεσπεχτιϖελψ. Τηε οπτιχ νερϖε χονδυχτσ τηε ουτπυτ σπικε τραινσ οφ ρετιναλ γανγλιον χελλσ το τηε λατεραλ γενιχυλατε νυχλευσ οφ τηε τηαλαµυσ, ωηιχη αχτσ ασ α ρελαψ στατιον βετωεεν τηε ρετινα ανδ πριµαρψ ϖι− συαλ χορτεξ (⇒γυρε 2.5). Πριορ το αρριϖινγ ατ τηε ΛΓΝ, σοµε ρετιναλ γανγλιον χελλ αξονσ χροσσ τηε µιδλινε ατ τηε οπτιχ χηιασµ. Τηισ αλλοωσ τηε λεφτ ανδ ριγητ σιδεσ οφ τηε ϖισυαλ ⇒ελδσ φροµ βοτη εψεσ το βε ρεπρεσεντεδ ον τηε ριγητ ανδ λεφτ σιδεσ οφ τηε βραιν, ρεσπεχτιϖελψ (⇒γυρε 2.5). Νευρονσ ιν τηε ρετινα, ΛΓΝ, ανδ πριµαρψ ϖισυαλ χορτεξ ρεσπονδ το λιγητ στιµυλι ιν ρεστριχτεδ ρεγιονσ οφ τηε ϖισυαλ ⇒ελδ χαλλεδ τηειρ ρεχεπτιϖε ⇒ελδσ. Παττερνσ οφ ιλλυµινατιον ουτσιδε τηε ρεχεπτιϖε ⇒ελδ οφ α γιϖεν νευρον χαν− νοτ γενερατε α ρεσπονσε διρεχτλψ, αλτηουγη τηεψ χαν σιγνι⇒χαντλψ αφφεχτ ρε− σπονσεσ το στιµυλι ωιτηιν τηε ρεχεπτιϖε ⇒ελδ. Ωε δο νοτ χονσιδερ συχη εφφεχτσ, αλτηουγη τηεψ αρε οφ χονσιδεραβλε εξπεριµενταλ ανδ τηεορετιχαλ ιν− τερεστ. Ιν τηε µονκεψ, χορτιχαλ ρεχεπτιϖε ⇒ελδσ ρανγε ιν σιζε φροµ αρουνδ α τεντη οφ α δεγρεε νεαρ τηε φοϖεα το σεϖεραλ δεγρεεσ ιν τηε περιπηερψ. Ωιτηιν τηε ρεχεπτιϖε ⇒ελδσ, τηερε αρε ρεγιονσ ωηερε ιλλυµινατιον ηιγηερ τηαν τηε βαχκγρουνδ λιγητ ιντενσιτψ ενηανχεσ ⇒ρινγ, ανδ οτηερ ρεγιονσ ωηερε λοωερ ιλλυµινατιον ενηανχεσ ⇒ρινγ. Τηε σπατιαλ αρρανγεµεντ οφ τηεσε ρεγιονσ δε− τερµινεσ τηε σελεχτιϖιτψ οφ τηε νευρον το διφφερεντ ινπυτσ. Τηε τερµ mρεχεπ− τιϖε ⇒ελδn ισ οφτεν γενεραλιζεδ το ρεφερ νοτ ονλψ το τηε οϖεραλλ ρεγιον ωηερε λιγητ αφφεχτσ νευροναλ ⇒ρινγ, βυτ αλσο το τηε σπατιαλ ανδ τεµποραλ στρυχτυρε ωιτηιν τηισ ρεγιον. ςισυαλλψ ρεσπονσιϖε νευρονσ ιν τηε ρετινα, ΛΓΝ, ανδ πριµαρψ ϖισυαλ χορτεξ αρε διϖιδεδ ιντο τωο χλασσεσ, δεπενδινγ ον ωηετηερ ορ νοτ τηε χοντριβυ−

ΟΝ ανδ ΟΦΦ ρεσπονσεσ

ρεχεπτιϖε ⇒ελδσ

54

σιµπλε ανδ χοµπλεξ χελλσ

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

τιονσ φροµ διφφερεντ λοχατιονσ ωιτηιν τηε ϖισυαλ ⇒ελδ συµ λινεαρλψ. Ξ χελλσ ιν τηε χατ ρετινα ανδ ΛΓΝ, Π χελλσ ιν τηε µονκεψ ρετινα ανδ ΛΓΝ, ανδ σιµ− πλε χελλσ ιν πριµαρψ ϖισυαλ χορτεξ αππεαρ το σατισφψ τηισ ασσυµπτιον. Οτηερ νευρονσ, συχη ασ Ψ χελλσ ιν τηε χατ ρετινα ανδ ΛΓΝ, Μ χελλσ ιν τηε µον− κεψ ρετινα ανδ ΛΓΝ, ανδ χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ, δο νοτ σηοω λινεαρ συµµατιον αχροσσ τηε σπατιαλ ρεχεπτιϖε ⇒ελδ, ανδ νονλινεαρ− ιτιεσ µυστ βε ινχλυδεδ ιν δεσχριπτιονσ οφ τηειρ ρεσπονσεσ. Ωε δο τηισ φορ χοµπλεξ χελλσ λατερ ιν τηισ χηαπτερ. Α ⇒ρστ στεπ ιν στυδψινγ τηε σελεχτιϖιτψ οφ ανψ νευρον ισ το ιδεντιφψ τηε τψπεσ οφ στιµυλι τηατ εϖοκε στρονγ ρεσπονσεσ. Ρετιναλ γανγλιον χελλσ ανδ ΛΓΝ νευρονσ ηαϖε σιµιλαρ σελεχτιϖιτιεσ ανδ ρεσπονδ βεστ το χιρχυλαρ σποτσ οφ λιγητ συρρουνδεδ βψ δαρκνεσσ ορ δαρκ σποτσ συρρουνδεδ βψ λιγητ. Ιν πρι− µαρψ ϖισυαλ χορτεξ, µανψ νευρονσ ρεσπονδ βεστ το ελονγατεδ λιγητ ορ δαρκ βαρσ ορ το βουνδαριεσ βετωεεν λιγητ ανδ δαρκ ρεγιονσ. Γρατινγσ ωιτη αλτερ− νατινγ λιγητ ανδ δαρκ βανδσ αρε εφφεχτιϖε ανδ φρεθυεντλψ υσεδ στιµυλι φορ τηεσε νευρονσ. Μανψ ϖισυαλλψ ρεσπονσιϖε νευρονσ ρεαχτ στρονγλψ το συδδεν τρανσιτιονσ ιν τηε λεϖελ οφ ιµαγε ιλλυµινατιον, α τεµποραλ αναλογυε οφ τηειρ ρεσπονσιϖε− νεσσ το λιγητ−δαρκ σπατιαλ βουνδαριεσ. Στατιχ ιµαγεσ αρε νοτ ϖερψ εφφεχτιϖε ατ εϖοκινγ ϖισυαλ ρεσπονσεσ. Ιν αωακε ανιµαλσ, ιµαγεσ αρε χονσταντλψ κεπτ ιν µοτιον αχροσσ τηε ρετινα βψ εψε µοϖεµεντσ. Ιν εξπεριµεντσ ιν ωηιχη τηε εψεσ αρε ⇒ξεδ, µοϖινγ λιγητ βαρσ ανδ γρατινγσ, ορ γρατινγσ υνδεργοινγ περιοδιχ λιγητ−δαρκ ρεϖερσαλσ (χαλλεδ χουντερπηασε γρατινγσ) αρε µορε εφ− φεχτιϖε στιµυλι τηαν στατιχ ιµαγεσ. Σοµε νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ αρε διρεχτιοναλλψ σελεχτιϖε; τηεψ ρεσπονδ µορε στρονγλψ το στιµυλι µοϖινγ ιν ονε διρεχτιον τηαν ιν τηε οτηερ. Το στρεαµλινε τηε δισχυσσιον ιν τηισ χηαπτερ, ωε χονσιδερ ονλψ γραψ−σχαλε ιµαγεσ, αλτηουγη τηε µετηοδσ πρεσεντεδ χαν βε εξτενδεδ το ινχλυδε χολορ. Ωε αλσο ρεστριχτ τηε δισχυσσιον το τωο−διµενσιοναλ ϖισυαλ ιµαγεσ, ιγνορινγ ηοω ϖισυαλ ρεσπονσεσ δεπενδ ον ϖιεωινγ διστανχε ανδ ενχοδε δεπτη. Ιν δισχυσσινγ τηε ρεσπονσε προπερτιεσ οφ ρετιναλ, ΛΓΝ, ανδ ς1 νευρονσ, ωε δο νοτ φολλοω τηε πατη οφ τηε ϖισυαλ σιγναλ, νορ τηε ηιστοριχαλ ορδερ οφ εξπερ− ιµεντατιον, βυτ ινστεαδ βεγιν ωιτη πριµαρψ ϖισυαλ χορτεξ ανδ τηεν µοϖε βαχκ το τηε ΛΓΝ ανδ ρετινα. Ιν τηισ χηαπτερ, τηε εµπηασισ ισ ον προπερτιεσ οφ ινδιϖιδυαλ νευρονσ; ωε δισχυσσ ενχοδινγ βψ ποπυλατιονσ οφ ϖισυαλλψ ρε− σπονσιϖε νευρονσ ιν χηαπτερ 10.

Τηε Ρετινοτοπιχ Μαπ Α στρικινγ φεατυρε οφ µοστ ϖισυαλ αρεασ ιν τηε βραιν, ινχλυδινγ πριµαρψ ϖι− συαλ χορτεξ, ισ τηατ τηε ϖισυαλ ωορλδ ισ µαππεδ οντο τηε χορτιχαλ συρφαχε ιν α τοπογραπηιχ µαννερ. Τηισ µεανσ τηατ νειγηβορινγ ποιντσ ιν α ϖισυαλ ιµ− αγε εϖοκε αχτιϖιτψ ιν νειγηβορινγ ρεγιονσ οφ ϖισυαλ χορτεξ. Τηε ρετινοτοπιχ µαπ ρεφερσ το τηε τρανσφορµατιον φροµ τηε χοορδινατεσ οφ τηε ϖισυαλ ωορλδ το τηε χορρεσπονδινγ λοχατιονσ ον τηε χορτιχαλ συρφαχε.

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

55

B

A α

F

α F

ξ ψ

Φιγυρε 2.6 (Α) Τωο χοορδινατε σψστεµσ υσεδ το παραµετεριζε ιµαγε λοχατιον. Εαχη ρεχτανγλε ρεπρεσεντσ α τανγεντ σχρεεν, ανδ τηε ⇒λλεδ χιρχλε ισ τηε λοχατιον οφ α παρ− τιχυλαρ ιµαγε ποιντ ον τηε σχρεεν. Τηε υππερ πανελ σηοωσ πολαρ χοορδινατεσ. Τηε οριγιν οφ τηε χοορδινατε σψστεµ ισ τηε ⇒ξατιον ποιντ Φ, τηε εχχεντριχιτψ ϵ ισ προπορ− τιοναλ το τηε ραδιαλ διστανχε φροµ τηε ⇒ξατιον ποιντ το τηε ιµαγε ποιντ, ανδ α ισ τηε ανγλε βετωεεν τηε ραδιαλ λινε φροµ Φ το τηε ιµαγε ποιντ ανδ τηε ηοριζονταλ αξισ. Τηε λοωερ πανελ σηοωσ Χαρτεσιαν χοορδινατεσ. Τηε λοχατιον οφ τηε οριγιν φορ τηεσε χοορδινατεσ ανδ τηε οριεντατιον οφ τηε αξεσ αρε αρβιτραρψ. Τηεψ αρε υσυαλ χηοσεν το χεντερ ανδ αλιγν τηε χοορδινατε σψστεµ ωιτη ρεσπεχτ το α παρτιχυλαρ ρεχεπτιϖε ⇒ελδ βεινγ στυδιεδ. (Β) Α βυλλaσ−εψε παττερν οφ ραδιαλ λινεσ οφ χονσταντ αζιµυτη, ανδ χιρχλεσ οφ χονσταντ εχχεντριχιτψ. Τηε χεντερ οφ τηισ παττερν ατ ζερο εχχεντριχιτψ ισ τηε ⇒ξατιον ποιντ Φ. Συχη α παττερν ωασ υσεδ το γενερατεδ τηε ιµαγε ιν ⇒γυρε 2.7Α.

Οβϕεχτσ λοχατεδ α ⇒ξεδ διστανχε φροµ ονε εψε λιε ον α σπηερε. Λοχατιονσ ον τηισ σπηερε χαν βε ρεπρεσεντεδ υσινγ τηε σαµε λονγιτυδε ανδ λατιτυδε ανγλεσ υσεδ φορ τηε συρφαχε οφ τηε εαρτη. Τψπιχαλλψ, τηε mνορτη πολεn φορ τηισ σπηεριχαλ χοορδινατε σψστεµ ισ λοχατεδ ατ τηε ⇒ξατιον ποιντ, τηε ιµαγε ποιντ τηατ φοχυσεσ οντο τηε φοϖεα ορ χεντερ οφ τηε ρετινα. Ιν τηισ σψστεµ οφ χοορδινατεσ (⇒γυρε 2.6), τηε λατιτυδε χοορδινατε ισ χαλλεδ τηε εχχεντριχιτψ, ϵ, ανδ τηε λονγιτυδε χοορδινατε, µεασυρεδ φροµ τηε ηοριζονταλ µεριδιαν, ισ χαλλεδ τηε αζιµυτη, α. Ιν πριµαρψ ϖισυαλ χορτεξ, τηε ϖισυαλ ωορλδ ισ σπλιτ ιν ηαλφ, ωιτη τηε ρεγιον −90◦ ≤ α ≤ +90◦ φορ ϵ φροµ 0◦ το αβουτ 70◦ (φορ βοτη εψεσ) ρεπρεσεντεδ ον τηε λεφτ σιδε οφ τηε βραιν, ανδ τηε ρε⇓εχτιον οφ τηισ ρεγιον αβουτ τηε ϖερτιχαλ µεριδιαν ρεπρεσεντεδ ον τηε ριγητ σιδε οφ τηε βραιν. Ιν µοστ εξπεριµεντσ, ιµαγεσ αρε δισπλαψεδ ον α ⇓ατ σχρεεν (χαλλεδ α ταν− γεντ σχρεεν) τηατ δοεσ νοτ χοινχιδε εξαχτλψ ωιτη τηε σπηερε δισχυσσεδ ιν τηε πρεϖιουσ παραγραπη. Ηοωεϖερ, ιφ τηε σχρεεν ισ νοτ τοο λαργε, τηε διφφερενχε ισ νεγλιγιβλε, ανδ τηε εχχεντριχιτψ ανδ αζιµυτη ανγλεσ αππροξιµατελψ χοιν− χιδε ωιτη πολαρ χοορδινατεσ ον τηε σχρεεν (⇒γυρε 2.6Α). Ορδιναρψ Χαρτεσιαν χοορδινατεσ χαν αλσο βε υσεδ το ιδεντιφψ ποιντσ ον τηε σχρεεν (⇒γυρε 2.6Α). Τηε εχχεντριχιτψ ϵ ανδ τηε ξ ανδ ψ χοορδινατεσ οφ τηε Χαρτεσιαν σψστεµ αρε βασεδ ον µεασυρινγ διστανχεσ ον τηε σχρεεν. Ηοωεϖερ, ιτ ισ χυστοµαρψ το διϖιδε τηεσε µεασυρεδ διστανχεσ βψ τηε διστανχε φροµ τηε εψε το τηε σχρεεν ανδ το µυλτιπλψ τηε ρεσυλτ βψ 180◦ /π σο τηατ τηεσε χοορδινατεσ αρε υλτι− µατελψ εξπρεσσεδ ιν υνιτσ οφ δεγρεεσ. Τηισ µακεσ σενσε βεχαυσε ιτ ισ τηε ανγυλαρ, νοτ τηε αβσολυτε, σιζε ανδ λοχατιον οφ αν ιµαγε τηατ ισ τψπιχαλλψ ρελεϖαντ φορ στυδιεσ οφ τηε ϖισυαλ σψστεµ.

εχχεντριχιτψ ϵ αζιµυτη α

56

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

B

A

2

Ψ (χµ)

1

0

-1

1 χµ

-2

0

1

Ξ (χµ)

2

3

Φιγυρε 2.7 (Α) Αν αυτοραδιογραπη οφ τηε ποστεριορ ρεγιον οφ τηε πριµαρψ ϖισυαλ χορτεξ φροµ τηε λεφτ σιδε οφ α µαχαθυε µονκεψ βραιν. Τηε παττερν ισ α ραδιοαχτιϖε τραχε οφ τηε αχτιϖιτψ εϖοκεδ βψ αν ιµαγε λικε τηατ ιν ⇒γυρε 2.6Β. Τηε ϖερτιχαλ λινεσ χορρεσπονδ το χιρχλεσ ατ εχχεντριχιτιεσ οφ 1◦ , 2.3◦ , ανδ 5.4◦ , ανδ τηε ηοριζονταλ λινεσ (φροµ τοπ το βοττοµ) ρεπρεσεντ ραδιαλ λινεσ ιν τηε ϖισυαλ ιµαγε ατ α ϖαλυεσ οφ −90◦ , −45◦ , 0◦ , 45◦ , ανδ 90◦ . Ονλψ τηε παρτ οφ χορτεξ χορρεσπονδινγ το τηε χεντραλ ρεγιον οφ τηε ϖισυαλ ⇒ελδ ον ονε σιδε ισ σηοων. (Β) Τηε µατηεµατιχαλ µαπ φροµ τηε ϖισυαλ χοορδινατεσ ϵ ανδ α το τηε χορτιχαλ χοορδινατεσ Ξ ανδ Ψ δεσχριβεδ βψ εθυατιονσ 2.15 ανδ 2.17. (Α αδαπτεδ φροµ Τοοτελλ ετ αλ., 1982.)

Φιγυρε 2.7Α σηοωσ α δραµατιχ ιλλυστρατιον οφ τηε ρετινοτοπιχ µαπ ιν τηε πριµαρψ ϖισυαλ χορτεξ οφ α µονκεψ. Τηε παττερν ον τηε χορτεξ σεεν ιν ⇒γ− υρε 2.7Α ωασ προδυχεδ βψ ιµαγινγ α ραδιοαχτιϖε αναλογυε οφ γλυχοσε τηατ ωασ τακεν υπ βψ αχτιϖε νευρονσ ωηιλε α µονκεψ ϖιεωεδ α ϖισυαλ ιµαγε χονσιστινγ οφ χονχεντριχ χιρχλεσ ανδ ραδιαλ λινεσ, σιµιλαρ το τηε παττερν ιν ⇒γυρε 2.6Β. Τηε ϖερτιχαλ λινεσ χορρεσπονδ το τηε χιρχλεσ ιν τηε ιµαγε, ανδ τηε ρουγηλψ ηοριζονταλ λινεσ αρε δυε το τηε αχτιϖιτψ εϖοκεδ βψ τηε ραδιαλ λινεσ. Τηε φοϖεα ισ ρεπρεσεντεδ ατ τηε λεφτµοστ πολε οφ τηισ πιεχε οφ χορτεξ, ανδ εχχεντριχιτψ ινχρεασεσ τοωαρδ τηε ριγητ. Αζιµυτηαλ ανγλεσ αρε ποσιτιϖε ιν τηε λοωερ ηαλφ οφ τηε πιεχε οφ χορτεξ σηοων, ανδ νεγατιϖε ιν τηε υππερ ηαλφ.

χορτιχαλ µαγνι⇒χατιον φαχτορ

Φιγυρε 2.7Β ισ αν αππροξιµατε µατηεµατιχαλ δεσχριπτιον οφ τηε µαπ ιν ⇒γ− υρε 2.7Α. Το χονστρυχτ τηισ µαπ, ωε ασσυµε τηατ εχχεντριχιτψ ισ µαππεδ οντο τηε ηοριζονταλ χοορδινατε Ξ οφ τηε χορτιχαλ σηεετ, ανδ α ισ µαππεδ οντο ιτσ Ψ χοορδινατε. Τηε εθυατιονσ φορ Ξ ανδ Ψ ασ φυνχτιονσ οφ ϵ ανδ α χαν βε οβταινεδ τηρουγη κνοωλεδγε οφ α θυαντιτψ χαλλεδ τηε χορτιχαλ µαγνι⇒− χατιον φαχτορ, Μ (ϵ). Τηισ δετερµινεσ τηε διστανχε αχροσσ α ⇓αττενεδ σηεετ οφ χορτεξ σεπαρατινγ τηε αχτιϖιτψ εϖοκεδ βψ τωο νεαρβψ ιµαγε ποιντσ. Συπ− ποσε τηατ τηε τωο ιµαγε ποιντσ ιν θυεστιον ηαϖε εχχεντριχιτιεσ ϵ ανδ ϵ + %ϵ βυτ τηε σαµε ϖαλυε οφ τηε αζιµυτηαλ χοορδινατε α. Τηε ανγυλαρ διστανχε βε− τωεεν τηεσε τωο ποιντσ ισ %ϵ. Τηε διστανχε σεπαρατινγ τηε αχτιϖιτψ εϖοκεδ βψ τηεσε τωο ιµαγε ποιντσ ον τηε χορτεξ ισ % Ξ. Βψ τηε δε⇒νιτιον οφ τηε χορτιχαλ µαγνι⇒χατιον φαχτορ, τηεσε τωο θυαντιτιεσ σατισφψ % Ξ = Μ (ϵ)%ϵ

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

57

ορ, τακινγ τηε λιµιτ ασ % Ξ ανδ %ϵ γο το 0, δΞ = Μ (ϵ) . δϵ

(2.13)

Τηε χορτιχαλ µαγνι⇒χατιον φαχτορ φορ τηε µαχαθυε µονκεψ, οβταινεδ φροµ ρεσυλτσ συχη ασ ⇒γυρε 2.7Α, ισ αππροξιµατελψ Μ (ϵ) =

λ , ϵ0 + ϵ

(2.14)

ωιτη λ ≈ 12 µµ ανδ ϵ0 ≈ 1◦ . Ιντεγρατινγ εθυατιον 2.13 ανδ δε⇒νινγ Ξ = 0 το βε τηε ποιντ ρεπρεσεντινγ ϵ = 0, ωε ⇒νδ Ξ = λ λν(1 + ϵ/ϵ0 ) .

(2.15)

Ωε χαν αππλψ τηε σαµε χορτιχαλ αµπλι⇒χατιον φαχτορ το ποιντσ ωιτη τηε σαµε εχχεντριχιτψ βυτ διφφερεντ α ϖαλυεσ. Τηε ανγυλαρ διστανχε βετωεεν τωο ποιντσ ατ εχχεντριχιτψ ϵ ωιτη αν αζιµυτηαλ ανγλε διφφερενχε οφ %α ισ %αϵπ/180◦ . Ιν τηισ εξπρεσσιον, τηε φαχτορ οφ ϵ χορρεχτσ φορ τηε ινχρεασε οφ αρχ λενγτη ασ α φυνχτιον οφ εχχεντριχιτψ, ανδ τηε φαχτορ οφ π/180◦ χονϖερτσ ϵ φροµ δεγρεεσ το ραδιανσ. Τηε σεπαρατιον ον τηε χορτεξ, %Ψ, χορρεσπονδινγ το τηεσε ποιντσ ηασ α µαγνιτυδε γιϖεν βψ τηε χορτιχαλ αµπλι⇒χατιον τιµεσ τηισ διστανχε. Τακινγ τηε λιµιτ %α → 0, ωε ⇒νδ τηατ

ϵπ δΨ =− Μ (ϵ) . δα 180◦

(2.16)

Τηε µινυσ σιγν ιν τηισ ρελατιονσηιπ αππεαρσ βεχαυσε τηε ϖισυαλ ⇒ελδ ισ ιν− ϖερτεδ ον τηε χορτεξ. Σολϖινγ εθυατιον 2.16 γιϖεσ Ψ=−

λϵαπ . (ϵ0 + ϵ)180◦

(2.17)

Φιγυρε 2.7Β σηοωσ τηατ τηεσε χοορδινατεσ αγρεε φαιρλψ ωελλ ωιτη τηε µαπ ιν ⇒γυρε 2.7Α. Φορ εχχεντριχιτιεσ αππρεχιαβλψ γρεατερ τηαν 1◦ , εθυατιονσ 2.15 ανδ 2.17 ρε− δυχε το Ξ ≈ λ λν(ϵ/ϵ0 ) ανδ Ψ ≈ −λπα/180◦ . Τηεσε τωο φορµυλασ χαν βε χοµβινεδ βψ δε⇒νινγ τηε χοµπλεξ νυµβερσ Ζ = Ξ + ιΨ ανδ ζ = (ϵ/ϵ0 ) εξπ(−ιπα/180◦ ) (ωιτη ι εθυαλ το τηε σθυαρε ροοτ οφ −1) ανδ ωριτινγ Ζ = λ λν( ζ ). Φορ τηισ ρεασον, τηε χορτιχαλ µαπ ισ σοµετιµεσ χαλλεδ α χοµπλεξ λογαριτηµιχ µαπ. Φορ αν ιµαγε σχαλεδ ραδιαλλψ βψ α φαχτορ γ , εχχεντριχιτιεσ χηανγε αχχορδινγ το ϵ → γϵ ωηιλε α ισ υναφφεχτεδ. Σχαλινγ οφ τηε εχχεντριχ− ιτψ προδυχεσ α σηιφτ Ξ → Ξ + λ λν(γ ) οϖερ τηε ρανγε οφ ϖαλυεσ ωηερε τηε σιµπλε λογαριτηµιχ φορµ οφ τηε µαπ ισ ϖαλιδ. Τηε λογαριτηµιχ τρανσφορµα− τιον τηυσ χαυσεσ ιµαγεσ τηατ αρε σχαλεδ ραδιαλλψ ουτωαρδ ον τηε ρετινα το βε ρεπρεσεντεδ ατ λοχατιονσ ον τηε χορτεξ τρανσλατεδ ιν τηε Ξ διρεχτιον. Φορ σµαλλερ εχχεντριχιτιεσ, τηε µαπ ωε ηαϖε δεριϖεδ ισ ονλψ αππροξιµατε εϖεν ιν τηε χοµπλετε φορµ γιϖεν βψ εθυατιονσ 2.15 ανδ 2.17. Τηισ ισ βεχαυσε τηε χορτιχαλ µαγνι⇒χατιον φαχτορ ισ νοτ ρεαλλψ ισοτροπιχ, ασ ωε ηαϖε ασσυµεδ ιν τηισ δεριϖατιον, ανδ α χοµπλετε δεσχριπτιον ρεθυιρεσ αχχουντινγ φορ τηε χυρϖατυρε οφ τηε χορτιχαλ συρφαχε.

χοµπλεξ λογαριτηµιχ µαπ

58

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

ςισυαλ Στιµυλι

χοντραστ

χουντερπηασε σινυσοιδαλ γρατινγ

Εαρλιερ ιν τηισ χηαπτερ, ωε υσεδ τηε φυνχτιον σ (τ ) το χηαραχτεριζε α τιµε− δεπενδεντ στιµυλυσ. Τηε δεσχριπτιον οφ ϖισυαλ στιµυλι ισ µορε χοµπλεξ. Γραψ−σχαλε ιµαγεσ αππεαρινγ ον α τωο−διµενσιοναλ συρφαχε, συχη ασ α ϖιδεο µονιτορ, χαν βε δεσχριβεδ βψ γιϖινγ τηε λυµινανχε, ορ λιγητ ιντεν− σιτψ, ατ εαχη ποιντ ον τηε σχρεεν. Τηεσε πιξελ λοχατιονσ αρε παραµετεριζεδ βψ Χαρτεσιαν χοορδινατεσ ξ ανδ ψ, ασ ιν τηε λοωερ πανελ οφ ⇒γυρε 2.6Α. Ηοω− εϖερ, πιξελ−βψ−πιξελ λιγητ ιντενσιτιεσ αρε νοτ α υσεφυλ ωαψ οφ παραµετεριζινγ α ϖισυαλ ιµαγε φορ τηε πυρποσεσ οφ χηαραχτεριζινγ νευροναλ ρεσπονσεσ. Τηισ ισ βεχαυσε ϖισυαλλψ ρεσπονσιϖε νευρονσ, λικε µανψ σενσορψ νευρονσ, αδαπτ το τηε οϖεραλλ λεϖελ οφ σχρεεν ιλλυµινατιον. Το αϖοιδ δεαλινγ ωιτη αδαπτα− τιον εφφεχτσ, ωε δεσχριβε τηε στιµυλυσ βψ α φυνχτιον σ ( ξ, ψ, τ ) τηατ ισ προπορ− τιοναλ το τηε διφφερενχε βετωεεν τηε λυµινανχε ατ τηε ποιντ ( ξ, ψ ) ατ τιµε τ ανδ τηε αϖεραγε ορ βαχκγρουνδ λεϖελ οφ λυµινανχε. Οφτεν σ ( ξ, ψ, τ ) ισ αλσο διϖιδεδ βψ τηε βαχκγρουνδ λυµινανχε λεϖελ, µακινγ ιτ διµενσιονλεσσ. Τηε ρεσυλτινγ θυαντιτψ ισ χαλλεδ τηε χοντραστ. ∆υρινγ ρεχορδινγσ, ϖισυαλ νευρονσ αρε υσυαλλψ στιµυλατεδ βψ ιµαγεσ τηατ ϖαρψ οϖερ βοτη σπαχε ανδ τιµε. Α χοµµονλψ υσεδ στιµυλυσ, τηε χουντερ− πηασε σινυσοιδαλ γρατινγ, ισ δεσχριβεδ βψ ) * σ ( ξ, ψ, τ ) = Α χοσ Κξ χοσ - + Κψ σιν - − . χοσ(ωτ ) . (2.18)

Φιγυρε 2.8 σηοωσ α σιµιλαρ γρατινγ (α σπατιαλ σθυαρε ωαϖε ισ δραων ρατηερ τηαν α σινυσοιδ) ανδ ιλλυστρατεσ τηε σιγνι⇒χανχε οφ τηε παραµετερσ Κ, -, σπατιαλ φρεθυενχψ Κ ., ανδ ω. Κ ανδ ω αρε τηε σπατιαλ ανδ τεµποραλ φρεθυενχιεσ οφ τηε γρατ− φρεθυενχψ ω ινγ (τηεσε αρε ανγυλαρ φρεθυενχιεσ), - ισ ιτσ οριεντατιον, . ισ ιτσ σπατιαλ οριεντατιον πηασε, ανδ Α ισ ιτσ χοντραστ αµπλιτυδε. Τηισ στιµυλυσ οσχιλλατεσ ιν βοτη σπατιαλ πηασε . σπαχε ανδ τιµε. Ατ ανψ ⇒ξεδ τιµε, ιτ οσχιλλατεσ ιν τηε διρεχτιον περπενδιχ− αµπλιτυδε Α υλαρ το τηε οριεντατιον ανγλε - ασ α φυνχτιον οφ ποσιτιον, ωιτη ωαϖελενγτη 2π/ Κ (⇒γυρε 2.8Α). Ατ ανψ ⇒ξεδ ποσιτιον, ιτ οσχιλλατεσ ιν τιµε ωιτη περιοδ 2π/ω (⇒γυρε 2.8Β). Φορ χονϖενιενχε, - ισ µεασυρεδ ρελατιϖε το τηε ψ αξισ ρατηερ τηαν τηε ξ αξισ, σο τηατ α στιµυλυσ ωιτη - = 0 ϖαριεσ ιν τηε ξ, βυτ νοτ ιν τηε ψ, διρεχτιον. . δετερµινεσ τηε σπατιαλ λοχατιον οφ τηε λιγητ ανδ δαρκ στριπεσ οφ τηε γρατινγ. Χηανγινγ . βψ αν αµουντ %. σηιφτσ τηε γρατινγ ιν τηε διρεχτιον περπενδιχυλαρ το ιτσ οριεντατιον βψ α φραχτιον %./2π οφ ιτσ ωαϖελενγτη. Τηε χοντραστ αµπλιτυδε Α χοντρολσ τηε µαξιµυµ δεγρεε οφ διφφερενχε βετωεεν λιγητ ανδ δαρκ αρεασ. Βεχαυσε ξ ανδ ψ αρε µεασυρεδ ιν δεγρεεσ, Κ ισ εξπρεσσεδ ιν τηε ρατηερ υνυσυαλ υνιτσ οφ ραδιανσ περ δεγρεε ανδ Κ/2π ισ τψπιχαλλψ ρεπορτεδ ιν υνιτσ οφ χψχλεσ περ δεγρεε. . ηασ υνιτσ οφ ραδιανσ, ω ισ ιν ραδιανσ/σ, ανδ ω/2π ισ ιν Ηζ.

ωηιτε−νοισε ιµαγε

Εξπεριµεντσ τηατ χονσιδερ ρεϖερσε χορρελατιον ανδ σπικε−τριγγερεδ αϖερ− αγεσ υσε ϖαριουσ τψπεσ οφ ρανδοµ ανδ ωηιτε−νοισε στιµυλι ιν αδδιτιον το βαρσ ανδ γρατινγσ. Α ωηιτε−νοισε στιµυλυσ, ιν τηισ χασε, ισ ονε τηατ ισ υνχορρελατεδ ιν βοτη σπαχε ανδ τιµε σο τηατ 1 Τ

"

0

Τ

δτ σ ( ξ, ψ, τ )σ ( ξ′ , ψ′ , τ + τ) = σσ2 δ(τ)δ( ξ − ξ′ )δ( ψ − ψ′ ) .

(2.19)

2.3

Ιντροδυχτιον το τηε Εαρλψ ςισυαλ Σψστεµ

A

Θ

59

B

σ

ψ

0

ξ

τ

Φιγυρε 2.8 Α χουντερπηασε γρατινγ. (Α) Α πορτιον οφ α σθυαρε−ωαϖε γρατινγ αναλ− ογουσ το τηε σινυσοιδαλ γρατινγ οφ εθυατιον 2.18. Τηε λιγητερ στριπεσ αρε ρεγιονσ ωηερε σ > 0, ανδ σ < 0 ωιτηιν τηε δαρκερ στριπεσ. Κ δετερµινεσ τηε ωαϖελενγτη οφ τηε γρατινγ ανδ -, ιτσ οριεντατιον. Χηανγινγ ιτσ σπατιαλ πηασε, ., σηιφτσ τηε εντιρε λιγητ−δαρκ παττερν ιν τηε διρεχτιον περπενδιχυλαρ το τηε στριπεσ. (Β) Τηε λιγητ−δαρκ ιντενσιτψ ατ ανψ ποιντ οφ τηε σπατιαλ γρατινγ οσχιλλατεσ σινυσοιδαλλψ ιν τιµε ωιτη πε− ριοδ 2π/ω.

Οφ χουρσε, ιν πραχτιχε α δισχρετε αππροξιµατιον οφ συχη α στιµυλυσ µυστ βε υσεδ βψ διϖιδινγ τηε ιµαγε σπαχε ιντο πιξελσ ανδ τιµε ιντο σµαλλ βινσ. Ιν αδδιτιον, µορε στρυχτυρεδ ρανδοµ σετσ οφ ιµαγεσ (ρανδοµλψ οριεντεδ βαρσ, φορ εξαµπλε) αρε σοµετιµεσ υσεδ το ενηανχε τηε ρεσπονσεσ οβταινεδ δυρινγ στιµυλατιον.

Τηε Νψθυιστ Φρεθυενχψ Μανψ φαχτορσ λιµιτ τηε µαξιµαλ σπατιαλ φρεθυενχψ τηατ χαν βε ρεσολϖεδ βψ τηε ϖισυαλ σψστεµ, βυτ ονε ιντερεστινγ εφφεχτ αρισεσ φροµ τηε σιζε ανδ σπαχ− ινγ οφ ινδιϖιδυαλ πηοτορεχεπτορσ ον τηε ρετινα. Τηε ρεγιον οφ τηε ρετινα ωιτη τηε ηιγηεστ ρεσολυτιον ισ τηε φοϖεα ατ τηε χεντερ οφ τηε ϖισυαλ ⇒ελδ. Ωιτηιν τηε µαχαθυε ορ ηυµαν φοϖεα, χονε πηοτορεχεπτορσ αρε δενσελψ παχκεδ ιν α ρεγυλαρ αρραψ. Αλονγ ανψ διρεχτιον ιν τηε ϖισυαλ ⇒ελδ, α ρεγ− υλαρ αρραψ οφ τιγητλψ παχκεδ πηοτορεχεπτορσ οφ σιζε %ξ σαµπλεσ ποιντσ ατ λοχατιονσ µ%ξ φορ µ = 1, 2, . . . . Τηε (ανγυλαρ) φρεθυενχψ τηατ δε⇒νεσ τηε ρεσολυτιον οφ συχη αν αρραψ ισ χαλλεδ τηε Νψθυιστ φρεθυενχψ ανδ ισ γιϖεν βψ Κνψθ =

π . %ξ

(2.20)

Το υνδερστανδ τηε σιγνι⇒χανχε οφ τηε Νψθυιστ φρεθυενχψ, χονσιδερ σαµ− πλινγ τωο χοσινε γρατινγσ ωιτη σπατιαλ φρεθυενχιεσ οφ Κ ανδ 2Κνψθ − Κ, ωιτη Κ < Κνψθ . Τηεσε αρε δεσχριβεδ βψ σ = χοσ( Κξ ) ανδ σ = χοσ((2Κνψθ − Κ )ξ ). Ατ τηε σαµπλεδ ποιντσ, τηεσε φυνχτιονσ αρε ιδεντιχαλ βεχαυσε χοσ((2Κνψθ − Κ )µ%ξ ) = χοσ(2πµ − Κµ%ξ ) = χοσ(− Κµ%ξ ) = χοσ( Κµ%ξ ) βψ τηε περι− οδιχιτψ ανδ εϖεννεσσ οφ τηε χοσινε φυνχτιον (σεε ⇒γυρε 2.9). Ασ α ρεσυλτ, τηεσε τωο γρατινγσ χαννοτ βε διστινγυισηεδ βψ εξαµινινγ τηεµ ονλψ ατ τηε σαµπλεδ ποιντσ. Ανψ τωο σπατιαλ φρεθυενχιεσ Κ < Κνψθ ανδ 2Κνψθ − Κ

Νψθυιστ φρεθυενχψ

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

χοσ(πξ/6) or χοσ(πξ/2)

60 1.0 0.5 0.0

-0.5 -1.0 0

3

6

ξ

9

12

Φιγυρε 2.9 Αλιασινγ ανδ τηε Νψθυιστ φρεθυενχψ. Τηε τωο χυρϖεσ αρε τηε φυνχτιονσ χοσ(π ξ/6 ) ανδ χοσ(π ξ/2 ) πλοττεδ αγαινστ ξ, ανδ τηε δοτσ σηοω ποιντσ σαµπλεδ ωιτη α σπαχινγ οφ %ξ = 3. Τηε Νψθυιστ φρεθυενχψ ιν τηισ χασε ισ π/3, ανδ τηε τωο χοσινε χυρϖεσ µατχη ατ τηε σαµπλεδ ποιντσ βεχαυσε τηειρ σπατιαλ φρεθυενχιεσ σατισφψ τηε ρελατιον 2π/3 − π/6 = π/2.

χαν βε χονφυσεδ ωιτη ονε ανοτηερ ιν τηισ ωαψ, α πηενοµενον κνοων ασ αλιασινγ. Χονϖερσελψ, ιφ αν ιµαγε ισ χονστρυχτεδ σολελψ οφ φρεθυενχιεσ λεσσ τηαν Κνψθ , ιτ χαν βε ρεχονστρυχτεδ περφεχτλψ φροµ τηε ⇒νιτε σετ οφ σαµπλεσ προϖιδεδ βψ τηε αρραψ. Τηερε αρε 120 χονεσ περ δεγρεε ατ τηε φοϖεα οφ τηε µαχαθυε ρετινα, ωηιχη µακεσ Κνψθ /(2π) = 1/(2%ξ ) = 60 χψχλεσ περ δε− γρεε. Ιν τηισ ρεσυλτ, ωε ηαϖε διϖιδεδ τηε ριγητ σιδε οφ εθυατιον 2.20, ωηιχη γιϖεσ Κνψθ ιν υνιτσ οφ ραδιανσ περ δεγρεε, βψ 2π το χονϖερτ τηε ανσωερ το χψχλεσ περ δεγρεε.

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

Τηε σπικε−τριγγερεδ αϖεραγε φορ ϖισυαλ στιµυλι ισ δε⇒νεδ, ασ ιν χηαπτερ 1, ασ τηε αϖεραγε οϖερ τριαλσ οφ στιµυλι εϖαλυατεδ ατ τιµεσ τι − τ , ωηερε τι φορ ι = 1, 2, . . . , ν αρε τηε σπικε τιµεσ. Βεχαυσε τηε λιγητ ιντενσιτψ οφ α ϖισυαλ ιµαγε δεπενδσ ον λοχατιον ασ ωελλ ασ τιµε, τηε σπικε−τριγγερεδ αϖεραγε στιµυλυσ ισ α φυνχτιον οφ τηρεε ϖαριαβλεσ, + , ν 1 ! σ ( ξ, ψ, τι − τ) . (2.21) Χ ( ξ, ψ, τ) = ⟨ν⟩ ι=1 Ηερε, ασ ιν χηαπτερ 1, τηε βραχκετσ δενοτε τριαλ αϖεραγινγ, ανδ ωε ηαϖε υσεδ τηε αππροξιµατιον 1/ ν ≈ 1/⟨ν⟩. Χ ( ξ, ψ, τ) ισ τηε αϖεραγε ϖαλυε οφ τηε ϖισυαλ στιµυλυσ ατ τηε ποιντ ( ξ, ψ ) α τιµε τ βεφορε α σπικε ωασ ⇒ρεδ. Σιµιλαρλψ, ωε χαν δε⇒νε τηε χορρελατιον φυνχτιον βετωεεν τηε ⇒ρινγ ρατε ατ τιµε τ ανδ τηε στιµυλυσ ατ τιµε τ + τ , φορ τριαλσ οφ δυρατιον Τ, ασ " 1 Τ Θrσ ( ξ, ψ, τ) = δτ r (τ )σ ( ξ, ψ, τ + τ) . (2.22) Τ 0

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

61

Τηε σπικε−τριγγερεδ αϖεραγε ισ ρελατεδ το τηε ρεϖερσε−χορρελατιον φυνχτιον, ασ δισχυσσεδ ιν χηαπτερ 1, βψ Χ ( ξ, ψ, τ) =

Θrσ ( ξ, ψ, −τ) , ⟨ρ⟩

(2.23)

ωηερε ⟨ρ⟩ ισ, ασ υσυαλ, τηε αϖεραγε ⇒ρινγ ρατε οϖερ τηε εντιρε τριαλ, ⟨ρ⟩ = ⟨ν⟩/ Τ. Το εστιµατε τηε ⇒ρινγ ρατε οφ α νευρον ιν ρεσπονσε το α παρτιχυλαρ ιµαγε, ωε αδδ α φυνχτιον οφ τηε ουτπυτ οφ α λινεαρ ⇒λτερ οφ τηε στιµυλυσ το τηε βαχκγρουνδ ⇒ρινγ ρατε r0 , ασ ιν εθυατιον 2.8, rεστ (τ ) = r0 + Φ ( Λ (τ )). Ασ ιν εθυατιον 2.7, τηε λινεαρ εστιµατε Λ (τ ) ισ οβταινεδ βψ ιντεγρατινγ οϖερ τηε παστ ηιστορψ οφ τηε στιµυλυσ ωιτη α κερνελ αχτινγ ασ τηε ωειγητινγ φυνχ− τιον. Βεχαυσε ϖισυαλ στιµυλι δεπενδ ον σπατιαλ λοχατιον, ωε µυστ δεχιδε ηοω χοντριβυτιονσ φροµ διφφερεντ ιµαγε λοχατιονσ αρε το βε χοµβινεδ το δετερµινε Λ (τ ). Τηε σιµπλεστ ασσυµπτιον ισ τηατ τηε χοντριβυτιονσ φροµ διφφερεντ σπατιαλ ποιντσ συµ λινεαρλψ, σο τηατ Λ (τ ) ισ οβταινεδ βψ ιντεγρατινγ οϖερ αλλ ξ ανδ ψ ϖαλυεσ: " ∞ " Λ (τ ) = δτ δξδψ ∆ ( ξ, ψ, τ)σ ( ξ, ψ, τ − τ) . (2.24)

λινεαρ ρεσπονσε εστιµατε

0

Τηε κερνελ ∆ ( ξ, ψ, τ) δετερµινεσ ηοω στρονγλψ, ανδ ωιτη ωηατ σιγν, τηε ϖισυαλ στιµυλυσ ατ τηε ποιντ ( ξ, ψ ) ανδ ατ τιµε τ − τ αφφεχτσ τηε ⇒ρινγ ρατε οφ τηε νευρον ατ τιµε τ. Ασ ιν εθυατιον 2.6, τηε οπτιµαλ κερνελ ισ γιϖεν ιν τερµσ οφ τηε ⇒ρινγ ρατε−στιµυλυσ χορρελατιον φυνχτιον, ορ τηε σπικε− τριγγερεδ αϖεραγε, φορ α ωηιτε−νοισε στιµυλυσ ωιτη ϖαριανχε παραµετερ σσ2 βψ ∆ ( ξ, ψ, τ) =

⟨ρ⟩Χ ( ξ, ψ, τ) Θrσ ( ξ, ψ, −τ) = . σσ2 σσ2

(2.25)

Τηε κερνελ ∆ ( ξ, ψ, τ) δε⇒νεσ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ οφ α νευρον. Βεχαυσε ∆ ( ξ, ψ, τ) ισ α φυνχτιον οφ τηρεε ϖαριαβλεσ, ιτ χαν βε διφ⇒χυλτ το µεασυρε ανδ ϖισυαλιζε. Φορ σοµε νευρονσ, τηε κερνελ χαν βε ωριττεν ασ α προδυχτ οφ τωο φυνχτιονσ, ονε τηατ δεσχριβεσ τηε σπατιαλ ρεχεπτιϖε ⇒ελδ ανδ τηε οτηερ, τηε τεµποραλ ρεχεπτιϖε ⇒ελδ, ∆ ( ξ, ψ, τ) = ∆σ ( ξ, ψ ) ∆τ (τ) .

σπαχε−τιµε ρεχεπτιϖε ⇒ελδ

(2.26)

Συχη νευρονσ αρε σαιδ το ηαϖε σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Σεπαραβιλιτψ ρεθυιρεσ τηατ τηε σπατιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδ νοτ χηανγε οϖερ τιµε εξχεπτ βψ αν οϖεραλλ µυλτιπλιχατιϖε φαχτορ. Ωηεν ∆ ( ξ, ψ, τ) χαννοτ βε ωριττεν ασ τηε προδυχτ οφ τωο τερµσ, τηε νευρον ισ σαιδ το ηαϖε α νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ. Γιϖεν τηε φρεεδοµ ιν εθυατιον 2.8 το σετ τηε σχαλε οφ ∆ (βψ συιταβλψ αδϕυστινγ τηε φυνχτιον Φ), ωε τψπιχαλλψ νορµαλιζε ∆σ σο τηατ ιτσ ιντεγραλ ισ 1, ανδ υσε α σιµιλαρ ρυλε φορ τηε χοµπονεντσ φροµ ωηιχη ∆τ ισ χονστρυχτεδ. Ωε βεγιν ουρ αναλψσισ βψ στυδψινγ ⇒ρστ τηε σπατιαλ ανδ τηεν τηε τεµποραλ χοµπονεντσ οφ α σεπαρα− βλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ, ανδ τηεν προχεεδ το τηε νονσεπαραβλε χασε. Φορ σιµπλιχιτψ, ωε ιγνορε τηε ποσσιβιλιτψ τηατ χελλσ χαν ηαϖε σλιγητλψ διφφερ− εντ ρεχεπτιϖε ⇒ελδσ φορ τηε τωο εψεσ, ωηιχη υνδερλιεσ τηε δισπαριτψ τυνινγ χονσιδερεδ ιν χηαπτερ 1.

σεπαραβλε ρεχεπτιϖε ⇒ελδ νονσεπαραβλε ρεχεπτιϖε ⇒ελδ

62

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

Σπατιαλ Ρεχεπτιϖε Φιελδσ Φιγυρεσ 2.10Α ανδ Χ σηοω τηε σπατιαλ στρυχτυρε οφ σπικε−τριγγερεδ αϖεραγε στιµυλι φορ τωο σιµπλε χελλσ ιν τηε πριµαρψ ϖισυαλ χορτεξ οφ α χατ (αρεα 17) ωιτη αππροξιµατελψ σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Τηεσε ρεχεπτιϖε ⇒ελδσ αρε ελονγατεδ ιν ονε διρεχτιον. Τηερε αρε σοµε ρεγιονσ ωιτηιν τηε ρε− χεπτιϖε ⇒ελδ ωηερε ∆σ ισ ποσιτιϖε, χαλλεδ ΟΝ ρεγιονσ, ανδ οτηερσ ωηερε ιτ ισ νεγατιϖε, χαλλεδ ΟΦΦ ρεγιονσ. Τηε ιντεγραλ οφ τηε λινεαρ κερνελ τιµεσ τηε στιµυλυσ χαν βε ϖισυαλιζεδ βψ νοτινγ ηοω τηε ΟΦΦ (βλαχκ) ανδ ΟΝ (ωηιτε) ρεγιονσ οϖερλαπ τηε ιµαγε (σεε ⇒γυρε 2.11) . Τηε ρεσπονσε οφ α νευρον ισ εν− ηανχεδ ιφ ΟΝ ρεγιονσ αρε ιλλυµινατεδ (σ > 0) ορ ιφ ΟΦΦ ρεγιονσ αρε δαρκενεδ (σ < 0) ρελατιϖε το τηε βαχκγρουνδ λεϖελ οφ ιλλυµινατιον. Χονϖερσελψ, τηεψ αρε συππρεσσεδ βψ δαρκενινγ ΟΝ ρεγιονσ ορ ιλλυµινατινγ ΟΦΦ ρεγιονσ. Ασ α ρεσυλτ, τηε νευρονσ οφ ⇒γυρεσ 2.10Α ανδ Χ ρεσπονδ µοστ ϖιγορουσλψ το λιγητ−δαρκ εδγεσ ποσιτιονεδ αλονγ τηε βορδερ βετωεεν τηε ΟΝ ανδ ΟΦΦ ρε− γιονσ, ανδ οριεντεδ παραλλελ το τηισ βορδερ ανδ το τηε ελονγατεδ διρεχτιον οφ τηε ρεχεπτιϖε ⇒ελδσ (⇒γυρε 2.11). Φιγυρεσ 2.10 ανδ 2.11 σηοω ρεχεπτιϖε ⇒ελδσ ωιτη τωο µαϕορ συβρεγιονσ. Σιµπλε χελλσ αρε φουνδ ωιτη φροµ ονε το ⇒ϖε συβρεγιονσ. Αλονγ ωιτη τηε ΟΝ−ΟΦΦ παττερνσ ωε ηαϖε σεεν, ανοτηερ τψπιχαλ αρρανγεµεντ ισ α τηρεε−λοβεδ ρεχεπτιϖε ⇒ελδ ωιτη ΟΦΦ−ΟΝ−ΟΦΦ ορ ΟΝ−ΟΦΦ−ΟΝ συβρεγιονσ. Γαβορ φυνχτιον

ρφ σιζε σξ , σ ψ πρεφερρεδ σπατιαλ φρεθυενχψ κ πρεφερρεδ σπατιαλ πηασε φ

Α µατηεµατιχαλ αππροξιµατιον οφ τηε σπατιαλ ρεχεπτιϖε ⇒ελδ οφ α σιµπλε χελλ ισ προϖιδεδ βψ α Γαβορ φυνχτιον, ωηιχη ισ α προδυχτ οφ α Γαυσσιαν φυνχτιον ανδ α σινυσοιδαλ φυνχτιον. Γαβορ φυνχτιονσ αρε βψ νο µεανσ τηε ονλψ φυνχτιονσ υσεδ το ⇒τ σπατιαλ ρεχεπτιϖε ⇒ελδσ οφ σιµπλε χελλσ. Φορ εξαµ− πλε, γραδιεντσ οφ Γαυσσιανσ αρε σοµετιµεσ υσεδ. Ηοωεϖερ, ωε ωιλλ στιχκ το Γαβορ φυνχτιονσ, ανδ το σιµπλιφψ τηε νοτατιον, ωε χηοοσε τηε χοορδινατεσ ξ ανδ ψ σο τηατ τηε βορδερσ βετωεεν τηε ΟΝ ανδ ΟΦΦ ρεγιονσ αρε παραλλελ το τηε ψ αξισ. Ωε αλσο πλαχε τηε οριγιν οφ τηε χοορδινατεσ ατ τηε χεντερ οφ τηε ρεχεπτιϖε ⇒ελδ. Ωιτη τηεσε χηοιχεσ, ωε χαν αππροξιµατε τηε οβσερϖεδ ρεχεπτιϖε ⇒ελδ στρυχτυρεσ υσινγ τηε Γαβορ φυνχτιον ( ' ψ2 ξ2 1 εξπ − 2 − 2 χοσ(κξ − φ) . (2.27) ∆σ ( ξ, ψ ) = 2πσξ σ ψ 2σ ξ 2σ ψ Τηε παραµετερσ ιν τηισ φυνχτιον δετερµινε τηε προπερτιεσ οφ τηε σπατιαλ ρε− χεπτιϖε ⇒ελδ: σξ ανδ σ ψ δετερµινε ιτσ εξτεντ ιν τηε ξ ανδ ψ διρεχτιονσ, ρεσπεχτιϖελψ; κ, τηε πρεφερρεδ σπατιαλ φρεθυενχψ, δετερµινεσ τηε σπαχινγ οφ λιγητ ανδ δαρκ βαρσ τηατ προδυχε τηε µαξιµυµ ρεσπονσε (τηε πρεφερρεδ σπατιαλ ωαϖελενγτη ισ 2π/ κ); ανδ φ ισ τηε πρεφερρεδ σπατιαλ πηασε, ωηιχη δετερµινεσ ωηερε τηε ΟΝ−ΟΦΦ βουνδαριεσ φαλλ ωιτηιν τηε ρεχεπτιϖε ⇒ελδ. Φορ τηισ σπατιαλ ρεχεπτιϖε ⇒ελδ, τηε σινυσοιδαλ γρατινγ δεσχριβεδ βψ εθυα− τιον 2.18 τηατ προδυχεσ τηε µαξιµυµ ρεσπονσε φορ α ⇒ξεδ ϖαλυε οφ Α ηασ Κ = κ, . = φ, ανδ - = 0. Φιγυρεσ 2.10Β ανδ 2.10∆ σηοω Γαβορ φυνχτιονσ χηοσεν σπεχι⇒χαλλψ το µατχη τηε δατα ιν ⇒γυρεσ 2.10Α ανδ 2.10Χ. Φιγυρε 2.12 σηοωσ ξ ανδ ψ πλοτσ οφ α ϖαριετψ οφ Γαβορ φυνχτιονσ ωιτη διφφερεντ παραµετερ ϖαλυεσ. Ασ

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

A

63

B

∆σ 0

5 0 -4

-2

0

4 -5

2

D

C

∆σ 0

5 0 -4

-2

0

2

4 -5

Φιγυρε 2.10 Σπατιαλ ρεχεπτιϖε ⇒ελδ στρυχτυρε οφ σιµπλε χελλσ. (Α) ανδ (Χ) Σπατιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδσ οφ τωο νευρονσ ιν χατ πριµαρψ ϖισυαλ χορτεξ δετερ− µινεδ βψ αϖεραγινγ στιµυλι βετωεεν 50 µσ ανδ 100 µσ πριορ το αν αχτιον ποτεντιαλ. Τηε υππερ πλοτσ αρε τηρεε−διµενσιοναλ ρεπρεσεντατιονσ, ωιτη τηε ηοριζονταλ διµεν− σιονσ αχτινγ ασ τηε ξ−ψ πλανε ανδ τηε ϖερτιχαλ διµενσιον ινδιχατινγ τηε µαγνιτυδε ανδ σιγν οφ ∆σ ( ξ, ψ ). Τηε λοωερ χοντουρ πλοτσ ρεπρεσεντ τηε ξ−ψ πλανε. Ρεγιονσ ωιτη σολιδ χοντουρ χυρϖεσ αρε ΟΝ αρεασ ωηερε ∆σ ( ξ, ψ ) > 0, ανδ ρεγιονσ ωιτη δασηεδ χοντουρσ αρε ΟΦΦ αρεασ ωηερε ∆σ ( ξ, ψ ) < 0. (Β) ανδ (∆) Γαβορ φυνχτιονσ (εθυα− τιον 2.27) ωιτη σξ = 1◦ , σ ψ = 2◦ , 1/ κ = 0.56◦ , ανδ φ = 1 − π/2 (Β) ορ φ = 1 − π (∆), χηοσεν το µατχη τηε ρεχεπτιϖε ⇒ελδσ ιν Α ανδ Χ. (Α ανδ Χ αδαπτεδ φροµ ϑονεσ ανδ Παλµερ, 1987α.)

64

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ A

C

B

ψ

ξ Φιγυρε 2.11 Γρατινγ στιµυλι συπεριµποσεδ ον σπατιαλ ρεχεπτιϖε ⇒ελδσ σιµιλαρ το τηοσε σηοων ιν ⇒γυρε 2.10. Τηε ρεχεπτιϖε ⇒ελδ ισ σηοων ασ τωο οϖαλ ρεγιονσ, ονε δαρκ το ρεπρεσεντ αν ΟΦΦ αρεα ωηερε ∆σ < 0 ανδ ονε ωηιτε το δενοτε αν ΟΝ ρεγιον ωηερε ∆σ > 0. (Α) Α γρατινγ ωιτη τηε σπατιαλ ωαϖελενγτη, οριεντατιον, ανδ σπατιαλ πηασε σηοων προδυχεσ α ηιγη ⇒ρινγ ρατε βεχαυσε α δαρκ βανδ χοµπλετελψ οϖερλαπσ τηε ΟΦΦ αρεα οφ τηε ρεχεπτιϖε ⇒ελδ ανδ α λιγητ βανδ οϖερλαπσ τηε ΟΝ αρεα. (Β) Τηε γρατινγ σηοων ισ νονοπτιµαλ δυε το α µισµατχη ιν βοτη τηε σπατιαλ πηασε ανδ φρε− θυενχψ, σο τηατ τηε ΟΝ ανδ ΟΦΦ ρεγιονσ εαχη οϖερλαπ βοτη λιγητ ανδ δαρκ στριπεσ. (Χ) Τηε γρατινγ σηοων ισ ατ α νονοπτιµαλ οριεντατιον βεχαυσε εαχη ρεγιον οφ τηε ρεχεπτιϖε ⇒ελδ οϖερλαπσ βοτη λιγητ ανδ δαρκ στριπεσ.

βανδωιδτη

σεεν ιν ⇒γυρε 2.12, Γαβορ φυνχτιονσ χαν ηαϖε ϖαριουσ τψπεσ οφ σψµµε− τρψ, ανδ ϖαριαβλε νυµβερσ οφ σιγνι⇒χαντ οσχιλλατιονσ (ορ συβρεγιονσ) ωιτηιν τηε Γαυσσιαν ενϖελοπε. Τηε νυµβερ οφ συβρεγιονσ ωιτηιν τηε ρεχεπτιϖε ⇒ελδ ισ δετερµινεδ βψ τηε προδυχτ κσξ ανδ ισ τψπιχαλλψ εξπρεσσεδ ιν τερµσ οφ α θυαντιτψ κνοων ασ τηε βανδωιδτη β. Τηε βανδωιδτη ισ δε⇒νεδ ασ β = λογ2 ( Κ+ / Κ− ), ωηερε Κ+ > κ ανδ Κ− < κ αρε τηε σπατιαλ φρεθυενχιεσ οφ γρατινγσ τηατ προδυχε ονε−ηαλφ τηε ρεσπονσε αµπλιτυδε οφ α γρατινγ ωιτη Κ = κ. Ηιγη βανδωιδτησ χορρεσπονδ το λοω ϖαλυεσ οφ κσξ , µεανινγ τηατ τηε ρεχεπτιϖε ⇒ελδ ηασ φεω συβρεγιονσ ανδ ποορ σπατιαλ φρεθυενχψ σελεχτιϖ− ιτψ. Νευρονσ ωιτη µορε συβ⇒ελδσ αρε µορε σελεχτιϖε το σπατιαλ φρεθυενχψ, ανδ τηεψ ηαϖε σµαλλερ βανδωιδτησ ανδ λαργερ ϖαλυεσ οφ κσξ . Τηε βανδωιδτη ισ τηε ωιδτη οφ τηε σπατιαλ φρεθυενχψ τυνινγ χυρϖε µεα− συρεδ ιν οχταϖεσ. Τηε σπατιαλ φρεθυενχψ τυνινγ χυρϖε ασ α φυνχτιον οφ Κ φορ α Γαβορ ρεχεπτιϖε ⇒ελδ ωιτη πρεφερρεδ σπατιαλ φρεθυενχψ κ ανδ ρεχεπτιϖε ⇒ελδ ωιδτη σξ ισ προπορτιοναλ το εξπ(−σξ2 (κ − Κ )2 /2 ) (σεε εθυατιον 2.34 βελοω). Τηε ϖαλυεσ οφ Κ+ ανδ Κ− νεεδεδ το χοµπυτε τηε βανδωιδτη αρε τηυσ δετερµινεδ βψ τηε χονδιτιον εξπ(−σξ2 (κ − Κ± )2 /2 ) = 1/2. Σολϖινγ τηισ εθυατιον γιϖεσ Κ± = κ ± (2 λν(2 ))1/2 /σξ , φροµ ωηιχη ωε οβταιν √ & % 0 κσξ + 2 λν(2 ) 2β + 1 ορ κσξ = 2 λν(2 ) β β = λογ2 . (2.28) √ 2 −1 κσξ − 2 λν(2 ) Βανδωιδτη ισ δε⇒νεδ ονλψ ιφ κσξ > (2 λν(2 ))1/2 , βυτ τηισ ισ υσυαλλψ τηε χασε. Βανδωιδτησ τψπιχαλλψ ρανγε φροµ αβουτ 0.5 το 2.5, χορρεσπονδινγ το κσξ βετωεεν 1.7 ανδ 6.9.

Τηε ρεσπονσε χηαραχτεριζεδ βψ εθυατιον 2.27 ισ µαξιµαλ ιφ λιγητ−δαρκ εδγεσ αρε παραλλελ το τηε ψ αξισ, σο τηε πρεφερρεδ οριεντατιον ανγλε ισ 0. Αν αρ− βιτραρψ πρεφερρεδ οριεντατιον θ χαν βε γενερατεδ βψ ροτατινγ τηε χοορδι−

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

ξ 0 ξ ψ ∆σ

0.8

0.8

1.0

0.4

0.4

0.5

0.0

0.0

0.0

-0.4

-0.4

2

0

2

ξ (degrees)

1.0 0.6

0.0

-0.5

-0.8 -2

0 ψ

D

ξ ψ ∆σ

C

B

A

65

2

2.4

-2

0

2

ξ (degrees)

-2

0

2

ξ (degrees)

0.8 0.4 0.2 -4

0

4

ψ (degrees)

Φιγυρε 2.12 Γαβορ φυνχτιονσ οφ τηε φορµ γιϖεν βψ εθυατιον 2.27. Φορ χονϖενιενχε ωε πλοτ τηε διµενσιονλεσσ φυνχτιον 2πσξ σ ψ ∆σ . (Α) Α Γαβορ φυνχτιον ωιτη σξ = 1◦ , 1/ κ = 0.5◦ , ανδ φ = 0 πλοττεδ ασ α φυνχτιον οφ ξ φορ ψ = 0. Τηισ φυνχτιον ισ σψµµετριχ αβουτ ξ = 0. (Β) Α Γαβορ φυνχτιον ωιτη σξ = 1◦ , 1/ κ = 0.5◦ , ανδ φ = π/2 πλοττεδ ασ α φυνχτιον οφ ξ φορ ψ = 0. Τηισ φυνχτιον ισ αντισψµµετριχ αβουτ ξ = 0 ανδ χορρεσπονδσ το υσινγ α σινε ινστεαδ οφ α χοσινε φυνχτιον ιν εθυατιον 2.27. (Χ) Α Γαβορ φυνχτιον ωιτη σξ = 1◦ , 1/ κ = 0.33◦ , ανδ φ = π/4 πλοττεδ ασ α φυνχτιον οφ ξ φορ ψ = 0. Τηισ φυνχτιον ηασ νο παρτιχυλαρ σψµµετρψ προπερτιεσ ωιτη ρεσπεχτ το ξ = 0. (∆) Τηε Γαβορ φυνχτιον οφ εθυατιον 2.27 ωιτη σ ψ = 2◦ πλοττεδ ασ α φυνχτιον οφ ψ φορ ξ = 0. Τηισ φυνχτιον ισ σιµπλψ α Γαυσσιαν.

νατεσ, µακινγ τηε συβστιτυτιονσ ξ → ξ χοσ(θ) + ψ σιν(θ) ανδ ψ → ψ χοσ(θ) − ξ σιν(θ) ιν εθυατιον 2.27. Τηισ προδυχεσ α σπατιαλ ρεχεπτιϖε ⇒ελδ τηατ ισ µαξιµαλλψ ρεσπονσιϖε το α γρατινγ ωιτη - = θ. Σιµιλαρλψ, α ρεχεπτιϖε ⇒ελδ χεντερεδ ατ τηε ποιντ ( ξ0 , ψ0 ) ρατηερ τηαν ατ τηε οριγιν χαν βε χονστρυχτεδ βψ µακινγ τηε συβστιτυτιονσ ξ → ξ − ξ0 ανδ ψ → ψ − ψ0 .

Τεµποραλ Ρεχεπτιϖε Φιελδσ Φιγυρε 2.13 ρεϖεαλσ τηε τεµποραλ δεϖελοπµεντ οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ οφ α νευρον ιν τηε χατ πριµαρψ ϖισυαλ χορτεξ τηρουγη α σεριεσ οφ σναπ− σηοτσ οφ ιτσ σπατιαλ ρεχεπτιϖε ⇒ελδ. Μορε τηαν 300 µσ πριορ το α σπικε, τηερε ισ λιττλε χορρελατιον βετωεεν τηε ϖισυαλ στιµυλυσ ανδ τηε υπχοµινγ σπικε. Αρουνδ 210 µσ βεφορε τηε σπικε (τ = 210 µσ), α τωο−λοβεδ ΟΦΦ−ΟΝ ρε− χεπτιϖε ⇒ελδ, σιµιλαρ το τηε ονεσ ιν ⇒γυρε 2.10, ισ εϖιδεντ. Ασ τ δεχρεασεσ (ρεχαλλ τηατ τ µεασυρεσ τιµε ιν α ρεϖερσεδ σενσε), τηισ στρυχτυρε ⇒ρστ φαδεσ αωαψ ανδ τηεν ρεϖερσεσ, σο τηατ τηε ρεχεπτιϖε ⇒ελδ 75 µσ βεφορε α σπικε ηασ τηε οπποσιτε σιγν φροµ ωηατ αππεαρεδ ατ τ = 210 µσ. ∆υε το λατενχψ εφ− φεχτσ, τηε σπατιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδ ισ λεσσ σιγνι⇒χαντ φορ τ < 75 µσ. Τηε στιµυλυσ πρεφερρεδ βψ τηισ χελλ ισ τηυσ αν αππροπριατελψ αλιγνεδ δαρκ−λιγητ βουνδαρψ τηατ ρεϖερσεσ το α λιγητ−δαρκ βουνδαρψ οϖερ τιµε. Ρεϖερσαλ εφφεχτσ λικε τηοσε σεεν ιν ⇒γυρε 2.13 αρε α χοµµον φεατυρε οφ σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Αλτηουγη τηε µαγνιτυδεσ ανδ σιγνσ οφ τηε διφφερεντ σπατιαλ ρεγιονσ ιν ⇒γυρε 2.13 ϖαρψ οϖερ τιµε, τηειρ λοχατιονσ ανδ σηαπεσ ρεµαιν φαιρλψ χονσταντ. Τηισ ινδιχατεσ τηατ τηε νευρον ηασ, το α γοοδ αππροξιµατιον, α σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ. Ωηεν α σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ισ σεπαραβλε, τηε ρεϖερσαλ χαν βε δεσχριβεδ βψ α φυνχτιον ∆τ (τ) τηατ ρισεσ φροµ 0, βεχοµεσ ποσιτιϖε, τηεν νεγατιϖε, ανδ υλτιµατελψ

πρεφερρεδ οριεντατιον θ

ρφ χεντερ ξ0 , ψ0

66

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

ψ (degrees)

5

0 0

τ = 255 µσ

ξ (degrees)

210 µσ

165 µσ

120 µσ

75 µσ

30 µσ

5

Φιγυρε 2.13 Τεµποραλ εϖολυτιον οφ α σπατιαλ ρεχεπτιϖε ⇒ελδ. Εαχη πανελ ισ α πλοτ οφ ∆ ( ξ, ψ, τ) φορ α διφφερεντ ϖαλυε οφ τ . Ασ ιν ⇒γυρε 2.10, ρεγιονσ ωιτη σολιδ χον− τουρ χυρϖεσ αρε αρεασ ωηερε ∆ ( ξ, ψ, τ) > 0 ανδ ρεγιονσ ωιτη δασηεδ χοντουρσ ηαϖε ∆ ( ξ, ψ, τ) < 0. Τηε χυρϖεσ βελοω τηε χοντουρ διαγραµσ αρε ονε−διµενσιοναλ πλοτσ οφ τηε ρεχεπτιϖε ⇒ελδ ασ α φυνχτιον οφ ξ αλονε. Τηε ρεχεπτιϖε ⇒ελδ ισ µαξιµαλλψ διφ− φερεντ φροµ 0 φορ τ = 75 µσ ωιτη τηε σπατιαλ ρεχεπτιϖε ⇒ελδ ρεϖερσεδ φροµ ωηατ ιτ ωασ ατ τ = 210 µσ. (Αδαπτεδ φροµ ∆εΑνγελισ ετ αλ., 1995.) 8 6

2 300

250

τ (µσ)

200

150

100

50

∆τ (Ηζ)

4

-2 -4

Φιγυρε 2.14 Τεµποραλ στρυχτυρε οφ α ρεχεπτιϖε ⇒ελδ. Τηε φυνχτιον ∆τ (τ) οφ εθυα− τιον 2.29 ωιτη α = 1/(15 µσ).

ρετυρνσ το 0 ασ τ ινχρεασεσ. Αδελσον ανδ Βεργεν (1985) προποσεδ τηε φυνχ− τιον σηοων ιν ⇒γυρε 2.14, & % (ατ)5 (ατ)7 − , (2.29) ∆τ (τ) = α εξπ(−ατ) 5! 7! φορ τ ≥ 0, ανδ ∆τ (τ) = 0 φορ τ < 0. Ηερε, α ισ α χονσταντ τηατ σετσ τηε σχαλε φορ τηε τεµποραλ δεϖελοπµεντ οφ τηε φυνχτιον. Σινγλε−πηασε ρεσπονσεσ αρε αλσο σεεν φορ ς1 νευρονσ, ανδ τηεσε χαν βε δεσχριβεδ βψ ελιµινατινγ τηε σεχονδ τερµ ιν εθυατιον 2.29. Τηρεε−πηασε ρεσπονσεσ, ωηιχη αρε σοµετιµεσ σεεν, µυστ βε δεσχριβεδ βψ α µορε χοµπλιχατεδ φυνχτιον.

Ρεσπονσε οφ α Σιµπλε Χελλ το α Χουντερπηασε Γρατινγ Τηε ρεσπονσε οφ α σιµπλε χελλ το α χουντερπηασε γρατινγ στιµυλυσ (εθυα− τιον 2.18) χαν βε εστιµατεδ βψ χοµπυτινγ τηε φυνχτιον Λ (τ ). Φορ τηε σεπ− αραβλε ρεχεπτιϖε ⇒ελδ γιϖεν βψ τηε προδυχτ οφ τηε σπατιαλ φαχτορ ιν εθυα− τιον 2.27 ανδ τηε τεµποραλ φαχτορ ιν 2.29, τηε λινεαρ εστιµατε οφ τηε ρεσπονσε χαν βε ωριττεν ασ τηε προδυχτ οφ τωο τερµσ, Λ ( τ ) = Λσ Λτ ( τ ) ,

(2.30)

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

A

67 C

B

0.5

Λσ

0.4

0.4

0.2

0.2

0.0

0.0

-0.5

0.0 -1.0

0.0

1.0

0

1

Θ

Κ/κ

2

3

-2

0

2

Φ

Φιγυρε 2.15 Σελεχτιϖιτψ οφ α Γαβορ ⇒λτερ ωιτη θ = φ = 0, σξ = σ ψ = σ , ανδ κσ = 2 αχτινγ ον α χοσινε γρατινγ ωιτη Α = 1. (Α) Λσ ασ α φυνχτιον οφ στιµυλυσ οριεντατιον φορ α γρατινγ ωιτη τηε πρεφερρεδ σπατιαλ φρεθυενχψ ανδ πηασε, Κ = κ ανδ . = 0. (Β) Λσ ασ α φυνχτιον οφ τηε ρατιο οφ τηε στιµυλυσ σπατιαλ φρεθυενχψ το ιτσ πρεφερρεδ ϖαλυε, Κ/ κ, φορ α γρατινγ οριεντεδ ιν τηε πρεφερρεδ διρεχτιον - = 0 ανδ ωιτη τηε πρεφερρεδ πηασε . = 0. (Χ) Λσ ασ α φυνχτιον οφ στιµυλυσ σπατιαλ πηασε . φορ α γρατινγ ωιτη τηε πρεφερρεδ σπατιαλ φρεθυενχψ ανδ οριεντατιον, Κ = κ ανδ - = 0.

ωηερε Λσ = ανδ

"

) * δξδψ ∆σ ( ξ, ψ ) Α χοσ Κξ χοσ(-) + Κψ σιν(-) − . Λτ ( τ ) =

"

∞ 0

δτ ∆τ (τ) χοσ (ω(τ − τ)) .

(2.31)

(2.32)

Τηε ρεαδερ ισ ινϖιτεδ το χοµπυτε τηεσε ιντεγραλσ φορ τηε χασε σξ = σ ψ = σ . Το σηοω τηε σελεχτιϖιτψ οφ τηε ρεσυλτινγ σπατιαλ ρεχεπτιϖε ⇒ελδσ, ωε πλοτ (ιν ⇒γυρε 2.15) Λσ ασ φυνχτιονσ οφ τηε παραµετερσ -, Κ, ανδ . τηατ δετερµινε τηε οριεντατιον, σπατιαλ φρεθυενχψ, ανδ σπατιαλ πηασε οφ τηε στιµυλυσ. Ιτ ισ αλσο ινστρυχτιϖε το ωριτε ουτ Λσ φορ ϖαριουσ σπεχιαλ παραµετερ ϖαλυεσ. Φιρστ, ιφ τηε σπατιαλ πηασε οφ τηε στιµυλυσ ανδ τηε πρεφερρεδ σπατιαλ πηασε οφ τηε ρεχεπτιϖε ⇒ελδ αρε 0 (. = φ = 0), ωε ⇒νδ τηατ & % ) * σ 2 (κ2 + Κ 2 ) χοση σ 2 κΚ χοσ(-) , (2.33) Λσ = Α εξπ − 2

ωηιχη δετερµινεσ τηε οριεντατιον ανδ σπατιαλ φρεθυενχψ τυνινγ φορ αν οπτιµαλ σπατιαλ πηασε. Σεχονδ, φορ α γρατινγ ωιτη τηε πρεφερρεδ οριεν− τατιον - = 0 ανδ α σπατιαλ φρεθυενχψ τηατ ισ νοτ τοο σµαλλ, τηε φυλλ εξ− πρεσσιον φορ Λσ χαν βε σιµπλι⇒εδ βψ νοτινγ τηατ εξπ(−σ 2 κΚ ) ≈ 0 φορ τηε ϖαλυεσ οφ κσ νορµαλλψ ενχουντερεδ (φορ εξαµπλε, ιφ Κ = κ ανδ κσ = 2, εξπ(−σ 2 κΚ ) = 0.02). Υσινγ τηισ αππροξιµατιον, ωε ⇒νδ % & Α σ 2 (κ − Κ )2 Λσ = εξπ − χοσ(φ − .) , (2.34) 2 2

ωηιχη ρεϖεαλσ α Γαυσσιαν δεπενδενχε ον σπατιαλ φρεθυενχψ ανδ α χοσινε δεπενδενχε ον σπατιαλ πηασε. Τηε τεµποραλ φρεθυενχψ δεπενδενχε οφ τηε αµπλιτυδε οφ τηε λινεαρ ρε− σπονσε εστιµατε ισ πλοττεδ ασ α φυνχτιον οφ τηε τεµποραλ φρεθυενχψ οφ τηε

68

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

0.5

amplitude

0.4 0.3 0.2 0.1 0.0 0

5

10

frequency (Ηζ)

15

20

Φιγυρε 2.16 Φρεθυενχψ ρεσπονσε οφ α µοδελ σιµπλε χελλ βασεδ ον τηε τεµποραλ κερ− νελ οφ εθυατιον 2.29. Τηε αµπλιτυδε οφ τηε σινυσοιδαλ οσχιλλατιονσ οφ Λτ (τ ) προδυχεδ βψ α χουντερπηασε γρατινγ ισ πλοττεδ ασ α φυνχτιον οφ τηε τεµποραλ οσχιλλατιον φρε− θυενχψ, ω/2π.

A

B 0

∆ 0

250

0

6

-2

-1

0

1

2

0

50

100

150

200

Φιγυρε 2.17 Α σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ. (Α) Αν ξ−τ πλοτ οφ αν αππροξ− ιµατελψ σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ φροµ χατ πριµαρψ ϖισυαλ χορτεξ. ΟΦΦ ρεγιονσ αρε σηοων ωιτη δασηεδ χοντουρ λινεσ ανδ ΟΝ ρεγιονσ ωιτη σολιδ χοντουρ λινεσ. Τηε ρεχεπτιϖε ⇒ελδ ηασ σιδε−βψ−σιδε ΟΦΦ ανδ ΟΝ ρεγιονσ τηατ ρεϖερσε ασ α φυνχτιον οφ τ . (Β) Ματηεµατιχαλ δεσχριπτιον οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ιν Α χονστρυχτεδ βψ µυλτιπλψινγ α Γαβορ φυνχτιον (εϖαλυατεδ ατ ψ = 0) ωιτη σξ = 1◦ , 1/ κ = 0.56◦ , ανδ φ = π/2 βψ τηε τεµποραλ κερνελ οφ εθυατιον 2.29 ωιτη 1/α = 15 µσ. (Α αδαπτεδ φροµ ∆εΑνγελισ ετ αλ., 1995.)

στιµυλυσ (ω/2π ρατηερ τηαν τηε ανγυλαρ φρεθυενχψ ω) ιν ⇒γυρε 2.16. Τηε πεακ ϖαλυε αρουνδ 4 Ηζ ανδ ρολλ−οφφ αβοϖε 10 Ηζ αρε τψπιχαλ φορ ς1 νευ− ρονσ ανδ φορ χορτιχαλ νευρονσ ιν οτηερ πριµαρψ σενσορψ αρεασ ασ ωελλ.

Σπαχε−Τιµε Ρεχεπτιϖε Φιελδσ Το δισπλαψ τηε φυνχτιον ∆ ( ξ, ψ, τ) ιν α σπαχε−τιµε πλοτ ρατηερ τηαν ασ α σε− θυενχε οφ σπατιαλ πλοτσ (ασ ιν ⇒γυρε 2.13), ωε συππρεσσ τηε ψ δεπενδενχε ανδ πλοτ αν ξ−τ προϕεχτιον οφ τηε σπαχε−τιµε κερνελ. Φιγυρε 2.17Α σηοωσ α σπαχε−τιµε πλοτ οφ τηε ρεχεπτιϖε ⇒ελδ οφ α σιµπλε χελλ ιν τηε χατ πριµαρψ ϖισυαλ χορτεξ. Τηισ ρεχεπτιϖε ⇒ελδ ισ αππροξιµατελψ σεπαραβλε, ανδ ιτ ηασ ΟΦΦ ανδ ΟΝ συβρεγιονσ τηατ ρεϖερσε το ΟΝ ανδ ΟΦΦ συβρεγιονσ ασ α φυνχ− τιον οφ τ , σιµιλαρ το τηε ρεϖερσαλ σεεν ιν ⇒γυρε 2.13. Φιγυρε 2.17Β σηοωσ αν

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

A

B

ψ

τ

ξ

69

ξ

Φιγυρε 2.18 Σπαχε ανδ σπαχε−τιµε διαγραµσ οφ α µοϖινγ γρατινγ. (Α) Α ϖερτιχαλλψ οριεντεδ γρατινγ µοϖεσ το τηε λεφτ ον α τωο−διµενσιοναλ σχρεεν. (Β) Τηε σπαχε−τιµε διαγραµ οφ τηε ιµαγε ιν Α. Τηε ξ λοχατιον οφ τηε δαρκ ανδ λιγητ βανδσ µοϖεσ το τηε λεφτ ασ τιµε προγρεσσεσ υπωαρδ, ρεπρεσεντινγ τηε µοτιον οφ τηε γρατινγ.

ξ−τ πλοτ οφ α σεπαραβλε σπαχε−τιµε κερνελ, σιµιλαρ το τηε ονε ιν ⇒γυρε 2.17Α, γενερατεδ βψ µυλτιπλψινγ α Γαβορ φυνχτιον βψ τηε τεµποραλ κερνελ οφ εθυα− τιον 2.29. Ωε χαν αλσο πλοτ τηε ϖισυαλ στιµυλυσ ιν α σπαχε−τιµε διαγραµ, συππρεσσινγ τηε ψ χοορδινατε βψ ασσυµινγ τηατ τηε ιµαγε δοεσ νοτ ϖαρψ ασ α φυνχτιον οφ ψ. Φορ εξαµπλε, ⇒γυρε 2.18Α σηοωσ α γρατινγ οφ ϖερτιχαλλψ οριεντεδ στριπεσ µοϖινγ το τηε λεφτ ον αν ξ−ψ πλοτ. Ιν τηε ξ−τ πλοτ οφ ⇒γυρε 2.18Β, τηισ ιµαγε αππεαρσ ασ α σεριεσ οφ σλοπεδ δαρκ ανδ λιγητ βανδσ. Τηεσε ρεπρεσεντ τηε προϕεχτιον οφ τηε ιµαγε ιν ⇒γυρε 2.18Α οντο τηε ξ αξισ εϖολϖινγ ασ α φυνχ− τιον οφ τιµε. Τηε λεφτωαρδ σλοπε οφ τηε βανδσ χορρεσπονδσ το τηε λεφτωαρδ µοϖεµεντ οφ τηε ιµαγε. Μοστ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ δο νοτ ρεσπονδ στρονγλψ το στατιχ ιµαγεσ, βυτ ρεσπονδ ϖιγορουσλψ το ⇓ασηεδ ανδ µοϖινγ βαρσ ανδ γρατινγσ. Τηε ρεχεπτιϖε ⇒ελδ στρυχτυρε οφ ⇒γυρε 2.17 ρεϖεαλσ ωηψ τηισ ισ τηε χασε, ασ ισ σηοων ιν ⇒γυρεσ 2.19 ανδ 2.20. Τηε ιµαγε ιν ⇒γυρεσ 2.19Α−Χ ισ α δαρκ βαρ τηατ ισ ⇓ασηεδ ον φορ α βριεφ περιοδ οφ τιµε. Το δεσχριβε τηε λινεαρ ρε− σπονσε εστιµατε ατ διφφερεντ τιµεσ, ωε χονσιδερ α σπαχε−τιµε ρεχεπτιϖε ⇒ελδ σιµιλαρ το τηε ονε ιν ⇒γυρε 2.17Α. Τηε ρεχεπτιϖε ⇒ελδ ισ ποσιτιονεδ ατ τηρεε διφφερεντ τιµεσ ιν ⇒γυρεσ 2.19Α, Β, ανδ Χ. Τηε ηειγητ οφ τηε ηοριζονταλ αξισ οφ τηε ρεχεπτιϖε ⇒ελδ διαγραµ ινδιχατεσ τηε τιµε ωηεν τηε εστιµατιον ισ βε− ινγ µαδε. Φιγυρε 2.19Α χορρεσπονδσ το αν εστιµατε οφ Λ (τ ) ατ τηε µοµεντ ωηεν τηε ιµαγε ⇒ρστ αππεαρσ. Ατ τηισ τιµε, Λ (τ ) = 0. Ασ τιµε προγρεσσεσ, τηε ρεχεπτιϖε ⇒ελδ διαγραµ µοϖεσ υπωαρδ. Φιγυρε 2.19Β γενερατεσ αν εστι− µατε ατ τηε µοµεντ οφ µαξιµυµ ρεσπονσε, ωηεν τηε δαρκ ιµαγε οϖερλαπσ τηε ΟΦΦ αρεα οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ, προδυχινγ α ποσιτιϖε χον− τριβυτιον το Λ (τ ). Φιγυρε 2.19Χ σηοωσ α λατερ τιµε ωηεν τηε δαρκ ιµαγε οϖερλαπσ αν ΟΝ ρεγιον, γενερατινγ α νεγατιϖε Λ (τ ). Τηε ρεσπονσε φορ τηισ ⇓ασηεδ ιµαγε ισ τηυσ τρανσιεντ ⇒ρινγ φολλοωεδ βψ συππρεσσιον, ασ σηοων ιν Φιγυρε 2.19∆. Φιγυρεσ 2.19Ε ανδ 2.19Φ σηοω ωηψ α στατιχ δαρκ βαρ ισ αν ινεφφεχτιϖε στιµ− υλυσ. Τηε στατιχ βαρ οϖερλαπσ βοτη τηε ΟΦΦ ρεγιον φορ σµαλλ τ ανδ τηε ρε−

70

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

B

C

E

D

F

τ

ξ - location of bar

Λ(τ)

τ

ξ

Λ(τ)

A

Φιγυρε 2.19 Ρεσπονσεσ το δαρκ βαρσ εστιµατεδ φροµ α σεπαραβλε σπαχε−τιµε ρεχεπ− τιϖε ⇒ελδ. ∆αρκ οϖαλσ ιν τηε ρεχεπτιϖε ⇒ελδ διαγραµσ αρε ΟΦΦ ρεγιονσ ανδ λιγητ χιρ− χλεσ αρε ΟΝ ρεγιονσ. Τηε λινεαρ εστιµατε οφ τηε ρεσπονσε ατ ανψ τιµε ισ δετερµινεδ βψ ποσιτιονινγ τηε ρεχεπτιϖε ⇒ελδ διαγραµ σο τηατ ιτσ ηοριζονταλ αξισ µατχηεσ τηε τιµε οφ ρεσπονσε εστιµατιον ανδ νοτινγ ηοω τηε ΟΦΦ ανδ ΟΝ ρεγιονσ οϖερλαπ ωιτη τηε ιµαγε. (Α−Χ) Τηε ιµαγε ισ α δαρκ βαρ τηατ ισ ⇓ασηεδ ον φορ α σηορτ ιντερϖαλ οφ τιµε. Τηερε ισ νο ρεσπονσε (Α) υντιλ τηε δαρκ ιµαγε οϖερλαπσ τηε ΟΦΦ ρεγιον (Β) ωηεν Λ (τ ) > 0. Τηε ρεσπονσε ισ λατερ συππρεσσεδ ωηεν τηε δαρκ βαρ οϖερλαπσ τηε ΟΝ ρεγιον (Χ) ανδ Λ (τ ) < 0. (∆) Α πλοτ οφ Λ (τ ) ϖερσυσ τιµε χορρεσπονδινγ το τηε ρεσπονσεσ γενερατεδ ιν Α−Χ. Τιµε ρυνσ ϖερτιχαλλψ ιν τηισ πλοτ, ανδ Λ (τ ) ισ πλοττεδ ηοριζονταλλψ ωιτη τηε δασηεδ λινε ινδιχατινγ τηε ζερο αξισ ανδ ποσιτιϖε ϖαλυεσ πλοτ− τεδ το τηε λεφτ. (Ε) Τηε ιµαγε ισ α στατιχ δαρκ βαρ. Τηε βαρ οϖερλαπσ βοτη αν ΟΦΦ ανδ αν ΟΝ ρεγιον, γενερατινγ οπποσινγ ποσιτιϖε ανδ νεγατιϖε χοντριβυτιονσ το Λ (τ ). (Φ) Τηε ωεακ ρεσπονσε χορρεσπονδινγ το Ε, πλοττεδ ασ ιν ∆.

ϖερσεδ ΟΝ ρεγιον φορ λαργε τ , γενερατινγ οπποσινγ ποσιτιϖε ανδ νεγατιϖε χοντριβυτιονσ το Λ (τ ). Τηε ⇓ασηεδ δαρκ βαρ οφ ⇒γυρεσ 2.19Α−Χ ισ α µορε εφφεχτιϖε στιµυλυσ βεχαυσε τηερε ισ α τιµε ωηεν ιτ οϖερλαπσ ονλψ τηε ΟΦΦ ρεγιον. Φιγυρε 2.20 σηοωσ ωηψ α µοϖινγ γρατινγ ισ α παρτιχυλαρλψ εφφεχτιϖε στιµυ− λυσ. Τηε γρατινγ µοϖεσ το τηε λεφτ ιν 2.20Α−Χ. Ατ τηε τιµε χορρεσπονδινγ το τηε ποσιτιονινγ οφ τηε ρεχεπτιϖε ⇒ελδ διαγραµ ιν 2.20Α, α δαρκ βανδ στιµ− υλυσ οϖερλαπσ βοτη ΟΦΦ ρεγιονσ ανδ λιγητ βανδσ οϖερλαπ βοτη ΟΝ ρεγιονσ. Τηυσ, αλλ φουρ ρεγιονσ χοντριβυτε ποσιτιϖε αµουντσ το Λ (τ ). Ασ τιµε προ− γρεσσεσ ανδ τηε ρεχεπτιϖε ⇒ελδ µοϖεσ υπωαρδ ιν τηε ⇒γυρε, τηε αλιγνµεντ ωιλλ σοµετιµεσ βε οπτιµαλ, ασ ιν 2.20Α, ανδ σοµετιµεσ νονοπτιµαλ, ασ ιν 2.20Β. Τηισ προδυχεσ αν Λ (τ ) τηατ οσχιλλατεσ ασ α φυνχτιον οφ τιµε βετωεεν ποσιτιϖε ανδ νεγατιϖε ϖαλυεσ (2.20Χ). Φιγυρεσ 2.20∆−Φ σηοω τηατ α νευρον ωιτη τηισ ρεχεπτιϖε ⇒ελδ ρεσπονδσ εθυαλλψ το α γρατινγ µοϖινγ το τηε ριγητ. Λικε τηε λεφτ−µοϖινγ γρατινγ ιν ⇒γυρεσ 2.20Α−Χ, τηε ριγητ−µοϖινγ γρατινγ χαν οϖερλαπ τηε ρεχεπτιϖε ⇒ελδ ιν αν οπτιµαλ µαννερ (2.20∆), προδυχινγ α στρονγ ρεσπονσε, ορ ιν α µαξιµαλλψ νεγατιϖε µαννερ (2.20Ε), προδυχινγ στρονγ συππρεσσιον οφ ρεσπονσε, αγαιν ρεσυλτινγ ιν αν οσχιλλατινγ ρεσπονσε (2.20Φ). Σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ χαν προδυχε ρεσπονσεσ τηατ αρε µαξιµαλ φορ χερταιν σπεεδσ οφ γρατινγ µοτιον, βυτ τηεψ αρε νοτ σενσιτιϖε το τηε διρεχτιον οφ µοτιον.

τ

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

A

B

71

C

Λ(τ)

2.4

ξ D

E

F

ξ

Λ(τ)

τ

Φιγυρε 2.20 Ρεσπονσεσ το µοϖινγ γρατινγσ εστιµατεδ φροµ α σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ. Τηε ρεχεπτιϖε ⇒ελδ ισ τηε σαµε ασ ιν ⇒γυρε 2.19. (Α−Χ) Τηε στιµυλυσ ισ α γρατινγ µοϖινγ το τηε λεφτ. Ατ τηε τιµε χορρεσπονδινγ το Α, ΟΦΦ ρεγιονσ οϖερλαπ ωιτη δαρκ βανδσ ανδ ΟΝ ρεγιονσ ωιτη λιγητ βανδσ, γενερατινγ α στρονγ ρεσπονσε. Ατ τηε τιµε οφ τηε εστιµατε ιν Β, τηε αλιγνµεντ ισ ρεϖερσεδ, ανδ Λ (τ ) ισ νεγατιϖε. (Χ) Α πλοτ οφ Λ (τ ) ϖερσυσ τιµε χορρεσπονδινγ το τηε ρεσπονσεσ γενερατεδ ιν Α−Β. Τιµε ρυνσ ϖερτιχαλλψ ιν τηισ πλοτ ανδ Λ (τ ) ισ πλοττεδ ηοριζονταλλψ, ωιτη τηε δασηεδ λινε ινδιχατινγ τηε ζερο αξισ ανδ ποσιτιϖε ϖαλυεσ πλοττεδ το τηε λεφτ. (∆−Φ) Τηε στιµυλυσ ισ α γρατινγ µοϖινγ το τηε ριγητ. Τηε ρεσπονσεσ αρε ιδεντιχαλ το τηοσε ιν Α−Χ.

Νονσεπαραβλε Ρεχεπτιϖε Φιελδσ Μανψ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ αρε σελεχτιϖε φορ τηε διρεχτιον οφ µοτιον οφ αν ιµαγε. Αχχουντινγ φορ διρεχτιον σελεχτιϖιτψ ρεθυιρεσ νονσεπα− ραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Αν εξαµπλε οφ α νονσεπαραβλε ρεχεπτιϖε ⇒ελδ ισ σηοων ιν ⇒γυρε 2.21Α. Τηισ νευρον ηασ α τηρεε−λοβεδ ΟΦΦ−ΟΝ− ΟΦΦ σπατιαλ ρεχεπτιϖε ⇒ελδ, ανδ τηεσε συβρεγιονσ σηιφτ το τηε λεφτ ασ τιµε µοϖεσ φορωαρδ (ανδ τ δεχρεασεσ). Τηισ µεανσ τηατ τηε οπτιµαλ στιµυλυσ φορ τηισ νευρον ηασ λιγητ ανδ δαρκ αρεασ τηατ µοϖε τοωαρδ τηε λεφτ. Ονε ωαψ το δεσχριβε α νονσεπαραβλε ρεχεπτιϖε ⇒ελδ στρυχτυρε ισ το υσε α σεπα− ραβλε φυνχτιον χονστρυχτεδ φροµ α προδυχτ οφ α Γαβορ φυνχτιον φορ ∆σ ανδ εθυατιον 2.29 φορ ∆τ , βυτ το ωριτε τηεσε ασ φυνχτιονσ οφ α µιξτυρε ορ ροτατιον οφ τηε ξ ανδ τ ϖαριαβλεσ. Τηε ροτατιον οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ, ασ σεεν ιν ⇒γυρε 2.21Β, ισ αχηιεϖεδ βψ µιξινγ τηε σπαχε ανδ τιµε χοορδινατεσ, υσινγ τηε τρανσφορµατιον ∆ ( ξ, ψ, τ) = ∆σ ( ξ′ , ψ ) ∆τ (τ ′ )

(2.35)

72

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

B 0

∆ 0

200

0

6

-3

-2

-1

100 0

1

2

0

150

200

50

Φιγυρε 2.21 Α νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ. (Α) Αν ξ−τ πλοτ οφ τηε σπαχε− τιµε ρεχεπτιϖε ⇒ελδ οφ α νευρον φροµ χατ πριµαρψ ϖισυαλ χορτεξ. ΟΦΦ ρεγιονσ αρε σηοων ωιτη δασηεδ χοντουρ λινεσ ανδ ΟΝ ρεγιονσ ωιτη σολιδ χοντουρ λινεσ. Τηε ρεχεπτιϖε ⇒ελδ ηασ α χεντραλ ΟΝ ρεγιον ανδ τωο ⇓ανκινγ ΟΦΦ ρεγιονσ τηατ σηιφτ το τηε λεφτ οϖερ τιµε. (Β) Ματηεµατιχαλ δεσχριπτιον οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ιν Α χονστρυχτεδ φροµ εθυατιονσ 2.35 − 2.37. Τηε Γαβορ φυνχτιον υσεδ (εϖαλυατεδ ατ ψ = 0) ηαδ σξ = 1◦ , 1/ κ = 0.5◦ , ανδ φ = 0. ∆τ ισ γιϖεν βψ τηε εξπρεσσιον ιν εθυατιον 2.29 ωιτη α = 20 µσ, εξχεπτ τηατ τηε σεχονδ τερµ, ωιτη τηε σεϖεντη ποωερ φυνχτιον, ωασ οµιττεδ βεχαυσε τηε ρεχεπτιϖε ⇒ελδ δοεσ νοτ ρεϖερσε σιγν ιν τηισ εξ− αµπλε. Τηε ξ−τ ροτατιον ανγλε υσεδ ωασ ψ = π/9, ανδ τηε χονϖερσιον φαχτορ ωασ χ = 0.02 ◦ /µσ. (Α αδαπτεδ φροµ ∆εΑνγελισ ετ αλ., 1995.)

ωιτη ξ′ = ξ χοσ(ψ) − χτ σιν(ψ)

(2.36)

ξ σιν(ψ) . χ

(2.37)

ανδ

τ ′ = τ χοσ(ψ) +

Τηε φαχτορ χ χονϖερτσ βετωεεν τηε υνιτσ οφ τιµε (µσ) ανδ σπαχε (δεγρεεσ), ανδ ψ ισ τηε σπαχε−τιµε ροτατιον ανγλε. Τηε ροτατιον οπερατιον ισ νοτ τηε ονλψ ωαψ το γενερατε νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Τηεψ αρε οφτεν χονστρυχτεδ βψ αδδινγ τογετηερ τωο ορ µορε σεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ ωιτη διφφερεντ σπατιαλ ανδ τεµποραλ χηαραχτεριστιχσ. Φιγυρε 2.22 σηοωσ ηοω α νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ χαν προ− δυχε α ρεσπονσε τηατ ισ σενσιτιϖε το τηε διρεχτιον οφ µοτιον οφ α γρατινγ. Φιγυρεσ 2.22Α−Χ σηοω α λεφτ−µοϖινγ γρατινγ ανδ, ιν 2.22Α, τηε ρεχεπτιϖε ⇒ελδ ισ ποσιτιονεδ ατ α τιµε ωηεν α λιγητ αρεα οφ τηε ιµαγε οϖερλαπσ τηε χεντραλ ΟΝ ρεγιον ανδ δαρκ αρεασ οϖερλαπ τηε ⇓ανκινγ ΟΦΦ ρεγιονσ. Τηισ προδυχεσ α λαργε ποσιτιϖε Λ (τ ). Ατ οτηερ τιµεσ, τηε αλιγνµεντ ισ νονοπτιµαλ (2.22Β), ανδ οϖερ τιµε, Λ (τ ) οσχιλλατεσ βετωεεν λαργε ποσιτιϖε ανδ νεγατιϖε ϖαλυεσ (2.22Χ). Τηε νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ δοεσ νοτ οϖερ− λαπ οπτιµαλλψ ωιτη τηε ριγητ−µοϖινγ γρατινγ οφ ⇒γυρεσ 2.22∆−Φ ατ ανψ τιµε, ανδ τηε ρεσπονσε ισ χορρεσπονδινγλψ ωεακερ (2.22Φ). Τηυσ, α νευρον ωιτη διρεχτιον σελεχτιϖιτψ α νονσεπαραβλε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ χαν βε σελεχτιϖε φορ τηε διρεχτιον οφ µοτιον οφ α γρατινγ ανδ φορ ιτσ ϖελοχιτψ, ρεσπονδινγ µοστ ϖιγορουσλψ το πρεφερρεδ ϖελοχιτψ αν οπτιµαλλψ σπαχεδ γρατινγ µοϖινγ ατ α ϖελοχιτψ γιϖεν, ιν τερµσ οφ τηε παραµετερσ ιν εθυατιον 2.36, βψ χ ταν(ψ).

2.4

Ρεϖερσε−Χορρελατιον Μετηοδσ: Σιµπλε Χελλσ

A

73

C

B

Λ(τ)

τ

τ

E

D

ξ

F

Λ(τ)

ξ

Φιγυρε 2.22 Ρεσπονσεσ το µοϖινγ γρατινγσ εστιµατεδ φροµ α νονσεπαραβλε σπαχε− τιµε ρεχεπτιϖε ⇒ελδ. ∆αρκ αρεασ ιν τηε ρεχεπτιϖε ⇒ελδ διαγραµσ ρεπρεσεντ ΟΦΦ ρε− γιονσ ανδ λιγητ αρεασ, ΟΝ ρεγιονσ. (Α−Χ) Τηε στιµυλυσ ισ α γρατινγ µοϖινγ το τηε λεφτ. Ατ τηε τιµε χορρεσπονδινγ το Α, ΟΦΦ ρεγιονσ οϖερλαπ ωιτη δαρκ βανδσ ανδ τηε ΟΝ ρεγιον οϖερλαπσ α λιγητ βανδ, γενερατινγ α στρονγ ρεσπονσε. Ατ τηε τιµε οφ τηε εστιµατε ιν Β, τηε αλιγνµεντ ισ ρεϖερσεδ, ανδ Λ (τ ) ισ νεγατιϖε. (Χ) Α πλοτ οφ Λ (τ ) ϖερσυσ τιµε χορρεσπονδινγ το τηε ρεσπονσεσ γενερατεδ ιν Α ανδ Β. Τιµε ρυνσ ϖερ− τιχαλλψ ιν τηισ πλοτ, ανδ Λ (τ ) ισ πλοττεδ ηοριζονταλλψ ωιτη τηε δασηεδ λινε ινδιχατινγ τηε ζερο αξισ. (∆−Φ) Τηε στιµυλυσ ισ α γρατινγ µοϖινγ το τηε ριγητ. Βεχαυσε οφ τηε τιλτ οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ, τηε αλιγνµεντ ωιτη τηε ριγητ−µοϖινγ γρατινγ ισ νεϖερ οπτιµαλ ανδ τηε ρεσπονσε ισ ωεακ (Φ).

Στατιχ Νονλινεαριτιεσ: Σιµπλε Χελλσ Ονχε τηε λινεαρ ρεσπονσε εστιµατε Λ (τ ) ηασ βεεν χοµπυτεδ, τηε ⇒ρινγ ρατε οφ α ϖισυαλλψ ρεσπονσιϖε νευρον χαν βε αππροξιµατεδ βψ υσινγ εθυα− τιον 2.8, rεστ (τ ) = r0 + Φ ( Λ (τ )), ωηερε Φ ισ αν αππροπριατελψ χηοσεν στατιχ νονλινεαριτψ. Τηε σιµπλεστ χηοιχε φορ Φ χονσιστεντ ωιτη τηε ποσιτιϖε νατυρε οφ ⇒ρινγ ρατεσ ισ ρεχτι⇒χατιον, Φ = Γ[Λ]+ , ωιτη Γ σετ το ⇒τ τηε µαγνιτυδε οφ τηε µεασυρεδ ⇒ρινγ ρατεσ. Ηοωεϖερ, τηισ χηοιχε µακεσ τηε ⇒ρινγ ρατε α λινεαρ φυνχτιον οφ τηε χοντραστ αµπλιτυδε, ωηιχη δοεσ νοτ µατχη τηε δατα ον τηε χοντραστ δεπενδενχε οφ ϖισυαλ ρεσπονσεσ. Νευραλ ρεσπονσεσ σατυρατε ασ τηε χοντραστ οφ τηε ιµαγε ινχρεασεσ, ανδ αρε µορε αχχυρατελψ δεσχριβεδ χοντραστ σατυρατιον βψ r ∝ Αν /( Α1ν/2 + Αν ) ωηερε ν ισ νεαρ 2, ανδ Α1/2 ισ α παραµετερ εθυαλ το τηε χοντραστ αµπλιτυδε τηατ προδυχεσ α ηαλφ−µαξιµαλ ρεσπονσε. Τηισ λεδ Ηεεγερ (1992) το προποσε τηατ αν αππροπριατε στατιχ νονλινεαριτψ το υσε ισ Φ( Λ ) =

Γ[Λ]2+ , Α21/2 + Γ[Λ]2+

(2.38)

74

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

βεχαυσε τηισ ρεπροδυχεσ τηε οβσερϖεδ χοντραστ δεπενδενχε. Α νυµβερ οφ ϖαριαντσ ανδ εξτενσιονσ οφ τηισ ιδεα ηαϖε αλσο βεεν χονσιδερεδ, ινχλυδινγ, φορ εξαµπλε, τηατ τηε δενοµινατορ οφ τηισ εξπρεσσιον σηουλδ ινχλυδε Λ φαχ− τορσ φορ αδδιτιοναλ νευρονσ ωιτη νεαρβψ ρεχεπτιϖε ⇒ελδσ. Τηισ χαν αχχουντ φορ τηε εφφεχτσ οφ ϖισυαλ στιµυλι ουτσιδε τηε mχλασσιχαλn ρεχεπτιϖε ⇒ελδ. ∆ισ− χυσσιον οφ τηεσε εφφεχτσ ισ βεψονδ τηε σχοπε οφ τηισ χηαπτερ.

2.5

σπατιαλ−πηασε ινϖαριανχε

Στατιχ Νονλινεαριτιεσ: Χοµπλεξ Χελλσ

Ρεχαλλ τηατ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ αρε χηαραχτεριζεδ ασ σιµπλε ορ χοµπλεξ. Ωηιλε λινεαρ µετηοδσ, συχη ασ σπικε−τριγγερεδ αϖεραγεσ, αρε υσεφυλ φορ ρεϖεαλινγ τηε προπερτιεσ οφ σιµπλε χελλσ, ατ λεαστ το α ⇒ρστ αππροξ− ιµατιον, χοµπλεξ χελλσ δισπλαψ φεατυρεσ τηατ αρε φυνδαµενταλλψ ινχοµπατι− βλε ωιτη α λινεαρ δεσχριπτιον. Τηε σπατιαλ ρεχεπτιϖε ⇒ελδσ οφ χοµπλεξ χελλσ χαννοτ βε διϖιδεδ ιντο σεπαρατε ΟΝ ανδ ΟΦΦ ρεγιονσ τηατ συµ λινεαρλψ το γενερατε τηε ρεσπονσε. Αρεασ ωηερε λιγητ ανδ δαρκ ιµαγεσ εξχιτε τηε νευ− ρον οϖερλαπ, µακινγ ιτ διφ⇒χυλτ το µεασυρε ανδ ιντερπρετ σπικε−τριγγερεδ αϖεραγε στιµυλι. Νεϖερτηελεσσ, λικε σιµπλε χελλσ, χοµπλεξ χελλσ αρε σελεχτιϖε το τηε σπατιαλ φρεθυενχψ ανδ οριεντατιον οφ α γρατινγ. Ηοωεϖερ, υνλικε σιµ− πλε χελλσ, χοµπλεξ χελλσ ρεσπονδ το βαρσ οφ λιγητ ορ δαρκ νο µαττερ ωηερε τηεψ αρε πλαχεδ ωιτηιν τηε οϖεραλλ ρεχεπτιϖε ⇒ελδ. Λικεωισε, τηε ρεσπονσεσ οφ χοµπλεξ χελλσ το γρατινγ στιµυλι σηοω λιττλε δεπενδενχε ον σπατιαλ πηασε. Τηυσ, α χοµπλεξ χελλ ισ σελεχτιϖε φορ α παρτιχυλαρ τψπε οφ ιµαγε ινδεπενδεντ οφ ιτσ εξαχτ σπατιαλ ποσιτιον ωιτηιν τηε ρεχεπτιϖε ⇒ελδ. Τηισ µαψ ρεπρεσεντ αν εαρλψ σταγε ιν τηε ϖισυαλ προχεσσινγ τηατ υλτιµατελψ λεαδσ το ποσιτιον− ινϖαριαντ οβϕεχτ ρεχογνιτιον.

Χοµπλεξ χελλσ αλσο ηαϖε τεµποραλ ρεσπονσε χηαραχτεριστιχσ τηατ διστινγυιση τηεµ φροµ σιµπλε χελλσ. Χοµπλεξ χελλ ρεσπονσεσ το µοϖινγ γρατινγσ αρε αππροξιµατελψ χονσταντ, νοτ οσχιλλατορψ ασ ιν ⇒γυρεσ 2.20 ανδ 2.22. Τηε ⇒ρινγ ρατε οφ α χοµπλεξ χελλ ρεσπονδινγ το α χουντερπηασε γρατινγ οσχιλ− λατινγ ωιτη φρεθυενχψ ω ηασ βοτη α χονσταντ χοµπονεντ ανδ αν οσχιλλατορψ χοµπονεντ ωιτη α φρεθυενχψ οφ 2ω, α πηενοµενον κνοων ασ φρεθυενχψ φρεθυενχψ δουβλινγ δουβλινγ. Εϖεν τηουγη σπικε−τριγγερεδ αϖεραγε στιµυλι ανδ ρεϖερσε−χορρελατιον φυνχ− τιονσ φαιλ το χαπτυρε τηε ρεσπονσε προπερτιεσ οφ χοµπλεξ χελλσ, χοµπλεξ− χελλ ρεσπονσεσ χαν βε δεσχριβεδ, το α ⇒ρστ αππροξιµατιον, βψ α ρελατιϖελψ στραιγητφορωαρδ εξτενσιον οφ τηε ρεϖερσε−χορρελατιον αππροαχη. Τηε κεψ οβσερϖατιον χοµεσ φροµ εθυατιον 2.34, ωηιχη σηοωσ ηοω τηε λινεαρ ρε− σπονσε εστιµατε οφ α σιµπλε χελλ δεπενδσ ον σπατιαλ πηασε φορ αν οπτιµαλλψ οριεντεδ γρατινγ ωιτη Κ νοτ τοο σµαλλ. Χονσιδερ τωο συχη ρεσπονσεσ, λα− βελεδ Λ1 ανδ Λ2 , ωιτη πρεφερρεδ σπατιαλ πηασεσ φ ανδ φ − π/2. Ινχλυδινγ βοτη τηε σπατιαλ ανδ τηε τεµποραλ ρεσπονσε φαχτορσ, ωε ⇒νδ, φορ πρεφερρεδ σπατιαλ πηασε φ, Λ1 = ΑΒ (ω, Κ ) χοσ(φ − .) χοσ(ωτ − δ) ,

(2.39)

2.5

Στατιχ Νονλινεαριτιεσ: Χοµπλεξ Χελλσ

A

75 C

B

0.3 0.2 0.2

2

Λ12

+ Λ2

0.2 0.1

0.1

0.0

0.1

0.0 -1.0

0.0

1.0

0.0 0

1

2

3

Κ/κ

Θ

-2

0

2

Φ

Φιγυρε 2.23 Σελεχτιϖιτψ οφ α χοµπλεξ χελλ µοδελ ιν ρεσπονσε το α σινυσοιδαλ γρατ− ινγ. Τηε ωιδτη ανδ πρεφερρεδ σπατιαλ φρεθυενχψ οφ τηε Γαβορ φυνχτιονσ υνδερλψινγ τηε εστιµατεδ ⇒ρινγ ρατε σατισφψ κσ = 2. (Α) Τηε χοµπλεξ χελλ ρεσπονσε εστιµατε, Λ21 + Λ22 , ασ α φυνχτιον οφ στιµυλυσ οριεντατιον - φορ α γρατινγ ωιτη τηε πρεφερρεδ σπατιαλ φρεθυενχψ Κ = κ. (Β) Λ21 + Λ22 ασ α φυνχτιον οφ τηε ρατιο οφ τηε στιµυλυσ σπατιαλ φρεθυενχψ το ιτσ πρεφερρεδ ϖαλυε, Κ/ κ, φορ α γρατινγ οριεντεδ ιν τηε πρεφερρεδ διρεχ− τιον - = 0. (Χ) Λ21 + Λ22 ασ α φυνχτιον οφ στιµυλυσ σπατιαλ πηασε . φορ α γρατινγ ωιτη τηε πρεφερρεδ σπατιαλ φρεθυενχψ ανδ οριεντατιον, Κ = κ ανδ - = 0.

ωηερε Β (ω, Κ ) ισ α τεµποραλ ανδ σπατιαλ φρεθυενχψ−δεπενδεντ αµπλιτυδε φαχτορ. Ωε δο νοτ νεεδ τηε εξπλιχιτ φορµ οφ Β (ω, Κ ) ηερε, βυτ τηε ρεαδερ ισ υργεδ το δεριϖε ιτ. Φορ πρεφερρεδ σπατιαλ πηασε φ − π/2, Λ2 = ΑΒ (ω, Κ ) σιν(φ − .) χοσ(ωτ − δ)

(2.40)

βεχαυσε χοσ(φ − π/2 − .) = σιν(φ − .). Ιφ ωε σθυαρε ανδ αδδ τηεσε τωο τερµσ, ωε οβταιν α ρεσυλτ τηατ δοεσ νοτ δεπενδ ον ., Λ21 + Λ22 = Α2 Β2 (ω, Κ ) χοσ2 (ωτ − δ) ,

(2.41)

βεχαυσε χοσ2 (φ − .) + σιν2 (φ − .) = 1. Τηυσ, ωε χαν δεσχριβε τηε σπατιαλ− πηασε−ινϖαριαντ ρεσπονσε οφ α χοµπλεξ χελλ βψ ωριτινγ ) * r (τ ) = r0 + Γ Λ21 + Λ22 , (2.42)

φορ σοµε χονσταντ Γ. Τηε σελεχτιϖιτιεσ οφ συχη α ρεσπονσε εστιµατε το γρατινγ οριεντατιον, σπατιαλ φρεθυενχψ, ανδ σπατιαλ πηασε αρε σηοων ιν ⇒γ− υρε 2.23. Τηε ρεσπονσε οφ τηε µοδελ χοµπλεξ χελλ ισ τυνεδ το οριεντατιον ανδ σπατιαλ φρεθυενχψ, βυτ τηε σπατιαλ πηασε δεπενδενχε, ιλλυστρατεδ φορ α σιµπλε χελλ ιν ⇒γυρε 2.15Χ, ισ αβσεντ. Ιν χοµπυτινγ τηε χυρϖε φορ ⇒γ− υρε 2.23Χ, ωε υσεδ τηε εξαχτ εξπρεσσιονσ φορ Λ1 ανδ Λ2 φροµ τηε ιντεγραλσ ιν εθυατιονσ 2.31 ανδ 2.32, νοτ τηε αππροξιµατιον υσεδ ιν εθυατιον 2.34 το σιµπλιφψ τηε πρεϖιουσ δισχυσσιον. Αλτηουγη ιτ ισ νοτ ϖισιβλε ιν τηε ⇒γυρε, τηερε ισ α ωεακ δεπενδενχε ον . ωηεν τηε εξαχτ εξπρεσσιονσ αρε υσεδ. Τηε χοµπλεξ χελλ ρεσπονσε γιϖεν βψ εθυατιονσ 2.41 ανδ 2.42 ρεπροδυχεσ τηε φρεθυενχψ−δουβλινγ εφφεχτ σεεν ιν χοµπλεξ χελλ ρεσπονσεσ βεχαυσε τηε φαχτορ χοσ2 (ωτ − δ) οσχιλλατεσ ωιτη φρεθυενχψ 2ω. Τηισ φολλοωσ φροµ τηε ιδεντιτψ χοσ2 (ωτ − δ) =

1 1 χοσ (2(ωτ − δ)) + . 2 2

(2.43)

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

1

σ

76

0

stimulus

-1

r (Ηζ)

B

simple

60 40 20 0

r (Ηζ)

C

complex 60 40 20 0

0

100

200

400

500

600

700

τ (µσ) Φιγυρε 2.24 Τεµποραλ ρεσπονσεσ οφ µοδελ σιµπλε ανδ χοµπλεξ χελλσ το α χουντερ− πηασε γρατινγ. (Α) Τηε στιµυλυσ σ ( ξ, ψ, τ ) ατ α γιϖεν ποιντ ( ξ, ψ ) πλοττεδ ασ α φυνχ− τιον οφ τιµε. (Β) Τηε ρεχτι⇒εδ λινεαρ ρεσπονσε εστιµατε οφ α µοδελ σιµπλε χελλ το τηισ γρατινγ ωιτη α τεµποραλ κερνελ γιϖεν βψ εθυατιον 2.29 ωιτη α = 1/(15 µσ). (Χ) Τηε φρεθυενχψ−δουβλεδ ρεσπονσε οφ α µοδελ χοµπλεξ χελλ ωιτη τηε σαµε τεµποραλ κερνελ βυτ ωιτη τηε εστιµατεδ ρατε γιϖεν βψ α σθυαρινγ οπερατιον ρατηερ τηαν ρεχτι− ⇒χατιον. Τηε βαχκγρουνδ ⇒ρινγ ρατε ισ r0 = 5 Ηζ. Νοτε τηε τεµποραλ πηασε σηιφτ οφ βοτη Β ανδ Χ ρελατιϖε το Α.

Ιν αδδιτιον, τηε λαστ τερµ ον τηε ριγητ σιδε οφ τηισ εθυατιον γενερατεσ τηε χονσταντ χοµπονεντ οφ τηε χοµπλεξ χελλ ρεσπονσε το α χουντερπηασε γρατ− ινγ. Φιγυρε 2.24 σηοωσ α χοµπαρισον οφ µοδελ σιµπλε ανδ χοµπλεξ χελλ ρεσπονσεσ το α χουντερπηασε γρατινγ, ανδ ιλλυστρατεσ τηισ πηενοµενον. ενεργψ µοδελ

Τηε δεσχριπτιον οφ α χοµπλεξ χελλ ρεσπονσε τηατ ωε ηαϖε πρεσεντεδ ισ χαλλεδ αν mενεργψn µοδελ βεχαυσε οφ ιτσ ρεσεµβλανχε το τηε εθυατιον φορ τηε εν− εργψ οφ α σιµπλε ηαρµονιχ οσχιλλατορ. Τηε παιρ οφ λινεαρ ⇒λτερσ υσεδ, ωιτη πρεφερρεδ σπατιαλ πηασεσ σεπαρατεδ βψ π/2, ισ χαλλεδ α θυαδρατυρε παιρ. Βε− χαυσε οφ ρεχτι⇒χατιον, τηε τερµσ Λ21 ανδ Λ22 χαννοτ βε χονστρυχτεδ βψ σθυαρ− ινγ τηε ουτπυτσ οφ σινγλε σιµπλε χελλσ. Ηοωεϖερ, τηεψ χαν εαχη βε χον− στρυχτεδ βψ συµµινγ τηε σθυαρεσ οφ ρεχτι⇒εδ ουτπυτσ φροµ τωο σιµπλε χελλσ ωιτη πρεφερρεδ σπατιαλ πηασεσ σεπαρατεδ βψ π. Τηυσ, ωε χαν ωριτε τηε χοµ− πλεξ χελλ ρεσπονσε ασ τηε συµ οφ τηε σθυαρεσ οφ φουρ ρεχτι⇒εδ σιµπλε χελλ ρεσπονσεσ, ) * r (τ ) = r0 + Γ [Λ1 ]2+ + [Λ2 ]2+ + [Λ3 ]2+ + [Λ4 ]2+ , (2.44)

ωηερε τηε διφφερεντ [Λ]+ τερµσ ρεπρεσεντ τηε ρεσπονσεσ οφ σιµπλε χελλσ ωιτη πρεφερρεδ σπατιαλ πηασεσ φ, φ + π/2, φ + π, ανδ φ + 3π/2. Ωηιλε συχη α χονστρυχτιον ισ ποσσιβλε, ιτ σηουλδ νοτ βε ιντερπρετεδ τοο λιτεραλλψ βεχαυσε χοµπλεξ χελλσ ρεχειϖε ινπυτ φροµ µανψ σουρχεσ, ινχλυδινγ τηε ΛΓΝ ανδ οτηερ χοµπλεξ χελλσ. Ρατηερ, τηισ µοδελ σηουλδ βε ϖιεωεδ ασ πυρελψ δε− σχριπτιϖε. Μεχηανιστιχ µοδελσ οφ χοµπλεξ χελλσ αρε δεσχριβεδ ατ τηε ενδ οφ τηισ χηαπτερ ανδ ιν χηαπτερ 7.

2.6

Ρεχεπτιϖε Φιελδσ ιν τηε Ρετινα ανδ ΛΓΝ

2.6

77

Ρεχεπτιϖε Φιελδσ ιν τηε Ρετινα ανδ ΛΓΝ

Ωε ενδ τηισ δισχυσσιον οφ τηε ϖισυαλ σψστεµ βψ ρετυρνινγ το τηε ινιτιαλ σταγεσ οφ τηε ϖισυαλ πατηωαψ ανδ βριε⇓ψ δεσχριβινγ τηε ρεχεπτιϖε ⇒ελδ προπερτιεσ οφ νευρονσ ιν τηε ρετινα ανδ ΛΓΝ. Ρετιναλ γανγλιον χελλσ δισ− πλαψ α ωιδε ϖαριετψ οφ ρεσπονσε χηαραχτεριστιχσ, ινχλυδινγ νονλινεαρ ανδ διρεχτιον−σελεχτιϖε ρεσπονσεσ. Ηοωεϖερ, α χλασσ οφ ρετιναλ γανγλιον χελλσ (Ξ χελλσ ιν τηε χατ ορ Π χελλσ ιν τηε µονκεψ ρετινα ανδ ΛΓΝ) χαν βε δεσχριβεδ βψ α λινεαρ µοδελ βυιλτ υσινγ ρεϖερσε−χορρελατιον µετηοδσ. Τηε ρεχεπτιϖε ⇒ελδσ οφ τηισ χλασσ οφ ρετιναλ γανγλιον χελλσ ανδ αν αναλογουσ τψπε οφ ΛΓΝ ρελαψ νευρονσ αρε σιµιλαρ, σο ωε δο νοτ τρεατ τηεµ σεπαρατελψ. Τηε σπα− τιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδσ οφ τηεσε νευρονσ ηασ α χεντερ−συρρουνδ στρυχτυρε χονσιστινγ ειτηερ οφ α χιρχυλαρ χεντραλ ΟΝ ρεγιον συρρουνδεδ βψ αν αννυλαρ ΟΦΦ ρεγιον, ορ τηε οπποσιτε αρρανγεµεντ οφ α χεντραλ ΟΦΦ ρε− γιον συρρουνδεδ βψ αν ΟΝ ρεγιον. Συχη ρεχεπτιϖε ⇒ελδσ αρε χαλλεδ ΟΝ− χεντερ ανδ ΟΦΦ−χεντερ, ρεσπεχτιϖελψ. Φιγυρε 2.25Α σηοωσ τηε σπατιαλ ρεχεπ− τιϖε ⇒ελδσ οφ αν ΟΝ−χεντερ χατ ΛΓΝ νευρον. Τηε σπατιαλ στρυχτυρε οφ ρετιναλ γανγλιον ανδ ΛΓΝ ρεχεπτιϖε ⇒ελδσ ισ ωελλ χαπτυρεδ βψ α διφφερενχε−οφ−Γαυσσιανσ µοδελ ιν ωηιχη τηε σπατιαλ ρεχεπτιϖε ⇒ελδ ισ εξπρεσσεδ ασ % 2 & % 2 && ξ + ψ2 ξ + ψ2 1 Β ∆σ ( ξ, ψ ) = ± εξπ − − εξπ − . 2 2 2 2 2πσχεν 2σχεν 2πσσυρ 2σσυρ (2.45) %

Ηερε τηε χεντερ οφ τηε ρεχεπτιϖε ⇒ελδ ηασ βεεν πλαχεδ ατ ξ = ψ = 0. Τηε ⇒ρστ Γαυσσιαν φυνχτιον ιν εθυατιον 2.45 δεσχριβεσ τηε χεντερ, ανδ τηε σεχονδ, τηε συρρουνδ. Τηε σιζε οφ τηε χεντραλ ρεγιον ισ δετερµινεδ βψ τηε παραµ− ετερ σχεν , ωηιλε σσυρ , ωηιχη ισ γρεατερ τηαν σχεν , δετερµινεσ τηε σιζε οφ τηε συρρουνδ. Β χοντρολσ τηε βαλανχε βετωεεν χεντερ ανδ συρρουνδ χοντριβυ− τιονσ. Τηε ± σιγν αλλοωσ βοτη ΟΝ−χεντερ (+) ανδ ΟΦΦ−χεντερ (−) χασεσ το βε ρεπρεσεντεδ. Φιγυρε 2.25Β σηοωσ α σπατιαλ ρεχεπτιϖε ⇒ελδ φορµεδ φροµ τηε διφφερενχε οφ τωο Γαυσσιανσ τηατ αππροξιµατεσ τηε ρεχεπτιϖε ⇒ελδ στρυχ− τυρε ιν ⇒γυρε 2.25Α. Φιγυρε 2.25Χ σηοωσ τηατ τηε σπατιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδ ρεϖερσεσ οϖερ τιµε ωιτη, ιν τηισ χασε, α χεντραλ ΟΝ ρεγιον ρεϖερσινγ το αν ΟΦΦ ρε− γιον ασ τ ινχρεασεσ. Σιµιλαρλψ, τηε ΟΦΦ συρρουνδ ρεγιον χηανγεσ το αν ΟΝ ρεγιον ωιτη ινχρεασινγ τ , αλτηουγη τηε ρεϖερσαλ ανδ τηε ονσετ αρε σλοωερ φορ τηε συρρουνδ τηαν φορ τηε χεντραλ ρεγιον. Βεχαυσε οφ τηε διφφερενχε βετωεεν τηε τιµε χουρσε οφ τηε χεντερ ανδ οφ τηε συρρουνδ ρεγιονσ, τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ισ νοτ σεπαραβλε, αλτηουγη τηε χεντερ ανδ συρ− ρουνδ χοµπονεντσ αρε ινδιϖιδυαλλψ σεπαραβλε. Τηε βασιχ φεατυρεσ οφ ΛΓΝ νευρον σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ αρε χαπτυρεδ βψ ∆ ( ξ, ψ, τ) = ±

%

% 2 & % 2 && ξ + ψ2 ξ + ψ2 ∆τχεν (τ) Β∆τσυρ (τ) εξπ − − εξπ − . 2 2 2 2 2πσχεν 2σχεν 2πσσυρ 2σσυρ (2.46)

διφφερενχε οφ Γαυσσιανσ

78

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

B 3

∆σ 0 2

0

-2

0

-1

0

-1

0

3

C

0 1

2

-2

D 0

∆ξτ 0

200

200

0

3

-2

100 1

2

0

Φιγυρε 2.25 Ρεχεπτιϖε ⇒ελδσ οφ ΛΓΝ νευρονσ. (Α) Τηε χεντερ−συρρουνδ σπατιαλ στρυχτυρε οφ τηε ρεχεπτιϖε ⇒ελδ οφ α χατ ΛΓΝ Ξ χελλ. Τηισ ηασ α χεντραλ ΟΝ ρεγιον (σολιδ χοντουρσ) ανδ α συρρουνδινγ ΟΦΦ ρεγιον (δασηεδ χοντουρσ). (Β) Α ⇒τ οφ τηε ρεχεπτιϖε ⇒ελδ σηοων ιν Α υσινγ α διφφερενχε−οφ−Γαυσσιανσ φυνχτιον (εθυατιον 2.45) ωιτη σχεν = 0.3◦ , σσυρ = 1.5◦ , ανδ Β = 5. (Χ) Τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ οφ α χατ ΛΓΝ Ξ χελλ. Νοτε τηατ τηε χεντερ ανδ συρρουνδ ρεγιονσ βοτη ρεϖερσε σιγν ασ α φυνχ− τιον οφ τ ανδ τηατ τηε τεµποραλ εϖολυτιον ισ σλοωερ φορ τηε συρρουνδ τηαν φορ τηε χεντερ. (∆) Α ⇒τ οφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ιν Χ υσινγ εθυατιον 2.46 ωιτη τηε σαµε παραµετερσ φορ τηε Γαυσσιαν φυνχτιονσ ασ ιν Β, ανδ τεµποραλ φαχτορσ γιϖεν βψ εθυατιον 2.47 ωιτη 1/αχεν = 16 µσ φορ τηε χεντερ, 1/ασυρ = 32 µσ φορ τηε συρρουνδ, ανδ 1/βχεν = 1/βσυρ = 64 µσ. (Α ανδ Χ αδαπτεδ φροµ ∆εΑνγελισ ετ αλ., 1995.)

Σεπαρατε φυνχτιονσ οφ τιµε µυλτιπλψ τηε χεντερ ανδ συρρουνδ, βυτ τηεψ χαν βοτη βε δεσχριβεδ βψ τηε σαµε φυνχτιονσ, υσινγ τωο σετσ οφ παραµετερσ, ∆τχεν,συρ (τ) = α2χεν,συρ τ εξπ(−αχεν,συρ τ) − β2χεν,συρ τ εξπ(−βχεν,συρ τ) . (2.47) Τηε παραµετερσ αχεν ανδ ασυρ χοντρολ τηε λατενχψ οφ τηε ρεσπονσε ιν τηε χεντερ ανδ συρρουνδ ρεγιονσ, ρεσπεχτιϖελψ, ανδ βχεν ανδ βσυρ αφφεχτ τηε τιµε οφ τηε ρεϖερσαλ. Τηισ φυνχτιον ηασ χηαραχτεριστιχσ σιµιλαρ το τηε φυνχτιον ιν εθυατιον 2.29, βυτ τηε λατενχψ εφφεχτ ισ λεσσ προνουνχεδ. Φιγυρε 2.25∆ σηοωσ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ οφ εθυατιον 2.46 ωιτη παραµετερσ χηο− σεν το µατχη ⇒γυρε 2.25Χ. Φιγυρε 2.26 σηοωσ τηε ρεσυλτσ οφ α διρεχτ τεστ οφ α ρεϖερσε−χορρελατιον µοδελ οφ αν ΛΓΝ νευρον. Τηε κερνελ νεεδεδ το δεσχριβε α παρτιχυλαρ ΛΓΝ χελλ ωασ ⇒ρστ εξτραχτεδ βψ υσινγ α ωηιτε−νοισε στιµυλυσ. Τηισ, τογετηερ ωιτη

79

firing rate (Ηζ)

2.7 Χονστρυχτινγ ς1 Ρεχεπτιϖε Φιελδσ

time (µσ) Φιγυρε 2.26 Χοµπαρισον οφ πρεδιχτεδ ανδ µεασυρεδ ⇒ρινγ ρατεσ φορ α χατ ΛΓΝ νευ− ρον ρεσπονδινγ το α ϖιδεο µοϖιε. Τηε τοπ πανελ ισ τηε ρατε πρεδιχτεδ βψ ιντεγρατινγ τηε προδυχτ οφ τηε ϖιδεο ιµαγε ιντενσιτψ ανδ α λινεαρ ⇒λτερ οβταινεδ φορ τηισ νευ− ρον φροµ α σπικε−τριγγερεδ αϖεραγε οφ α ωηιτε−νοισε στιµυλυσ. Τηε ρεσυλτινγ λινεαρ πρεδιχτιον ωασ ρεχτι⇒εδ. Τηε µιδδλε ανδ λοωερ πανελσ αρε µεασυρεδ ⇒ρινγ ρατεσ εξτραχτεδ φροµ τωο διφφερεντ σετσ οφ τριαλσ. (Αδαπτεδ φροµ ∆αν ετ αλ., 1996.)

α ρεχτιφψινγ στατιχ νονλινεαριτψ, ωασ υσεδ το πρεδιχτ τηε ⇒ρινγ ρατε οφ τηε νευρον ιν ρεσπονσε το α ϖιδεο µοϖιε. Τηε τοπ πανελ ιν ⇒γυρε 2.26 σηοωσ τηε ρεσυλτινγ πρεδιχτιον, ανδ τηε µιδδλε ανδ λοωερ πανελσ σηοω τηε αχτυαλ ⇒ρινγ ρατεσ εξτραχτεδ φροµ τωο διφφερεντ γρουπσ οφ τριαλσ. Τηε χορρελατιον χοεφ⇒χιεντ βετωεεν τηε πρεδιχτεδ ανδ αχτυαλ ⇒ρινγ ρατεσ ωασ 0.5, ωηιχη ωασ ϖερψ χλοσε το τηε χορρελατιον χοεφ⇒χιεντ βετωεεν ⇒ρινγ ρατεσ εξτραχτεδ φροµ διφφερεντ γρουπσ οφ τριαλσ. Τηισ µεανσ τηατ τηε ερρορ οφ τηε πρεδιχτιον ωασ νο ωορσε τηαν τηε ϖαριαβιλιτψ οφ τηε νευραλ ρεσπονσε ιτσελφ.

2.7

Χονστρυχτινγ ς1 Ρεχεπτιϖε Φιελδσ

Τηε µοδελσ οφ ϖισυαλ ρεχεπτιϖε ⇒ελδσ ωε ηαϖε βεεν δισχυσσινγ αρε πυρελψ δεσχριπτιϖε, βυτ τηεψ προϖιδε αν ιµπορταντ φραµεωορκ φορ στυδψινγ ηοω τηε χιρχυιτσ οφ τηε ρετινα, ΛΓΝ, ανδ πριµαρψ ϖισυαλ χορτεξ γενερατε νευραλ ρεσπονσεσ. Ιν αν εξαµπλε οφ α µορε µεχηανιστιχ µοδελ, Ηυβελ ανδ Ωιεσελ (1962) προποσεδ τηατ τηε οριεντεδ ρεχεπτιϖε ⇒ελδσ οφ χορτιχαλ νευρονσ χουλδ βε γενερατεδ βψ συµµινγ τηε ινπυτ φροµ αππροπριατελψ σελεχτεδ ΛΓΝ νευ− ρονσ. Τηειρ χονστρυχτιον, σηοων ιν ⇒γυρε 2.27Α, χονσιστσ οφ αλτερνατινγ ροωσ οφ ΟΝ−χεντερ ανδ ΟΦΦ−χεντερ ΛΓΝ χελλσ προϖιδινγ χονϖεργεντ ινπυτ το α χορτιχαλ σιµπλε χελλ. Τηε λεφτ σιδε οφ ⇒γυρε 2.27Α σηοωσ τηε σπατιαλ αρ−

Ηυβελ−Ωιεσελ σιµπλε χελλ µοδελ

80

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

A

B

Off On Off

LGN receptive fields

simple cell

complex cell

simple cells

Φιγυρε 2.27 (Α) Τηε Ηυβελ−Ωιεσελ µοδελ οφ οριεντατιον σελεχτιϖιτψ. Τηε σπατιαλ αρ− ρανγεµεντ οφ τηε ρεχεπτιϖε ⇒ελδσ οφ νινε ΛΓΝ νευρονσ αρε σηοων, ωιτη α ροω οφ τηρεε ΟΝ−χεντερ ⇒ελδσ ⇓ανκεδ ον ειτηερ σιδε βψ ροωσ οφ τηρεε ΟΦΦ−χεντερ ⇒ελδσ. Ωηιτε αρεασ δενοτε ΟΝ ⇒ελδσ ανδ γραψ αρεασ, ΟΦΦ ⇒ελδσ. Ιν τηε µοδελ, τηε χον− ϖεργινγ ΛΓΝ ινπυτσ αρε συµµεδ βψ τηε σιµπλε χελλ. Τηισ αρρανγεµεντ προδυχεσ α ρεχεπτιϖε ⇒ελδ οριεντεδ ιν τηε ϖερτιχαλ διρεχτιον. (Β) Τηε Ηυβελ−Ωιεσελ µοδελ οφ α χοµπλεξ χελλ. Ινπυτσ φροµ α νυµβερ οφ σιµπλε χελλσ ωιτη σιµιλαρ οριεντατιον ανδ σπατιαλ φρεθυενχψ πρεφερενχεσ (θ ανδ κ), βυτ διφφερεντ σπατιαλ πηασε πρεφερενχεσ (φ1 , φ2 , φ3 , ανδ φ4 ), χονϖεργε ον α χοµπλεξ χελλ ανδ αρε συµµεδ. Τηισ προδυχεσ α χοµ− πλεξ χελλ ουτπυτ τηατ ισ σελεχτιϖε φορ οριεντατιον ανδ σπατιαλ φρεθυενχψ, βυτ νοτ φορ σπατιαλ πηασε. Τηε ⇒γυρε σηοωσ φουρ σιµπλε χελλσ χονϖεργινγ ον α χοµπλεξ χελλ, βυτ αδδιτιοναλ σιµπλε χελλσ χαν βε ινχλυδεδ το γιϖε α µορε χοµπλετε χοϖεραγε οφ σπατιαλ πηασε.

ρανγεµεντ οφ ΛΓΝ ρεχεπτιϖε ⇒ελδσ τηατ, ωηεν συµµεδ, φορµ βανδσ οφ ΟΝ ανδ ΟΦΦ ρεγιονσ ρεσεµβλινγ τηε ρεχεπτιϖε ⇒ελδ οφ αν οριεντεδ σιµπλε χελλ. Τηισ µοδελ αχχουντσ φορ τηε σελεχτιϖιτψ οφ α σιµπλε χελλ πυρελψ ον τηε βασισ οφ φεεδφορωαρδ ινπυτ φροµ τηε ΛΓΝ. Ωε λεαϖε τηε στυδψ οφ τηισ µοδελ ασ αν εξερχισε φορ τηε ρεαδερ. Οτηερ µοδελσ, ωηιχη ωε δισχυσσ ιν χηαπτερ 7, ινχλυδε τηε εφφεχτσ οφ ρεχυρρεντ ιντραχορτιχαλ χοννεχτιονσ ασ ωελλ.

Ηυβελ−Ωιεσελ χοµπλεξ χελλ µοδελ

Ιν α πρεϖιουσ σεχτιον, ωε σηοωεδ ηοω τηε προπερτιεσ οφ χοµπλεξ χελλ ρε− σπονσεσ χουλδ βε αχχουντεδ φορ βψ υσινγ α σθυαρινγ στατιχ νονλινεαριτψ. Ωηιλε τηισ προϖιδεσ α γοοδ δεσχριπτιον οφ χοµπλεξ χελλσ, τηερε ισ λιττλε ιν− διχατιον τηατ χοµπλεξ χελλσ αχτυαλλψ σθυαρε τηειρ ινπυτσ. Μοδελσ οφ χοµ− πλεξ χελλσ χαν βε χονστρυχτεδ ωιτηουτ ιντροδυχινγ α σθυαρινγ νονλινεαριτψ. Ονε συχη εξαµπλε ισ ανοτηερ µοδελ προποσεδ βψ Ηυβελ ανδ Ωιεσελ (1962), ωηιχη ισ δεπιχτεδ ιν ⇒γυρε 2.27Β. Ηερε τηε πηασε−ινϖαριαντ ρεσπονσε οφ α χοµπλεξ χελλ ισ προδυχεδ βψ συµµινγ τογετηερ τηε ρεσπονσεσ οφ σεϖεραλ σιµπλε χελλσ ωιτη σιµιλαρ οριεντατιον ανδ σπατιαλ φρεθυενχψ τυνινγ, βυτ διφ− φερεντ πρεφερρεδ σπατιαλ πηασεσ. Ιν τηισ µοδελ, τηε χοµπλεξ χελλ ινηεριτσ ιτσ οριεντατιον ανδ σπατιαλ φρεθυενχψ πρεφερενχε φροµ τηε σιµπλε χελλσ τηατ δριϖε ιτ, βυτ σπατιαλ πηασε σελεχτιϖιτψ ισ ρεδυχεδ βεχαυσε τηε ουτπυτσ οφ σιµ− πλε χελλσ ωιτη α ϖαριετψ οφ σπατιαλ πηασε σελεχτιϖιτιεσ αρε συµµεδ. Αναλψσισ οφ τηισ µοδελ ισ λεφτ ασ αν εξερχισε. Ωηιλε τηε µοδελ γενερατεσ χοµπλεξ χελλ ρεσπονσεσ, τηερε αρε ινδιχατιονσ τηατ χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορ− τεξ αρε νοτ δριϖεν εξχλυσιϖελψ βψ σιµπλε χελλ ινπυτ. Αν αλτερνατιϖε µοδελ ισ χονσιδερεδ ιν χηαπτερ 7.

2.8

2.8

Χηαπτερ Συµµαρψ

81

Χηαπτερ Συµµαρψ

Ωε χοντινυεδ φροµ χηαπτερ 1 ουρ στυδψ οφ τηε ωαψσ τηατ νευρονσ ενχοδε ινφορµατιον, φοχυσινγ ον ρεϖερσε−χορρελατιον αναλψσισ, παρτιχυλαρλψ ασ απ− πλιεδ το νευρονσ ιν τηε ρετινα, ϖισυαλ τηαλαµυσ (ΛΓΝ), ανδ πριµαρψ ϖι− συαλ χορτεξ. Ωε υσεδ τηε τοολσ οφ σψστεµσ ιδεντι⇒χατιον, εσπεχιαλλψ τηε λιν− εαρ ⇒λτερ, Ωιενερ κερνελ, ανδ στατιχ νονλινεαριτψ, το βυιλδ δεσχριπτιϖε λιν− εαρ ανδ νονλινεαρ µοδελσ οφ τηε τρανσφορµατιον φροµ δψναµιχ στιµυλι το τιµε−δεπενδεντ ⇒ρινγ ρατεσ. Ωε δισχυσσεδ τηε χοµπλεξ λογαριτηµιχ µαπ γοϖερνινγ τηε ωαψ τηατ νειγηβορηοοδ ρελατιονσηιπσ ιν τηε ρετινα αρε τρανσ− φορµεδ ιντο χορτεξ, Νψθυιστ σαµπλινγ ιν τηε ρετινα, ανδ Γαβορ φυνχτιονσ ασ δεσχριπτιϖε µοδελσ οφ σεπαραβλε ανδ νονσεπαραβλε ρεχεπτιϖε ⇒ελδσ. Μοδελσ βασεδ ον Γαβορ ⇒λτερσ ανδ στατιχ νονλινεαριτιεσ ωερε σηοων το αχχουντ φορ τηε βασιχ ρεσπονσε προπερτιεσ οφ σιµπλε ανδ χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ, ινχλυδινγ σελεχτιϖιτψ φορ οριεντατιον, σπατιαλ φρεθυενχψ ανδ πηασε, ϖελοχιτψ, ανδ διρεχτιον. Ρετιναλ γανγλιον χελλ ανδ ΛΓΝ ρεσπονσεσ ωερε µοδελεδ υσινγ α διφφερενχε−οφ−Γαυσσιανσ κερνελ. Ωε βριε⇓ψ δεσχριβεδ σιµ− πλε χιρχυιτ µοδελσ οφ σιµπλε ανδ χοµπλεξ χελλσ.

2.9

Αππενδιχεσ

Α: Τηε Οπτιµαλ Κερνελ Υσινγ εθυατιον 2.1 φορ τηε εστιµατεδ ⇒ρινγ ρατε, τηε εξπρεσσιον ιν εθυα− τιον 2.3 το βε µινιµιζεδ ισ % &2 " ∞ " 1 Τ δτ r0 + δτ ∆ (τ)σ (τ − τ) − r (τ ) . (2.48) Ε= Τ 0 0 Τηε µινιµυµ ισ οβταινεδ βψ σεττινγ τηε δεριϖατιϖε οφ Ε ωιτη ρεσπεχτ το τηε φυνχτιον ∆ το 0. Α θυαντιτψ, συχη ασ Ε, τηατ δεπενδσ ον α φυνχτιον, ∆ ιν τηισ χασε, ισ χαλλεδ α φυνχτιοναλ, ανδ τηε δεριϖατιϖε ωε νεεδ ισ α φυνχ− τιοναλ δεριϖατιϖε. Φινδινγ τηε εξτρεµα οφ φυνχτιοναλσ ισ τηε συβϕεχτ οφ α βρανχη οφ µατηεµατιχσ χαλλεδ τηε χαλχυλυσ οφ ϖαριατιονσ. Α σιµπλε ωαψ το δε⇒νε α φυνχτιοναλ δεριϖατιϖε ισ το ιντροδυχε α σµαλλ τιµε ιντερϖαλ %τ ανδ εϖαλυατε αλλ φυνχτιονσ ατ ιντεγερ µυλτιπλεσ οφ %τ. Ωε δε⇒νε rι = r (ι%τ ), ∆κ = ∆ (κ%τ ), ανδ σι−κ = σ ((ι − κ )%τ ). Ιφ %τ ισ σµαλλ ενουγη, τηε ιντεγραλσ ιν εθυατιον 2.48 χαν βε αππροξιµατεδ βψ συµσ, ανδ ωε χαν ωριτε ' (2 Τ/%τ ∞ ! %τ ! Ε= r0 + %τ ∆κ σ ι − κ − rι . (2.49) Τ ι=0 κ=0 Ε ισ µινιµιζεδ βψ σεττινγ ιτσ δεριϖατιϖε ωιτη ρεσπεχτ το ∆ ϕ φορ αλλ ϖαλυεσ οφ ϕ το 0, ' ( Τ/%τ ∞ ! 2% τ ! ∂Ε r0 + %τ =0= ∆κ σ ι − κ − rι σ ι − ϕ % τ . (2.50) ∂∆ϕ Τ ι=0 κ=0

φυνχτιοναλ δεριϖατιϖε

82

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

Ρεαρρανγινγ ανδ σιµπλιφψινγ τηισ εξπρεσσιον γιϖεσ τηε χονδιτιον ' ( Τ/%τ Τ/%τ ∞ ! %τ ! %τ ! %τ ∆κ σ ι −κ σ ι − ϕ = (rι − r0 ) σι− ϕ . Τ ι=0 Τ ι=0 κ=0

(2.51)

Ιφ ωε τακε τηε λιµιτ %τ → 0 ανδ µακε τηε ρεπλαχεµεντσ ι%τ → τ, ϕ%τ → τ , ανδ κ%τ → τ ′ , τηε συµσ ιν εθυατιον 2.51 τυρν βαχκ ιντο ιντεγραλσ, τηε ινδεξεδ ϖαριαβλεσ βεχοµε φυνχτιονσ, ανδ ωε ⇒νδ & % " Τ " " ∞ 1 Τ 1 δτ σ (τ − τ ′ )σ (τ − τ) = δτ (r (τ ) − r0 ) σ (τ − τ) . δτ ′ ∆ (τ ′ ) Τ 0 Τ 0 0 (2.52) Τηε τερµ προπορτιοναλ το r0 ον τηε ριγητ σιδε οφ τηισ εθυατιον χαν βε δροππεδ βεχαυσε τηε τιµε ιντεγραλ οφ σ ισ 0. Τηε ρεµαινινγ τερµ ισ τηε ⇒ρ− ινγ ρατε−στιµυλυσ χορρελατιον φυνχτιον εϖαλυατεδ ατ −τ , Θrσ (−τ). Τηε τερµ ιν λαργε παρεντηεσεσ ον τηε λεφτ σιδε οφ 2.52 ισ τηε στιµυλυσ αυτοχορρελατιον φυνχτιον. Βψ σηιφτινγ τηε ιντεγρατιον ϖαριαβλε τ → τ + τ , ωε ⇒νδ τηατ ιτ ισ Θσσ (τ − τ ′ ), σο 2.52 χαν βε ρε−εξπρεσσεδ ιν τηε φορµ οφ εθυατιον 2.4. Εθυατιον 2.6 προϖιδεσ τηε σολυτιον το εθυατιον 2.4 ονλψ φορ α ωηιτε−νοισε στιµυλυσ. Φορ αν αρβιτραρψ στιµυλυσ, εθυατιον 2.4 χαν εασιλψ βε σολϖεδ βψ τηε µετηοδ οφ Φουριερ τρανσφορµσ ιφ ωε ιγνορε χαυσαλιτψ ανδ αλλοω τηε εσ− τιµατεδ ρατε ατ τιµε τ το δεπενδ ον τηε στιµυλυσ ατ τιµεσ λατερ τηαν τ, σο τηατ " ∞ rεστ (τ ) = r0 + δτ ∆ (τ)σ (τ − τ) . (2.53) −∞

Τηε εστιµατε ωριττεν ιν τηισ αχαυσαλ φορµ σατισ⇒εσ α σλιγητλψ µοδι⇒εδ ϖερ− σιον οφ εθυατιον 2.4, " ∞ δτ ′ Θσσ (τ − τ ′ ) ∆ (τ ′ ) = Θrσ (−τ) . (2.54) −∞

Ωε δε⇒νε τηε Φουριερ τρανσφορµσ (σεε τηε Ματηεµατιχαλ Αππενδιξ) " ∞ " ∞ ˜ (ω) = δτ ∆ (τ ) εξπ(ιωτ ) ανδ Θ˜ σσ (ω) = δτ Θσσ (τ) εξπ(ιωτ) , ∆ −∞

−∞

(2.55)

ασ ωελλ ασ Θ˜ rσ (ω) δε⇒νεδ αναλογουσλψ το Θ˜ σσ (ω). Εθυατιον 2.54 ισ σολϖεδ βψ τακινγ τηε Φουριερ τρανσφορµ οφ βοτη σιδεσ. Τηε ιντεγραλ οφ τηε προδυχτ οφ τωο φυνχτιονσ τηατ αππεαρσ ον τηε λεφτ σιδε οφ εθυατιον 2.54 ισ χαλλεδ α χονϖολυτιον. Το εϖαλυατε ιτσ Φουριερ τρανσφορµ, ωε µακε υσε οφ αν ιµπορταντ τηεορεµ στατινγ τηατ τηε Φουριερ τρανσφορµ οφ α χονϖολυτιον ισ τηε προδυχτ οφ τηε Φουριερ τρανσφορµσ οφ τηε τωο φυνχτιονσ ινϖολϖεδ (σεε τηε Ματηεµατιχαλ Αππενδιξ), " ∞ " ∞ ˜ (ω) Θ˜ σσ (ω) . δτ εξπ(ιωτ) δτ ′ Θσσ (τ − τ ′ ) ∆ (τ ′ ) = ∆ (2.56) −∞

−∞

2.9 Αππενδιχεσ

83

Ιν τερµσ οφ τηε Φουριερ τρανσφορµσ, εθυατιον 2.54 τηεν βεχοµεσ

˜ (ω) Θ˜ σσ (ω) = Θ˜ rσ (−ω) , ∆

(2.57)

˜ (ω) = Θ˜ rσ (−ω)/ Θ˜ σσ (ω). Τηε ιν− ωηιχη χαν βε σολϖεδ διρεχτλψ το οβταιν ∆ ϖερσε Φουριερ τρανσφορµ φροµ ωηιχη ∆ (τ) ισ ρεχοϖερεδ ισ (Ματηεµατιχαλ Αππενδιξ) " ∞ 1 ˜ (ω) εξπ(−ιωτ) , ∆ (τ) = δω ∆ (2.58) 2π −∞ σο τηε οπτιµαλ αχαυσαλ κερνελ ωηεν τηε στιµυλυσ ισ τεµποραλλψ χορρελατεδ ισ γιϖεν βψ ∆ (τ) =

1 2π

"

∞

δω

−∞

Θ˜ rσ (−ω) εξπ(−ιωτ) . Θ˜ σσ (ω)

(2.59)

Β: Τηε Μοστ Εφφεχτιϖε Στιµυλυσ Ωε σεεκ τηε στιµυλυσ τηατ προδυχεσ τηε µαξιµυµ πρεδιχτεδ ρεσπονσεσ ατ τιµε τ συβϕεχτ το τηε ⇒ξεδ ενεργψ χονστραιντ "

Τ 0

) *2 δτ′ σ (τ′ ) = χονσταντ .

(2.60)

Ωε ιµποσε τηισ χονστραιντ βψ τηε µετηοδ οφ Λαγρανγε µυλτιπλιερσ (σεε τηε Ματηεµατιχαλ Αππενδιξ), ωηιχη µεανσ τηατ ωε µυστ ⇒νδ τηε υνχον− στραινεδ µαξιµυµ ϖαλυε ωιτη ρεσπεχτ το σ οφ rεστ (τ ) + λ

"

0

Τ

δτ′ σ2 (τ′ ) = r0 +

"

0

∞

δτ ∆ (τ)σ (τ − τ) + λ

"

Τ 0

) *2 δτ′ σ (τ′ ) ,

(2.61)

ωηερε λ ισ τηε Λαγρανγε µυλτιπλιερ. Σεττινγ τηε δεριϖατιϖε οφ τηισ εξπρεσ− σιον ωιτη ρεσπεχτ το τηε φυνχτιον σ το 0 (υσινγ τηε σαµε µετηοδσ υσεδ ιν αππενδιξ Α) γιϖεσ ∆ (τ) = −2λσ (τ − τ) .

(2.62)

Τηε ϖαλυε οφ λ (ωηιχη ισ λεσσ τηαν 0) ισ δετερµινεδ βψ ρεθυιρινγ τηατ χον− διτιον 2.60 ισ σατισ⇒εδ, βυτ τηε πρεχισε ϖαλυε ισ νοτ ιµπορταντ φορ ουρ πυρ− ποσεσ. Τηε εσσεντιαλ ρεσυλτ ισ τηε προπορτιοναλιτψ βετωεεν τηε οπτιµαλ στιµ− υλυσ ανδ ∆ (τ).

Χ: Βυσσγανγ`σ Τηεορεµ Βυσσγανγ (1952, 1975) προϖεδ τηατ αν εστιµατε βασεδ ον τηε οπτιµαλ κερνελ φορ λινεαρ εστιµατιον χαν στιλλ βε σελφ−χονσιστεντ (αλτηουγη νοτ νεχεσσαριλψ

84

Ρεϖερσε Χορρελατιον ανδ ςισυαλ Ρεχεπτιϖε Φιελδσ

οπτιµαλ) ωηεν νονλινεαριτιεσ αρε πρεσεντ. Τηε σελφ−χονσιστενχψ χονδιτιον ισ τηατ ωηεν τηε νονλινεαρ εστιµατε rεστ = r0 + Φ ( Λ (τ )) ισ συβστιτυτεδ ιντο εθυατιον 2.6, τηε ρελατιονσηιπ βετωεεν τηε λινεαρ κερνελ ανδ τηε ⇒ρινγ ρατε− στιµυλυσ χορρελατιον φυνχτιον σηουλδ στιλλ ηολδ. Ιν οτηερ ωορδσ, ωε ρεθυιρε τηατ " Τ " Τ 1 1 ∆ (τ) = 2 δτ rεστ (τ )σ (τ − τ ) = 2 δτ Φ ( Λ (τ ))σ (τ − τ ) . (2.63) σσ Τ 0 σσ Τ 0 Ωε ηαϖε δροππεδ τηε r0 τερµ βεχαυσε τηε τιµε ιντεγραλ οφ σ ισ 0. Ιν γεν− εραλ, εθυατιον 2.63 δοεσ νοτ ηολδ, βυτ ιφ τηε στιµυλυσ υσεδ το εξτραχτ ∆ ισ Γαυσσιαν ωηιτε νοισε, εθυατιον 2.63 ρεδυχεσ το α σιµπλε νορµαλιζατιον χονδιτιον ον τηε φυνχτιον Φ. Τηισ ρεσυλτ ισ βασεδ ον τηε ιδεντιτψ, ϖαλιδ φορ α Γαυσσιαν ωηιτε−νοισε στιµυλυσ, " Τ " 1 ∆ (τ) Τ δΦ ( Λ (τ )) δτ Φ ( Λ ( τ )) σ (τ − τ ) = δτ . (2.64) σσ2 Τ 0 Τ δΛ 0 Φορ τηε ριγητ σιδε οφ τηισ εθυατιον το βε ∆ (τ), τηε ρεµαινινγ εξπρεσσιον, ινϖολϖινγ τηε ιντεγραλ οφ τηε δεριϖατιϖε οφ Φ, µυστ βε εθυαλ το 1. Τηισ χαν βε αχηιεϖεδ βψ αππροπριατε σχαλινγ οφ Φ. Τηε χριτιχαλ ιδεντιτψ 2.64 ισ βασεδ ον ιντεγρατιον βψ παρτσ φορ α Γαυσσιαν ωειγητεδ ιντεγραλ. Α σιµπλι⇒εδ προοφ ισ πρεσεντεδ ασ α προβλεµ ον τηε εξερχισε ωεβ σιτε.

2.10

Αννοτατεδ Βιβλιογραπηψ

Μαρµαρελισ & Μαρµαρελισ (1978), Ριεκε ετ αλ. (1997), ανδ Γαββιανι & Κοχη (1998) προϖιδε γενεραλ δισχυσσιονσ οφ ρεϖερσε−χορρελατιον µετηοδσ. Α υσεφυλ ρεφερενχε ρελεϖαντ το ουρ πρεσεντατιον οφ τηειρ αππλιχατιον το τηε ϖισυαλ σψστεµ ισ Χαρανδινι ετ αλ. (1996). ςολτερρα ανδ Ωιενερ φυνχτιοναλ εξπανσιονσ αρε δισχυσσεδ ιν Ωιενερ (1958) ανδ Μαρµαρελισ & Μαρµαρελισ (1978). Γενεραλ ιντροδυχτιονσ το τηε ϖισυαλ σψστεµ ινχλυδε Ηυβελ & Ωιεσελ (1962, 1977), Ορβαν (1984), Ηυβελ (1988), Ωανδελλ (1995), ανδ ∆ε ςαλοισ & ∆ε ςαλοισ (1990). Ουρ τρεατµεντ φολλοωσ ∆οωλινγ (1987) ον προχεσσινγ ιν τηε ρετινα, ανδ Σχηωαρτζ (1977), ςαν Εσσεν ετ αλ. (1984), ανδ Ροϖαµο & ςιρσυ (1984) ον ασπεχτσ οφ τηε ρετινοτοπιχ µαπ φροµ τηε εψε το τηε βραιν. Προπερ− τιεσ οφ τηισ µαπ αρε υσεδ το αχχουντ φορ ασπεχτσ οφ ϖισυαλ ηαλλυχινατιονσ ιν Ερµεντρουτ & Χοωαν (1979). Ωε αλσο φολλοω Μοϖσηον ετ αλ. (1978α, 1978β) φορ δε⇒νιτιονσ οφ σιµπλε ανδ χοµπλεξ χελλσ, ∆αυγµαν (1985) ανδ ϑονεσ & Παλµερ (1987β) ον τηε υσε οφ Γαβορ φυνχτιονσ (Γαβορ, 1946) το δεσχριβε ϖι− συαλ ρεχεπτιϖε ⇒ελδσ, ανδ ∆εΑνγελισ ετ αλ. (1995) ον σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ. Ουρ δεσχριπτιον οφ τηε ενεργψ µοδελ οφ χοµπλεξ χελλσ ισ βασεδ ον Αδελσον & Βεργεν (1985), ωηιχη ισ ρελατεδ το ωορκ βψ Πολλεν & Ροννερ (1982), ςαν Σαντεν & Σπερλινγ (1984), ανδ Ωατσον & Αηυµαδα (1985), ανδ το εαρλιερ ιδεασ οφ Ρειχηαρδτ (1961) ανδ Βαρλοω & Λεϖιχκ (1965). Ηεεγερaσ (1992, 1993) µοδελ οφ χοντραστ σατυρατιον ισ ρεϖιεωεδ ιν Χαρανδινι ετ αλ.

2.10

Αννοτατεδ Βιβλιογραπηψ

85

(1996), ανδ ηασ βεεν αππλιεδ ιν αν αππροαχη µορε χλοσελψ ρελατεδ το τηε ρεπρεσεντατιοναλ λεαρνινγ µοδελσ οφ χηαπτερ 10 βψ Σιµονχελλι & Σχηωαρτζ (1999). Τηε διφφερενχε−οφ−Γαυσσιανσ µοδελ φορ ρετιναλ ανδ ΛΓΝ ρεχεπτιϖε ⇒ελδσ ισ δυε το Ροδιεχκ (1965) ανδ Ενροτη−Χυγελλ ανδ Ροβσον (1966). Α ♦ οττερ ♦ υσεφυλ ρεφερενχε ον µοδελινγ οφ τηε εαρλψ ϖισυαλ σψστεµ ισ Ωοργ & Κοχη (1991). Τηε ισσυε οφ λινεαριτψ ανδ νονλινεαριτψ ιν εαρλψ ϖισυαλ προ− χεσσινγ ισ ρεϖιεωεδ βψ Φερστερ (1994).

This page intentionally left blank

3

Νευραλ ∆εχοδινγ

3.1

Ενχοδινγ ανδ ∆εχοδινγ

Ιν χηαπτερσ 1 ανδ 2, ωε χονσιδερεδ τηε προβλεµ οφ πρεδιχτινγ νευραλ ρε− σπονσεσ το κνοων στιµυλι. Τηε νερϖουσ σψστεµ φαχεσ τηε ρεϖερσε προβλεµ, δετερµινινγ ωηατ ισ γοινγ ον ιν τηε ρεαλ ωορλδ φροµ νευροναλ σπικινγ πατ− τερνσ. Ιτ ισ ιντερεστινγ το αττεµπτ συχη χοµπυτατιονσ ουρσελϖεσ, υσινγ τηε ρεσπονσεσ οφ ονε ορ µορε νευρονσ το ιδεντιφψ α παρτιχυλαρ στιµυλυσ ορ το εξ− τραχτ τηε ϖαλυε οφ α στιµυλυσ παραµετερ. Ωε ωιλλ ασσεσσ τηε αχχυραχψ ωιτη ωηιχη τηισ χαν βε δονε πριµαριλψ βψ υσινγ οπτιµαλ δεχοδινγ τεχηνιθυεσ, ρεγαρδλεσσ οφ ωηετηερ τηε χοµπυτατιονσ ινϖολϖεδ σεεµ βιολογιχαλλψ πλαυ− σιβλε. Σοµε βιοπηψσιχαλλψ ρεαλιστιχ ιµπλεµεντατιονσ αρε δισχυσσεδ ιν χηαπ− τερ 7. Οπτιµαλ δεχοδινγ αλλοωσ υσ το δετερµινε λιµιτσ ον τηε αχχυραχψ ανδ ρελιαβιλιτψ οφ νευροναλ ενχοδινγ. Ιν αδδιτιον, ιτ ισ υσεφυλ φορ εστιµατινγ τηε ινφορµατιον χοντεντ οφ νευροναλ σπικε τραινσ, αν ισσυε αδδρεσσεδ ιν χηαπ− τερ 4. Ασ ωε δισχυσσ ιν χηαπτερ 1, νευραλ ρεσπονσεσ, εϖεν το α σινγλε ρεπεατεδ στιµυλυσ, αρε τψπιχαλλψ δεσχριβεδ βψ στοχηαστιχ µοδελσ δυε το τηειρ ινηερεντ ϖαριαβιλιτψ. Ιν αδδιτιον, στιµυλι τηεµσελϖεσ αρε οφτεν δεσχριβεδ στοχηαστι− χαλλψ. Φορ εξαµπλε, τηε στιµυλι υσεδ ιν αν εξπεριµεντ µιγητ βε δραων ραν− δοµλψ φροµ α σπεχι⇒εδ προβαβιλιτψ διστριβυτιον. Νατυραλ στιµυλι χαν αλσο βε µοδελεδ στοχηαστιχαλλψ ασ α ωαψ οφ χαπτυρινγ τηε στατιστιχαλ προπερτιεσ οφ χοµπλεξ ενϖιρονµεντσ. Γιϖεν τηισ τωοφολδ στοχηαστιχ µοδελ, ενχοδινγ ανδ δεχοδινγ αρε ρελατεδ τηρουγη α βασιχ ιδεντιτψ οφ προβαβιλιτψ τηεορψ χαλλεδ Βαψεσ τηεορεµ. Λετ ρ ρεπρεσεντ τηε ρεσπονσε οφ α νευρον ορ α ποπυλατιον οφ νευρονσ το α στιµυλυσ χηαραχτεριζεδ βψ α παραµετερ σ. Τηρουγηουτ τηισ χηαπτερ, ρ = (ρ1 , ρ2 , . . . , ρ Ν ) φορ Ν νευρονσ ισ α λιστ οφ σπικε−χουντ ⇒ρινγ ρατεσ, αλτηουγη, φορ τηε πρεσεντ δισχυσσιον, ιτ χουλδ βε ανψ οτηερ σετ οφ παραµετερσ δεσχριβ− ινγ τηε νευροναλ ρεσπονσε. Σεϖεραλ διφφερεντ προβαβιλιτιεσ ανδ χονδιτιοναλ προβαβιλιτιεσ εντερ ιντο ουρ δισχυσσιον. Α χονδιτιοναλ προβαβιλιτψ ισ ϕυστ αν ορδιναρψ προβαβιλιτψ οφ αν εϖεντ οχχυρρινγ, εξχεπτ τηατ ιτσ οχχυρρενχε ισ συβϕεχτ το αν αδδιτιοναλ χονδιτιον. Τηε χονδιτιοναλ προβαβιλιτψ οφ εϖεντ Α οχχυρρινγ συβϕεχτ το τηε χονδιτιον Β ισ δενοτεδ βψ Π[Α| Β]. Τηε προβαβιλι− τιεσ ωε νεεδ αρε:

χονδιτιοναλ προβαβιλιτψ

88

πριορ προβαβιλιτψ

Νευραλ ∆εχοδινγ • Π[σ], τηε προβαβιλιτψ οφ στιµυλυσ σ βεινγ πρεσεντεδ, οφτεν χαλλεδ τηε πριορ προβαβιλιτψ • Π[ρ], τηε προβαβιλιτψ οφ ρεσπονσε ρ βεινγ ρεχορδεδ

ϕοιντ προβαβιλιτψ

• Π[ρ, σ], τηε προβαβιλιτψ οφ στιµυλυσ σ βεινγ πρεσεντεδ ανδ ρεσπονσε ρ βεινγ ρεχορδεδ. Τηισ ισ χαλλεδ τηε ϕοιντ προβαβιλιτψ • Π[ρ|σ], τηε χονδιτιοναλ προβαβιλιτψ οφ εϖοκινγ ρεσπονσε ρ, γιϖεν τηατ στιµυλυσ σ ωασ πρεσεντεδ • Π[σ|ρ], τηε χονδιτιοναλ προβαβιλιτψ τηατ στιµυλυσ σ ωασ πρεσεντεδ, γιϖεν τηατ ρεσπονσε ρ ωασ ρεχορδεδ. Νοτε τηατ Π[ρ|σ] ισ τηε προβαβιλιτψ οφ οβσερϖινγ τηε ρατεσ ρ, γιϖεν τηατ τηε στιµυλυσ τοοκ τηε ϖαλυε σ, ωηιλε Π[ρ] ισ τηε προβαβιλιτψ οφ τηε ρατεσ τακινγ τηε ϖαλυεσ ρ ινδεπενδεντ οφ ωηατ στιµυλυσ ωασ υσεδ. Π[ρ] χαν βε χοµ− πυτεδ φροµ Π[ρ|σ] βψ συµµινγ οϖερ αλλ στιµυλυσ ϖαλυεσ ωειγητεδ βψ τηειρ προβαβιλιτιεσ, ! ! Π[ρ] = Π[ρ|σ]Π[σ] ανδ σιµιλαρλψ Π[σ] = Π[σ|ρ]Π[ρ] . (3.1) σ

ρ

Αν αδδιτιοναλ ρελατιονσηιπ βετωεεν τηε προβαβιλιτιεσ λιστεδ αβοϖε χαν βε δεριϖεδ βψ νοτιχινγ τηατ τηε ϕοιντ προβαβιλιτψ Π[ρ, σ] χαν βε εξπρεσσεδ ασ ει− τηερ τηε χονδιτιοναλ προβαβιλιτψ Π[ρ|σ] τιµεσ τηε προβαβιλιτψ οφ τηε στιµυλυσ, ορ ασ Π[σ|ρ] τιµεσ τηε προβαβιλιτψ οφ τηε ρεσπονσε, Π[ρ, σ] = Π[ρ|σ]Π[σ] = Π[σ|ρ]Π[ρ] . Βαψεσ τηεορεµ

(3.2)

Τηισ ισ τηε βασισ οφ Βαψεσ τηεορεµ ρελατινγ Π[σ|ρ] το Π[ρ|σ]: Π[σ|ρ] =

Π[ρ|σ]Π[σ] , Π[ρ]

(3.3)

ασσυµινγ τηατ Π[ρ] ̸= 0. Ενχοδινγ ισ χηαραχτεριζεδ βψ τηε σετ οφ προβαβιλι− τιεσ Π[ρ|σ] φορ αλλ στιµυλι ανδ ρεσπονσεσ. ∆εχοδινγ α ρεσπονσε, ον τηε οτηερ ηανδ, αµουντσ το δετερµινινγ τηε προβαβιλιτιεσ Π[σ|ρ]. Αχχορδινγ το Βαψεσ τηεορεµ, Π[σ|ρ] χαν βε οβταινεδ φροµ Π[ρ|σ], βυτ τηε στιµυλυσ προβαβιλιτψ Π[σ] ισ αλσο νεεδεδ. Ασ α ρεσυλτ, δεχοδινγ ρεθυιρεσ κνοωλεδγε οφ τηε στατισ− τιχαλ προπερτιεσ οφ εξπεριµενταλλψ ορ νατυραλλψ οχχυρρινγ στιµυλι. Ιν τηε αβοϖε δισχυσσιον, ωε ηαϖε ασσυµεδ τηατ βοτη τηε στιµυλυσ ανδ τηε ρεσπονσε αρε χηαραχτεριζεδ βψ δισχρετε ϖαλυεσ σο τηατ ορδιναρψ προβαβιλι− τιεσ, νοτ προβαβιλιτψ δενσιτιεσ, αρε υσεδ το δεσχριβε τηειρ διστριβυτιονσ. Φορ εξαµπλε, ⇒ρινγ ρατεσ οβταινεδ βψ χουντινγ σπικεσ οϖερ τηε δυρατιον οφ α τριαλ τακε δισχρετε ϖαλυεσ ανδ χαν βε δεσχριβεδ βψ α προβαβιλιτψ. Ηοωεϖερ, ωε σοµετιµεσ τρεατ τηε ρεσπονσε ⇒ρινγ ρατεσ ορ τηε στιµυλυσ ϖαλυεσ ασ χον− τινυουσ ϖαριαβλεσ. Ιν τηισ χασε, τηε προβαβιλιτιεσ λιστεδ µυστ βε ρεπλαχεδ βψ τηε χορρεσπονδινγ προβαβιλιτψ δενσιτιεσ, π[ρ], π[ρ|σ], ετχ. Νεϖερτηελεσσ, τηε ρελατιονσηιπσ δισχυσσεδ αβοϖε αρε εθυαλλψ ϖαλιδ.

3.2

∆ισχριµινατιον 0% coherence

89 50% coherence

100% coherence

Φιγυρε 3.1 Τηε µοϖινγ ρανδοµ−δοτ στιµυλυσ φορ διφφερεντ λεϖελσ οφ χοηερενχε. Τηε ϖισυαλ ιµαγε χονσιστσ οφ ρανδοµλψ πλαχεδ δοτσ τηατ ϕυµπ εϖερψ 45 µσ αχχορδινγ το τηε σχηεµε δεσχριβεδ ιν τηε τεξτ. Ατ 0% χοηερενχε τηε δοτσ µοϖε ρανδοµλψ. Ατ 50% χοηερενχε, ηαλφ τηε δοτσ µοϖε ρανδοµλψ ανδ ηαλφ µοϖε τογετηερ (υπωαρδ ιν τηισ εξαµπλε). Ατ 100% χοηερενχε αλλ τηε δοτσ µοϖε τογετηερ. (Αδαπτεδ φροµ Βριττεν ετ αλ., 1992.)

Ιν τηε φολλοωινγ σεχτιονσ, ωε πρεσεντ εξαµπλεσ οφ δεχοδινγ τηατ ινϖολϖε βοτη σινγλε νευρονσ ανδ νευροναλ ποπυλατιονσ. Ωε ⇒ρστ στυδψ α ρεστριχτεδ χασε οφ σινγλε−χελλ δεχοδινγ, δισχριµινατιον βετωεεν τωο διφφερεντ στιµυ− λυσ ϖαλυεσ. Ωε τηεν χονσιδερ εξτραχτινγ τηε ϖαλυε οφ α παραµετερ τηατ χηαρ− αχτεριζεσ α στατιχ στιµυλυσ φροµ τηε ρεσπονσεσ οφ α ποπυλατιον οφ νευρονσ. Ασ α ⇒ναλ εξαµπλε, ωε ρετυρν το σινγλε νευρονσ ανδ δισχυσσ σπικε−τραιν δεχοδινγ, ιν ωηιχη αν εστιµατε οφ α τιµε−ϖαρψινγ στιµυλυσ ισ χονστρυχτεδ φροµ τηε σπικε τραιν ιτ εϖοκεσ.

3.2

∆ισχριµινατιον

Το ιντροδυχε τηε νοτιον οφ δισχριµιναβιλιτψ ανδ τηε ρεχειϖερ οπερατινγ χηαρ− αχτεριστιχ τηατ λιε ατ τηε ηεαρτ οφ δισχριµινατιον αναλψσισ, ωε ωιλλ δισχυσσ α φασχινατινγ στυδψ περφορµεδ βψ Βριττεν ετ αλ. (1992). Ιν τηειρ εξπεριµεντσ, α µονκεψ ωασ τραινεδ το δισχριµινατε βετωεεν τωο διρεχτιονσ οφ µοτιον οφ α ϖισυαλ στιµυλυσ. Τηε στιµυλυσ ωασ α παττερν οφ δοτσ ον α ϖιδεο µονι− τορ τηατ ϕυµπ φροµ ρανδοµ ινιτιαλ λοχατιονσ το νεω λοχατιονσ εϖερψ 45 µσ. Το ιντροδυχε α σενσε οφ διρεχτεδ µοϖεµεντ ατ α παρτιχυλαρ ϖελοχιτψ, α περ− χενταγε οφ τηε δοτσ µοϖε τογετηερ βψ α ⇒ξεδ αµουντ ιν α ⇒ξεδ διρεχτιον (⇒γυρε 3.1). Τηε χοηερεντλψ µοϖινγ δοτσ αρε σελεχτεδ ρανδοµλψ ατ εαχη τιµε στεπ, ανδ τηε ρεµαινινγ δοτσ µοϖε το ρανδοµ νεω λοχατιονσ. Τηε περχενταγε οφ δοτσ τηατ µοϖε τογετηερ ιν τηε ⇒ξεδ διρεχτιον ισ χαλλεδ τηε χοηερενχε λεϖελ. Ατ 0% χοηερενχε, τηε ιµαγε αππεαρσ χηαοτιχ ωιτη νο σενσε οφ ανψ παρτιχυλαρ διρεχτιον οφ µοτιον. Ασ τηε χοηερενχε ινχρεασεσ, α σενσε οφ µοϖεµεντ ιν α παρτιχυλαρ διρεχτιον αππεαρσ ιν τηε ιµαγε υντιλ, ατ 100% χοηερενχε, τηε εντιρε αρραψ οφ δοτσ µοϖεσ τογετηερ ον τηε µονιτορ. Βψ ϖαρψ− ινγ τηε δεγρεε οφ χοηερενχε, τηε τασκ οφ δετεχτινγ τηε µοϖεµεντ διρεχτιον χαν βε µαδε µορε ορ λεσσ διφ⇒χυλτ. Τηε εξπεριµεντσ χοµβινεδ νευραλ ρεχορδινγ ωιτη βεηαϖιοραλ µεασυρε− µεντσ. Ιν τηε βεηαϖιοραλ παρτ, τηε µονκεψ ηαδ το ρεπορτ τηε διρεχτιον

90

Νευραλ ∆εχοδινγ

A

B 20 1.0

behavior 0

number of trials

fraction correct

neuronal

0.8

20

0

0.6

20

0.5

0 0.1

1.0

10

100

0

10

20

30

40

50

60

firing rate (Ηζ)

Φιγυρε 3.2 Βεηαϖιοραλ ανδ ελεχτροπηψσιολογιχαλ ρεσυλτσ φροµ α ρανδοµ−δοτ µοτιον− δισχριµινατιον τασκ. (Α) Τηε ⇒λλεδ χιρχλεσ σηοω τηε φραχτιον οφ χορρεχτ δισχριµινα− τιονσ µαδε βψ α µονκεψ ασ α φυνχτιον οφ τηε δεγρεε οφ χοηερενχε οφ τηε µοτιον. Τηε οπεν χιρχλεσ σηοω τηε δισχριµινατιον αχχυραχψ τηατ αν ιδεαλ οβσερϖερ χουλδ αχηιεϖε ον τηε αναλογουσ τωο−αλτερνατιϖε φορχεδ−χηοιχε δισχριµινατιον τασκ, γιϖεν τηε νευ− ραλ ρεσπονσεσ. (Β) Φιρινγ−ρατε ηιστογραµσ φορ τηρεε διφφερεντ λεϖελσ οφ χοηερενχε. Ηατχηεδ ρεχτανγλεσ σηοω τηε ρεσυλτσ φορ µοτιον ιν τηε πλυσ διρεχτιον, ανδ σολιδ ρεχτανγλεσ, φορ µοτιον ιν τηε µινυσ διρεχτιον. Τηε ηιστογραµσ ηαϖε βεεν τηιννεδ φορ χλαριτψ σο τηατ νοτ αλλ τηε βινσ αρε σηοων. (Αδαπτεδ φροµ Βριττεν ετ αλ., 1992.)

οφ µοτιον ιν τηε ρανδοµ δοτ ιµαγεσ. ∆υρινγ τηε σαµε τασκ, ρεχορδινγσ ωερε µαδε φροµ νευρονσ ιν αρεα ΜΤ. Ονλψ τωο ποσσιβλε διρεχτιονσ οφ χο− ηερεντ µοϖεµεντ οφ τηε δοτσ ωερε υσεδ ωηιλε α παρτιχυλαρ νευρον ωασ βεινγ ρεχορδεδ; ειτηερ τηε διρεχτιον τηατ προδυχεδ τηε µαξιµυµ ρεσπονσε ιν τηατ νευρον, ορ τηε οπποσιτε διρεχτιον. Τηε µονκεψaσ τασκ ωασ το δισ− χριµινατε βετωεεν τηεσε τωο διρεχτιονσ. Τηε ⇒λλεδ χιρχλεσ ανδ σολιδ χυρϖε ιν ⇒γυρε 3.2Α σηοω τηε προπορτιον οφ χορρεχτ ρεσπονσεσ ιν α τψπιχαλ εξ− περιµεντ. Βελοω 1% χοηερενχε, τηε ρεσπονσεσ ωερε νεαρ χηανχε (φραχτιον χορρεχτ = 0.5), βυτ τηε µονκεψ αππροαχηεδ περφεχτ περφορµανχε (φραχτιον χορρεχτ = 1) αβοϖε 10% χοηερενχε. Φιγυρε 3.2Β σηοωσ ηιστογραµσ οφ αϖεραγε ⇒ρινγ ρατεσ ιν ρεσπονσε το διφφερ− εντ λεϖελσ οφ µοϖεµεντ χοηερενχε. Τηε ⇒ρινγ ρατεσ πλοττεδ αρε τηε νυµβερ οφ σπικεσ ρεχορδεδ δυρινγ τηε 2 σ περιοδ τηατ τηε στιµυλυσ ωασ πρεσεντεδ, διϖιδεδ βψ 2 σ. Τηε νευρον σηοων τενδεδ το ⇒ρε µορε σπικεσ ωηεν τηε µοτιον ωασ ιν ιτσ πρεφερρεδ διρεχτιον, ωηιχη ωε ωιλλ χαλλ τηε πλυσ (ορ +) διρεχτιον (ηατχηεδ ηιστογραµ), τηαν ιν τηε οτηερ, µινυσ (ορ −) διρεχτιον (σολιδ ηιστογραµ). Ατ ηιγη χοηερενχε λεϖελσ, τηε ⇒ρινγ−ρατε διστριβυτιονσ χορρεσπονδινγ το τηε τωο διρεχτιονσ αρε φαιρλψ ωελλ σεπαρατεδ, ωηιλε ατ λοω χοηερενχε λεϖελσ, τηεψ µεργε. Αλτηουγη σπικε χουντ ρατεσ τακε ονλψ δισ− χρετε ϖαλυεσ, ιτ ισ µορε χονϖενιεντ το τρεατ ρ ασ α χοντινυουσ ϖαριαβλε φορ ουρ δισχυσσιον. Τρεατεδ ασ προβαβιλιτψ δενσιτιεσ, τηεσε τωο διστριβυτιονσ αρε

3.2

∆ισχριµινατιον

91

αππροξιµατελψ Γαυσσιαν ωιτη τηε σαµε ϖαριανχε, σρ2 , βυτ διφφερεντ µεανσ, ⟨ρ⟩+ φορ τηε πλυσ διρεχτιον ανδ ⟨ρ⟩− φορ τηε µινυσ διρεχτιον. Α χονϖενιεντ µεασυρε οφ τηε σεπαρατιον βετωεεν τηε διστριβυτιονσ ισ τηε δισχριµιναβιλιτψ δ′ =

⟨ρ⟩+ − ⟨ρ⟩− , σρ

δισχριµιναβιλιτψ δ′

(3.4)

ωηιχη ισ τηε διστανχε βετωεεν τηε µεανσ ιν υνιτσ οφ τηειρ χοµµον σταν− δαρδ δεϖιατιον. Τηε λαργερ δ′ , τηε µορε σεπαρατεδ τηε διστριβυτιονσ. Ιν τηε εξαµπλε ωε αρε χονσιδερινγ, δεχοδινγ ινϖολϖεσ υσινγ τηε νευραλ ρεσπονσε το δετερµινε ιν ωηιχη οφ τηε τωο ποσσιβλε διρεχτιονσ τηε στιµυ− λυσ µοϖεδ. Α σιµπλε δεχοδινγ προχεδυρε ισ το δετερµινε τηε ⇒ρινγ ρατε ρ δυρινγ α τριαλ ανδ χοµπαρε ιτ το α τηρεσηολδ νυµβερ ζ. Ιφ ρ ≥ ζ, ωε ρε− πορτ mπλυσn; οτηερωισε ωε ρεπορτ mµινυσn. Φιγυρε 3.2Β συγγεστσ τηατ ιφ ωε χηοοσε ζ το λιε σοµεωηερε βετωεεν τηε τωο διστριβυτιονσ, τηισ προχεδυρε ωιλλ γιϖε τηε χορρεχτ ανσωερ ατ ηιγη χοηερενχε, βυτ ωιλλ ηαϖε διφ⇒χυλτψ δισ− τινγυισηινγ τηε τωο διρεχτιονσ ατ λοω χοηερενχε. Τηισ διφ⇒χυλτψ ισ χλεαρλψ ρελατεδ το τηε δεγρεε το ωηιχη τηε τωο διστριβυτιονσ ιν ⇒γυρε 3.2Β οϖερλαπ, ανδ τηυσ το τηε δισχριµιναβιλιτψ. Τηε προβαβιλιτψ τηατ τηε προχεδυρε ουτλινεδ ιν τηε πρεϖιουσ παραγραπη ωιλλ γενερατε τηε χορρεχτ ανσωερ (χαλλεδ α ηιτ) ωηεν τηε στιµυλυσ ισ µοϖινγ ιν τηε πλυσ διρεχτιον ισ τηε χονδιτιοναλ προβαβιλιτψ τηατ ρ ≥ ζ γιϖεν α πλυσ στιµυλυσ, Π[ρ ≥ ζ|+]. Τηε προβαβιλιτψ τηατ ιτ ωιλλ γιϖε τηε ανσωερ mπλυσn ωηεν τηε στιµυλυσ ισ αχτυαλλψ µοϖινγ ιν τηε µινυσ διρεχτιον (χαλλεδ α φαλσε αλαρµ) ισ σιµιλαρλψ Π[ρ ≥ ζ|−]. Τηεσε τωο προβαβιλιτιεσ χοµπλετελψ δετερ− µινε τηε περφορµανχε οφ τηε δεχοδινγ προχεδυρε βεχαυσε τηε προβαβιλι− τιεσ φορ τηε οτηερ τωο χασεσ (ρεπορτινγ mµινυσn ωηεν τηε χορρεχτ ανσωερ ισ mπλυσn, ανδ ρεπορτινγ mµινυσn ωηεν τηε χορρεχτ ανσωερ ισ mµινυσn) αρε 1 − Π[ρ ≥ ζ|+] ανδ 1 − Π[ρ ≥ ζ|−], ρεσπεχτιϖελψ. Ιν σιγναλ δετεχτιον τηεορψ, τηε θυαντιτψ υσεδ το περφορµ τηε δισχριµινατιον, ρ ιν ουρ χασε, ισ χαλλεδ τηε τεστ, ανδ τηε τωο προβαβιλιτιεσ χορρεσπονδινγ το ρεπορτινγ α mπλυσn ανσωερ ηαϖε σπεχι⇒χ ναµεσ:

α( ζ ) = Π[ρ ≥ ζ|−] ισ τηε σιζε ορ φαλσε αλαρµ ρατε οφ τηε τεστ β( ζ ) = Π[ρ ≥ ζ|+] ισ τηε ποωερ ορ ηιτ ρατε οφ τηε τεστ.

(3.5)

Τηε φολλοωινγ ταβλε σηοωσ ηοω τηε προβαβιλιτιεσ οφ τηε τεστ γιϖινγ χορρεχτ ανδ ινχορρεχτ ανσωερσ ιν τηε διφφερεντ χασεσ δεπενδ ον α ανδ β.

στιµυλυσ + −

προβαβιλιτψ χορρεχτ ινχορρεχτ β 1−β 1−α α

Τηε περφορµανχε οφ τηε δεχοδινγ προχεδυρε ωε ηαϖε βεεν δισχυσσινγ δε− πενδσ χριτιχαλλψ ον τηε ϖαλυε οφ τηε τηρεσηολδ ζ το ωηιχη τηε ρατε ρ ισ χοµ− παρεδ. Οβϖιουσλψ, ωε ωουλδ λικε το υσε α τηρεσηολδ φορ ωηιχη τηε σιζε

τεστ σιζε ανδ ποωερ ορ φαλσε αλαρµ ανδ ηιτ ρατε

92

Νευραλ ∆εχοδινγ

ισ νεαρ 0 ανδ τηε ποωερ νεαρ 1. Ιν γενεραλ, ιτ ισ ιµποσσιβλε το χηοοσε τηε τηρεσηολδ σο τηατ βοτη τηε σιζε ανδ τηε ποωερ οφ τηε τεστ αρε οπτι− µιζεδ; α χοµπροµισε µυστ βε µαδε. Α λογιχαλ οπτιµιζατιον χριτεριον ισ το µαξιµιζε τηε προβαβιλιτψ οφ γεττινγ α χορρεχτ ανσωερ, ωηιχη ισ εθυαλ το (β( ζ ) + 1 − α( ζ ))/2 ιφ τηε πλυσ ανδ µινυσ στιµυλι οχχυρ ωιτη εθυαλ προβ− αβιλιτψ. Αλτηουγη τηισ ισ α ποσσιβλε αππροαχη φορ τηε εξπεριµεντ ωε αρε στυδψινγ, τηε αναλψσισ ωε πρεσεντ ιντροδυχεσ α ποωερφυλ τεχηνιθυε τηατ µακεσ βεττερ υσε οφ τηε φυλλ ρανγε οφ ρεχορδεδ δατα ανδ χαν βε γενεραλιζεδ το τασκσ ωηερε τηε οπτιµαλ στρατεγψ ισ υνκνοων. Τηισ αππροαχη µακεσ υσε οφ ΡΟΧ χυρϖεσ, ωηιχη ινδιχατε ηοω τηε σιζε ανδ ποωερ οφ α τεστ τραδε οφφ ασ τηε τηρεσηολδ ισ ϖαριεδ.

ΡΟΧ Χυρϖεσ Τηε ρεχειϖερ οπερατινγ χηαραχτεριστιχ (ΡΟΧ) χυρϖε προϖιδεσ α ωαψ οφ εϖαλ− υατινγ ηοω τεστ περφορµανχε δεπενδσ ον τηε χηοιχε οφ τηε τηρεσηολδ ζ. ρεχειϖερ οπερατινγ Εαχη ποιντ ον αν ΡΟΧ χυρϖε χορρεσπονδσ το α διφφερεντ ϖαλυε οφ ζ. Τηε χηαραχτεριστιχ, ΡΟΧ ξ χοορδινατε οφ τηε ποιντ ισ α, τηε σιζε οφ τηε τεστ φορ τηισ ϖαλυε οφ ζ, ανδ τηε ψ χοορδινατε ισ β, ιτσ ποωερ. Ασ τηε τηρεσηολδ ισ ϖαριεδ χοντινυουσλψ, τηεσε ποιντσ τραχε ουτ τηε ΡΟΧ πλοτ. Ιφ ζ = 0, τηε ⇒ρινγ ρατε ωιλλ αλωαψσ βε γρεατερ τηαν ορ εθυαλ το ζ, σο τηε δεχοδινγ προχεδυρε ωιλλ αλωαψσ γιϖε τηε ανσωερ mπλυσn. Τηυσ, φορ ζ = 0, α = β = 1, προδυχινγ α ποιντ ατ τηε υππερ− ριγητ χορνερ οφ τηε ΡΟΧ πλοτ. Ατ τηε οτηερ εξτρεµε, ιφ ζ ισ ϖερψ λαργε, ρ ωιλλ αλωαψσ βε λεσσ τηαν ζ, τηε τεστ ωιλλ αλωαψσ ρεπορτ mµινυσn, ανδ α = β = 0. Τηισ προδυχεσ α ποιντ ατ τηε βοττοµ−λεφτ χορνερ οφ τηε πλοτ. Βετωεεν τηεσε εξτρεµεσ, α χυρϖε ισ τραχεδ ουτ ασ α φυνχτιον οφ ζ. Φιγυρε 3.3 σηοωσ ΡΟΧ χυρϖεσ χοµπυτεδ βψ Βριττεν ετ αλ. φορ σεϖεραλ διφ− φερεντ ϖαλυεσ οφ τηε στιµυλυσ χοηερενχε. Ατ ηιγη χοηερενχε λεϖελσ, ωηεν τηε τασκ ισ εασψ, τηε ΡΟΧ χυρϖε ρισεσ ραπιδλψ φροµ α( ζ ) = 0, β( ζ ) = 0 ασ τηε τηρεσηολδ ισ λοωερεδ φροµ α ηιγη ϖαλυε, ανδ τηε προβαβιλιτψ β( ζ ) οφ α χορ− ρεχτ mπλυσn ανσωερ θυιχκλψ αππροαχηεσ 1 ωιτηουτ α χονχοµιταντ ινχρεασε ιν α( ζ ). Ασ τηε τηρεσηολδ ισ λοωερεδ φυρτηερ, τηε προβαβιλιτψ οφ γιϖινγ τηε ανσωερ mπλυσn ωηεν τηε χορρεχτ ανσωερ ισ mµινυσn αλσο ρισεσ, ανδ α( ζ ) ινχρεασεσ. Ωηεν τηε τασκ ισ διφ⇒χυλτ, τηε χυρϖε ρισεσ µορε σλοωλψ ασ ζ ισ λοωερεδ; ανδ ιφ τηε τασκ ισ ιµποσσιβλε, ιν τηατ τηε τεστ µερελψ γιϖεσ ρανδοµ ανσωερσ, τηε χυρϖε ωιλλ λιε αλονγ τηε διαγοναλ α = β, βεχαυσε τηε προβαβιλ− ιτιεσ οφ ανσωερσ βεινγ χορρεχτ ανδ ινχορρεχτ αρε εθυαλ. Τηισ ισ εξαχτλψ τηε τρενδ οφ τηε ΡΟΧ χυρϖεσ ατ διφφερεντ χοηερενχε λεϖελσ σηοων ιν ⇒γυρε 3.3. Εξαµινατιον οφ ⇒γυρε 3.3 συγγεστσ α ρελατιονσηιπ βετωεεν τηε αρεα υνδερ τηε ΡΟΧ χυρϖε ανδ τηε λεϖελ οφ περφορµανχε ον τηε τασκ. Ωηεν τηε ΡΟΧ χυρϖε ιν ⇒γυρε 3.3 λιεσ αλονγ τηε διαγοναλ, τηε αρεα υνδερνεατη ιτ ισ 1/2, ωηιχη ισ τηε προβαβιλιτψ οφ α χορρεχτ ανσωερ ιν τηισ χασε (γιϖεν ανψ τηρεση− ολδ). Ωηεν τηε τασκ ισ εασψ ανδ τηε ΡΟΧ χυρϖε ηυγσ τηε λεφτ αξισ ανδ υππερ λιµιτ ιν ⇒γυρε 3.3, τηε αρεα υνδερ ιτ αππροαχηεσ 1, ωηιχη ισ αγαιν τηε προβ− αβιλιτψ οφ α χορρεχτ ανσωερ (γιϖεν αν αππροπριατε τηρεσηολδ). Ηοωεϖερ, τηε πρεχισε ρελατιονσηιπ βετωεεν τασκ περφορµανχε ανδ τηε αρεα υνδερ τηε

3.2

∆ισχριµινατιον

93

1.0 12.8% 0.8

6.4%

3.2%

0.6

β 0.4

1.6% 0.8%

0.2

0.0 0.0

0.2

0.4

0.6

0.8

1.0

α Φιγυρε 3.3 ΡΟΧ χυρϖεσ φορ α ϖαριετψ οφ µοτιον χοηερενχε λεϖελσ. Εαχη χυρϖε ισ τηε λοχυσ οφ ποιντσ (α( ζ ), β( ζ )) φορ αλλ ζ ϖαλυεσ. Τηε ϖαλυεσ οφ α ανδ β ωερε χοµπυτεδ φροµ ηιστογραµσ συχη ασ τηοσε ιν ⇒γυρε 3.2Β. Τηε διαγοναλ λινε ισ τηε ΡΟΧ χυρϖε φορ ρανδοµ γυεσσινγ. (Αδαπτεδ φροµ Βριττεν ετ αλ., 1992.)

ΡΟΧ χυρϖε ισ χοµπλιχατεδ βψ τηε φαχτ τηατ διφφερεντ τηρεσηολδ ϖαλυεσ χαν βε υσεδ. Τηισ αµβιγυιτψ χαν βε ρεµοϖεδ βψ χονσιδερινγ α σλιγητλψ διφφερεντ τασκ, χαλλεδ τωο−αλτερνατιϖε φορχεδ χηοιχε. Ηερε, τηε στιµυλυσ ισ πρεσεντεδ τωιχε, ονχε ωιτη µοτιον ιν τηε πλυσ διρεχτιον ανδ ονχε ιν τηε µινυσ δι− ρεχτιον. Τηε τασκ ισ το δεχιδε ωηιχη πρεσεντατιον χορρεσπονδεδ το τηε πλυσ διρεχτιον, γιϖεν τηε ⇒ρινγ ρατεσ ον βοτη τριαλσ, ρ1 ανδ ρ2 . Α νατυραλ εξτεν− σιον οφ τηε τεστ προχεδυρε ωε ηαϖε βεεν δισχυσσινγ ισ το ανσωερ τριαλ 1 ιφ ρ1 ≥ ρ2 ανδ οτηερωισε ανσωερ τριαλ 2. Τηισ ρεµοϖεσ τηε τηρεσηολδ ϖαριαβλε φροµ χονσιδερατιον. Ιν τηε τωο−αλτερνατιϖε φορχε−χηοιχε τασκ, τηε ϖαλυε οφ ρ ον ονε τριαλ σερϖεσ ασ τηε τηρεσηολδ φορ τηε οτηερ τριαλ. Φορ εξαµπλε, ιφ τηε ορδερ οφ στιµυ− λυσ πρεσεντατιον ισ πλυσ, τηεν µινυσ, τηε χοµπαρισον προχεδυρε ωε ηαϖε ουτλινεδ ωιλλ ρεπορτ τηε χορρεχτ ανσωερ ιφ ρ1 ≥ ζ ωηερε ζ = ρ2 , ανδ τηισ ηασ προβαβιλιτψ Π[ρ1 ≥ ζ|+] = β( ζ ) ωιτη ζ = ρ2 . Το δετερµινε τηε προβαβιλιτψ οφ γεττινγ τηε χορρεχτ ανσωερ ιν α τωο−αλτερνατιϖε φορχεδ−χηοιχε τασκ, ωε νεεδ το ιντεγρατε τηισ προβαβιλιτψ οϖερ αλλ ποσσιβλε ϖαλυεσ οφ ρ2 ωειγητεδ βψ τηειρ προβαβιλιτψ οφ οχχυρρενχε. Φορ σµαλλ %ζ, τηε προβαβιλιτψ τηατ ρ2 τακεσ α ϖαλυε ιν τηε ρανγε βετωεεν ζ ανδ ζ +%ζ ωηεν τηε σεχονδ τριαλ ηασ α µινυσ στιµυλυσ ισ π[ζ|−]%ζ, ωηερε π[ζ|−] ισ τηε χονδιτιοναλ ⇒ρινγ−ρατε προβαβιλιτψ δενσιτψ φορ α ⇒ρινγ ρατε ρ = ζ. Ιντεγρατινγ οϖερ αλλ ϖαλυεσ οφ ζ γιϖεσ τηε προβαβιλιτψ οφ γεττινγ τηε χορρεχτ ανσωερ, " ∞ Π[χορρεχτ] = δζ π[ζ|−]β( ζ ) . (3.6) 0

Βεχαυσε τηε τωο−αλτερνατιϖε φορχεδ−χηοιχε τεστ ισ σψµµετριχ, τηισ ισ αλσο τηε

τωο−αλτερνατιϖε φορχεδ χηοιχε

94

Νευραλ ∆εχοδινγ

προβαβιλιτψ οφ βεινγ χορρεχτ ιφ τηε ορδερ οφ τηε στιµυλι ισ ρεϖερσεδ. Τηε προβαβιλιτψ τηατ ρ ≥ ζ φορ α µινυσ στιµυλυσ, ωηιχη ισ ϕυστ α( ζ ), χαν βε ωριττεν ασ αν ιντεγραλ οφ τηε χονδιτιοναλ ⇒ρινγ−ρατε προβαβιλιτψ δενσιτψ π[ρ|−], " ∞ δρ π[ρ|−] . (3.7) α( ζ ) = ζ

Τακινγ τηε δεριϖατιϖε οφ τηισ εθυατιον ωιτη ρεσπεχτ το ζ, ωε ⇒νδ τηατ δα = − π[ζ|−] . δζ

(3.8)

Τηισ αλλοωσ υσ το µακε τηε ρεπλαχεµεντ δζ π[ζ|−] → −δα ιν τηε ιντεγραλ οφ εθυατιον 3.6 ανδ το χηανγε τηε ιντεγρατιον ϖαριαβλε φροµ ζ το α. Νοτινγ τηατ α = 1 ωηεν ζ = 0 ανδ α = 0 ωηεν ζ = ∞, ωε ⇒νδ " 1 Π[χορρεχτ] = δα β . (3.9) 0

Τηε ΡΟΧ χυρϖε ισ ϕυστ β πλοττεδ ασ α φυνχτιον οφ α, σο τηισ ιντεγραλ ισ τηε αρεα υνδερ τηε ΡΟΧ χυρϖε. Τηυσ, τηε αρεα υνδερ τηε ΡΟΧ χυρϖε ισ τηε προβα− βιλιτψ οφ ρεσπονδινγ χορρεχτλψ ιν τηε τωο−αλτερνατιϖε φορχεδ−χηοιχε τεστ. Συπποσε τηατ π[ρ|+] ανδ π[ρ|−] αρε βοτη Γαυσσιαν φυνχτιονσ ωιτη µεανσ ⟨ρ⟩+ ανδ ⟨ρ⟩− , ανδ α χοµµον ϖαριανχε σρ2 . Τηε ρεαδερ ισ ινϖιτεδ το σηοω τηατ, ιν τηισ χασε, & % % ′& 1 ⟨ρ⟩− − ⟨ρ⟩+ 1 δ Π[χορρεχτ] = ερφχ = ερφχ − , (3.10) 2 2σρ 2 2 χοµπλεµενταρψ ερρορ φυνχτιον

ωηερε δ′ ισ τηε δισχριµιναβιλιτψ δε⇒νεδ ιν εθυατιον 3.4 ανδ ερφχ( ξ ) ισ τηε χοµπλεµενταρψ ερρορ φυνχτιον (ωηιχη ισ αν ιντεγραλ οφ α Γαυσσιαν διστρι− βυτιον) δε⇒νεδ ασ " ∞ 2 ερφχ( ξ ) = √ δψ εξπ(− ψ2 ) . (3.11) π ξ Ιν τηε χασε ωηερε τηε διστριβυτιονσ αρε εθυαλ−ϖαριανχε Γαυσσιανσ, τηε ρελα− τιονσηιπ βετωεεν τηε δισχριµιναβιλιτψ ανδ τηε αρεα υνδερ τηε ΡΟΧ χυρϖε ισ ινϖερτιβλε βεχαυσε τηε χοµπλεµενταρψ ερρορ φυνχτιον ισ µονοτονιχ. Ιτ ισ χοµµον το θυοτε δ′ ϖαλυεσ εϖεν φορ νον−Γαυσσιαν διστριβυτιονσ βψ ινϖερτ− ινγ τηε ρελατιονσηιπ βετωεεν Π[χορρεχτ] ανδ δ′ ιν εθυατιον 3.10.

ΡΟΧ Αναλψσισ οφ Μοτιον ∆ισχριµινατιον Το ιντερπρετ τηειρ εξπεριµεντ ασ α τωο−αλτερνατιϖε φορχεδ−χηοιχε τασκ, Βριτ− τεν ετ αλ. ιµαγινεδ τηατ, ιν αδδιτιον το βεινγ γιϖεν τηε ⇒ρινγ ρατε οφ τηε ρεχορδεδ νευρον δυρινγ στιµυλυσ πρεσεντατιον, τηε οβσερϖερ ισ γιϖεν τηε ⇒ρινγ ρατε οφ α ηψποτηετιχαλ mαντι−νευρονn ηαϖινγ ρεσπονσε χηαραχτεριστιχσ

3.2

∆ισχριµινατιον

95

εξαχτλψ οπποσιτε φροµ τηε ρεχορδεδ νευρον. Ιν ρεαλιτψ, τηε ρεσπονσεσ οφ τηισ αντι−νευρον το α πλυσ στιµυλυσ ωερε ϕυστ τηοσε οφ τηε ρεχορδεδ νευρον το α µινυσ στιµυλυσ, ανδ ϖιχε ϖερσα. Τηε ιδεα οφ υσινγ τηε ρεσπονσεσ οφ α σινγλε νευρον το οπποσιτε στιµυλι ασ ιφ τηεψ ωερε τηε σιµυλτανεουσ ρεσπονσεσ οφ τωο διφφερεντ νευρονσ αλσο ρεαππεαρσ ιν ουρ δισχυσσιον οφ σπικε−τραιν δε− χοδινγ. Αν οβσερϖερ πρεδιχτινγ µοτιον διρεχτιονσ ον τηε βασισ οφ ϕυστ τηεσε τωο νευρονσ ατ α λεϖελ εθυαλ το τηε αρεα υνδερ τηε ΡΟΧ χυρϖε ισ τερµεδ αν ιδεαλ οβσερϖερ. Φιγυρε 3.2Α σηοωσ α τψπιχαλ ρεσυλτ φορ τηε περφορµανχε οφ αν ιδεαλ οβσερϖερ υσινγ ονε ρεχορδεδ νευρον ανδ ιτσ αντι−νευρον παρτνερ. Τηε οπεν χιρχλεσ ιν ⇒γυρε 3.2Α ωερε οβταινεδ βψ χαλχυλατινγ τηε αρεασ υνδερ τηε ΡΟΧ χυρϖεσ φορ τηισ νευρον. Αµαζινγλψ, τηε αβιλιτψ οφ τηε ιδεαλ οβσερϖερ το περφορµ τηε δισχριµινατιον τασκ υσινγ α σινγλε νευρον/αντι−νευρον παιρ ισ εθυαλ το τηε αβιλιτψ οφ τηε µονκεψ το δο τηε τασκ. Αλτηουγη τηε χηοιχεσ οφ τηε ιδεαλ οβσερϖερ ανδ τηε µονκεψ δο νοτ νεχεσσαριλψ µατχη ον α τριαλ−το−τριαλ βασισ, τηειρ περφορµανχεσ αρε χοµπαραβλε ωηεν αϖεραγεδ οϖερ τριαλσ. Τηισ σεεµσ ρεµαρκαβλε βεχαυσε τηε µονκεψ πρεσυµαβλψ ηασ αχχεσσ το α λαργε ποπυλα− τιον οφ νευρονσ, ωηιλε τηε ιδεαλ οβσερϖερ υσεσ ονλψ τωο. Ονε σπεχυλατιον ισ τηατ χορρελατιονσ ιν τηε ρεσπονσε ϖαριαβιλιτψ βετωεεν νευρονσ λιµιτ τηε περφορµανχε οφ τηε µονκεψ.

Τηε Λικελιηοοδ Ρατιο Τεστ Τηε δισχριµινατιον τεστ ωε ηαϖε χονσιδερεδ χοµπαρεσ τηε ⇒ρινγ ρατε το α τηρεσηολδ ϖαλυε. Χουλδ αν οβσερϖερ δο βεττερ τηαν τηισ αλρεαδψ ρεµαρκ− αβλε περφορµανχε βψ χοµπαρινγ σοµε οτηερ φυνχτιον οφ τηε ⇒ρινγ ρατε το α τηρεσηολδ? Ωηατ ισ τηε βεστ τεστ φυνχτιον το υσε φορ τηισ πυρποσε? Τηε Νεψµαν−Πεαρσον λεµµα (προϖεδ ιν αππενδιξ Α) σηοωσ τηατ ιτ ισ ιµποσσι− βλε το δο βεττερ τηαν το χηοοσε ασ τηε τεστ φυνχτιον τηε ρατιο οφ προβαβιλιτψ δενσιτιεσ (ορ, ωηερε αππροπριατε, προβαβιλιτιεσ), λ (ρ ) =

π[ρ|+] , π[ρ|−]

Νεψµαν−Πεαρσον λεµµα

(3.12)

ωηιχη ισ κνοων ασ τηε λικελιηοοδ ρατιο. Τηε τεστ φυνχτιον ρ υσεδ αβοϖε ισ νοτ εθυαλ το τηε λικελιηοοδ ρατιο. Ηοωεϖερ, ιφ τηε λικελιηοοδ ισ α µονο− τονιχαλλψ ινχρεασινγ φυνχτιον οφ ρ, ασ ιτ ισ φορ τηε δατα οφ Βριττεν ετ αλ., τηε ⇒ρινγ−ρατε τηρεσηολδ τεστ ισ εθυιϖαλεντ το υσινγ τηε λικελιηοοδ ρατιο ανδ ισ ινδεεδ οπτιµαλ. Σιµιλαρλψ, ανψ µονοτονιχ φυνχτιον οφ τηε λικελιηοοδ ρατιο ωιλλ προϖιδε ασ γοοδ α τεστ ασ τηε λικελιηοοδ ιτσελφ, ανδ τηε λογαριτηµ ισ φρεθυεντλψ υσεδ. Τηερε ισ α διρεχτ ρελατιονσηιπ βετωεεν τηε λικελιηοοδ ρατιο ανδ τηε ΡΟΧ χυρϖε. Ασ ιν εθυατιονσ 3.7 ανδ 3.8, ωε χαν ωριτε " ∞ δβ = − π[ζ|+] . (3.13) β( ζ ) = δρ π[ρ|+] σο δζ ζ

λικελιηοοδ ρατιο

96

Νευραλ ∆εχοδινγ

Χοµβινινγ τηισ ρεσυλτ ωιτη 3.8, ωε ⇒νδ τηατ π[ζ|+] δβ δβ δζ = λ (ζ ) , = = δα δζ δα π[ζ|−]

(3.14)

σο τηε σλοπε οφ τηε ΡΟΧ χυρϖε ισ εθυαλ το τηε λικελιηοοδ ρατιο. Ανοτηερ ωαψ οφ σεεινγ τηατ χοµπαρινγ τηε λικελιηοοδ ρατιο το α τηρεσηολδ ϖαλυε ισ αν οπτιµαλ δεχοδινγ προχεδυρε φορ δισχριµινατιον υσεσ α Βαψεσιαν αππροαχη βασεδ ον ασσοχιατινγ α χοστ ορ πεναλτψ ωιτη γεττινγ τηε ωρονγ αν− σωερ. Συπποσε τηατ τηε πεναλτψ ασσοχιατεδ ωιτη ανσωερινγ mµινυσn ωηεν τηε χορρεχτ ανσωερ ισ mπλυσn ισ θυαντι⇒εδ βψ τηε λοσσ παραµετερ Λ− . Σιµ− ιλαρλψ, θυαντιφψ τηε λοσσ φορ ανσωερινγ mπλυσn ωηεν τηε χορρεχτ ανσωερ ισ mµινυσn ασ Λ+ . Φορ χονϖενιενχε, ωε ασσυµε τηατ τηερε ισ νειτηερ λοσσ νορ γαιν φορ ανσωερινγ χορρεχτλψ. Τηε προβαβιλιτιεσ τηατ τηε χορρεχτ ανσωερ ισ mπλυσn ορ mµινυσn, γιϖεν τηε ⇒ρινγ ρατε ρ, αρε Π[+|ρ] ανδ Π[−|ρ] ρεσπεχ− τιϖελψ. Τηεσε προβαβιλιτιεσ αρε ρελατεδ το τηε χονδιτιοναλ ⇒ρινγ−ρατε προβα− βιλιτψ δενσιτιεσ βψ Βαψεσ τηεορεµ, Π[+|ρ] =

π[ρ|+]Π[+] π[ρ]

ανδ

Π[−|ρ] =

π[ρ|−]Π[−] . π[ρ]

(3.15)

Τηε αϖεραγε λοσσ εξπεχτεδ φορ α mπλυσn ανσωερ ωηεν τηε ⇒ρινγ ρατε ισ ρ ισ τηε λοσσ ασσοχιατεδ ωιτη βεινγ ωρονγ τιµεσ τηε προβαβιλιτψ οφ βεινγ ωρονγ, Λοσσ+ = Λ+ Π[−|ρ]. Σιµιλαρλψ, τηε εξπεχτεδ λοσσ ωηεν ανσωερινγ mµινυσn ισ Λοσσ− = Λ− Π[+|ρ]. Α ρεασοναβλε στρατεγψ ισ το χυτ τηε λοσσεσ, ανσωερινγ mπλυσn ιφ Λοσσ+ ≤ Λοσσ− ανδ mµινυσn οτηερωισε. Υσινγ εθυατιον 3.15, ωε ⇒νδ τηατ τηισ στρατεγψ γιϖεσ τηε ρεσπονσε mπλυσn ιφ λ (ρ ) =

π[ρ|+] Λ+ Π[−] ≥ . π[ρ|−] Λ− Π[+]

(3.16)

Τηισ σηοωσ τηατ τηε στρατεγψ οφ χοµπαρινγ τηε λικελιηοοδ ρατιο το α τηρεση− ολδ ισ α ωαψ οφ µινιµιζινγ τηε εξπεχτεδ λοσσ. Τηε ριγητ σιδε οφ τηισ ινεθυαλ− ιτψ γιϖεσ αν εξπλιχιτ φορµυλα φορ τηε ϖαλυε οφ τηε τηρεσηολδ τηατ σηουλδ βε υσεδ, ανδ ρε⇓εχτσ τωο φαχτορσ. Ονε ισ τηε ρελατιϖε λοσσεσ φορ τηε τωο σορτσ οφ ποσσιβλε ερρορσ. Τηε οτηερ ισ τηε πριορ προβαβιλιτιεσ τηατ τηε στιµυλυσ ισ πλυσ ορ µινυσ. Ιντερεστινγλψ, ιτ ισ ποσσιβλε το χηανγε τηε τηρεσηολδσ τηατ ηυµαν συβϕεχτσ υσε ιν δισχριµινατιον τασκσ βψ µανιπυλατινγ τηεσε τωο φαχτορσ. Ιφ τηε χονδιτιοναλ προβαβιλιτψ δενσιτιεσ π[ρ|+] ανδ π[ρ|−] αρε Γαυσσιανσ ωιτη µεανσ ρ+ ανδ ρ− ανδ ιδεντιχαλ ϖαριανχεσ σρ2 , ανδ Π[+] = Π[−] = 1/2, τηε προβαβιλιτψ Π[+|ρ] ισ α σιγµοιδαλ φυνχτιον οφ ρ, Π[+|ρ] =

1 , 1 + εξπ(−δ′ (ρ − ραϖε )/σρ )

(3.17)

ωηερε ραϖε = (ρ+ + ρ− )/2. Τηισ προϖιδεσ αν αλτερνατε ιντερπρετατιον οφ τηε παραµετερ δ′ τηατ ισ οφτεν υσεδ ιν τηε πσψχηοπηψσιχσ λιτερατυρε; ιτ δετερ− µινεσ τηε σλοπε οφ α σιγµοιδαλ φυνχτιον ⇒ττεδ το Π[+|ρ].

3.3

Ποπυλατιον ∆εχοδινγ

97

Ωε ηαϖε τηυσ φαρ χονσιδερεδ δισχριµινατινγ βετωεεν τωο θυιτε διστινχτ στιµυλυσ ϖαλυεσ, πλυσ ανδ µινυσ. Οφτεν ωε αρε ιντερεστεδ ιν δισχριµινατινγ βετωεεν τωο στιµυλυσ ϖαλυεσ σ+%σ ανδ σ τηατ αρε ϖερψ χλοσε το ονε ανοτηερ. Ιν τηισ χασε, τηε λικελιηοοδ ρατιο ισ π[ρ|σ +%σ] π[ρ|σ] + %σ∂π[ρ|σ]/∂σ ≈ π[ρ|σ] π[ρ|σ]

= 1 + %σ

∂ λν π[ρ|σ] . ∂σ

(3.18)

Φορ σµαλλ %σ, α τεστ τηατ χοµπαρεσ Ζ (ρ ) =

∂ λν π[ρ|σ] ∂σ

(3.19)

το α τηρεσηολδ ( ζ − 1 )/%σ ισ εθυιϖαλεντ το τηε λικελιηοοδ ρατιο τεστ. Τηε φυνχτιον Ζ (ρ ) ισ σοµετιµεσ χαλλεδ τηε σχορε.

3.3

Ποπυλατιον ∆εχοδινγ

Τηε υσε οφ λαργε νυµβερσ οφ νευρονσ το ρεπρεσεντ ινφορµατιον ισ α βασιχ οπερατινγ πρινχιπλεσ οφ µανψ νερϖουσ σψστεµσ. Ποπυλατιον χοδινγ ηασ α νυµβερ οφ αδϖανταγεσ, ινχλυδινγ ρεδυχτιον οφ υνχερταιντψ δυε το νευροναλ ϖαριαβιλιτψ ανδ τηε αβιλιτψ το ρεπρεσεντ α νυµβερ οφ διφφερεντ στιµυλυσ ατ− τριβυτεσ σιµυλτανεουσλψ. Ινδιϖιδυαλ νευρονσ ιν συχη α ποπυλατιον τψπιχαλλψ ηαϖε διφφερεντ βυτ οϖερλαππινγ σελεχτιϖιτιεσ, σο τηατ µανψ νευρονσ, βυτ νοτ νεχεσσαριλψ αλλ, ρεσπονδ το α γιϖεν στιµυλυσ. Ιν τηε πρεϖιουσ σεχτιον, ωε δισχυσσεδ δισχριµινατιον βετωεεν στιµυλι ον τηε βασισ οφ τηε ρεσπονσε οφ α σινγλε νευρον. Τηε ρεσπονσεσ οφ α ποπυλατιον οφ νευρονσ χαν αλσο βε υσεδ φορ δισχριµινατιον, ωιτη τηε ονλψ εσσεντιαλ διφφερενχε βεινγ τηατ τερµσ συχη ασ π[ρ|σ] αρε ρεπλαχεδ βψ π[ρ|σ], τηε χονδιτιοναλ προβαβιλιτψ δενσιτψ οφ τηε ποπυλατιον ρεσπονσε ρ. ΡΟΧ αναλψσισ, λικελιηοοδ ρατιο τεστσ, ανδ τηε Νεψµαν−Πεαρσον λεµµα χοντινυε το αππλψ ιν εξαχτλψ τηε σαµε ωαψ. ∆ισ− χριµινατιον ισ α σπεχιαλ χασε οφ δεχοδινγ ιν ωηιχη ονλψ α φεω διφφερεντ στιµυλυσ ϖαλυεσ αρε χονσιδερεδ. Α µορε γενεραλ προβλεµ ισ τηε εξτραχτιον οφ α χοντινυουσ στιµυλυσ παραµετερ φροµ ονε ορ µορε νευροναλ ρεσπονσεσ. Ιν τηισ σεχτιον, ωε στυδψ ηοω τηε ϖαλυε οφ α χοντινυουσ παραµετερ ασσο− χιατεδ ωιτη α στατιχ στιµυλυσ χαν βε δεχοδεδ φροµ τηε σπικε−χουντ ⇒ρινγ ρατεσ οφ α ποπυλατιον οφ νευρονσ.

Ενχοδινγ ανδ ∆εχοδινγ ∆ιρεχτιον Τηε χερχαλ σψστεµ οφ τηε χριχκετ, ωηιχη σενσεσ τηε διρεχτιον οφ ινχοµινγ αιρ χυρρεντσ ασ α ωαρνινγ οφ αππροαχηινγ πρεδατορσ, ισ αν ιντερεστινγ εξαµ− πλε οφ ποπυλατιον χοδινγ ινϖολϖινγ α ρελατιϖελψ σµαλλ νυµβερ οφ νευρονσ. Χριχκετσ ανδ ρελατεδ ινσεχτσ ηαϖε τωο αππενδαγεσ χαλλεδ χερχι εξτενδινγ

σχορε Ζ (ρ )

98

Νευραλ ∆εχοδινγ

φ/ρµαξ

1.0

0.5

0.0

0

90

180

270

360

σ (degrees) Φιγυρε 3.4 Τυνινγ χυρϖεσ φορ τηε φουρ λοω−ϖελοχιτψ ιντερνευρονσ οφ τηε χριχκετ χερχαλ σψστεµ πλοττεδ ασ α φυνχτιον οφ τηε ωινδ διρεχτιον σ. Εαχη νευρον ρεσπονδσ ωιτη α ⇒ρινγ ρατε τηατ ισ χλοσελψ αππροξιµατεδ βψ α ηαλφ−ωαϖε ρεχτι⇒εδ χοσινε φυνχτιον. Τηε πρεφερρεδ διρεχτιονσ οφ τηε νευρονσ αρε λοχατεδ 90◦ φροµ εαχη οτηερ, ανδ ρµαξ ϖαλυεσ αρε τψπιχαλλψ αρουνδ 40 Ηζ. Ερρορ βαρσ σηοω στανδαρδ δεϖιατιονσ. (Αδαπτεδ φροµ Τηευνισσεν ανδ Μιλλερ, 1991.)

φροµ τηειρ ηινδ ενδσ. Τηεσε αρε χοϖερεδ ωιτη ηαιρσ τηατ αρε δε⇓εχτεδ βψ αιρ χυρρεντσ. Εαχη ηαιρ ισ ατταχηεδ το α νευρον τηατ ⇒ρεσ ωηεν τηε ηαιρ ισ δε⇓εχτεδ. Τηουσανδσ οφ τηεσε πριµαρψ σενσορψ νευρονσ σενδ αξονσ το α σετ οφ ιντερνευρονσ τηατ ρελαψ τηε σενσορψ ινφορµατιον το τηε ρεστ οφ τηε χριχκετaσ νερϖουσ σψστεµ. Νο σινγλε ιντερνευρον οφ τηε χερχαλ σψστεµ ρε− σπονδσ το αλλ ωινδ διρεχτιονσ, ανδ µυλτιπλε ιντερνευρονσ ρεσπονδ το ανψ γιϖεν ωινδ διρεχτιον. Τηισ ιµπλιεσ τηατ τηε ιντερνευρονσ ενχοδε τηε ωινδ διρεχτιον χολλεχτιϖελψ ασ α ποπυλατιον.

χοσινε τυνινγ

Τηευνισσεν ανδ Μιλλερ (1991) µεασυρεδ βοτη τηε µεαν ανδ τηε ϖαριανχε οφ ρεσπονσεσ οφ χερχαλ ιντερνευρονσ ωηιλε βλοωινγ αιρ χυρρεντσ ατ τηε χερχι. Ατ λοω ωινδ ϖελοχιτιεσ, ινφορµατιον αβουτ ωινδ διρεχτιον ισ ενχοδεδ βψ ϕυστ φουρ ιντερνευρονσ. Φιγυρε 3.4 σηοωσ αϖεραγε ⇒ρινγ−ρατε τυνινγ χυρϖεσ φορ τηε φουρ ρελεϖαντ ιντερνευρονσ ασ α φυνχτιον οφ ωινδ διρεχτιον. Τηεσε νευρονσ αρε σενσιτιϖε πριµαριλψ το τηε ανγλε οφ τηε ωινδ αρουνδ τηε ϖερ− τιχαλ αξισ ανδ νοτ το ιτσ ελεϖατιον αβοϖε τηε ηοριζονταλ πλανε. Ωινδ σπεεδ ωασ ηελδ χονσταντ ιν τηεσε εξπεριµεντσ, σο ωε δο νοτ δισχυσσ ηοω ιτ ισ ενχοδεδ. Τηε ιντερνευρον τυνινγ χυρϖεσ αρε ωελλ αππροξιµατεδ βψ ηαλφ− ωαϖε ρεχτι⇒εδ χοσινε φυνχτιονσ. Νευρον α (ωηερε α = 1, 2, 3, 4) ρεσπονδσ ωιτη α µαξιµυµ αϖεραγε ⇒ρινγ ρατε ωηεν τηε ανγλε οφ τηε ωινδ διρεχτιον ισ σα , τηε πρεφερρεδ−διρεχτιον ανγλε φορ τηατ νευρον. Τηε τυνινγ χυρϖε φορ ιντερνευρον α ιν ρεσπονσε το ωινδ διρεχτιον σ, ⟨ρα ⟩ = φ α (σ ), νορµαλιζεδ το ιτσ µαξιµυµ, χαν βε ωριττεν ασ & % φ (σ ) = [(χοσ(σ − σα )]+ , (3.20) ρµαξ α ωηερε τηε ηαλφ−ωαϖε ρεχτι⇒χατιον ελιµινατεσ νεγατιϖε ⇒ρινγ ρατεσ. Ηερε ρµαξ , ωηιχη µαψ βε διφφερεντ φορ εαχη νευρον, ισ α χονσταντ εθυαλ το τηε µαξιµυµ αϖεραγε ⇒ρινγ ρατε. Τηε ⇒τ χαν βε ιµπροϖεδ σοµεωηατ βψ ιν− τροδυχινγ α σµαλλ οφφσετ ρατε, βυτ τηε σιµπλε χοσινε ισ αδεθυατε φορ ουρ πυρποσεσ.

3.3

Ποπυλατιον ∆εχοδινγ

99

Το δετερµινε τηε ωινδ διρεχτιον φροµ τηε ⇒ρινγ ρατεσ οφ τηε χερχαλ ιντερνευ− ρονσ, ιτ ισ υσεφυλ το χηανγε τηε νοτατιον σοµεωηατ. Ιν πλαχε οφ τηε ανγλε σ, ωε χαν ρεπρεσεντ ωινδ διρεχτιον βψ α σπατιαλ ϖεχτορ v⃗ ποιντινγ παραλλελ το τηε ωινδ ϖελοχιτψ ανδ ηαϖινγ υνιτ λενγτη |⃗ v| = 1 (ωε υσε οϖερ−αρροωσ το δενοτε σπατιαλ ϖεχτορσ). Σιµιλαρλψ, ωε χαν ρεπρεσεντ τηε πρεφερρεδ ωινδ διρεχτιον φορ εαχη ιντερνευρον βψ α ϖεχτορ χ⃗α οφ υνιτ λενγτη ποιντινγ ιν τηε διρεχτιον σπεχι⇒εδ βψ τηε ανγλε σα . Ιν τηισ χασε, ωε χαν υσε τηε ϖεχτορ δοτ προδυχτ το ωριτε χοσ(σ − σα ) = v⃗ · χ⃗α . Ιν τερµσ οφ τηεσε ϖεχτορσ, τηε αϖεραγε ⇒ρινγ ρατε ισ προπορτιοναλ το α ηαλφ−ωαϖε ρεχτι⇒εδ προϕεχτιον οφ τηε ωινδ διρεχτιον ϖεχτορ οντο τηε πρεφερρεδ−διρεχτιον αξισ οφ τηε νευρον, % & 1 2 φ (σ ) (3.21) = v⃗ · χ⃗α + . ρµαξ α

δοτ προδυχτ

∆εχοδινγ τηε χερχαλ σψστεµ ισ παρτιχυλαρλψ εασψ βεχαυσε οφ τηε χλοσε ρελα− τιονσηιπ βετωεεν τηε ρεπρεσεντατιον οφ ωινδ διρεχτιον ιτ προϖιδεσ ανδ α τωο−διµενσιοναλ Χαρτεσιαν χοορδινατε σψστεµ. Ιν α Χαρτεσιαν σψστεµ, ϖεχ− τορσ αρε παραµετεριζεδ βψ τηειρ προϕεχτιονσ οντο ξ ανδ ψ αξεσ, vξ ανδ v ψ . Τηεσε προϕεχτιονσ χαν βε ωριττεν ασ δοτ προδυχτσ οφ τηε ϖεχτορ βεινγ ρεπρε− σεντεδ, v⃗, ωιτη ϖεχτορσ οφ υνιτ λενγτη ξ⃗ ανδ ψ⃗ λψινγ αλονγ τηε ξ ανδ ψ αξεσ, vξ = v⃗ · ξ⃗ ανδ v ψ = v⃗ · ψ⃗. Εξχεπτ φορ τηε ηαλφ−ωαϖε ρεχτι⇒χατιον, τηεσε εθυα− τιονσ αρε ιδεντιχαλ το εθυατιον 3.21. Φυρτηερµορε, τηε πρεφερρεδ διρεχτιονσ οφ τηε φουρ ιντερνευρονσ, λικε τηε ξ ανδ ψ αξεσ οφ α Χαρτεσιαν χοορδινατε σψστεµ, λιε αλονγ τωο περπενδιχυλαρ διρεχτιονσ (⇒γυρε 3.5Α). Φουρ νευρονσ αρε ρεθυιρεδ, ρατηερ τηαν τωο, βεχαυσε ⇒ρινγ ρατεσ χαννοτ ρεπρεσεντ νεγ− ατιϖε προϕεχτιονσ. Τηε χριχκετ δισχοϖερεδ τηε Χαρτεσιαν χοορδινατε σψστεµ λονγ βεφορε ∆εσχαρτεσ διδ, βυτ φαιλεδ το ινϖεντ νεγατιϖε νυµβερσ! Περ− ηαπσ χρεδιτ σηουλδ αλσο βε γιϖεν το τηε λεεχη, φορ Λεωισ ανδ Κρισταν (1998) ηαϖε σηοων τηατ τηε διρεχτιον οφ τουχη σενσατιον ιν ιτσ βοδψ σεγµεντσ ισ ενχοδεδ βψ φουρ νευρονσ ιν α ϖιρτυαλλψ ιδεντιχαλ αρρανγεµεντ.

Α ϖεχτορ v⃗ χαν βε ρεχονστρυχτεδ φροµ ιτσ Χαρτεσιαν χοµπονεντσ τηρουγη τηε χοµπονεντ−ωειγητεδ ϖεχτορ συµ v⃗ = vξ ξ⃗+v ψ ψ⃗. Βεχαυσε τηε ⇒ρινγ ρατεσ οφ τηε χερχαλ ιντερνευρονσ ωε ηαϖε βεεν δισχυσσινγ αρε προπορτιοναλ το τηε Χαρτεσιαν χοµπονεντσ οφ τηε ωινδ διρεχτιον ϖεχτορ, α σιµιλαρ συµ σηουλδ αλλοω υσ το ρεχονστρυχτ τηε ωινδ διρεχτιον φροµ α κνοωλεδγε οφ τηε ιν− τερνευρον ⇒ρινγ ρατεσ, εξχεπτ τηατ φουρ, νοτ τωο, τερµσ µυστ βε ινχλυδεδ. Ιφ ρα ισ τηε σπικε−χουντ ⇒ρινγ ρατε οφ νευρον α, αν εστιµατε οφ τηε ωινδ δι− ρεχτιον ον ανψ γιϖεν τριαλ χαν βε οβταινεδ φροµ τηε διρεχτιον οφ τηε ϖεχτορ

v⃗ποπ =

& 4 % ! ρ χ⃗α . ρµαξ α α=1

(3.22)

Τηισ ϖεχτορ ισ κνοων ασ τηε ποπυλατιον ϖεχτορ, ανδ τηε ασσοχιατεδ δεχοδινγ µετηοδ ισ χαλλεδ τηε ϖεχτορ µετηοδ. Τηισ δεχοδινγ σχηεµε ωορκσ θυιτε ωελλ. Φιγυρε 3.5Β σηοωσ τηε ροοτ−µεαν−σθυαρε διφφερενχε βετωεεν τηε δι− ρεχτιον δετερµινεδ βψ εθυατιον 3.22 ανδ τηε αχτυαλ ωινδ διρεχτιον τηατ εϖοκεδ τηε ⇒ρινγ ρατεσ. Τηε διφφερενχε βετωεεν τηε δεχοδεδ ανδ αχτυαλ ωινδ διρεχτιονσ ισ αρουνδ 6◦ εξχεπτ φορ διπσ ατ τηε ανγλεσ χορρεσπονδινγ το τηε πρεφερρεδ διρεχτιονσ οφ τηε νευρονσ. Τηεσε διπσ αρε νοτ δυε το τηε

ποπυλατιον ϖεχτορ ϖεχτορ µετηοδ

100

Νευραλ ∆εχοδινγ

A

B

χ1 ρ1

ϖ

ρ2 χ3

8

error (degrees)

χ4

6

4

2

χ2

0 -180

-90

0

90

180

wind direction (degrees)

Φιγυρε 3.5 (Α) Πρεφερρεδ διρεχτιονσ οφ φουρ χερχαλ ιντερνευρονσ ιν ρελατιον το τηε χριχκετaσ βοδψ. Τηε ⇒ρινγ ρατε οφ εαχη νευρον φορ α ⇒ξεδ ωινδ σπεεδ ισ προπορ− τιοναλ το τηε προϕεχτιον οφ τηε ωινδ ϖελοχιτψ ϖεχτορ v⃗ οντο τηε πρεφερρεδ−διρεχτιον αξισ οφ τηε νευρον. Τηε προϕεχτιον διρεχτιονσ χ⃗1 , χ⃗2 , χ⃗3 , ανδ χ⃗4 φορ τηε φουρ νευρονσ αρε σεπαρατεδ βψ 90◦ , ανδ τηεψ χολλεχτιϖελψ φορµ α Χαρτεσιαν χοορδινατε σψστεµ. (Β) Τηε ροοτ−µεαν−σθυαρε ερρορ ιν τηε ωινδ διρεχτιον δετερµινεδ βψ ϖεχτορ δε− χοδινγ οφ τηε ⇒ρινγ ρατεσ οφ φουρ χερχαλ ιντερνευρονσ. Τηεσε ρεσυλτσ ωερε οβταινεδ τηρουγη σιµυλατιον βψ ρανδοµλψ γενερατινγ ιντερνευρον ρεσπονσεσ το α ϖαριετψ οφ ωινδ διρεχτιονσ, ωιτη τηε αϖεραγε ϖαλυεσ ανδ τριαλ−το−τριαλ ϖαριαβιλιτψ οφ τηε ⇒ρινγ ρατεσ µατχηεδ το τηε εξπεριµενταλ δατα. Τηε γενερατεδ ρατεσ ωερε τηεν δεχοδεδ υσινγ εθυατιον 3.22 ανδ χοµπαρεδ το τηε ωινδ διρεχτιον υσεδ το γενερατε τηεµ. (Β αδαπτεδ φροµ Σαλινασ ανδ Αββοττ, 1994.)

φαχτ τηατ ονε οφ τηε νευρονσ ρεσπονδσ µαξιµαλλψ; ρατηερ, τηεψ αρισε βεχαυσε τηε τωο νευρονσ ωιτη τυνινγ χυρϖεσ αδϕαχεντ το τηε µαξιµαλλψ ρεσπονδινγ νευρον αρε µοστ σενσιτιϖε το ωινδ διρεχτιον ατ τηεσε ποιντσ. Ασ δισχυσσεδ ιν χηαπτερ 1, τυνινγ χυρϖεσ οφ χερταιν νευρονσ ιν τηε πριµαρψ µοτορ χορτεξ (Μ1) οφ τηε µονκεψ χαν βε δεσχριβεδ βψ χοσινε φυνχτιονσ οφ αρµ µοϖεµεντ διρεχτιον. Τηυσ, α ϖεχτορ δεχοµποσιτιον σιµιλαρ το τηατ οφ τηε χερχαλ σψστεµ αππεαρσ το τακε πλαχε ιν Μ1. Μανψ Μ1 νευρονσ ηαϖε νονζερο οφφσετ ρατεσ, ρ0 , σο τηεψ χαν ρεπρεσεντ τηε χοσινε φυνχτιον οϖερ µοστ ορ αλλ οφ ιτσ ρανγε. Ωηεν αν αρµ µοϖεµεντ ισ µαδε ιν τηε διρεχτιον ρεπρε− σεντεδ βψ α ϖεχτορ οφ υνιτ λενγτη, v⃗, τηε αϖεραγε ⇒ρινγ ρατεσ φορ συχη αν Μ1 νευρον, λαβελεδ βψ αν ινδεξ α (ασσυµινγ τηατ ιτ ⇒ρεσ οϖερ τηε εντιρε ρανγε οφ ανγλεσ), χαν βε ωριττεν ασ & % & % φ ( σ ) − ρ0 ⟨ρ⟩ − ρ0 = = v⃗ · χ⃗α , (3.23) ρµαξ α ρµαξ α ωηερε χ⃗α ισ τηε πρεφερρεδ−διρεχτιον ϖεχτορ τηατ δε⇒νεσ τηε σελεχτιϖιτψ οφ τηε νευρον. Βεχαυσε τηεσε ⇒ρινγ ρατεσ ρεπρεσεντ τηε φυλλ χοσινε φυνχτιον, ιτ ωουλδ, ιν πρινχιπλε, βε ποσσιβλε το ενχοδε αλλ µοϖεµεντ διρεχτιονσ ιν τηρεε διµενσιονσ υσινγ ϕυστ τηρεε νευρονσ. Ινστεαδ, µανψ τηουσανδσ οφ Μ1 νευρονσ ηαϖε αρµ−µοϖεµεντ−ρελατεδ τυνινγ χυρϖεσ, ρεσυλτινγ ιν α ηιγηλψ ρεδυνδαντ ρεπρεσεντατιον. Οφ χουρσε, τηεσε νευρονσ ενχοδε αδδιτιοναλ µοϖεµεντ−ρελατεδ θυαντιτιεσ; φορ εξαµπλε, τηειρ ⇒ρινγ ρατεσ δεπενδ ον τηε ινιτιαλ ποσιτιον οφ τηε αρµ ρελατιϖε το τηε βοδψ ασ ωελλ ασ ον µοϖεµεντ ϖε−

3.3

Ποπυλατιον ∆εχοδινγ

101

λοχιτψ ανδ αχχελερατιον. Τηισ χοµπλιχατεσ τηε ιντερπρετατιον οφ τηειρ αχτιϖιτψ ασ ρεπορτινγ µοϖεµεντ διρεχτιον ιν α παρτιχυλαρ χοορδινατε σψστεµ. Υνλικε τηε χερχαλ ιντερνευρονσ, Μ1 νευρονσ δο νοτ ηαϖε ορτηογοναλ πρε− φερρεδ διρεχτιονσ τηατ φορµ α Χαρτεσιαν χοορδινατε σψστεµ. Ινστεαδ, τηε πρεφερρεδ διρεχτιονσ οφ τηε νευρονσ αππεαρ το ποιντ ιν αλλ διρεχτιονσ ωιτη ρουγηλψ εθυαλ προβαβιλιτψ. Ιφ τηε προϕεχτιον αξεσ αρε νοτ ορτηογοναλ, τηε Χαρτεσιαν συµ οφ εθυατιον 3.22 ισ νοτ τηε χορρεχτ ωαψ το ρεχονστρυχτ v⃗. Νεϖ− ερτηελεσσ, ιφ τηε πρεφερρεδ διρεχτιονσ ποιντ υνιφορµλψ ιν αλλ διρεχτιονσ ανδ τηε νυµβερ οφ νευρονσ Ν ισ συφ⇒χιεντλψ λαργε, τηε ποπυλατιον ϖεχτορ

v⃗ποπ =

& Ν % ! ρ − ρ0 α=1

ρµαξ

α

χ⃗α

(3.24)

ωιλλ, ον αϖεραγε, ποιντ ιν α διρεχτιον παραλλελ το τηε αρµ µοϖεµεντ διρεχ− τιον ϖεχτορ v⃗. Ιφ ωε αϖεραγε εθυατιον 3.24 οϖερ τριαλσ ανδ υσε εθυατιον 3.23, ωε ⇒νδ

⟨⃗ vποπ ⟩ =

Ν ! α=1

(v⃗ · χ⃗α )⃗χα .

(3.25)

Ωε λεαϖε ασ αν εξερχισε τηε προοφ τηατ ⟨⃗ vποπ ⟩ ισ αππροξιµατελψ παραλλελ το v⃗ ιφ α λαργε ενουγη νυµβερ οφ νευρονσ ισ ινχλυδεδ ιν τηε συµ, ανδ ιφ τηειρ πρεφερρεδ−διρεχτιον ϖεχτορσ ποιντ ρανδοµλψ ιν αλλ διρεχτιονσ ωιτη εθυαλ προβαβιλιτψ. Λατερ ιν τηισ χηαπτερ, ωε δισχυσσ ηοω χορρεχτιονσ χαν βε µαδε ιφ τηε διστριβυτιον οφ πρεφερρεδ διρεχτιονσ ισ νοτ υνιφορµ ορ τηε νυµβερ οφ νευρονσ ισ νοτ λαργε. Τηε ποπυλατιον ϖεχτορσ χονστρυχτεδ φροµ εθυατιον 3.24 ον τηε βασισ οφ ρεσπονσεσ οφ νευρονσ ιν πριµαρψ µοτορ χορ− τεξ, ρεχορδεδ ωηιλε α µονκεψ περφορµεδ α ρεαχηινγ τασκ, αρε χοµπαρεδ ωιτη τηε αχτυαλ διρεχτιονσ οφ αρµ µοϖεµεντσ ιν ⇒γυρε 3.6.

Οπτιµαλ ∆εχοδινγ Μετηοδσ Τηε ϖεχτορ µετηοδ ισ α σιµπλε δεχοδινγ µετηοδ τηατ χαν περφορµ θυιτε ωελλ ιν χερταιν χασεσ, βυτ ιτ ισ νειτηερ α γενεραλ νορ αν οπτιµαλ ωαψ το ρε− χονστρυχτ α στιµυλυσ φροµ τηε ⇒ρινγ ρατεσ οφ α ποπυλατιον οφ νευρονσ. Ιν τηισ σεχτιον, ωε δισχυσσ τωο µετηοδσ τηατ χαν, βψ σοµε µεασυρε, βε χον− σιδερεδ οπτιµαλ. Τηεσε αρε χαλλεδ Βαψεσιαν ινφερενχε ανδ µαξιµυµ α ποσ− τεριορι (ΜΑΠ) ινφερενχε. Ωε αλσο δισχυσσ α σπεχιαλ χασε οφ ΜΑΠ χαλλεδ µαξ− ιµυµ λικελιηοοδ (ΜΛ) ινφερενχε. Τηε Βαψεσιαν αππροαχη ινϖολϖεσ ⇒νδινγ τηε µινιµυµ οφ α λοσσ φυνχτιον τηατ εξπρεσσεσ τηε χοστ οφ εστιµατιον ερ− ρορσ. ΜΑΠ ινφερενχε ανδ ΜΛ ινφερενχε γενεραλλψ προδυχε εστιµατεσ τηατ αρε ασ αχχυρατε, ιν τερµσ οφ τηε ϖαριανχε οφ τηε εστιµατε, ασ ανψ τηατ χαν βε αχηιεϖεδ βψ α ωιδε χλασσ οφ εστιµατιον µετηοδσ (σο−χαλλεδ υνβιασεδ εστιµατεσ), ατ λεαστ ωηεν λαργε νυµβερσ οφ νευρονσ αρε υσεδ ιν τηε δεχοδ− ινγ. Βαψεσιαν ανδ ΜΑΠ εστιµατεσ υσε τηε χονδιτιοναλ προβαβιλιτψ τηατ α στιµυλυσ παραµετερ τακεσ α ϖαλυε βετωεεν σ ανδ σ +%σ, γιϖεν τηατ τηε σετ οφ Ν ενχοδινγ νευρονσ ⇒ρεδ ατ ρατεσ γιϖεν βψ ρ. Τηε προβαβιλιτψ δενσιτψ

102

Νευραλ ∆εχοδινγ

Φιγυρε 3.6 Χοµπαρισον οφ ποπυλατιον ϖεχτορσ ωιτη αχτυαλ αρµ µοϖεµεντ διρεχ− τιονσ. Ρεσυλτσ αρε σηοων φορ ειγητ διφφερεντ µοϖεµεντ διρεχτιονσ. Αχτυαλ αρµ µοϖεµεντ διρεχτιονσ αρε ραδιαλλψ ουτωαρδ ατ ανγλεσ τηατ αρε µυλτιπλεσ οφ 45◦ . Τηε γρουπσ οφ λινεσ ωιτηουτ αρροωσ σηοω τηε πρεφερρεδ−διρεχτιον ϖεχτορσ οφ τηε ρεχορδεδ νευρονσ µυλτιπλιεδ βψ τηειρ ⇒ρινγ ρατεσ. ςεχτορ συµσ οφ τηεσε τερµσ φορ εαχη µοϖεµεντ διρεχτιον αρε ινδιχατεδ βψ τηε αρροωσ. Τηε φαχτ τηατ τηε αρ− ροωσ ποιντ αππροξιµατελψ ραδιαλλψ ουτωαρδ σηοωσ τηατ τηε ποπυλατιον ϖεχτορ ρε− χονστρυχτσ τηε αχτυαλ µοϖεµεντ διρεχτιον φαιρλψ αχχυρατελψ. (Φιγυρε αδαπτεδ φροµ Κανδελ ετ αλ., 1991, βασεδ ον δατα φροµ Καλασκα ετ αλ., 1983.)

νεεδεδ φορ α χοντινυουσ στιµυλυσ παραµετερ, π[σ|ρ], χαν βε οβταινεδ φροµ τηε ενχοδινγ προβαβιλιτψ δενσιτψ π[ρ|σ] βψ τηε χοντινυουσ ϖερσιον οφ Βαψεσ τηεορεµ (εθυατιον 3.3), π[σ|ρ] =

π[ρ|σ]π[σ] . π[ρ]

(3.26)

Α δισαδϖανταγε οφ τηεσε µετηοδσ ισ τηατ εξτραχτινγ π[σ|ρ] φροµ εξπεριµεν− ταλ δατα χαν βε διφ⇒χυλτ. Ιν χοντραστ, τηε ϖεχτορ µετηοδ ονλψ ρεθυιρεσ υσ το κνοω τηε πρεφερρεδ στιµυλυσ ϖαλυεσ οφ τηε ενχοδινγ νευρονσ, Βαψεσιαν ινφερενχε

Ασ µεντιονεδ ιν τηε πρεϖιουσ παραγραπη, Βαψεσιαν ινφερενχε ισ βασεδ ον τηε µινιµιζατιον οφ α παρτιχυλαρ λοσσ φυνχτιον Λ (σ, σβαψεσ ) τηατ θυαντι⇒εσ τηε mχοστn οφ ρεπορτινγ τηε εστιµατε σβαψεσ ωηεν τηε χορρεχτ ανσωερ ισ σ. Τηε λοσσ φυνχτιον προϖιδεσ α ωαψ οφ δε⇒νινγ τηε οπτιµαλιτψ χριτεριον φορ δεχοδινγ αναλογουσ το τηε λοσσ χοµπυτατιον δισχυσσεδ πρεϖιουσλψ φορ οπτι− µαλ δισχριµινατιον. Τηε ϖαλυε οφ σβαψεσ ισ χηοσεν το µινιµιζε τηε εξπεχτεδ λοσσ αϖεραγεδ# οϖερ αλλ στιµυλι φορ α γιϖεν σετ οφ ρατεσ, τηατ ισ, το µινιµιζε τηε φυνχτιον δσ Λ (σ, σβαψεσ ) π[σ|ρ]. Ιφ τηε λοσσ φυνχτιον ισ τηε σθυαρεδ διφφερ−

error (degrees)

3.3

Ποπυλατιον ∆εχοδινγ

103

8 maximum likelihood

8 Bayesian

6

6

4

4

2

2

0 -180

-90

0

90

wind direction (degrees)

180

0 -180

-90

0

90

180

wind direction (degrees)

Φιγυρε 3.7 Μαξιµυµ λικελιηοοδ ανδ Βαψεσιαν εστιµατιον ερρορσ φορ τηε χριχκετ χερ− χαλ σψστεµ. ΜΛ ανδ Βαψεσιαν εστιµατεσ οφ τηε ωινδ διρεχτιον ωερε χοµπαρεδ ωιτη τηε αχτυαλ στιµυλυσ ϖαλυε φορ α λαργε νυµβερ οφ σιµυλατεδ ⇒ρινγ ρατεσ. Φιρινγ ρατεσ ωερε γενερατεδ ασ φορ ⇒γυρε 3.5Β. Τηε ερρορ σηοων ισ τηε ροοτ−µεαν−σθυαρεδ διφ− φερενχε βετωεεν τηε εστιµατεδ ανδ αχτυαλ στιµυλυσ ανγλεσ. (Αδαπτεδ φροµ Σαλινασ ανδ Αββοττ, 1994.)

ενχε βετωεεν τηε εστιµατε ανδ τηε τρυε ϖαλυε, Λ (σ, σβαψεσ ) = (σ − σβαψεσ )2 , τηε εστιµατε τηατ µινιµιζεσ τηε εξπεχτεδ λοσσ ισ τηε µεαν " σβαψεσ = δσ π[σ|ρ]σ . (3.27) Ιφ τηε λοσσ φυνχτιον ισ τηε αβσολυτε ϖαλυε οφ τηε διφφερενχε, Λ (σ, σβαψεσ ) = |σ − σβαψεσ |, τηεν σβαψεσ ισ τηε µεδιαν ρατηερ τηαν τηε µεαν οφ τηε διστριβυτιον π[σ|ρ]. Μαξιµυµ α ποστεριορι (ΜΑΠ) ινφερενχε δοεσ νοτ ινϖολϖε α λοσσ φυνχτιον βυτ ινστεαδ σιµπλψ χηοοσεσ τηε στιµυλυσ ϖαλυε, σΜΑΠ , τηατ µαξιµιζεσ τηε χονδιτιοναλ προβαβιλιτψ δενσιτψ οφ τηε στιµυλυσ, π[σΜΑΠ |ρ]. Τηε ΜΑΠ απ− προαχη ισ τηυσ το χηοοσε ασ τηε εστιµατε σΜΑΠ τηε µοστ λικελψ στιµυλυσ ϖαλυε φορ α γιϖεν σετ οφ ρατεσ. Ιφ τηε πριορ ορ στιµυλυσ προβαβιλιτψ δενσιτψ π[σ] ισ ινδεπενδεντ οφ σ, τηεν π[σ|ρ] ανδ π[ρ|σ] ηαϖε τηε σαµε δεπενδενχε ον σ, βεχαυσε τηε φαχτορ π[σ]/ π[ρ] ιν εθυατιον 3.26 ισ ινδεπενδεντ οφ σ. Ιν τηισ χασε, τηε ΜΑΠ αλγοριτηµ ισ εθυιϖαλεντ το µαξιµιζινγ τηε λικελιηοοδ φυνχτιον, τηατ ισ, χηοοσινγ σΜΛ το µαξιµιζε π[ρ|σΜΛ ], ωηιχη ισ χαλλεδ µαξι− µυµ λικελιηοοδ (ΜΛ) ινφερενχε. Πρεϖιουσλψ ωε αππλιεδ τηε ϖεχτορ δεχοδινγ µετηοδ το τηε χερχαλ σψστεµ οφ τηε χριχκετ. Φιγυρε 3.7 σηοωσ τηε ροοτ−µεαν−σθυαρεδ διφφερενχε βετωεεν τηε τρυε ανδ εστιµατεδ ωινδ διρεχτιονσ φορ τηε χερχαλ σψστεµ, υσινγ ΜΛ ανδ Βαψεσιαν µετηοδσ. Φορ τηε χερχαλ ιντερνευρονσ, τηε ρεσπονσε προβαβιλ− ιτψ δενσιτψ π[ρ|σ] ισ α προδυχτ οφ φουρ Γαυσσιανσ ωιτη µεανσ ανδ ϖαριανχεσ γιϖεν βψ τηε δατα ποιντσ ανδ ερρορ βαρσ ιν ⇒γυρε 3.4. Τηε Βαψεσιαν εστι− µατε ιν ⇒γυρε 3.7 ισ βασεδ ον τηε σθυαρεδ−διφφερενχε λοσσ φυνχτιον. Βοτη εστιµατεσ υσε α χονσταντ στιµυλυσ προβαβιλιτψ δενσιτψ π[σ], σο τηε ΜΛ ανδ ΜΑΠ εστιµατεσ αρε ιδεντιχαλ. Τηε µαξιµυµ λικελιηοοδ εστιµατε ισ ειτηερ µορε ορ λεσσ αχχυρατε τηαν τηε Βαψεσιαν εστιµατε, δεπενδινγ ον τηε ανγλε.

ΜΑΠ ινφερενχε

ΜΛ ινφερενχε

104

Νευραλ ∆εχοδινγ

Τηε Βαψεσιαν ρεσυλτ ηασ α σλιγητλψ σµαλλερ αϖεραγε ερρορ αχροσσ αλλ ανγλεσ. Τηε διπσ ιν τηε ερρορ χυρϖεσ ιν ⇒γυρε 3.7, ασ ιν τηε χυρϖε οφ ⇒γυρε 3.5Β, αππεαρ ατ ανγλεσ ωηερε ονε τυνινγ χυρϖε πεακσ ανδ τωο οτηερσ ρισε φροµ τηρεσηολδ (σεε ⇒γυρε 3.4). Ασ ιν ⇒γυρε 3.5Β, τηεσε διπσ αρε δυε το τηε τωο νευρονσ ρεσπονδινγ νεαρ τηρεσηολδ, νοτ το τηε µαξιµαλλψ ρεσπονδινγ νευ− ρον. Τηεψ οχχυρ βεχαυσε νευρονσ αρε µοστ σενσιτιϖε ατ ποιντσ ωηερε τηειρ τυνινγ χυρϖεσ ηαϖε µαξιµυµ σλοπεσ, ωηιχη ιν τηισ χασε ισ νεαρ τηρεσηολδ (σεε ⇒γυρε 3.11). Χοµπαρινγ τηεσε ρεσυλτσ ωιτη ⇒γυρε 3.5Β σηοωσ τηε ιµπροϖεδ περφορ− µανχε οφ τηεσε µετηοδσ ρελατιϖε το τηε ϖεχτορ µετηοδ. Τηε ϖεχτορ µετηοδ περφορµσ εξτρεµελψ ωελλ φορ τηισ σψστεµ, σο τηε δεγρεε οφ ιµπροϖεµεντ ισ νοτ λαργε. Τηισ ισ βεχαυσε τηε χερχαλ ρεσπονσεσ αρε ωελλ δεσχριβεδ βψ χο− σινε φυνχτιονσ ανδ τηειρ πρεφερρεδ διρεχτιονσ αρε 90◦ απαρτ. Μυχη µορε δραµατιχ διφφερενχεσ οχχυρ ωηεν τηε τυνινγ χυρϖεσ αρε νοτ χοσινεσ ορ τηε πρεφερρεδ στιµυλυσ διρεχτιονσ αρε νοτ περπενδιχυλαρ. Υπ το νοω, ωε ηαϖε χονσιδερεδ τηε δεχοδινγ οφ α διρεχτιον ανγλε. Ωε νοω τυρν το τηε µορε γενεραλ χασε οφ δεχοδινγ αν αρβιτραρψ χοντινυουσ στιµυλυσ παραµετερ. Αν ινστρυχτιϖε εξαµπλε ισ προϖιδεδ βψ αν αρραψ οφ Ν νευρονσ ωιτη πρεφερρεδ στιµυλυσ ϖαλυεσ διστριβυτεδ υνιφορµλψ αχροσσ τηε φυλλ ρανγε οφ ποσσιβλε στιµυλυσ ϖαλυεσ. Αν εξαµπλε οφ συχη αν αρραψ φορ Γαυσσιαν τυνινγ χυρϖεσ, ' &2 ( % 1 σ − σα φ α (σ ) = ρµαξ εξπ − , (3.28) 2 σα ισ σηοων ιν ⇒γυρε 3.8. Ιν τηισ εξαµπλε, εαχη νευρον ηασ α τυνινγ χυρϖε ωιτη α διφφερεντ πρεφερρεδ ϖαλυε σα ανδ ποτεντιαλλψ α διφφερεντ ωιδτη σα (αλ− τηουγη αλλ τηε χυρϖεσ ιν ⇒γυρε 3.8 ηαϖε τηε σαµε ωιδτη). Ιφ τηε τυνινγ χυρϖεσ αρε εϖενλψ ανδ δενσελψ / διστριβυτεδ αχροσσ τηε ρανγε οφ σ ϖαλυεσ, τηε συµ οφ αλλ τυνινγ χυρϖεσ φ α (σ ) ισ αππροξιµατελψ ινδεπενδεντ οφ σ. Τηε ρουγηλψ ⇓ατ λινε ιν ⇒γυρε 3.8 ισ προπορτιοναλ το τηισ συµ. Τηε χονστανχψ οφ τηε συµ οϖερ τυνινγ χυρϖεσ ωιλλ βε υσεφυλ ιν τηε φολλοωινγ αναλψσισ. Τυνινγ χυρϖεσ γιϖε τηε µεαν ⇒ρινγ ρατεσ οφ τηε νευρονσ αχροσσ µυλτιπλε τριαλσ. Ιν ανψ σινγλε τριαλ, µεασυρεδ ⇒ρινγ ρατεσ ωιλλ ϖαρψ φροµ τηειρ µεαν ϖαλυεσ. Το ιµπλεµεντ τηε Βαψεσιαν, ΜΑΠ, ορ ΜΛ αππροαχη, ωε νεεδ το κνοω τηε χονδιτιοναλ ⇒ρινγ−ρατε προβαβιλιτψ δενσιτψ π[ρ|σ] τηατ δεσχριβεσ τηισ ϖαριαβιλιτψ. Ωε ασσυµε τηατ τηε ⇒ρινγ ρατε ρα οφ νευρον α ισ δετερµινεδ βψ χουντινγ να σπικεσ οϖερ α τριαλ οφ δυρατιον Τ (σο τηατ ρα = να / Τ), ανδ τηατ τηε ϖαριαβιλιτψ χαν βε δεσχριβεδ βψ τηε ηοµογενεουσ Ποισσον µοδελ δισχυσσεδ ιν χηαπτερ 1. Ιν τηισ χασε, τηε προβαβιλιτψ οφ στιµυλυσ σ εϖοκινγ να = ρα Τ σπικεσ, ωηεν τηε αϖεραγε ⇒ρινγ ρατε ισ ⟨ρα ⟩ = φ α (σ ), ισ γιϖεν βψ (σεε χηαπτερ 1) Π[ρα |σ] =

( φ α (σ )Τ )ρα Τ εξπ(− φ α (σ )Τ ) . (ρα Τ )!

(3.29)

Ιφ ωε ασσυµε τηατ εαχη νευρον ⇒ρεσ ινδεπενδεντλψ, τηε ⇒ρινγ−ρατε προβα−

3.3

Ποπυλατιον ∆εχοδινγ

105

1.0

φ/ρµαξ

0.8 0.6 0.4 0.2 0.0 -5

-4

-3

-2

-1

0

σ

1

2

3

4

5

Φιγυρε 3.8 Αν αρραψ οφ Γαυσσιαν τυνινγ χυρϖεσ σπαννινγ στιµυλυσ ϖαλυεσ φροµ −5 το 5. Τηε πεακ ϖαλυεσ οφ τηε τυνινγ χυρϖεσ φαλλ ον τηε ιντεγερ ϖαλυεσ οφ σ ανδ τηε τυνινγ χυρϖεσ αλλ ηαϖε σα = 1. Φορ χλαριτψ, τηε χυρϖεσ αρε δραων αλτερνατελψ ωιτη δασηεδ ανδ σολιδ λινεσ. Τηε αππροξιµατελψ ⇓ατ χυρϖε ωιτη ϖαλυε νεαρ 0.5 ισ 1/5 τηε συµ οφ τηε τυνινγ χυρϖεσ σηοων, ινδιχατινγ τηατ τηισ συµ ισ αππροξιµατελψ ινδεπενδεντ οφ σ.

βιλιτψ φορ τηε ποπυλατιον ισ τηε προδυχτ οφ τηε ινδιϖιδυαλ προβαβιλιτιεσ, Π[ρ|σ] =

Ν ( φ α (σ )Τ )ρα Τ α=1

(ρα Τ )!

εξπ(− φ α (σ )Τ ) .

(3.30)

Τηε ασσυµπτιον οφ ινδεπενδενχε σιµπλι⇒εσ τηε χαλχυλατιονσ χονσιδεραβλψ. Τηε ⇒λλεδ χιρχλεσ ιν ⇒γυρε 3.9 σηοω α σετ οφ ρανδοµλψ γενερατεδ ⇒ρινγ ρατεσ φορ τηε αρραψ οφ Γαυσσιαν τυνινγ χυρϖεσ ιν ⇒γυρε 3.8 φορ σ = 0. Τηισ ⇒γυρε αλσο ιλλυστρατεσ α υσεφυλ ωαψ οφ ϖισυαλιζινγ ποπυλατιον ρεσπονσεσ: πλοττινγ τηε ρεσπονσεσ ασ α φυνχτιον οφ τηε πρεφερρεδ στιµυλυσ ϖαλυεσ. Τηε δασηεδ χυρϖε ιν ⇒γυρε 3.9 ισ τηε τυνινγ χυρϖε φορ τηε νευρον ωιτη σα = 0. Βεχαυσε τηε τυνινγ χυρϖεσ αρε φυνχτιονσ οφ |σ − σα |, τηε ϖαλυεσ οφ τηε δασηεδ χυρϖε ατ σα = −5, −4, . . . , 5 αρε τηε µεαν αχτιϖιτιεσ οφ τηε χελλσ ωιτη πρεφερρεδ ϖαλυεσ ατ τηοσε λοχατιονσ φορ α στιµυλυσ ατ σ = 0. Το αππλψ τηε ΜΛ εστιµατιον αλγοριτηµ, ωε ονλψ νεεδ το χονσιδερ τηε τερµσ ιν Π[ρ|σ] τηατ δεπενδ ον σ. Βεχαυσε εθυατιον 3.30 ινϖολϖεσ α προδυχτ, ιτ ισ χονϖενιεντ το τακε ιτσ λογαριτηµ ανδ ωριτε λν Π[ρ|σ] = Τ

Ν ! α=1

) * ρα λν φ α (σ ) + . . . ,

(3.31)

ωηερε τηε ελλιπσισ ρεπρεσεντσ τερµσ τηατ αρε ινδεπενδεντ ορ αππροξιµατελψ / ινδεπενδεντ οφ σ, ινχλυδινγ, ασ δισχυσσεδ αβοϖε, φ α (σ ). Βεχαυσε µαξι− µιζινγ α φυνχτιον ανδ µαξιµιζινγ ιτσ λογαριτηµ αρε εθυιϖαλεντ, ωε χαν υσε τηε λογαριτηµ οφ τηε χονδιτιοναλ προβαβιλιτψ ιν πλαχε οφ τηε αχτυαλ προβαβιλ− ιτψ ιν ΜΛ δεχοδινγ. Τηε ΜΛ εστιµατεδ στιµυλυσ, σΜΛ , ισ τηε στιµυλυσ τηατ µαξιµιζεσ τηε ριγητ σιδε οφ εθυατιον 3.31. Σεττινγ τηε δεριϖατιϖε το 0, ωε ⇒νδ τηατ σΜΛ ισ δετερ−

ρα /ρµαξ

106

Νευραλ ∆εχοδινγ

1.0 0.5 0.0 -5

-4

-3

-2

-1

0

1

2

3

4

5

σα Φιγυρε 3.9 Σιµυλατεδ ρεσπονσεσ οφ 11 νευρονσ ωιτη τηε Γαυσσιαν τυνινγ χυρϖεσ σηοων ιν ⇒γυρε 3.8 το α στιµυλυσ ϖαλυε οφ 0. Φιρινγ ρατεσ φορ α σινγλε τριαλ, γενερατεδ υσινγ τηε Ποισσον µοδελ, αρε πλοττεδ ασ α φυνχτιον οφ τηε πρεφερρεδ−στιµυλυσ ϖαλυεσ οφ τηε διφφερεντ νευρονσ ιν τηε ποπυλατιον (⇒λλεδ χιρχλεσ). Τηε δασηεδ χυρϖε σηοωσ τηε τυνινγ χυρϖε φορ τηε νευρον ωιτη σα = 0. Ιτσ ηειγητσ ατ ιντεγερ ϖαλυεσ οφ σα αρε τηε αϖεραγε ρεσπονσεσ οφ τηε χορρεσπονδινγ χελλσ. Ιτ ισ ποσσιβλε το ηαϖε ρα > ρµαξ (ποιντ ατ σα = 0) βεχαυσε ρµαξ ισ τηε µαξιµυµ αϖεραγε ⇒ρινγ ρατε, νοτ τηε µαξιµυµ ⇒ρινγ ρατε.

µινεδ βψ Ν ! α=1

ρα

φ α′ (σΜΛ ) = 0, φ α (σΜΛ )

(3.32)

ωηερε τηε πριµε δενοτεσ α δεριϖατιϖε. Ιφ τηε τυνινγ χυρϖεσ αρε τηε Γαυσ− σιανσ οφ εθυατιον 3.28, τηισ εθυατιον χαν βε σολϖεδ εξπλιχιτλψ υσινγ τηε ρε− συλτ φ α′ (σ )/ φ α (σ ) = (σα − σ )/σα2 , / ρα σα /σα2 σΜΛ = / . (3.33) ρα /σα2 Ιφ αλλ τηε τυνινγ χυρϖεσ ηαϖε τηε σαµε ωιδτη, τηισ ρεδυχεσ το / ρα σα , σΜΛ = / ρα

(3.34)

ωηιχη ισ α σιµπλε εστιµατιον φορµυλα ωιτη αν ιντυιτιϖε ιντερπρετατιον ασ τηε ⇒ρινγ−ρατε ωειγητεδ αϖεραγε οφ τηε πρεφερρεδ ϖαλυεσ οφ τηε ενχοδινγ νευρονσ. Τηε νυµερατορ οφ τηισ εξπρεσσιον ισ ρεµινισχεντ οφ τηε ποπυλατιον ϖεχτορ. Αλτηουγη εθυατιον 3.33 γιϖεσ τηε ΜΛ εστιµατε φορ α ποπυλατιον οφ νευρονσ ωιτη Ποισσον ϖαριαβιλιτψ, ιτ ηασ σοµε υνδεσιραβλε προπερτιεσ ασ α δεχοδινγ αλγοριτηµ. Χονσιδερ α νευρον ωιτη α πρεφερρεδ στιµυλυσ ϖαλυε σα τηατ ισ µυχη γρεατερ τηαν τηε αχτυαλ στιµυλυσ ϖαλυε σ. Βεχαυσε σα ≫ σ, τηε αϖεραγε ⇒ρινγ ρατε οφ τηισ νευρον ισ εσσεντιαλλψ 0. Φορ α Ποισσον διστριβυτιον, ζερο ρατε ιµπλιεσ ζερο ϖαριαβιλιτψ. Ιφ, ηοωεϖερ, τηισ νευρον ⇒ρεσ ονε ορ µορε σπικεσ ον α τριαλ δυε το α νον−Ποισσον σουρχε οφ ϖαριαβιλιτψ, τηισ ωιλλ χαυσε α λαργε ερρορ ιν τηε εστιµατε βεχαυσε οφ τηε λαργε ωειγητινγ φαχτορ σα .

3.3

Ποπυλατιον ∆εχοδινγ

107

Τηε ΜΑΠ εστιµατιον προχεδυρε ισ σιµιλαρ ιν σπιριτ το τηε ΜΛ αππροαχη, βυτ τηε ΜΑΠ εστιµατε, σΜΑΠ , µαψ διφφερ φροµ σΜΛ ιφ τηε προβαβιλιτψ δενσιτψ π[σ] δεπενδσ ον σ. Τηε ΜΑΠ αλγοριτηµ αλλοωσ υσ το ινχλυδε πριορ κνοωλεδγε αβουτ τηε διστριβυτιον οφ στιµυλυσ ϖαλυεσ ιν τηε δεχοδινγ εστιµατε. Ασ νοτεδ αβοϖε, ιφ τηε π[σ] ισ χονσταντ, τηε ΜΑΠ ανδ ΜΛ εστιµατεσ αρε ιδεν− τιχαλ. Ιν αδδιτιον, ιφ µανψ νευρονσ αρε οβσερϖεδ, ορ ιφ α σµαλλ νυµβερ οφ νευρονσ ισ οβσερϖεδ οϖερ α λονγ τριαλ περιοδ, εϖεν α νονχονσταντ στιµυλυσ διστριβυτιον ηασ λιττλε εφφεχτ ανδ σΜΑΠ ≈ σΜΛ . Τηε ΜΑΠ εστιµατε ισ χοµπυτεδ φροµ τηε διστριβυτιον π[σ|ρ] δετερµινεδ βψ Βαψεσ τηεορεµ. Ιν τερµσ οφ τηε λογαριτηµσ οφ τηε προβαβιλιτιεσ, λν π[σ|ρ] = λν Π[ρ|σ] + λν π[σ] − λν Π[ρ]. Τηε λαστ τερµ ιν τηισ εξπρεσσιον ισ ινδεπενδεντ οφ σ ανδ χαν βε αβσορβεδ ιντο τηε ιγνορεδ σ−ινδεπενδεντ τερµσ, σο ωε χαν ωριτε, ασ ιν εθυατιον 3.31, λν π[σ|ρ] = Τ

Ν ! α=1

) * ρα λν φ α (σ ) + λν π[σ] + . . . .

(3.35)

Μαξιµιζινγ τηισ δετερµινεσ τηε ΜΑΠ εστιµατε, Τ

Ν ! ρα φ ′ (σΜΑΠ ) α

α=1

φ α (σΜΑΠ )

+

π′ [σΜΑΠ ] = 0. π[σΜΑΠ ]

(3.36)

Ιφ τηε στιµυλυσ ορ πριορ διστριβυτιον ισ ιτσελφ Γαυσσιαν ωιτη µεαν σπριορ ανδ ϖαριανχε σπριορ , ανδ ωε υσε τηε Γαυσσιαν αρραψ οφ τυνινγ χυρϖεσ, εθυα− τιον 3.36 ψιελδσ / 2 Τ ρα σα /σα2 + σπριορ /σπριορ σΜΑΠ = / . (3.37) 2 Τ ρα /σα2 + 1/σπριορ

Φιγυρε 3.10 χοµπαρεσ τηε χονδιτιοναλ στιµυλυσ προβαβιλιτψ δενσιτιεσ π[σ|ρ] φορ α χονσταντ στιµυλυσ διστριβυτιον (σολιδ χυρϖε) ανδ φορ α Γαυσσιαν στιµ− υλυσ διστριβυτιον ωιτη σπριορ = −2 ανδ σπριορ = 1, υσινγ τηε ⇒ρινγ ρατεσ γιϖεν βψ τηε ⇒λλεδ χιρχλεσ ιν ⇒γυρε 3.9. Ιφ τηε στιµυλυσ διστριβυτιον ισ χονσταντ, π[σ|ρ] πεακσ νεαρ τηε τρυε στιµυλυσ ϖαλυε οφ 0. Τηε εφφεχτ οφ α νονχον− σταντ στιµυλυσ διστριβυτιον ισ το σηιφτ τηε χυρϖε τοωαρδ τηε ϖαλυε −2, ωηερε τηε στιµυλυσ προβαβιλιτψ δενσιτψ ηασ ιτσ µαξιµυµ, ανδ το δεχρεασε ιτσ ωιδτη βψ α σµαλλ αµουντ. Τηε εστιµατε ισ σηιφτεδ το τηε λεφτ βεχαυσε τηε πριορ διστριβυτιον συγγεστσ τηατ τηε στιµυλυσ ισ µορε λικελψ το τακε νεγα− τιϖε ϖαλυεσ τηαν ποσιτιϖε ονεσ, ινδεπενδεντ οφ τηε εϖοκεδ ρεσπονσε. Τηε δεχρεασεδ ωιδτη ισ δυε το τηε αδδεδ ινφορµατιον τηατ τηε πριορ διστρι− βυτιον προϖιδεσ. Τηε χυρϖεσ ιν ⇒γυρε 3.10 χαν βε χοµπυτεδ φροµ εθυα− / 2 τιονσ 3.28 ανδ 3.35 ασ Γαυσσιανσ ωιτη ϖαριανχεσ 1 /( Τ ρ /σ ) (χονσταντ α α / 2 πριορ) ανδ 1/( Τ ρα /σα2 + 1/σπριορ ) (Γαυσσιαν πριορ). Τηε αχχυραχψ ωιτη ωηιχη αν εστιµατε σεστ δεσχριβεσ α στιµυλυσ σ χαν βε χηαραχτεριζεδ βψ τωο ιµπορταντ θυαντιτιεσ, ιτσ βιασ βεστ (σ ) ανδ ιτσ ϖαριανχε 2 σεστ (σ ). Τηε βιασ ισ τηε διφφερενχε βετωεεν τηε αϖεραγε οφ σεστ αχροσσ τριαλσ τηατ υσε τηε στιµυλυσ σ ανδ τηε τρυε ϖαλυε οφ τηε στιµυλυσ (ι.ε., σ), βεστ (σ ) = ⟨σεστ ⟩ − σ .

(3.38)

βιασ

108

Νευραλ ∆εχοδινγ 1.5 1.0 0.5 0.0 -1.0

-0.5

0.0

0.5

1.0

Φιγυρε 3.10 Προβαβιλιτψ δενσιτιεσ φορ τηε στιµυλυσ, γιϖεν τηε ⇒ρινγ ρατεσ σηοων ιν ⇒γυρε 3.9 ανδ ασσυµινγ τηε τυνινγ χυρϖεσ οφ ⇒γυρε 3.8. Τηε σολιδ χυρϖε ισ π[σ|ρ] ωηεν τηε πριορ διστριβυτιον οφ στιµυλυσ ϖαλυεσ ισ χονσταντ ανδ τηε τρυε ϖαλυε οφ τηε στιµυλυσ ισ σ = 0. Τηε δασηεδ χυρϖε ισ φορ α Γαυσσιαν πριορ διστριβυτιον ωιτη α µεαν οφ −2 ανδ ϖαριανχε οφ 1, αγαιν ωιτη τηε τρυε στιµυλυσ βεινγ σ = 0. Τηε πεακσ οφ τηε σολιδ ανδ δασηεδ χυρϖεσ αρε ατ σ = 0.0385 ανδ σ = −0.107, ρεσπεχτιϖελψ.

Νοτε τηατ τηε βιασ δεπενδσ ον τηε τρυε ϖαλυε οφ τηε στιµυλυσ. Αν εστιµατε ισ τερµεδ υνβιασεδ ιφ βεστ (σ ) = 0 φορ αλλ στιµυλυσ ϖαλυεσ. ϖαριανχε

Τηε ϖαριανχε οφ τηε εστιµατορ, ωηιχη θυαντι⇒εσ ηοω µυχη τηε εστιµατε ϖαριεσ αβουτ ιτσ µεαν ϖαλυε, ισ δε⇒νεδ ασ 2 σεστ (σ ) = ⟨(σεστ − ⟨σεστ ⟩)2 ⟩ .

εστιµατιον ερρορ

(3.39)

Τηε βιασ ανδ ϖαριανχε χαν4 βε υσεδ το χοµπυτε τηε τριαλ−αϖεραγε σθυαρεδ εσ− 3 τιµατιον ερρορ, (σεστ − σ )2 . Τηισ ισ α µεασυρε οφ τηε σπρεαδ οφ τηε εστιµατεδ ϖαλυεσ αβουτ τηε τρυε ϖαλυε οφ τηε στιµυλυσ. Βεχαυσε σ = ⟨σεστ ⟩ − βεστ (σ ), ωε χαν ωριτε τηε σθυαρεδ εστιµατιον ερρορ ασ 3 4 3 4 2 (σεστ − σ )2 = (σεστ − ⟨σεστ ⟩ + βεστ (σ ))2 = σεστ (σ ) + β2εστ (σ ) . (3.40)

Ιν οτηερ ωορδσ, τηε αϖεραγε σθυαρεδ εστιµατιον ερρορ ισ τηε συµ οφ τηε ϖαριανχε ανδ τηε σθυαρε οφ τηε βιασ. Φορ αν υνβιασεδ εστιµατε, τηε αϖεραγε σθυαρεδ εστιµατιον ερρορ ισ εθυαλ το τηε ϖαριανχε οφ τηε εστιµατορ.

Φισηερ Ινφορµατιον ∆εχοδινγ χαν βε υσεδ το λιµιτ τηε αχχυραχψ ωιτη ωηιχη α νευραλ σψστεµ ενχοδεσ τηε ϖαλυε οφ α στιµυλυσ παραµετερ βεχαυσε τηε ενχοδινγ αχχυραχψ χαννοτ εξχεεδ τηε αχχυραχψ οφ αν οπτιµαλ δεχοδινγ µετηοδ. Οφ χουρσε, ωε µυστ βε συρε τηατ τηε δεχοδινγ τεχηνιθυε υσεδ το εσταβλιση συχη α βουνδ ισ τρυλψ οπτιµαλ, ορ ελσε τηε ρεσυλτ ωιλλ ρε⇓εχτ τηε λιµιτατιονσ οφ τηε δεχοδ− ινγ προχεδυρε, νοτ βουνδσ ον τηε νευραλ σψστεµ βεινγ στυδιεδ. Τηε Φισηερ ινφορµατιον ισ α θυαντιτψ τηατ προϖιδεσ ονε συχη µεασυρε οφ ενχοδινγ αχ− χυραχψ. Τηρουγη α βουνδ κνοων ασ τηε Χραµ×ερ−Ραο βουνδ, τηε Φισηερ ινφορµατιον λιµιτσ τηε αχχυραχψ ωιτη ωηιχη ανψ δεχοδινγ σχηεµε χαν εξ− τραχτ αν εστιµατε οφ αν ενχοδεδ θυαντιτψ. Χραµ×ερ−Ραο βουνδ Τηε Χραµ×ερ−Ραο βουνδ λιµιτσ τηε ϖαριανχε οφ ανψ εστιµατε σεστ αχχορδινγ

3.3

Ποπυλατιον ∆εχοδινγ

109

το (αππενδιξ Β) 2 σεστ (σ )

) * ′ (σ ) 2 1 + βεστ ≥ , ΙΦ ( σ )

(3.41)

′ (σ ) ισ τηε δεριϖατιϖε οφ β (σ ). Ιφ ωε ασσυµε ηερε τηατ τηε ⇒ρινγ ωηερε βεστ εστ ρατεσ τακε χοντινυουσ ϖαλυεσ ανδ τηατ τηειρ διστριβυτιον ιν ρεσπονσε το α στιµυλυσ σ ισ δεσχριβεδ βψ τηε χονδιτιοναλ προβαβιλιτψ δενσιτψ π[ρ|σ], τηε θυαντιτψ ΙΦ (σ ) ιν εθυατιον 3.41 ισ τηε Φισηερ ινφορµατιον οφ τηε ⇒ρινγ−ρατε διστριβυτιον, ωηιχη ισ ρελατεδ το π[ρ|σ] (ασσυµινγ τηε λαττερ ισ συφ⇒χιεντλψ σµοοτη) βψ 6 " % 2 & 5 2 ∂ λν π[ρ|σ] ∂ λν π[ρ|σ] = δρ π[ρ|σ] − . (3.42) ΙΦ ( σ ) = − ∂ σ2 ∂ σ2

Φισηερ ινφορµατιον

Τηε ρεαδερ χαν ϖεριφψ τηατ τηε Φισηερ ινφορµατιον χαν αλσο βε ωριττεν ασ +% &, " % & ∂ λν π[ρ|σ] 2 ∂ λν π[ρ|σ] 2 ΙΦ ( σ ) = = δρ π[ρ|σ] . (3.43) ∂σ ∂σ Τηε Χραµ×ερ−Ραο βουνδ σετσ α λιµιτ ον τηε αχχυραχψ οφ ανψ υνβιασεδ εσ− τιµατε οφ τηε στιµυλυσ. Ωηεν βεστ (σ ) = 0, εθυατιον 3.40 ινδιχατεσ τηατ τηε 2 αϖεραγε σθυαρεδ εστιµατιον ερρορ ισ εθυαλ το σεστ ανδ, βψ εθυατιον 3.41, τηισ 2 σατισ⇒εσ τηε βουνδ σεστ ≥ 1/ ΙΦ (σ ). Προϖιδεδ τηατ ωε ρεστριχτ ουρσελϖεσ το υνβιασεδ δεχοδινγ σχηεµεσ, τηε Φισηερ ινφορµατιον σετσ αν αβσολυτε λιµιτ ον δεχοδινγ αχχυραχψ, ανδ ιτ τηυσ προϖιδεσ α υσεφυλ λιµιτ ον ενχοδινγ αχχυραχψ. Αλτηουγη ιµποσινγ ζερο βιασ ον τηε δεχοδινγ εστιµατε σεεµσ ρεασοναβλε, τηε ρεστριχτιον ισ νοτ τριϖιαλ. Ιν γενεραλ, µινιµιζινγ τηε δε− χοδινγ ερρορ ιν εθυατιον 3.40 ινϖολϖεσ α τραδε−οφφ βετωεεν µινιµιζινγ τηε βιασ ανδ µινιµιζινγ τηε ϖαριανχε οφ τηε εστιµατορ. Ιν σοµε χασεσ, βιασεδ σχηεµεσ µαψ προδυχε µορε αχχυρατε ρεσυλτσ τηαν υνβιασεδ ονεσ. Φορ α βι− ασεδ εστιµατορ, τηε αϖεραγε σθυαρεδ εστιµατιον ερρορ ανδ τηε ϖαριανχε οφ τηε εστιµατε αρε νοτ εθυαλ, ανδ τηε εστιµατιον ερρορ χαν βε ειτηερ λαργερ ορ σµαλλερ τηαν 1/ ΙΦ (σ ). Τηε λιµιτ ον δεχοδινγ αχχυραχψ σετ βψ τηε Φισηερ ινφορµατιον χαν βε ατ− ταινεδ βψ α δεχοδινγ σχηεµε ωε ηαϖε στυδιεδ, τηε µαξιµυµ λικελιηοοδ µετηοδ. Ιν τηε λιµιτ οφ λαργε νυµβερσ οφ ενχοδινγ νευρονσ, ανδ φορ µοστ ⇒ρινγ−ρατε διστριβυτιονσ, τηε ΜΛ εστιµατε ισ υνβιασεδ ανδ σατυρατεσ τηε Χραµ×ερ−Ραο βουνδ. Ιν οτηερ ωορδσ, τηε ϖαριανχε οφ τηε ΜΛ εστιµατε ισ 2 γιϖεν ασψµπτοτιχαλλψ (φορ λαργε Ν) βψ σΜΛ (σ ) = 1/ ΙΦ (σ ). Ανψ υνβιασεδ εστιµατορ τηατ σατυρατεσ τηε Χραµ×ερ−Ραο λοωερ βουνδ ισ χαλλεδ εφ⇒χιεντ. Φυρτηερµορε, ΙΦ (σ ) γροωσ λινεαρλψ ωιτη Ν, ανδ τηε ΜΛ εστιµατε οβεψσ α χεντραλ λιµιτ τηεορεµ, σο τηατ Ν 1/2 (σΜΛ − σ ) ισ Γαυσσιαν διστριβυτεδ ωιτη α ϖαριανχε τηατ ισ ινδεπενδεντ οφ Ν ιν τηε λαργε Ν λιµιτ. Φιναλλψ, ιν τηε λιµιτ Ν → ∞, τηε ΜΛ εστιµατε ισ ασψµπτοτιχαλλψ χονσιστεντ, ιν τηε σενσε τηατ Π[|σΜΛ − σ| > ϵ] → 0 φορ ανψ ϵ > 0. Ασ εθυατιον 3.42 σηοωσ, τηε Φισηερ ινφορµατιον ισ α µεασυρε οφ τηε εξ− πεχτεδ χυρϖατυρε οφ τηε λογ λικελιηοοδ ατ τηε στιµυλυσ ϖαλυε σ. Χυρϖατυρε ισ

εφ⇒χιενχψ

ασψµπτοτιχ χονσιστενχψ

110

Νευραλ ∆εχοδινγ

ιµπορταντ βεχαυσε τηε λικελιηοοδ ισ εξπεχτεδ το βε ατ α µαξιµυµ νεαρ τηε τρυε στιµυλυσ ϖαλυε σ τηατ χαυσεδ τηε ρεσπονσεσ. Ιφ τηε λικελιηοοδ ισ ϖερψ χυρϖεδ, ανδ τηυσ τηε Φισηερ ινφορµατιον ισ λαργε, ρεσπονσεσ τψπιχαλ φορ τηε στιµυλυσ σ αρε µυχη λεσσ λικελψ το οχχυρ φορ σλιγητλψ διφφερεντ στιµυλι. Τηερε− φορε, τηε τψπιχαλ ρεσπονσε προϖιδεσ α στρονγ ινδιχατιον οφ τηε ϖαλυε οφ τηε στιµυλυσ. Ιφ τηε λικελιηοοδ ισ φαιρλψ ⇓ατ, ανδ τηυσ τηε Φισηερ ινφορµατιον ισ σµαλλ, ρεσπονσεσ χοµµον φορ σ αρε λικελψ το οχχυρ φορ σλιγητλψ διφφερ− εντ στιµυλι ασ ωελλ. Τηυσ, τηε ρεσπονσε δοεσ νοτ ασ χλεαρλψ δετερµινε τηε στιµυλυσ ϖαλυε. Τηε Φισηερ ινφορµατιον ισ πυρελψ λοχαλ ιν τηε σενσε τηατ ιτ δοεσ νοτ ρε⇓εχτ τηε εξιστενχε οφ στιµυλυσ ϖαλυεσ χοµπλετελψ διφφερεντ φροµ σ τηατ αρε λικελψ το εϖοκε τηε σαµε ρεσπονσεσ ασ τηοσε εϖοκεδ βψ σ ιτσελφ. Ηοωεϖερ, τηισ δοεσ νοτ ηαππεν φορ τηε σορτ οφ σιµπλε ποπυλατιον χοδεσ ωε χονσιδερ. Σηαννονaσ µυτυαλ ινφορµατιον µεασυρε, δισχυσσεδ ιν χηαπτερ 4, τακεσ συχη ποσσιβιλιτιεσ ιντο αχχουντ. Τηε Φισηερ ινφορµατιον φορ α ποπυλατιον οφ νευρονσ ωιτη υνιφορµλψ αρ− ραψεδ τυνινγ χυρϖεσ (τηε Γαυσσιαν αρραψ ιν ⇒γυρε 3.8, φορ εξαµπλε) ανδ Ποισσον στατιστιχσ χαν βε χοµπυτεδ φροµ τηε χονδιτιοναλ ⇒ρινγ−ρατε προβα− βιλιτψ ιν εθυατιον 3.31. Βεχαυσε τηε σπικε−χουντ ρατε ισ δεσχριβεδ ηερε βψ α προβαβιλιτψ ρατηερ τηαν α προβαβιλιτψ δενσιτψ, ωε υσε τηε δισχρετε αναλογ οφ εθυατιον 3.42, '% ( 6 & 5 2 Ν ! φ α′ (σ ) 2 φ α′′ (σ ) δ λν Π[ρ|σ] ΙΦ ( σ ) = − ⟨ρα ⟩ =Τ − . (3.44) δσ2 φ α (σ ) φ α (σ ) α=1 Ιφ ωε ασσυµε τηατ τηε αρραψ οφ τυνινγ χυρϖεσ ισ σψµµετριχ, λικε τηε Γαυσ− σιαν αρραψ οφ ⇒γυρε 3.8, τηε σεχονδ τερµ ιν τηε παρεντηεσεσ οφ τηε λαστ εξ− πρεσσιον συµσ το 0. Ωε χαν αλσο µακε τηε ρεπλαχεµεντ ⟨ρα ⟩ = φ α (σ ), προ− δυχινγ τηε ⇒ναλ ρεσυλτ ) ′ *2 Ν ! φ α (σ ) ΙΦ ( σ ) = Τ . (3.45) φ α (σ ) α=1

Ιν τηισ εξπρεσσιον, εαχη νευρον χοντριβυτεσ αν αµουντ το τηε Φισηερ ινφορ− µατιον προπορτιοναλ το τηε σθυαρε οφ ιτσ τυνινγ χυρϖε σλοπε ανδ ινϖερσελψ προπορτιοναλ το τηε αϖεραγε ⇒ρινγ ρατε φορ τηε παρτιχυλαρ στιµυλυσ ϖαλυε βε− ινγ εστιµατεδ. Ηιγηλψ σλοπεδ τυνινγ χυρϖεσ γιϖε ⇒ρινγ ρατεσ τηατ αρε σενσι− τιϖε το τηε πρεχισε ϖαλυε οφ τηε στιµυλυσ. Φιγυρε 3.11 σηοωσ τηε χοντριβυτιον το τηε συµ ιν εθυατιον 3.45 φροµ α σινγλε νευρον ωιτη α Γαυσσιαν τυνινγ χυρϖε, τηε νευρον ωιτη σα = 0 ιν ⇒γυρε 3.8. Φορ χοµπαρισον πυρποσεσ, α δασηεδ χυρϖε προπορτιοναλ το τηε τυνινγ χυρϖε ισ αλσο πλοττεδ. Νοτε τηατ τηε Φισηερ ινφορµατιον ϖανισηεσ φορ τηε στιµυλυσ ϖαλυε τηατ προδυχεσ τηε µαξιµυµ αϖεραγε ⇒ρινγ ρατε, βεχαυσε φ α′ (σ ) = 0 ατ τηισ ποιντ. Τηε ⇒ρινγ ρατε οφ α νευρον ατ τηε πεακ οφ ιτσ τυνινγ χυρϖε ισ ρελατιϖελψ υναφφεχτεδ βψ σµαλλ χηανγεσ ιν τηε στιµυλυσ. Ινδιϖιδυαλ νευρονσ χαρρψ τηε µοστ Φισηερ ινφορµατιον ιν ρεγιονσ οφ τηειρ τυνινγ χυρϖεσ ωηερε αϖεραγε ⇒ρινγ ρατεσ αρε ραπιδλψ ϖαρψινγ φυνχτιονσ οφ τηε στιµυλυσ ϖαλυε, νοτ ωηερε τηε ⇒ρινγ ρατε ισ ηιγηεστ. Τηε Φισηερ ινφορµατιον χαν βε υσεδ το δεριϖε αν ιντερεστινγ ρεσυλτ ον τηε οπτιµαλ ωιδτησ οφ ρεσπονσε τυνινγ χυρϖεσ. Χονσιδερ α ποπυλατιον οφ νευ−

3.3

Ποπυλατιον ∆εχοδινγ

111

1.0

φ / ρµαξ

0.8

ΙΦ / ( ρµαξ Τ )

0.6 0.4 0.2 0.0 -4

-3

-2

-1

0

1

2

3

4

σ Φιγυρε 3.11 Τηε Φισηερ ινφορµατιον φορ α σινγλε νευρον ωιτη α Γαυσσιαν τυνινγ χυρϖε ωιτη σ = 0 ανδ σα = 1, ανδ Ποισσον ϖαριαβιλιτψ. Τηε Φισηερ ινφορµατιον (σολιδ χυρϖε) ηασ βεεν διϖιδεδ βψ ρµαξ Τ, τηε πεακ ⇒ρινγ ρατε οφ τηε τυνινγ χυρϖε τιµεσ τηε δυρατιον οφ τηε τριαλ. Τηε δασηεδ χυρϖε σηοωσ τηε τυνινγ χυρϖε σχαλεδ βψ ρµαξ . Νοτε τηατ τηε Φισηερ ινφορµατιον ισ γρεατεστ ωηερε τηε σλοπε οφ τηε τυνινγ χυρϖε ισ ηιγηεστ, ανδ ϖανισηεσ ατ σ = 0, ωηερε τηε τυνινγ χυρϖε πεακσ.

ρονσ ωιτη τυνινγ χυρϖεσ οφ ιδεντιχαλ σηαπεσ, διστριβυτεδ εϖενλψ οϖερ α ρανγε οφ στιµυλυσ ϖαλυεσ ασ ιν ⇒γυρε 3.8. Εθυατιον 3.45 ινδιχατεσ τηατ τηε Φισηερ ινφορµατιον ωιλλ βε λαργεστ ιφ τηε τυνινγ χυρϖεσ οφ ινδιϖιδυαλ νευ− ρονσ αρε ραπιδλψ ϖαρψινγ (µακινγ τηε σθυαρε οφ τηειρ δεριϖατιϖεσ λαργε), ανδ ιφ µανψ νευρονσ ρεσπονδ (µακινγ τηε συµ οϖερ νευρονσ λαργε). Φορ τψπι− χαλ νευροναλ ρεσπονσε τυνινγ χυρϖεσ, τηεσε τωο ρεθυιρεµεντσ αρε ιν χον⇓ιχτ ωιτη ονε ανοτηερ. Ιφ τηε ποπυλατιον οφ νευρονσ ηασ ναρροω τυνινγ χυρϖεσ, ινδιϖιδυαλ νευραλ ρεσπονσεσ αρε ραπιδλψ ϖαρψινγ φυνχτιονσ οφ τηε στιµυλυσ, βυτ φεω νευρονσ ρεσπονδ. Βροαδ τυνινγ χυρϖεσ αλλοω µανψ νευρονσ το ρεσπονδ, βυτ τηε ινδιϖιδυαλ ρεσπονσεσ αρε νοτ ασ σενσιτιϖε το τηε στιµυλυσ ϖαλυε. Το δετερµινε ωηετηερ ναρροω ορ βροαδ τυνινγ χυρϖεσ προδυχε τηε µορε αχχυρατε ενχοδινγσ, ωε χονσιδερ α δενσε διστριβυτιον οφ Γαυσσιαν τυνινγ χυρϖεσ, αλλ ωιτη σα = σρ . Υσινγ συχη χυρϖεσ ιν εθυατιον 3.45, ωε ⇒νδ ' % &2 ( Ν ! 1 σ − σα ρµαξ (σ − σα )2 εξπ − . (3.46) ΙΦ ( σ ) = Τ σρ4 2 σρ α=1 Τηισ εξπρεσσιον χαν βε αππροξιµατεδ βψ ρεπλαχινγ τηε συµ οϖερ νευρονσ ωιτη αν ιντεγραλ οϖερ τηειρ πρεφερρεδ στιµυλυσ ϖαλυεσ ανδ µυλτιπλψινγ βψ α δενσιτψ φαχτορ ρσ . Τηε φαχτορ ρσ ισ τηε δενσιτψ ωιτη ωηιχη τηε νευρονσ χοϖερ τηε ρανγε οφ στιµυλυσ ϖαλυεσ, ανδ ιτ ισ εθυαλ το τηε νυµβερ οφ νευρονσ ωιτη πρεφερρεδ στιµυλυσ ϖαλυεσ λψινγ ωιτηιν α υνιτ ρανγε οφ σ ϖαλυεσ. Ρεπλαχινγ τηε συµ οϖερ α ωιτη αν ιντεγραλ οϖερ α χοντινυουσ πρεφερρεδ στιµυλυσ πα− ραµετερ ξ (ωηιχη ρεπλαχεσ σα ), ωε ⇒νδ ' % &2 ( " ∞ ρµαξ (σ − ξ)2 1 σ−ξ δξ ΙΦ ( σ ) ≈ ρ σ Τ εξπ − σρ4 2 σρ −∞ √ 2πρσ σρ ρµαξ Τ = . (3.47) σρ2 Ωε ηαϖε εξπρεσσεδ τηε ⇒ναλ ρεσυλτ ιν τηισ φορµ βεχαυσε τηε νυµβερ οφ νευ− ρονσ τηατ ρεσπονδ το α γιϖεν στιµυλυσ ϖαλυε ισ ρουγηλψ ρσ σρ , ανδ τηε Φισηερ

συµσ→ιντεγραλσ

112

Νευραλ ∆εχοδινγ

ινφορµατιον ισ προπορτιοναλ το τηισ νυµβερ διϖιδεδ βψ τηε σθυαρε οφ τηε τυνινγ χυρϖε ωιδτη. Χοµβινινγ τηεσε φαχτορσ, τηε Φισηερ ινφορµατιον ισ ιν− ϖερσελψ προπορτιοναλ το σρ , ανδ τηε ενχοδινγ αχχυραχψ ινχρεασεσ ωιτη ναρ− ροωερ τυνινγ χυρϖεσ. Τηε αδϖανταγε οφ υσινγ ναρροω τυνινγ χυρϖεσ γοεσ αωαψ ιφ τηε στιµυλυσ ισ χηαραχτεριζεδ βψ µορε τηαν ονε παραµετερ. Χονσιδερ α στιµυλυσ ωιτη ∆ παραµετερσ ανδ συπποσε τηατ τηε ρεσπονσε τυνινγ χυρϖεσ αρε προδυχτσ οφ ιδεντιχαλ Γαυσσιανσ φορ εαχη οφ τηεσε παραµετερσ. Ιφ τηε τυνινγ χυρϖεσ χοϖερ τηε ∆−διµενσιοναλ σπαχε οφ στιµυλυσ ϖαλυεσ ωιτη α υνιφορµ δεν− σιτψ ρσ , τηε νυµβερ οφ ρεσπονδινγ νευρονσ φορ ανψ στιµυλυσ ϖαλυε ισ προ− πορτιοναλ το ρσ σρ∆ ανδ, υσινγ τηε σαµε ιντεγραλ αππροξιµατιον ασ ιν εθυα− τιον 3.47, τηε Φισηερ ινφορµατιον ισ ΙΦ =

(2π) ∆/2 ∆ρσ σρ∆ ρµαξ Τ = (2π) ∆/2 ∆ρσ σρ∆−2 ρµαξ Τ . σρ2

(3.48)

Τηισ εθυατιον, ωηιχη ρεδυχεσ το τηε ρεσυλτ γιϖεν αβοϖε ιφ ∆ = 1, αλλοωσ υσ το εξαµινε τηε εφφεχτ οφ τυνινγ χυρϖε ωιδτη ον ενχοδινγ αχχυραχψ. Τηε τραδε−οφφ βετωεεν τηε ενχοδινγ αχχυραχψ οφ ινδιϖιδυαλ νευρονσ ανδ τηε νυµβερ οφ ρεσπονδινγ νευρονσ δεπενδσ ον τηε διµενσιον οφ τηε στιµυ− λυσ σπαχε. Ναρροωινγ τηε τυνινγ χυρϖεσ (µακινγ σρ σµαλλερ) ινχρεασεσ τηε Φισηερ ινφορµατιον φορ ∆ = 1, δεχρεασεσ ιτ φορ ∆ > 2, ανδ ηασ νο ιµπαχτ ιφ ∆ = 2. Οπτιµαλ ∆ισχριµινατιον

ΜΛ δισχριµιναβιλιτψ

Ιν τηε ⇒ρστ παρτ οφ τηισ χηαπτερ, ωε χονσιδερεδ δισχριµινατιον βετωεεν τωο ϖαλυεσ οφ α στιµυλυσ. Αν αλτερνατιϖε το τηε προχεδυρεσ δισχυσσεδ τηερε ισ σιµπλψ το δεχοδε τηε ρεσπονσεσ ανδ δισχριµινατε ον τηε βασισ οφ τηε εσ− τιµατεδ στιµυλυσ ϖαλυεσ. Χονσιδερ τηε χασε οφ δισχριµινατινγ βετωεεν σ ανδ σ +%σ φορ σµαλλ %σ. Φορ λαργε Ν, τηε αϖεραγε ϖαλυε οφ τηε διφφερενχε βετωεεν τηε ΜΛ εστιµατεσ φορ τηε τωο στιµυλυσ ϖαλυεσ ισ εθυαλ το %σ (βε− χαυσε τηε εστιµατε ισ υνβιασεδ) ανδ τηε ϖαριανχε οφ εαχη εστιµατε (φορ σµαλλ %σ) ισ 1/ ΙΦ (σ ). Τηυσ, τηε δισχριµιναβιλιτψ, δε⇒νεδ ιν εθυατιον 3.4, φορ τηε ΜΛ−βασεδ τεστ ισ 0 δ ′ = % σ ΙΦ ( σ ) . (3.49) Τηε λαργερ τηε Φισηερ ινφορµατιον, τηε ηιγηερ τηε δισχριµιναβιλιτψ. Ωε λεαϖε ασ αν εξερχισε τηε προοφ τηατ φορ σµαλλ %σ, τηισ δισχριµιναβιλιτψ ισ τηε σαµε ασ τηατ οφ τηε λικελιηοοδ ρατιο τεστ Ζ (ρ ) δε⇒νεδ ιν εθυατιον 3.19.

∆ισχριµινατιον βψ ΜΛ εστιµατιον ρεθυιρεσ µαξιµιζινγ τηε λικελιηοοδ, ανδ τηισ µαψ βε χοµπυτατιοναλλψ χηαλλενγινγ. Τηε λικελιηοοδ ρατιο τεστ δε− σχριβεδ πρεϖιουσλψ µαψ βε σιµπλερ, εσπεχιαλλψ φορ Ποισσον ϖαριαβιλιτψ, βε− χαυσε, φορ σµαλλ %σ, τηε λικελιηοοδ ρατιο τεστ Ζ δε⇒νεδ ιν εθυατιον 3.19 ισ α λινεαρ φυνχτιον οφ τηε ⇒ρινγ ρατεσ, Ζ=Τ

Ν ! α=1

ρα

φ α′ (σ ) . φ α (σ )

(3.50)

3.4

Σπικε−Τραιν ∆εχοδινγ

113

orientation threshold or (Ι Φ )-1/2 (degrees)

10

5

0 0

2000

1000

3000

Ν Φιγυρε 3.12 Χοµπαρισον οφ Φισηερ ινφορµατιον ανδ δισχριµινατιον τηρεσηολδσ φορ οριεντατιον τυνινγ. Τηε σολιδ χυρϖε ισ τηε µινιµυµ στανδαρδ δεϖιατιον οφ αν εστι− µατε οφ οριεντατιον ανγλε φροµ τηε Χραµ×ερ−Ραο βουνδ, πλοττεδ ασ α φυνχτιον οφ τηε νυµβερ οφ νευρονσ (Ν) ινϖολϖεδ ιν τηε εστιµατιον. Τηε τριανγλεσ αρε δατα ποιντσ φροµ αν εξπεριµεντ τηατ δετερµινεδ τηε τηρεσηολδ φορ δισχριµινατιον οφ τηε οριεν− τατιον οφ λινε ιµαγεσ βψ ηυµαν συβϕεχτσ ασ α φυνχτιον οφ λινε λενγτη ανδ εχχεντριχιτψ. Αν εφφεχτιϖε νυµβερ οφ νευρονσ ινϖολϖεδ ιν τηε τασκ ωασ εστιµατεδ φορ τηε διφφερ− εντ λινε λενγτησ ανδ εχχεντριχιτιεσ, υσινγ τηε χορτιχαλ µαγνι⇒χατιον φαχτορ δισχυσσεδ ιν χηαπτερ 2. (Αδαπτεδ φροµ Παραδισο, 1988.)

Φιγυρε 3.12 σηοωσ αν ιντερεστινγ χοµπαρισον οφ τηε Φισηερ ινφορµατιον φορ οριεντατιον τυνινγ ιν τηε πριµαρψ ϖισυαλ χορτεξ ωιτη ηυµαν οριεντα− τιον δισχριµινατιον τηρεσηολδσ. Αγρεεµεντ λικε τηισ χαν οχχυρ φορ διφ⇒χυλτ τασκσ, λικε δισχριµινατιον ατ τηρεσηολδ, ωηερε τηε περφορµανχε οφ α συβϕεχτ µαψ βε λιµιτεδ βψ βασιχ χονστραιντσ ον νευροναλ ενχοδινγ αχχυραχψ.

3.4

Σπικε−Τραιν ∆εχοδινγ

Τηε δεχοδινγ µετηοδσ ωε ηαϖε χονσιδερεδ εστιµατε ορ δισχριµινατε στατιχ στιµυλυσ ϖαλυεσ ον τηε βασισ οφ σπικε−χουντ ⇒ρινγ ρατεσ. Σπικε−χουντ ⇒ρινγ ρατεσ δο νοτ προϖιδε συφ⇒χιεντ ινφορµατιον φορ ρεχονστρυχτινγ α στιµυλυσ τηατ ϖαριεσ δυρινγ τηε χουρσε οφ α τριαλ. Ινστεαδ, ωε χαν εστιµατε συχη α στιµυλυσ φροµ τηε σεθυενχε οφ ⇒ρινγ τιµεσ τι φορ ι = 1, 2, . . . , ν οφ τηε σπικεσ τηατ ιτ εϖοκεσ. Ονε µετηοδ φορ δοινγ τηισ ισ σιµιλαρ το τηε Ωιενερ κερνελ αππροαχη υσεδ το εστιµατε τηε ⇒ρινγ ρατε φροµ τηε στιµυλυσ ιν χηαπτερ 2, ανδ το αππροξιµατε α ⇒ρινγ ρατε υσινγ α σλιδινγ ωινδοω φυνχτιον ιν χηαπ− τερ 1. Φορ σιµπλιχιτψ, ωε ρεστριχτ ουρ δισχυσσιον το τηε δεχοδινγ οφ α σινγλε νευρον. Ωε ασσυµε, ασ ωε διδ ιν χηαπτερ 2, τηατ τηε τιµε αϖεραγε οφ τηε στιµυλυσ βεινγ εστιµατεδ ισ 0. Ιν σπικε−τραιν δεχοδινγ, ωε αττεµπτ το χονστρυχτ αν εστιµατε οφ τηε στιµ− υλυσ ατ τιµε τ φροµ τηε σεθυενχε οφ σπικεσ εϖοκεδ υπ το τηατ τιµε. Τηερε αρε παραδοξιχαλ ασπεχτσ οφ τηισ προχεδυρε. Τηε ⇒ρινγ οφ αν αχτιον ποτεν− τιαλ ατ τιµε τι ισ ονλψ αφφεχτεδ βψ τηε στιµυλυσ σ (τ ) πριορ το τηατ τιµε, τ < τι , ανδ ψετ, ιν σπικε δεχοδινγ, ωε αττεµπτ το εξτραχτ ινφορµατιον φροµ τηισ

114

Νευραλ ∆εχοδινγ

A

B

σ 4

7

8

Κ 400

C

time

Χ

200

-200

Φιγυρε 3.13 Ιλλυστρατιον οφ σπικε−τραιν δεχοδινγ. (Α) Τηε τοπ τραχε δενοτεσ α στιµ− υλυσ τηατ εϖοκεσ τηε σπικε τραιν αππεαρινγ βελοω ιτ (σεχονδ τραχε φροµ τοπ). Ατ τιµε τ αν εστιµατε ισ βεινγ µαδε οφ τηε στιµυλυσ ατ τιµε τ − τ0 . Τηε εστιµατε ισ οβταινεδ βψ συµµινγ τηε ϖαλυεσ οφ τηε κερνελσ ωηερε τηεψ χροσσ τηε δασηεδ λινε λαβελεδ τ, φορ σπικεσ υπ το ανδ ινχλυδινγ σπικε 7. Τωο συχη κερνελσ αρε σηοων ιν τηε τηιρδ ανδ φουρτη τραχεσ φροµ τηε τοπ. Τηε ρεαλ εστιµατε ισ οβταινεδ βψ συµµινγ σιµιλαρ χοντριβυτιονσ φροµ αλλ οφ τηε σπικεσ. Τηε κερνελ ισ 0 φορ νεγατιϖε ϖαλυεσ οφ ιτσ αργυµεντ, σο σπικεσ φορ ι ≥ 8 δο νοτ χοντριβυτε το τηε εστιµατε ατ τηισ τιµε (ε.γ., ⇒φτη τραχε φροµ τοπ). (Β) Τηε κερνελ υσεδ ιν Α. Τηισ ηασ βεεν τρυνχατεδ το ζερο ϖαλυε φορ νεγατιϖε ϖαλυεσ οφ τ . (Χ) Τηε σπικε−τριγγερεδ αϖεραγε χορρεσπονδινγ το τηε κερνελ ιν Β, ασσυµινγ νο σπικε−τραιν χορρελατιονσ. Νοτε τηατ Χ ηασ βεεν πλοττεδ ωιτη τηε τ αξισ ρεϖερσεδ, φολλοωινγ τηε χονϖεντιον εσταβλισηεδ ιν χηαπτερ 1. Ωιτη τηισ χονϖεντιον, Κ ιν πανελ Β ισ σιµπλψ α σηιφτεδ ανδ τρυνχατεδ ϖερσιον οφ τηε χυρϖε αππεαρινγ ηερε. Ιν τηισ χασε τ0 = 160 µσ.

πρεδιχτιον δελαψ τ0

στιµυλυσ εστιµατε

αχτιον ποτεντιαλ αβουτ τηε ϖαλυε οφ τηε στιµυλυσ ατ α λατερ τιµε τ > τι . Τηατ ισ, τηε εϖοκεδ σπικεσ τελλ υσ αβουτ τηε παστ βεηαϖιορ οφ τηε στιµυλυσ ανδ, ιν σπικε δεχοδινγ, ωε αττεµπτ το υσε τηισ ινφορµατιον το πρεδιχτ τηε χυρ− ρεντ στιµυλυσ ϖαλυε. Χλεαρλψ, τηισ ρεθυιρεσ τηατ τηε στιµυλυσ ηαϖε σοµε φορµ οφ τεµποραλ χορρελατιον σο τηατ παστ βεηαϖιορ προϖιδεσ ινφορµατιον αβουτ τηε χυρρεντ στιµυλυσ ϖαλυε. Το µακε τηε δεχοδινγ τασκ εασιερ, ωε χαν ιντροδυχε α πρεδιχτιον δελαψ, τ0 , ανδ αττεµπτ το χονστρυχτ, φροµ σπικεσ οχχυρρινγ πριορ το τιµε τ, αν εστιµατε οφ τηε στιµυλυσ ατ τιµε τ − τ0 (σεε ⇒γυρε 3.13Α). Συχη α δελαψεδ εστιµατε υσεσ α χοµβινατιον οφ σπικεσ τηατ χουλδ ηαϖε βεεν ⇒ρεδ ιν ρεσπονσε το τηε στιµυλυσ σ (τ − τ0 ) βεινγ εστιµατεδ (τηοσε φορ ωηιχη τ − τ0 < τι < τ; σπικε 7 ιν ⇒γυρε 3.13Α), ανδ σπικεσ τηατ οχχυρρεδ τοο εαρλψ το βε αφφεχτεδ βψ τηε ϖαλυε οφ σ (τ − τ0 ) (τηοσε φορ ωηιχη τι < τ − τ0 ; σπικεσ 1−6 ιν ⇒γυρε 3.13Α), βυτ τηατ χαν χοντριβυτε το ιτσ εστιµα− τιον ον τηε βασισ οφ στιµυλυσ χορρελατιονσ. Τηε εστιµατιον τασκ γετσ εασιερ ασ τ0 ισ ινχρεασεδ, βυτ τηισ δελαψσ τηε δεχοδινγ ανδ µακεσ τηε ρεσυλτ λεσσ βεηαϖιοραλλψ ρελεϖαντ. Ωε ωιλλ χονσιδερ δεχοδινγ ωιτη αν αρβιτραρψ δελαψ ανδ λατερ δισχυσσ ηοω το σετ α σπεχι⇒χ ϖαλυε φορ τ0 . Τηε στιµυλυσ εστιµατε ισ χονστρυχτεδ ασ α λινεαρ συµ οϖερ αλλ σπικεσ. Α

3.4

Σπικε−Τραιν ∆εχοδινγ

115

σπικε οχχυρρινγ ατ τιµε τι χοντριβυτεσ α κερνελ Κ (τ − τι ), ανδ τηε τοταλ εστι− µατε ισ οβταινεδ βψ συµµινγ οϖερ αλλ σπικεσ, " ∞ ν ! σεστ (τ − τ0 ) = δτ Κ (τ) . (3.51) Κ (τ − τι ) − ⟨ρ⟩ ι=1

−∞

Τηε λαστ τερµ, ωιτη ⟨ρ⟩ = ⟨ν⟩/ Τ τηε αϖεραγε ⇒ρινγ ρατε οϖερ τηε τριαλ, ισ ιν− χλυδεδ το ιµποσε τηε χονδιτιον τηατ τηε τιµε αϖεραγε οφ σεστ ισ 0, ιν αγρεε− µεντ ωιτη τηε τιµε−αϖεραγε χονδιτιον ον σ. Τηε συµ ιν εθυατιον 3.51 ιν− χλυδεσ αλλ σπικεσ, σο τηε χονστραιντ τηατ ονλψ τηοσε σπικεσ οχχυρρινγ πριορ το τηε τιµε τ (σπικεσ 1−7 ιν ⇒γυρε 3.13Α) σηουλδ βε ινχλυδεδ µυστ βε ιµποσεδ βψ ρεθυιρινγ Κ (τ − τι ) = 0 φορ τ − τι ≤ 0. Α κερνελ σατισφψινγ τηισ χονστραιντ ισ τερµεδ χαυσαλ. Ωε ιγνορε τηε χαυσαλιτψ χονστραιντ φορ νοω ανδ χονστρυχτ αν αχαυσαλ κερνελ, βυτ ωε ωιλλ ρετυρν το ισσυεσ οφ χαυσαλιτψ λατερ ιν τηε δισ− χυσσιον. Φιγυρε 3.13Α σηοωσ ηοω σπικεσ χοντριβυτε το α στιµυλυσ εστιµατε, υσινγ τηε κερνελ σηοων ιν ⇒γυρε 3.13Β. Εθυατιον 3.51 χαν βε ωριττεν ιν α χοµπαχτ ωαψ βψ υσινγ τηε νευραλ ρε− / σπονσε φυνχτιον ρ(τ ) = δ(τ − τι ) ιντροδυχεδ ιν χηαπτερ 1, " ∞ σεστ (τ − τ0 ) = δτ (ρ(τ − τ) − ⟨ρ⟩) Κ (τ) . (3.52) −∞

Υσινγ τηισ φορµ οφ τηε εστιµατε, τηε χονστρυχτιον οφ τηε οπτιµαλ κερνελ Κ προχεεδσ ϖερψ µυχη λικε τηε χονστρυχτιον οφ τηε οπτιµαλ κερνελ φορ πρεδιχτ− ινγ ⇒ρινγ ρατεσ ιν χηαπτερ 2. Ωε χηοοσε Κ σο τηατ τηε σθυαρεδ διφφερενχε βετωεεν τηε εστιµατεδ στιµυλυσ ανδ τηε αχτυαλ στιµυλυσ, αϖεραγεδ οϖερ βοτη τιµε ανδ τριαλσ, +%" &2 , " ∞ 1 Τ δτ δτ (ρ(τ − τ) − ⟨ρ⟩) Κ (τ) − σ (τ − τ0 ) , (3.53) Τ 0 −∞ ισ µινιµιζεδ. Τηε χαλχυλατιον προχεεδσ ασ ιν αππενδιξ Α οφ χηαπτερ 2, ανδ τηε ρεσυλτ ισ τηατ Κ οβεψσ τηε εθυατιον " ∞ δτ ′ Θρρ (τ − τ ′ ) Κ (τ ′ ) = Θrσ (τ − τ0 ) , (3.54) −∞

ωηερε Θρρ ισ τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον, " 4 1 Τ 3 ′ Θρρ (τ − τ ) = δτ (ρ(τ − τ) − ⟨ρ⟩)(ρ(τ − τ ′ ) − ⟨ρ⟩) , Τ 0

(3.55)

ασ δε⇒νεδ ιν χηαπτερ 1. Θrσ ισ τηε χορρελατιον οφ τηε ⇒ρινγ ρατε ανδ τηε στιµ− υλυσ, ωηιχη ισ ρελατεδ το τηε σπικε−τριγγερεδ αϖεραγε Χ, βοτη ιντροδυχεδ ιν χηαπτερ 1, , + ν 1 ! Θrσ (τ − τ0 ) = ⟨ρ⟩Χ (τ0 − τ) = σ ( τι + τ − τ0 ) . (3.56) Τ ι=1 Ατ τηισ ποιντ ιν τηε δεριϖατιον οφ τηε οπτιµαλ λινεαρ κερνελ φορ ⇒ρινγ−ρατε πρεδιχτιον ιν χηαπτερ 2, ωε χηοσε τηε στιµυλυσ το βε υνχορρελατεδ σο τηατ αν

116

Νευραλ ∆εχοδινγ

ιντεγραλ εθυατιον σιµιλαρ το 3.54 ωουλδ βε σιµπλι⇒εδ. Τηισ χουλδ αλωαψσ βε δονε βεχαυσε ωε ηαϖε χοµπλετε χοντρολ οϖερ τηε στιµυλυσ ιν τηισ τψπε οφ εξπεριµεντ. Ηοωεϖερ, ωε δο νοτ ηαϖε σιµιλαρ χοντρολ οφ τηε νευρον, ανδ µυστ δεαλ ωιτη ωηατεϖερ σπικε−τραιν αυτοχορρελατιον φυνχτιον ιτ γιϖεσ υσ. Ιφ τηε σπικε τραιν ισ υνχορρελατεδ, ωηιχη τενδσ το ηαππεν ατ λοω ρατεσ, Θρρ (τ) = ⟨ρ⟩δ(τ) ,

(3.57)

ανδ ωε ⇒νδ φροµ εθυατιον 3.54 τηατ + , ν 1 1 ! Κ (τ) = Θrσ (τ − τ0 ) = Χ (τ0 − τ) = σ ( τι + τ − τ0 ) . ⟨ρ⟩ ⟨ν⟩ ι=1

(3.58)

Τηισ ισ τηε αϖεραγε ϖαλυε οφ τηε στιµυλυσ ατ τιµε τ − τ0 ρελατιϖε το τηε απ− πεαρανχε οφ α σπικε. Βεχαυσε τ − τ0 χαν βε ειτηερ ποσιτιϖε ορ νεγατιϖε, στιµυλυσ εστιµατιον, υνλικε ⇒ρινγ−ρατε εστιµατιον, ινϖολϖεσ βοτη φορωαρδ ανδ βαχκωαρδ χορρελατιον ανδ τηε αϖεραγε ϖαλυεσ οφ τηε στιµυλυσ βοτη βε− φορε ανδ αφτερ α σπικε. ∆εχοδινγ ιν τηισ ωαψ φολλοωσ α σιµπλε ρυλε: εϖερψ τιµε α σπικε αππεαρσ, ωε ρεπλαχε ιτ ωιτη τηε αϖεραγε στιµυλυσ συρρουνδινγ α σπικε, σηιφτεδ βψ αν αµουντ τ0 (⇒γυρε 3.13). Τηε νεεδ φορ ειτηερ στιµυλυσ χορρελατιονσ ορ α νονζερο πρεδιχτιον δελαψ ισ χλεαρ φροµ εθυατιον 3.58. Χορρελατιονσ βετωεεν α σπικε ανδ συβσεθυεντ στιµυλι χαν αρισε, ιν α χαυσαλ σψστεµ, ονλψ φροµ χορρελατιονσ βετωεεν τηε στιµυλυσ ανδ ιτσελφ. Ιφ τηεσε αρε αβσεντ, ασ φορ ωηιτε νοισε, Κ (τ) ωιλλ βε 0 φορ τ > τ0 . Φορ χαυσαλ δεχοδινγ, ωε µυστ αλσο ηαϖε Κ (τ) = 0 φορ τ < 0. Τηυσ, ιφ τ0 = 0 ανδ τηε στιµυλυσ ισ υνχορρελατεδ, Κ (τ) = 0 φορ αλλ ϖαλυεσ οφ τ. οπτιµαλ κερνελ

Ωηεν τηε σπικε−τραιν αυτοχορρελατιον φυνχτιον ισ νοτ α δ φυνχτιον, αν αχαυσαλ σολυτιον φορ Κ χαν βε εξπρεσσεδ ασ αν ινϖερσε Φουριερ τρανσφορµ, " 1 Κ (τ) = δω Κ˜ (ω) εξπ(−ιωτ) , (3.59) 2π ωηερε, ασ σηοων ιν αππενδιξ Χ, Θ˜ rσ (ω) εξπ(ιωτ0 ) Κ˜ (ω) = . Θ˜ ρρ (ω)

(3.60)

Ηερε Θ˜ rσ ανδ Θ˜ ρρ αρε τηε Φουριερ τρανσφορµσ οφ Θrσ ανδ Θρρ . Τηε νυ− µερατορ ιν τηισ εξπρεσσιον ρεπροδυχεσ τηε εξπρεσσιον Θrσ (τ − τ0 ) ιν εθυα− τιον 3.58. Τηε ρολε οφ τηε δενοµινατορ ισ το χορρεχτ φορ ανψ αυτοχορρελατιονσ ιν τηε ρεσπονσε σπικε τραιν. Συχη χορρελατιονσ ιντροδυχε α βιασ ιν τηε δε− χοδινγ, ανδ τηε δενοµινατορ ιν εθυατιον 3.60 χορρεχτσ φορ τηισ βιασ. Ιφ ωε ιγνορε τηε χονστραιντ οφ χαυσαλιτψ, τηεν, βεχαυσε τηε οχχυρρενχε οφ α σπικε χαννοτ δεπενδ ον τηε βεηαϖιορ οφ α στιµυλυσ ιν τηε ϖερψ δισταντ παστ, ωε χαν εξπεχτ Κ (τ) φροµ εθυατιον 3.58 το ϖανιση φορ συφ⇒χιεντλψ νεγατιϖε ϖαλυεσ οφ τ − τ0 . Φορ µοστ νευρονσ, τηισ ωιλλ οχχυρ φορ τ − τ0 µορε νεγατιϖε τηαν µινυσ α φεω ηυνδρεδ µσ. Τηε δεχοδινγ κερνελ χαν τηερεφορε βε µαδε

3.4

Σπικε−Τραιν ∆εχοδινγ

117

σµαλλ φορ νεγατιϖε ϖαλυεσ οφ τ βψ χηοοσινγ τ0 λαργε ενουγη, βυτ τηισ µαψ ρεθυιρε α φαιρλψ λαργε πρεδιχτιον δελαψ. Ωε χαν φορχε εξαχτ αδηερενχε το τηε χαυσαλιτψ χονστραιντ φορ τ < 0 βψ ρεπλαχινγ Κ (τ) βψ -(τ) Κ (τ), ωηερε χαυσαλιτψ χονστραιντ -(τ) ισ δε⇒νεδ συχη τηατ -(τ) = 1 φορ τ > 0 ανδ -(τ) = 0 φορ τ < 0. Τηε χαυσαλιτψ χονστραιντ ωασ ιµποσεδ ιν τηισ ωαψ ιν ⇒γυρε 3.13Β. Ωηεν ιτ ισ µυλτιπλιεδ βψ -(τ), τηε ρεστριχτεδ Κ ισ νο λονγερ τηε οπτιµαλ δεχοδινγ κερνελ, βυτ ιτ µαψ βε χλοσε το οπτιµαλ. Ανοτηερ ωαψ οφ ιµποσινγ χαυσαλιτψ ον τηε δεχοδινγ κερνελ ισ το εξπανδ Κ (τ) ασ α ωειγητεδ συµ οφ χαυσαλ βασισ φυνχτιονσ (φυνχτιονσ τηατ ϖανιση φορ νεγατιϖε αργυµεντσ ανδ σπαν τηε σπαχε οφ φυνχτιονσ σατισφψινγ τηε χαυσαλ χονστραιντ). Τηε οπτιµαλ ωειγητσ αρε τηεν δετερµινεδ βψ µινιµιζινγ τηε εστιµατιον ερρορ. Τηισ αππροαχη ηασ τηε αδϖανταγε οφ προδυχινγ α τρυλψ οπτιµαλ κερνελ φορ ανψ δεσιρεδ ϖαλυε οφ τ0 . Α σιµπλερ βυτ νονοπτιµαλ απ− προαχη ισ το χονσιδερ α ⇒ξεδ φυνχτιοναλ φορµ φορ Κ (τ) τηατ ϖανισηεσ φορ τ ≤ 0 ανδ ισ χηαραχτεριζεδ βψ α νυµβερ οφ φρεε παραµετερσ τηατ χαν βε δε− τερµινεδ βψ µινιµιζινγ τηε δεχοδινγ ερρορ. Φιναλλψ, τηε οπτιµαλ χαυσαλ κερνελ, αλσο χαλλεδ τηε Ωιενερ−Ηοπφ ⇒λτερ, χαν βε οβταινεδ βψ α τεχηνιθυε τηατ ινϖολϖεσ σο−χαλλεδ σπεχτραλ φαχτοριζατιον οφ Θ˜ ρρ (ω). Φιγυρε 3.14 σηοωσ αν εξαµπλε οφ σπικε−τραιν δεχοδινγ φορ τηε Η1 νευρον οφ τηε ⇓ψ δισχυσσεδ ιν χηαπτερ 2. Τηε τοπ πανελ γιϖεσ τωο ρεχονστρυχτιον κερνελσ, ονε αχαυσαλ ανδ ονε χαυσαλ, ανδ τηε βοττοµ πανελ χοµπαρεσ τηε ρε− χονστρυχτεδ στιµυλυσ ϖελοχιτψ ωιτη τηε αχτυαλ στιµυλυσ ϖελοχιτψ. Τηε µιδ− δλε πανελ ιν ⇒γυρε 3.14 ποιντσ ουτ ονε φυρτηερ ωρινκλε ιν τηε προχεδυρε. Φλιεσ ηαϖε τωο Η1 νευρονσ, ονε ον εαχη σιδε οφ τηε βοδψ, τηατ ρεσπονδ το µοτιον ιν οπποσιτε διρεχτιονσ. Ασ ισ οφτεν τηε χασε, ηαλφ−ωαϖε ρεχτι⇒χατιον πρεϖεντσ α σινγλε νευρον φροµ ενχοδινγ βοτη διρεχτιονσ οφ µοτιον. Ιν τηε εξπεριµεντ δεσχριβεδ ιν τηε ⇒γυρε, ρατηερ τηαν ρεχορδινγ φροµ βοτη Η1 νευρονσ, Βιαλεκ ετ αλ. (1991) ρεχορδεδ φροµ α σινγλε Η1 νευρον, βυτ πρε− σεντεδ βοτη τηε στιµυλυσ σ (τ ) ανδ ιτσ νεγατιϖε, −σ (τ ). Τηε τωο ροωσ οφ σπικεσ ιν τηε µιδδλε πανελ σηοω σαµπλε τραχεσ φορ εαχη οφ τηεσε πρεσεντα− τιονσ. Τηισ προχεδυρε προϖιδεσ α ρεασοναβλε αππροξιµατιον οφ ρεχορδινγ βοτη Η1 νευρονσ, ανδ προδυχεσ α νευρον/αντι−νευρον παιρ οφ ρεχορδινγσ σιµιλαρ το τηε ονε τηατ ωε δισχυσσεδ ιν χοννεχτιον ωιτη µοτιον δισχριµι− νατιον φροµ αρεα ΜΤ νευρονσ. Τηε στιµυλυσ ισ τηεν δεχοδεδ βψ συµµινγ τηε κερνελ Κ (τ − τι ) φορ αλλ σπικε τιµεσ τι οφ τηε ρεχορδεδ Η1 νευρον ανδ συµµινγ − Κ (τ − τ ϕ ) φορ αλλ σπικε τιµεσ τ ϕ οφ ιτσ αντι−νευρον παρτνερ. Τηε ⇓ψ ηασ ονλψ τωο Η1 νευρονσ φροµ ωηιχη ιτ µυστ εξτραχτ ινφορµατιον αβουτ ϖισυαλ µοτιον, σο ιτ σεεµσ ρεασοναβλε τηατ στιµυλυσ ρεχονστρυχτιον υσινγ τηε σπικε−τραιν δεχοδινγ τεχηνιθυε χαν προδυχε θυιτε αχχυρατε ρε− συλτσ (⇒γυρε 3.14). Ιτ ισ περηαπσ µορε συρπρισινγ τηατ αχχυρατε δεχοδινγ, ατ λεαστ ιν τηε σενσε οφ περχεντ χορρεχτ δισχριµινατιονσ, χαν βε οβταινεδ φροµ σινγλε νευρονσ ουτ οφ τηε λαργε ποπυλατιον οφ ΜΤ νευρονσ ρεσπονδ− ινγ το ϖισυαλ µοτιον ιν τηε µονκεψ. Οφ χουρσε, τηε ρεχονστρυχτιον οφ α τιµε−δεπενδεντ στιµυλυσ φροµ Η1 ρεσπονσεσ ισ µορε χηαλλενγινγ τηαν τηε βιναρψ δισχριµινατιον δονε ωιτη ΜΤ νευρονσ. Φυρτηερµορε, ιτ ισ ωορτη ρε− µεµβερινγ τηατ ιν αλλ τηε εξαµπλεσ ωε ηαϖε χονσιδερεδ, ινχλυδινγ δεχοδ− ινγ ωινδ διρεχτιον φροµ τηε χερχαλ σψστεµ ανδ αρµ µοϖεµεντ διρεχτιον

Νευραλ ∆εχοδινγ

kernel amplitude (degrees/σ)

118

20 0 -20 100

0

response

time (µσ)

60

velocity (degrees/σ)

40 20 0 -20 -40 -60 0

100

200

300

400

500

time (µσ)

Φιγυρε 3.14 ∆εχοδινγ τηε στιµυλυσ φροµ αν Η1 νευρον οφ τηε ⇓ψ. Τηε υππερ πανελ ισ τηε δεχοδινγ κερνελ. Τηε ϕαγγεδ χυρϖε ισ τηε οπτιµαλ αχαυσαλ ⇒λτερ, ανδ τηε σµοοτη χυρϖε ισ α κερνελ οβταινεδ βψ εξπανδινγ ιν α χαυσαλ σετ οφ βασισ φυνχτιονσ. Ιν βοτη χασεσ, τηε κερνελσ αρε σηιφτεδ βψ τ0 = 40 µσ. Τηε µιδδλε πανελ σηοωσ τψπιχαλ ρε− σπονσεσ οφ τηε Η1 νευρον το τηε στιµυλι σ (τ ) (υππερ τραχε) ανδ −σ (τ ) (βοττοµ τραχε). Τηε δασηεδ λινε ιν τηε λοωερ πανελ σηοωσ τηε αχτυαλ στιµυλυσ, ανδ τηε σολιδ λινε ισ τηε εστιµατεδ στιµυλυσ φροµ τηε οπτιµαλ λινεαρ ρεχονστρυχτιον υσινγ τηε αχαυσαλ ⇒λτερ. (Αδαπτεδ φροµ Ριεκε ετ αλ., 1997.)

φροµ α ποπυλατιον οφ Μ1 νευρονσ, τηε στιµυλι υσεδ αρε εξτρεµελψ σιµπλε χοµπαρεδ ωιτη τηε νατυραλλψ οχχυρρινγ στιµυλι τηατ µυστ βε ιντερπρετεδ δυρινγ νορµαλ βεηαϖιορ.

3.5

Χηαπτερ Συµµαρψ

Ωε ηαϖε χονσιδερεδ τηε δεχοδινγ οφ στιµυλυσ χηαραχτεριστιχσ φροµ τηε ρε− σπονσεσ τηεψ εϖοκε, ινχλυδινγ δισχριµινατιον βετωεεν στιµυλυσ ϖαλυεσ, τηε δεχοδινγ οφ στατιχ στιµυλι ον τηε βασισ οφ ποπυλατιον ρεσπονσεσ, ανδ τηε δεχοδινγ οφ δψναµιχ στιµυλυσ παραµετερσ φροµ σπικε τραινσ. ∆ισχριµινα− τιον ωασ στυδιεδ υσινγ τηε ρεχειϖερ οπερατινγ χηαραχτεριστιχ, λικελιηοοδ ρα−

3.6 Αππενδιχεσ

119

τιο τεστσ, ανδ τηε Νεψµαν−Πεαρσον λεµµα. Φορ στατιχ παραµετερ δεχοδινγ ωε ιντροδυχεδ τηε ϖεχτορ µετηοδ; Βαψεσιαν, µαξιµυµ α ποστεριορι, ανδ µαξιµυµ λικελιηοοδ ινφερενχε; τηε Φισηερ ινφορµατιον; ανδ τηε Χραµ×ερ− Ραο λοωερ βουνδ. Ωε αλσο σηοωεδ ηοω το υσε ιδεασ φροµ Ωιενερ ⇒λτερινγ το ρεχονστρυχτ αν αππροξιµατιον οφ α τιµε−ϖαρψινγ στιµυλυσ φροµ τηε σπικε τραινσ ιτ εϖοκεσ.

3.6

Αππενδιχεσ

Α: Τηε Νεψµαν−Πεαρσον Λεµµα Χονσιδερ τηε διφφερενχε %β ιν τηε ποωερ οφ τωο τεστσ τηατ ηαϖε ιδεντιχαλ σιζεσ α. Ονε υσεσ τηε λικελιηοοδ ρατιο λ (ρ ), ανδ τηε οτηερ υσεσ α διφφερεντ τεστ φυνχτιον η (ρ ). Φορ τηε τεστ η (ρ ) υσινγ τηε τηρεσηολδ ζη , " " αη ( ζη ) = δρ π[ρ|−]-(η (ρ ) − ζη ) ανδ βη ( ζη ) = δρ π[ρ|+]-(η (ρ ) − ζη ) . (3.61)

Σιµιλαρ εθυατιονσ ηολδ φορ τηε αλ ( ζλ ) ανδ βλ ( ζλ ) ϖαλυεσ φορ τηε τεστ λ (ρ ) υσινγ τηε τηρεσηολδ ζλ . Ωε υσε τηε - φυνχτιον, ωηιχη ισ 1 φορ ποσιτιϖε ανδ 0 φορ νεγατιϖε ϖαλυεσ οφ ιτσ αργυµεντ, το ιµποσε τηε χονδιτιον τηατ τηε τεστ ισ γρεατερ τηαν τηε τηρεσηολδ. Χοµπαρινγ τηε β ϖαλυεσ φορ τηε τωο τεστσ, ωε ⇒νδ " " %β = βλ ( ζλ )−βη ( ζη ) = δρ π[ρ|+]-(λ (ρ )− ζλ ) − δρ π[ρ|+]-(η (ρ )− ζη ) . (3.62)

Τηε ρανγε οφ ιντεγρατιον ωηερε λ (ρ ) ≥ ζλ ανδ αλσο η (ρ ) ≥ ζη χανχελσ βετωεεν τηεσε τωο ιντεγραλσ, σο, ιν α µορε χοµπαχτ νοτατιον, ωε χαν ωριτε " %β = δρ π[ρ|+] (-(λ (ρ )− ζλ )-( ζη − η (ρ )) − -( ζλ − λ (ρ ))-(η (ρ )− ζη )) . (3.63)

Υσινγ τηε δε⇒νιτιον λ (ρ ) = π[ρ|+]/ π[ρ|−], ωε χαν ρεπλαχε π[ρ|+] ωιτη λ (ρ ) π[ρ|−] ιν τηισ εθυατιον, γιϖινγ % & " %β = δρ λ (ρ ) π[ρ|−] -(λ (ρ )− ζλ )-( ζη − η (ρ )) − -( ζλ − λ (ρ ))-(η (ρ )− ζη ) .

(3.64)

Τηεν, δυε το τηε χονδιτιονσ ιµποσεδ ον λ (ρ ) βψ τηε - φυνχτιονσ ωιτηιν τηε ιντεγραλσ, ρεπλαχινγ λ (ρ ) βψ ζ χαν νειτηερ δεχρεασε τηε ϖαλυε οφ τηε ιντεγραλ ρεσυλτινγ φροµ τηε ⇒ρστ τερµ ιν τηε λαργε παρεντηεσεσ, νορ ινχρεασε τηε ϖαλυε αρισινγ φροµ τηε σεχονδ. Τηισ λεαδσ το τηε ινεθυαλιτψ " %β ≥ ζ δρ π[ρ|−] (-(λ (ρ )− ζλ )-( ζη − η (ρ )) − -( ζλ − λ (ρ ))-(η (ρ )− ζη )) . (3.65)

120

Νευραλ ∆εχοδινγ

Πυττινγ βαχκ τηε ρεγιον οφ ιντεγρατιον τηατ χανχελσ βετωεεν τηεσε τωο τερµσ (φορ ωηιχη λ (ρ ) ≥ ζλ ανδ η (ρ ) ≥ ζη ), ωε ⇒νδ 7" 8 " %β ≥ ζ δρ π[ρ|−]-(λ (ρ )− ζλ ) − δρ π[ρ|−]-(η (ρ )− ζη ) . (3.66) Βψ δε⇒νιτιον, τηεσε ιντεγραλσ αρε τηε σιζεσ οφ τηε τωο τεστσ, ωηιχη αρε εθυαλ βψ ηψποτηεσισ. Τηυσ %β ≥ 0, σηοωινγ τηατ νο τεστ χαν βε βεττερ τηαν τηε λικελιηοοδ ρατιο λ (ρ ), ατ λεαστ ιν τηε σενσε οφ µαξιµιζινγ τηε ποωερ φορ α γιϖεν σιζε.

Β: Τηε Χραµ×ερ−Ραο Βουνδ Χαυχηψ−Σχηωαρζ ινεθυαλιτψ

Τηε Χραµ×ερ−Ραο λοωερ βουνδ φορ αν εστιµατορ σεστ ισ βασεδ ον τηε Χαυχηψ− Σχηωαρζ ινεθυαλιτψ, ωηιχη στατεσ τηατ φορ ανψ τωο θυαντιτιεσ Α ανδ Β,

⟨ Α2 ⟩⟨ Β2 ⟩ ≥ ⟨ ΑΒ⟩2 . Το προϖε τηισ ινεθυαλιτψ, νοτε τηατ 9) *2 : ⟨ Β2 ⟩ Α − ⟨ ΑΒ⟩ Β ≥ 0

(3.67)

(3.68)

βεχαυσε ιτ ισ τηε αϖεραγε ϖαλυε οφ α σθυαρε. Χοµπυτινγ τηε σθυαρε γιϖεσ

⟨ Β2 ⟩2 ⟨ Α2 ⟩ − ⟨ ΑΒ⟩2 ⟨ Β2 ⟩ ≥ 0 ,

(3.69)

φροµ ωηιχη τηε ινεθυαλιτψ φολλοωσ διρεχτλψ. Χονσιδερ τηε ινεθυαλιτψ οφ εθυατιον 3.67 ωιτη Α = ∂ λν π/∂σ ανδ Β = σεστ − 2 ⟨σεστ ⟩. Φροµ εθυατιονσ 3.43 ανδ 3.39, ωε ηαϖε ⟨ Α2 ⟩ = ΙΦ ανδ ⟨ Β2 ⟩ = σεστ . Τηε Χαυχηψ−Σχηωαρζ ινεθυαλιτψ τηεν γιϖεσ 2 σεστ ( σ ) ΙΦ

62 ∂ λν π[ρ|σ] ≥ (σεστ − ⟨σεστ ⟩) . ∂σ 5

(3.70)

Το εϖαλυατε τηε εξπρεσσιον ον τηε ριγητ σιδε οφ τηε ινεθυαλιτψ 3.70, ωε διφ− φερεντιατε τηε δε⇒νινγ εθυατιον φορ τηε βιασ (εθυατιον 3.38), " σ + βεστ (σ ) = ⟨σεστ ⟩ = δρ π[ρ|σ]σεστ , (3.71) ωιτη ρεσπεχτ το σ το οβταιν

∂π[ρ|σ] σεστ ∂σ " ∂ λν π[ρ|σ] σεστ = δρ π[ρ|σ] ∂σ " ∂ λν π[ρ|σ] (σεστ − ⟨σεστ ⟩) . = δρ π[ρ|σ] ∂σ

′ 1 + βεστ (σ ) =

"

δρ

(3.72)

3.6 Αππενδιχεσ

121

Τηε λαστ εθυαλιτψ φολλοωσ φροµ τηε ιδεντιτψ " " ∂π[ρ|σ] ∂ λν π[ρ|σ] ⟨σεστ ⟩ = ⟨σεστ ⟩ δρ =0 (3.73) δρ π[ρ|σ] ∂σ ∂σ # βεχαυσε δρ π[ρ|σ] = 1. Τηε λαστ λινε οφ εθυατιον 3.72 ισ ϕυστ ανοτηερ ωαψ οφ ωριτινγ τηε εξπρεσσιον βεινγ σθυαρεδ ον τηε ριγητ σιδε οφ τηε ινεθυαλιτψ 3.70, σο χοµβινινγ τηισ ρεσυλτ ωιτη τηε ινεθυαλιτψ γιϖεσ 2 ′ σεστ (σ ) ΙΦ ≥ (1 + βεστ (σ ))2 ,

(3.74)

ωηιχη, ωηεν ρεαρρανγεδ, ισ τηε Χραµ×ερ−Ραο βουνδ οφ εθυατιον 3.41.

Χ: Τηε Οπτιµαλ Σπικε−∆εχοδινγ Φιλτερ Τηε οπτιµαλ λινεαρ κερνελ φορ σπικε−τραιν δεχοδινγ ισ δετερµινεδ βψ σολϖ− ινγ εθυατιον 3.54. Τηισ ισ δονε βψ τακινγ τηε Φουριερ τρανσφορµ οφ βοτη σιδεσ οφ τηε εθυατιον, τηατ ισ, µυλτιπλψινγ βοτη σιδεσ βψ εξπ(ιωτ) ανδ ιντε− γρατινγ οϖερ τ , " ∞ " ∞ " ∞ δτ ′ Θρρ (τ − τ ′ ) Κ (τ ′ ) = δτ εξπ(ιωτ) Θrσ (τ − τ0 ) . δτ εξπ(ιωτ) −∞

−∞

−∞

(3.75)

Βψ µακινγ τηε ρεπλαχεµεντ οφ ιντεγρατιον ϖαριαβλε τ → τ + τ0 , ωε ⇒νδ τηατ τηε ριγητ σιδε οφ τηισ εθυατιον ισ " ∞ δτ εξπ(ιωτ) Θrσ (τ) = εξπ(ιωτ0 ) Θ˜ rσ (ω) , (3.76) εξπ(ιωτ0 ) −∞

ωηερε Θ˜ rσ (ω) ισ τηε Φουριερ τρανσφορµ οφ Θrσ (τ). Τηε ιντεγραλ οφ τηε προδ− υχτ οφ τωο φυνχτιονσ τηατ αππεαρσ ον τηε λεφτ σιδε οφ εθυατιονσ 3.54 ανδ 3.75 ισ α χονϖολυτιον. Ασ α ρεσυλτ οφ τηε τηεορεµ ον τηε Φουριερ τρανσφορµσ οφ χονϖολυτιονσ (σεε τηε Ματηεµατιχαλ Αππενδιξ), " ∞ " ∞ δτ ′ Θρρ (τ − τ ′ ) Κ (τ ′ ) = Θ˜ ρρ (ω) Κ˜ (ω) , (3.77) δτ εξπ(ιωτ) −∞

−∞

ωηερε Θ˜ ρρ (ω) ανδ Κ˜ (ω) αρε τηε Φουριερ τρανσφορµσ οφ Θρρ (τ) ανδ Κ (τ) ρεσπεχτιϖελψ: " ∞ " ∞ ˜ ˜ δτ εξπ(ιωτ) Κ (τ) . Θρρ (ω) = δτ εξπ(ιωτ) Θρρ (τ) ανδ Κ (ω) = −∞

−∞

(3.78)

Πυττινγ τηε λεφτ ανδ ριγητ σιδεσ οφ εθυατιον 3.75 τογετηερ ασ ωε ηαϖε εϖαλ− υατεδ τηεµ, ωε ⇒νδ τηατ Θ˜ ρρ (ω) Κ˜ (ω) = εξπ(ιωτ0 ) Θ˜ rσ (ω) .

(3.79)

Εθυατιον 3.60 φολλοωσ διρεχτλψ φροµ τηισ ρεσυλτ, ανδ εθυατιον 3.59 τηεν δε− τερµινεσ Κ (τ) ασ τηε ινϖερσε Φουριερ τρανσφορµ οφ Κ˜ (ω).

122

3.7

Νευραλ ∆εχοδινγ

Αννοτατεδ Βιβλιογραπηψ

Στατιστιχαλ αναλψσισ οφ δισχριµινατιον, ϖαριουσ φορµσ οφ δεχοδινγ, τηε Νεψµαν−Πεαρσον λεµµα, τηε Φισηερ ινφορµατιον, ανδ τηε Χραµ×ερ−Ραο λοωερ βουνδ χαν βε φουνδ ιν Χοξ & Ηινχκλεψ (1974). Ρεχειϖερ οπερα− τορ χηαραχτεριστιχσ ανδ σιγναλ δετεχτιον τηεορψ αρε δεσχριβεδ χοµπρεηεν− σιϖελψ ιν Γρεεν & Σωετσ (1966) ανδ Γραηαµ (1989). Ουρ αχχουντ οφ σπικε− τραιν δεχοδινγ φολλοωσ τηατ οφ Ριεκε ετ αλ. (1997). Σπεχτραλ φαχτοριζατιον ισ δισχυσσεδ ιν Ποορ (1994). Νεωσοµε ετ αλ. (1989) ανδ Σαλζµαν ετ αλ. (1992) πρεσεντ ιµπορταντ ρεσυλτσ χονχερνινγ ϖισυαλ µοτιον δισχριµινατιον ανδ ρεχορδινγσ φροµ αρεα ΜΤ, ανδ Σηαδλεν ετ αλ. (1996) προϖιδεσ α τηεο− ρετιχαλλψ οριεντεδ ρεϖιεω. Τηε ϖεχτορ µετηοδ οφ ποπυλατιον δεχοδινγ ηασ βεεν χονσιδερεδ ιν τηε χοντεξτ οφ α νυµβερ οφ σψστεµσ, ανδ ρεφερενχεσ ινχλυδε Ηυµπηρεψ ετ αλ. (1970), Γεοργοπουλοσ ετ αλ. (1986 & 1988), ϖαν Γισβεργεν ετ αλ. (1987), ανδ Λεε ετ αλ. (1988). ςαριουσ τηεορετιχαλ ασπεχτσ οφ ποπυλατιον δεχοδινγ, συχη ασ ϖεχτορ ανδ ΜΛ δεχοδινγ ανδ τηε Φισηερ ινφορµατιον, τηατ χοµπρισε ουρ αχχουντ ωερε δεϖελοπεδ βψ Παραδισο (1988), Βαλδι ανδ Ηειλιγενβεργ (1988), ςογελσ (1990), Σνιππε & Κοενδερινκ (1992), Ζοηαρψ (1992), Σευνγ & Σοµπολινσκψ (1993), Τουρετζκψ ετ αλ. (1993), Σαλινασ & Αββοττ (1994), Σανγερ (1994, 1996), Σνιππε (1996), ανδ Οραµ ετ αλ. (1998). Ποπυλατιον χοδεσ αρε αλσο κνοων ασ χοαρσε χοδεσ ιν τηε χοννεχτιονιστ λιτερατυρε (Ηιν− τον, 1981). Ιν ουρ δισχυσσιον οφ τηε εφφεχτ οφ τυνινγ χυρϖε ωιδτησ ον τηε Φισηερ ινφορµατιον, ωε φολλοωεδ Ζηανγ ανδ Σεϕνοωσκι (1999), βυτ σεε αλσο Σνιππε & Κοενδερινκ (1992) ανδ Ηιντον (1984).

4

Ινφορµατιον Τηεορψ

4.1

Εντροπψ ανδ Μυτυαλ Ινφορµατιον

Νευραλ ενχοδινγ ανδ δεχοδινγ φοχυσ ον τηε θυεστιον nΩηατ δοεσ τηε ρε− σπονσε οφ α νευρον τελλ υσ αβουτ α στιµυλυσ?n Ιν τηισ χηαπτερ ωε χονσιδερ α ρελατεδ βυτ διφφερεντ θυεστιον nΗοω µυχη δοεσ τηε νευραλ ρεσπονσε τελλ υσ αβουτ α στιµυλυσ?n Τηε τεχηνιθυεσ οφ ινφορµατιον τηεορψ αλλοω υσ το ανσωερ τηισ θυεστιον ιν α θυαντιτατιϖε µαννερ. Φυρτηερµορε, ωε χαν υσε τηεµ το ασκ ωηατ φορµσ οφ νευραλ ρεσπονσε αρε οπτιµαλ φορ χονϖεψινγ ιν− φορµατιον αβουτ νατυραλ στιµυλι. Ινφορµατιον τηεορετιχ πρινχιπλεσ πλαψ αν ιµπορταντ ρολε ιν µανψ οφ τηε υνσυπερϖισεδ λεαρνινγ µετηοδσ τηατ αρε δισ− χυσσεδ ιν χηαπτερσ 8 ανδ 10. Σηαννον ινϖεντεδ ινφορµατιον τηεορψ ασ α γενεραλ φραµεωορκ φορ θυαν− τιφψινγ τηε αβιλιτψ οφ α χοδινγ σχηεµε ορ α χοµµυνιχατιον χηαννελ (συχη ασ τηε οπτιχ νερϖε) το χονϖεψ ινφορµατιον. Ιτ ισ ασσυµεδ τηατ τηε χοδε ιν− ϖολϖεσ α νυµβερ οφ σψµβολσ (συχη ασ διφφερεντ νευροναλ ρεσπονσεσ), ανδ τηατ τηε χοδινγ ανδ τρανσµισσιον προχεσσεσ αρε στοχηαστιχ ανδ νοισψ. Τηε θυαντιτιεσ ωε χονσιδερ ιν τηισ χηαπτερ, τηε εντροπψ ανδ τηε µυτυαλ ινφορ− µατιον, δεπενδ ον τηε προβαβιλιτιεσ ωιτη ωηιχη τηεσε σψµβολσ, ορ χοµβι− νατιονσ οφ τηεµ, αρε υσεδ. Εντροπψ ισ α µεασυρε οφ τηε τηεορετιχαλ χαπαχιτψ οφ α χοδε το χονϖεψ ινφορµατιον. Μυτυαλ ινφορµατιον µεασυρεσ ηοω µυχη οφ τηατ χαπαχιτψ ισ αχτυαλλψ υσεδ ωηεν τηε χοδε ισ εµπλοψεδ το δεσχριβε α παρτιχυλαρ σετ οφ δατα. Χοµµυνιχατιον χηαννελσ, ιφ τηεψ αρε νοισψ, ηαϖε ονλψ λιµιτεδ χαπαχιτιεσ το χονϖεψ ινφορµατιον. Τηε τεχηνιθυεσ οφ ινφορµα− τιον τηεορψ αρε υσεδ το εϖαλυατε τηεσε λιµιτσ ανδ ⇒νδ χοδινγ σχηεµεσ τηατ σατυρατε τηεµ. Ιν νευροσχιενχε αππλιχατιονσ, τηε σψµβολσ ωε χονσιδερ αρε νευροναλ ρε− σπονσεσ, ανδ τηε δατα σετσ τηεψ δεσχριβε αρε στιµυλυσ χηαραχτεριστιχσ. Ιν τηε µοστ χοµπλετε αναλψσεσ, ωηιχη αρε χονσιδερεδ ατ τηε ενδ οφ τηε χηαπτερ, τηε νευροναλ ρεσπονσε ισ χηαραχτεριζεδ βψ α λιστ οφ αχτιον ποτεντιαλ ⇒ρινγ τιµεσ. Τηε σψµβολσ βεινγ αναλψζεδ ιν τηισ χασε αρε σεθυενχεσ οφ αχτιον ποτεντιαλσ. Χοµπυτινγ τηε εντροπψ ανδ µυτυαλ ινφορµατιον φορ σπικε σεθυενχεσ χαν βε διφ⇒χυλτ βεχαυσε τηε φρεθυενχψ οφ οχχυρρενχε οφ µανψ διφφερεντ σπικε σεθυενχεσ µυστ βε δετερµινεδ. Τηισ τψπιχαλλψ ρεθυιρεσ α λαργε αµουντ οφ

124

Ινφορµατιον Τηεορψ

δατα. Φορ τηισ ρεασον, µανψ ινφορµατιον τηεορψ αναλψσεσ υσε σιµπλι⇒εδ δε− σχριπτιονσ οφ τηε ρεσπονσε οφ α νευρον τηατ ρεδυχε τηε νυµβερ οφ ποσσιβλε mσψµβολσn (ι.ε., ρεσπονσεσ) τηατ νεεδ το βε χονσιδερεδ. Ωε δισχυσσ χασεσ ιν ωηιχη τηε σψµβολσ χονσιστ οφ ρεσπονσεσ δεσχριβεδ βψ σπικε−χουντ ⇒ρινγ ρατεσ. Ωε αλσο χονσιδερ τηε εξτενσιον το χοντινυουσ−ϖαλυεδ ⇒ρινγ ρατεσ. Βεχαυσε α ρεδυχεδ δεσχριπτιον οφ α σπικε τραιν χαν χαρρψ νο µορε ινφορµα− τιον τηαν τηε φυλλ σπικε τραιν ιτσελφ, τηισ αππροαχη προϖιδεσ α λοωερ βουνδ ον τηε αχτυαλ ινφορµατιον χαρριεδ βψ τηε σπικε τραιν.

Εντροπψ Εντροπψ ισ α θυαντιτψ τηατ, ρουγηλψ σπεακινγ, µεασυρεσ ηοω mιντερεστινγn ορ mσυρπρισινγn α σετ οφ ρεσπονσεσ ισ. Συπποσε τηατ ωε αρε γιϖεν α σετ οφ νευραλ ρεσπονσεσ. Ιφ εαχη ρεσπονσε ισ ιδεντιχαλ, ορ ιφ ονλψ α φεω διφφερεντ ρεσπονσεσ αππεαρ, ωε µιγητ χονχλυδε τηατ τηισ δατα σετ ισ ρελατιϖελψ υν− ιντερεστινγ. Α µορε ιντερεστινγ σετ µιγητ σηοω α λαργερ ρανγε οφ διφφερεντ ρεσπονσεσ, περηαπσ ιν α ηιγηλψ ιρρεγυλαρ ανδ υνπρεδιχταβλε σεθυενχε. Ηοω χαν ωε θυαντιφψ τηισ ιντυιτιϖε νοτιον οφ αν ιντερεστινγ σετ οφ ρεσπονσεσ? Ωε βεγιν βψ χηαραχτεριζινγ τηε ρεσπονσεσ ιν τερµσ οφ τηειρ σπικε−χουντ ⇒ρ− ινγ ρατεσ (ι.ε., τηε νυµβερ οφ σπικεσ διϖιδεδ βψ τηε τριαλ δυρατιον), ωηιχη χαν τακε α δισχρετε σετ οφ διφφερεντ ϖαλυεσ. Τηε µετηοδσ ωε δισχυσσ αρε βασεδ ον τηε προβαβιλιτιεσ Π[ρ] οφ οβσερϖινγ α ρεσπονσε ωιτη α σπικε−χουντ ρατε ρ. Τηε µοστ ωιδελψ υσεδ µεασυρε οφ εντροπψ, δυε το Σηαννον, εξ− πρεσσεσ τηε mσυρπρισεn ασσοχιατεδ ωιτη σεεινγ α ρεσπονσε ρατε ρ ασ α φυνχ− τιον οφ τηε προβαβιλιτψ οφ γεττινγ τηατ ρεσπονσε, η ( Π[ρ] ), ανδ θυαντι⇒εσ τηε εντροπψ ασ τηε αϖεραγε οφ η ( Π[ρ] ) οϖερ αλλ ποσσιβλε ρεσπονσεσ. Τηε φυνχτιον η ( Π[ρ] ), ωηιχη αχτσ ασ α µεασυρε οφ συρπρισε, ισ χηοσεν το σατισφψ α νυµ− βερ οφ χονδιτιονσ. Φιρστ, η ( Π[ρ] ) σηουλδ βε α δεχρεασινγ φυνχτιον οφ Π[ρ] βεχαυσε λοω προβαβιλιτψ ρεσπονσεσ αρε µορε συρπρισινγ τηαν ηιγη προβα− βιλιτψ ρεσπονσεσ. Φυρτηερ, τηε συρπρισε µεασυρε φορ α ρεσπονσε τηατ χονσιστσ οφ τωο ινδεπενδεντ σπικε χουντσ σηουλδ βε τηε συµ οφ τηε µεασυρεσ φορ εαχη σπικε χουντ σεπαρατελψ. Τηισ ασσυρεσ τηατ τηε εντροπψ ανδ ινφορµατιον µεασυρεσ ωε υλτιµατελψ οβταιν ωιλλ βε αδδιτιϖε φορ ινδεπενδεντ σουρχεσ. Συπποσε ωε ρεχορδ ρατεσ ρ1 ανδ ρ2 φροµ τωο νευρονσ τηατ ρεσπονδ ινδε− πενδεντλψ οφ εαχη οτηερ. Βεχαυσε τηε ρεσπονσεσ αρε ινδεπενδεντ, τηε προβ− αβιλιτψ οφ γεττινγ τηισ παιρ οφ ρεσπονσεσ ισ τηε προδυχτ οφ τηειρ ινδιϖιδυαλ προβαβιλιτιεσ, Π[ρ1 ]Π[ρ2 ], σο τηε αδδιτιϖιτψ χονδιτιον ρεθυιρεσ τηατ η ( Π[ρ1 ]Π[ρ2 ] ) = η ( Π[ρ1 ] ) + η ( Π[ρ2 ] ) .

βιτσ

(4.1)

Τηε λογαριτηµ ισ τηε ονλψ φυνχτιον τηατ σατισ⇒εσ συχη αν ιδεντιτψ φορ αλλ Π. Τηυσ, ιτ ονλψ ρεµαινσ το δεχιδε ωηατ βασε το υσε φορ τηε λογαριτηµ. Βψ χον− ϖεντιον, βασε 2 λογαριτηµσ αρε υσεδ σο τηατ ινφορµατιον χαν βε χοµπαρεδ εασιλψ ωιτη ρεσυλτσ φορ βιναρψ σψστεµσ. Το ινδιχατε τηατ τηε βασε 2 λογαριτηµ ισ βεινγ υσεδ, ινφορµατιον ισ ρεπορτεδ ιν υνιτσ οφ mβιτσn, ωιτη η ( Π[ρ] ) = − λογ2 Π[ρ] .

(4.2)

4.1

Εντροπψ ανδ Μυτυαλ Ινφορµατιον

125

Τηε µινυσ σιγν µακεσ η α δεχρεασινγ φυνχτιον οφ ιτσ αργυµεντ, ασ ρεθυιρεδ. Νοτε τηατ ινφορµατιον ισ ρεαλλψ α διµενσιονλεσσ νυµβερ. Τηε βιτ, λικε τηε ραδιαν φορ ανγλεσ, ισ νοτ α διµενσιοναλ υνιτ βυτ α ρεµινδερ τηατ α παρτιχυλαρ σψστεµ ισ βεινγ υσεδ. Εξπρεσσιον (4.2) θυαντι⇒εσ τηε συρπρισε ορ υνπρεδιχταβιλιτψ ασσοχιατεδ ωιτη α παρτιχυλαρ ρεσπονσε. Σηαννονaσ εντροπψ ισ ϕυστ τηισ µεασυρε αϖεραγεδ οϖερ αλλ ρεσπονσεσ, ! Η=− Π[ρ] λογ2 Π[ρ] . (4.3) ρ

Ιν τηε συµ τηατ δετερµινεσ τηε εντροπψ, τηε φαχτορ η = − λογ2 Π[ρ] ισ µυλ− τιπλιεδ βψ τηε προβαβιλιτψ τηατ τηε ρεσπονσε ωιτη ρατε ρ οχχυρσ. Ρεσπονσεσ ωιτη εξτρεµελψ λοω προβαβιλιτιεσ µαψ χοντριβυτε λιττλε το τηε τοταλ εντροπψ, δεσπιτε ηαϖινγ λαργε η ϖαλυεσ, βεχαυσε τηεψ οχχυρ σο ραρελψ. Ιν τηε λιµιτ ωηεν Π[ρ] → 0, η → ∞, βυτ αν εϖεντ τηατ δοεσ νοτ οχχυρ δοεσ νοτ χον− τριβυτε το τηε εντροπψ βεχαυσε τηε προβλεµατιχ εξπρεσσιον −0 λογ2 0 ισ εϖαλ− υατεδ ασ −ϵ λογ2 ϵ ιν τηε λιµιτ ϵ → 0, ωηιχη ισ 0. ςερψ ηιγη προβαβιλιτψ ρε− σπονσεσ αλσο χοντριβυτε λιττλε βεχαυσε τηεψ ηαϖε η ≈ 0. Τηε ρεσπονσεσ τηατ χοντριβυτε µοστ το τηε εντροπψ ηαϖε ηιγη ενουγη προβαβιλιτιεσ σο τηατ τηεψ αππεαρ ωιτη α φαιρ φρεθυενχψ, βυτ νοτ ηιγη ενουγη το µακε η τοο σµαλλ. Χοµπυτινγ τηε εντροπψ ιν σοµε σιµπλε χασεσ ηελπσ προϖιδε α φεελ φορ ωηατ ιτ µεασυρεσ. Φιρστ, ιµαγινε τηε λεαστ ιντερεστινγ σιτυατιον: ωηεν α νευρον ρεσπονδσ εϖερψ τιµε βψ ⇒ρινγ ατ τηε σαµε ρατε. Ιν τηισ χασε, αλλ οφ τηε προβα− βιλιτιεσ Π[ρ] αρε 0, εξχεπτ φορ ονε οφ τηεµ, ωηιχη ισ 1. Τηισ µεανσ τηατ εϖερψ τερµ ιν τηε συµ οφ εθυατιον (4.3) ισ 0 βεχαυσε ειτηερ Π[ρ] = 0 ορ λογ2 1 = 0. Τηυσ, α σετ οφ ιδεντιχαλ ρεσπονσεσ ηασ ζερο εντροπψ. Νεξτ, ιµαγινε τηατ τηε νευρον ρεσπονδσ ιν ονλψ τωο ποσσιβλε ωαψσ, ειτηερ ωιτη ρατε ρ+ ορ ρ− . Ιν τηισ χασε, τηερε αρε ονλψ τωο νονζερο τερµσ ιν εθυατιον (4.3), ανδ, υσινγ τηε φαχτ τηατ Π[ρ− ] = 1 − Π[ρ+ ], τηε εντροπψ ισ Η = −(1 − Π[ρ+ ] ) λογ2 (1 − Π[ρ+ ] ) − Π[ρ+ ] λογ2 Π[ρ+ ] .

(4.4)

Τηισ εντροπψ, πλοττεδ ιν ⇒γυρε 4.1Α, τακεσ ιτσ µαξιµυµ ϖαλυε οφ 1 βιτ ωηεν Π[ρ− ] = Π[ρ+ ] = 1/2. Τηυσ, α χοδε χονσιστινγ οφ τωο εθυαλλψ λικελψ ρε− σπονσεσ ηασ ονε βιτ οφ εντροπψ.

Μυτυαλ Ινφορµατιον Το χονϖεψ ινφορµατιον αβουτ α σετ οφ στιµυλι, νευραλ ρεσπονσεσ µυστ βε διφφερεντ φορ διφφερεντ στιµυλι. Εντροπψ ισ α µεασυρε οφ ρεσπονσε ϖαριαβιλ− ιτψ, βυτ ιτ δοεσ νοτ τελλ υσ ανψτηινγ αβουτ τηε σουρχε οφ τηατ ϖαριαβιλιτψ. Α νευρον χαν προϖιδε ινφορµατιον αβουτ α στιµυλυσ ονλψ ιφ ιτσ ρεσπονσε ϖαρι− αβιλιτψ ισ χορρελατεδ ωιτη χηανγεσ ιν τηατ στιµυλυσ, ρατηερ τηαν βεινγ πυρελψ ρανδοµ ορ χορρελατεδ ωιτη οτηερ υνρελατεδ φαχτορσ. Ονε ωαψ το δετερµινε ωηετηερ ρεσπονσε ϖαριαβιλιτψ ισ χορρελατεδ ωιτη στιµυλυσ ϖαριαβιλιτψ ισ το χοµπαρε τηε ρεσπονσεσ οβταινεδ υσινγ α διφφερεντ στιµυλυσ ον εϖερψ τριαλ ωιτη τηοσε µεασυρεδ ιν τριαλσ ινϖολϖινγ ρεπεατεδ πρεσεντατιονσ οφ τηε σαµε

εντροπψ

126

Ινφορµατιον Τηεορψ

B 1.0

1.0

0.8

0.8

Ιµ (bits)

Η (bits)

A

0.6 0.4 0.2

0.6 0.4 0.2

0.0

0.0 0.0

0.2

0.4

0.6

0.8

1.0

0.0

Π [ρ+]

0.1

0.2

0.3

0.4

0.5

ΠΞ

Φιγυρε 4.1 (Α) Τηε εντροπψ οφ α βιναρψ χοδε. Π[ρ+ ] ισ τηε προβαβιλιτψ οφ α ρεσπονσε ατ ρατε ρ+ , ανδ Π[ρ− ] = 1 − Π[ρ+ ] ισ τηε προβαβιλιτψ οφ τηε οτηερ ρεσπονσε, ρ− . Τηε εντροπψ ισ µαξιµυµ ωηεν Π[ρ− ] = Π[ρ+ ] = 1/2. (Β) Τηε µυτυαλ ινφορµατιον φορ α βιναρψ ενχοδινγ οφ α βιναρψ στιµυλυσ. ΠΞ ισ τηε προβαβιλιτψ οφ αν ινχορρεχτ ρε− σπονσε βεινγ εϖοκεδ. Τηε πλοτ σηοωσ ονλψ ΠΞ ≤ 1/2 βεχαυσε ϖαλυεσ οφ ΠΞ > 1/2 χορρεσπονδ το αν ενχοδινγ ιν ωηιχη τηε ρελατιονσηιπ βετωεεν τηε τωο ρεσπονσεσ ανδ τηε τωο στιµυλι ισ ρεϖερσεδ ανδ τηε ερρορ προβαβιλιτψ ισ 1 − ΠΞ .

στιµυλυσ. Ρεσπονσεσ τηατ αρε ινφορµατιϖε αβουτ τηε ιδεντιτψ οφ τηε στιµυ− λυσ σηουλδ εξηιβιτ λαργερ ϖαριαβιλιτψ φορ τριαλσ ινϖολϖινγ διφφερεντ στιµυλι τηαν φορ τριαλσ τηατ υσε τηε σαµε στιµυλυσ ρεπετιτιϖελψ. Μυτυαλ ινφορµατιον ισ αν εντροπψ−βασεδ µεασυρε ρελατεδ το τηισ ιδεα. Τηε µυτυαλ ινφορµατιον ισ τηε διφφερενχε βετωεεν τηε τοταλ ρεσπονσε εν− τροπψ ανδ τηε αϖεραγε ρεσπονσε εντροπψ ον τριαλσ τηατ ινϖολϖε ρεπετιτιϖε πρεσεντατιον οφ τηε σαµε στιµυλυσ. Συβτραχτινγ τηε εντροπψ ωηεν τηε στιµ− υλυσ δοεσ νοτ χηανγε ρεµοϖεσ φροµ τηε τοταλ εντροπψ τηε χοντριβυτιον φροµ ρεσπονσε ϖαριαβιλιτψ τηατ ισ νοτ ασσοχιατεδ ωιτη τηε ιδεντιτψ οφ τηε στιµυλυσ. Ωηεν τηε ρεσπονσεσ αρε χηαραχτεριζεδ βψ α σπικε−χουντ ρατε, τηε τοταλ ρε− σπονσε εντροπψ ισ γιϖεν βψ εθυατιον 4.3. Τηε εντροπψ οφ τηε ρεσπονσεσ εϖοκεδ βψ ρεπεατεδ πρεσεντατιονσ οφ α γιϖεν στιµυλυσ σ ισ χοµπυτεδ υσ− ινγ τηε χονδιτιοναλ προβαβιλιτψ Π[ρ|σ], τηε προβαβιλιτψ οφ α ρεσπονσε ατ ρατε ρ γιϖεν τηατ στιµυλυσ σ ωασ πρεσεντεδ, ινστεαδ οφ τηε ρεσπονσε προβαβιλιτψ Π[ρ] ιν εθυατιον 4.3. Τηε εντροπψ οφ τηε ρεσπονσεσ το α γιϖεν στιµυλυσ ισ τηυσ ! Ησ = − Π[ρ|σ] λογ2 Π[ρ|σ] . (4.5) ρ

νοισε εντροπψ

Ιφ ωε αϖεραγε τηισ θυαντιτψ οϖερ αλλ τηε στιµυλι, ωε οβταιν α θυαντιτψ χαλλεδ τηε νοισε εντροπψ ! ! Ηνοισε = Π[σ]Ησ = − Π[σ]Π[ρ|σ] λογ2 Π[ρ|σ] . (4.6) σ

σ,ρ

Τηισ ισ τηε εντροπψ ασσοχιατεδ ωιτη τηατ παρτ οφ τηε ρεσπονσε ϖαριαβιλιτψ τηατ ισ νοτ δυε το χηανγεσ ιν τηε στιµυλυσ, βυτ αρισεσ φροµ οτηερ σουρχεσ. Τηε µυτυαλ ινφορµατιον ισ οβταινεδ βψ συβτραχτινγ τηε νοισε εντροπψ φροµ τηε

4.1

Εντροπψ ανδ Μυτυαλ Ινφορµατιον

127

φυλλ ρεσπονσε εντροπψ, ωηιχη φροµ εθυατιονσ 4.3 ανδ 4.6 γιϖεσ ! ! Ιµ = Η − Ηνοισε = − Π[ρ] λογ2 Π[ρ] + Π[σ]Π[ρ|σ] λογ2 Π[ρ|σ] . ρ

(4.7)

σ, ρ

Τηε προβαβιλιτψ οφ α ρεσπονσε ρ ισ ρελατεδ το τηε χονδιτιοναλ προβαβιλιτψ Π[ρ|σ] ανδ τηε προβαβιλιτψ Π[σ] τηατ στιµυλυσ σ ισ πρεσεντεδ βψ τηε ιδεντιτψ (χηαπτερ 3), ! Π[ρ] = Π[σ]Π[ρ|σ] . (4.8) σ

Υσινγ τηισ, ανδ ωριτινγ τηε διφφερενχε οφ τηε τωο λογαριτηµσ ιν εθυατιον 4.7 ασ τηε λογαριτηµ οφ τηε ρατιο οφ τηειρ αργυµεντσ, ωε χαν ρεωριτε τηε µυτυαλ µυτυαλ ινφορµατιον ινφορµατιον ασ % & ! Π[ρ|σ] Ιµ = Π[σ]Π[ρ|σ] λογ2 . (4.9) Π[ρ] σ, ρ Ρεχαλλ φροµ χηαπτερ 3 τηατ Π[ρ, σ] = Π[σ]Π[ρ|σ] = Π[ρ]Π[σ|ρ] ,

(4.10)

ωηερε Π[ρ, σ] ισ τηε ϕοιντ προβαβιλιτψ οφ στιµυλυσ σ αππεαρινγ ανδ ρεσπονσε ρ βεινγ εϖοκεδ. Εθυατιον 4.10 χαν βε υσεδ το δεριϖε ψετ ανοτηερ φορµ φορ τηε µυτυαλ ινφορµατιον, % & ! Π[ρ, σ] Ιµ = Π[ρ, σ] λογ2 . (4.11) Π[ρ]Π[σ] σ, ρ Τηισ εθυατιον ρεϖεαλσ τηατ τηε µυτυαλ ινφορµατιον ισ σψµµετριχ ωιτη ρε− σπεχτ το ιντερχηανγε οφ σ ανδ ρ, ωηιχη µεανσ τηατ τηε µυτυαλ ινφορµατιον τηατ α σετ οφ ρεσπονσεσ χονϖεψσ αβουτ α σετ οφ στιµυλι ισ ιδεντιχαλ το τηε µυ− τυαλ ινφορµατιον τηατ τηε σετ οφ στιµυλι χονϖεψσ αβουτ τηε ρεσπονσεσ. Το σεε τηισ εξπλιχιτλψ, ωε αππλψ εθυατιον 4.10 αγαιν το ωριτε ! ! Ιµ = − Π[σ] λογ2 Π[σ] + Π[ρ]Π[σ|ρ] λογ2 Π[σ|ρ] . (4.12) σ

σ,ρ

Τηισ ρεσυλτ ισ τηε σαµε ασ εθυατιον 4.7, εξχεπτ τηατ τηε ρολεσ οφ τηε στιµυ− λυσ ανδ τηε ρεσπονσε ηαϖε βεεν ιντερχηανγεδ. Εθυατιον 4.12 σηοωσ ηοω ρεσπονσε ϖαριαβιλιτψ λιµιτσ τηε αβιλιτψ οφ α σπικε τραιν το χαρρψ ινφορµατιον. Τηε σεχονδ τερµ ον τηε ριγητ σιδε, ωηιχη ισ νεγατιϖε, ισ τηε αϖεραγε υνχερ− ταιντψ αβουτ τηε ιδεντιτψ οφ τηε στιµυλυσ γιϖεν τηε ρεσπονσε, ανδ ρεδυχεσ τηε τοταλ στιµυλυσ εντροπψ ρεπρεσεντεδ βψ τηε ⇒ρστ τερµ. Το προϖιδε σοµε χονχρετε εξαµπλεσ, ωε χοµπυτε τηε µυτυαλ ινφορµατιον φορ α φεω σιµπλε χασεσ. Φιρστ, συπποσε τηατ τηε ρεσπονσεσ οφ τηε νευρον αρε χοµπλετελψ υναφφεχτεδ βψ τηε ιδεντιτψ οφ τηε στιµυλυσ. Ιν τηισ χασε, Π[ρ|σ] = Π[ρ], ανδ φροµ εθυατιον 4.9 ιτ φολλοωσ ιµµεδιατελψ τηατ Ιµ = 0. Ατ τηε οτηερ εξτρεµε, συπποσε τηατ εαχη στιµυλυσ σ προδυχεσ α υνιθυε ανδ

128

Ινφορµατιον Τηεορψ

διστινχτ ρεσπονσε ρσ . Τηεν, Π[ρσ ] = Π[σ] ανδ Π[ρ|σ] ισ 1 ιφ ρ = ρσ ανδ 0 οτη− ερωισε. Τηισ χαυσεσ τηε συµ οϖερ ρ ιν εθυατιον 4.9 το χολλαπσε το ϕυστ ονε τερµ, ανδ τηε µυτυαλ ινφορµατιον βεχοµεσ % & ! ! 1 =− Π[σ] λογ2 Π[σ] . (4.13) Ιµ = Π[σ] λογ2 Π[ρσ ] σ σ Τηε λαστ εξπρεσσιον, ωηιχη φολλοωσ φροµ τηε φαχτ τηατ Π[ρσ ] = Π[σ], ισ τηε εν− τροπψ οφ τηε στιµυλυσ. Τηυσ, ωιτη νο ϖαριαβιλιτψ ανδ α ονε−το−ονε µαπ φροµ στιµυλυσ το ρεσπονσε, τηε µυτυαλ ινφορµατιον ισ εθυαλ το τηε φυλλ στιµυλυσ εντροπψ. Φιναλλψ, ιµαγινε τηατ τηερε αρε ονλψ τωο ποσσιβλε στιµυλυσ ϖαλυεσ, ωηιχη ωε λαβελ + ανδ −, ανδ τηατ τηε νευρον ρεσπονδσ ωιτη ϕυστ τωο ρατεσ, ρ+ ανδ ρ− . Ωε ασσοχιατε τηε ρεσπονσε ρ+ ωιτη τηε + στιµυλυσ, ανδ τηε ρεσπονσε ρ− ωιτη τηε − στιµυλυσ, βυτ τηε ενχοδινγ ισ νοτ περφεχτ. Τηε προβαβιλιτψ οφ αν ινχορρεχτ ρεσπονσε ισ ΠΞ , µεανινγ τηατ φορ τηε χορρεχτ ρεσπονσεσ Π[ρ+ |+] = Π[ρ− |−] = 1 − ΠΞ , ανδ φορ τηε ινχορρεχτ ρεσπονσεσ Π[ρ+ |−] = Π[ρ− |+] = ΠΞ . Ωε ασσυµε τηατ τηε τωο στιµυλι αρε πρεσεντεδ ωιτη εθυαλ προβαβιλιτψ σο τηατ Π[ρ+ ] = Π[ρ− ] = 1/2, ωηιχη, φροµ εθυατιον 4.4, µακεσ τηε φυλλ ρεσπονσε εντροπψ 1 βιτ. Τηε νοισε εντροπψ ισ −(1 − ΠΞ ) λογ2 (1 − ΠΞ ) − ΠΞ λογ2 ΠΞ . Τηυσ, τηε µυτυαλ ινφορµατιον ισ Ιµ = 1 + (1 − ΠΞ ) λογ2 (1 − ΠΞ ) + ΠΞ λογ2 ΠΞ .

(4.14)

Τηισ ισ πλοττεδ ιν ⇒γυρε 4.1Β. Ωηεν τηε ενχοδινγ ισ ερρορ−φρεε (ΠΞ = 0), τηε µυτυαλ ινφορµατιον ισ 1 βιτ, ωηιχη ισ εθυαλ το βοτη τηε φυλλ ρεσπονσε εντροπψ ανδ τηε στιµυλυσ εντροπψ. Ωηεν τηε ενχοδινγ ισ ρανδοµ (ΠΞ = 1/2), τηε µυτυαλ ινφορµατιον γοεσ το 0. Ιτ ισ ινστρυχτιϖε το χονσιδερ τηισ εξαµπλε φροµ τηε περσπεχτιϖε οφ δεχοδινγ. Ωε χαν τηινκ οφ τηε νευρον ασ βεινγ α χοµµυνιχατιον χηαννελ τηατ ρεπορτσ νοισιλψ ον τηε στιµυλυσ. Φροµ τηισ περσπεχτιϖε, ωε ωαντ το κνοω τηε προβ− αβιλιτψ τηατ α + ωασ πρεσεντεδ, γιϖεν τηατ τηε ρεσπονσε ρ+ ωασ ρεχορδεδ. Βψ Βαψεσ τηεορεµ, τηισ ισ Π[+|ρ+ ] = Π[ρ+ |+]Π[+]/ Π[ρ+ ] = 1 − ΠΞ . Βεφορε τηε ρεσπονσε ισ ρεχορδεδ, τηε εξπεχτατιον ωασ τηατ + ανδ − ωερε εθυαλλψ λικελψ. Ιφ τηε ρεσπονσε ρ+ ισ ρεχορδεδ, τηισ εξπεχτατιον χηανγεσ το 1 − ΠΞ . Τηε µυτυαλ ινφορµατιον µεασυρεσ τηε χορρεσπονδινγ ρεδυχτιον ιν υνχερ− ταιντψ ορ, εθυιϖαλεντλψ, τηε τιγητενινγ οφ τηε ποστεριορ διστριβυτιον δυε το τηε ρεσπονσε. ΚΛ διϖεργενχε

Τηε µυτυαλ ινφορµατιον ισ ρελατεδ το α µεασυρε υσεδ ιν στατιστιχσ χαλλεδ τηε Κυλλβαχκ−Λειβλερ (ΚΛ) διϖεργενχε. Τηε ΚΛ διϖεργενχε βετωεεν ονε προβαβιλιτψ διστριβυτιον Π[ρ] ανδ ανοτηερ διστριβυτιον Θ[ρ] ισ % & ! Π[ρ] ∆ΚΛ ( Π, Θ ) = Π[ρ] λογ2 . (4.15) Θ[ρ] ρ Τηε ΚΛ διϖεργενχε ηασ α προπερτψ νορµαλλψ ασσοχιατεδ ωιτη α διστανχε µεασυρε, ∆ΚΛ ( Π, Θ ) ≥ 0 ωιτη εθυαλιτψ ιφ ανδ ονλψ ιφ Π = Θ (προϖεν ιν απ− πενδιξ Α). Ηοωεϖερ, υνλικε α διστανχε, ιτ ισ νοτ σψµµετριχ ωιτη ρεσπεχτ το

4.1

Εντροπψ ανδ Μυτυαλ Ινφορµατιον

129

ιντερχηανγε οφ Π ανδ Θ. Χοµπαρινγ τηε δε⇒νιτιον 4.15 ωιτη εθυατιον 4.11, ωε σεε τηατ τηε µυτυαλ ινφορµατιον ισ τηε ΚΛ διϖεργενχε βετωεεν τηε δισ− τριβυτιονσ Π[ρ, σ] ανδ Π[ρ]Π[σ]. Ιφ τηε στιµυλυσ ανδ τηε ρεσπονσε ωερε ιν− δεπενδεντ οφ ονε ανοτηερ, Π[ρ, σ] ωουλδ βε εθυαλ το Π[ρ]Π[σ]. Τηυσ, τηε µυτυαλ ινφορµατιον ισ τηε ΚΛ διϖεργενχε βετωεεν τηε αχτυαλ προβαβιλιτψ διστριβυτιον Π[ρ, σ] ανδ τηε ϖαλυε ιτ ωουλδ τακε ιφ τηε στιµυλυσ ανδ ρεσπονσε ωερε ινδεπενδεντ. Τηε φαχτ τηατ ∆ΚΛ ≥ 0 προϖεσ τηατ τηε µυτυαλ ινφορµα− τιον χαννοτ βε νεγατιϖε. Ιν αδδιτιον, ιτ χαν νεϖερ βε λαργερ τηαν ειτηερ τηε φυλλ ρεσπονσε εντροπψ ορ τηε εντροπψ οφ τηε στιµυλυσ σετ.

Εντροπψ ανδ Μυτυαλ Ινφορµατιον φορ Χοντινυουσ ςαριαβλεσ Υπ το νοω ωε ηαϖε χηαραχτεριζεδ νευραλ ρεσπονσεσ υσινγ δισχρετε σπικε− χουντ ρατεσ. Ασ ιν χηαπτερ 3, ιτ ισ οφτεν χονϖενιεντ το τρεατ τηεσε ρατεσ ιν− στεαδ ασ χοντινυουσ ϖαριαβλεσ. Τηερε ισ α χοµπλιχατιον ασσοχιατεδ ωιτη εν− τροπιεσ τηατ αρε δε⇒νεδ ιν τερµσ οφ χοντινυουσ ρεσπονσε ϖαριαβλεσ. Ιφ ωε χουλδ µεασυρε τηε ϖαλυε οφ α χοντινυουσλψ δε⇒νεδ ⇒ρινγ ρατε ωιτη υνλιµ− ιτεδ αχχυραχψ, ιτ ωουλδ βε ποσσιβλε το χονϖεψ αν ιν⇒νιτε αµουντ οφ ινφορ− µατιον υσινγ τηε ενδλεσσ σεθυενχε οφ δεχιµαλ διγιτσ οφ τηισ σινγλε ϖαριαβλε. Οφ χουρσε, πραχτιχαλ χονσιδερατιονσ αλωαψσ λιµιτ τηε αχχυραχψ ωιτη ωηιχη α ⇒ρινγ ρατε χαν βε µεασυρεδ ορ χονϖεψεδ. Το δε⇒νε τηε εντροπψ ασσοχιατεδ ωιτη α χοντινυουσ µεασυρε οφ α νευραλ ρεσπονσε, ωε µυστ ινχλυδε σοµε λιµιτ ον τηε µεασυρεµεντ αχχυραχψ. Τηε εφφεχτσ οφ τηισ λιµιτ τψπιχαλλψ χανχελ ιν χοµπυτατιονσ οφ µυτυαλ ινφορµατιον βεχαυσε τηε µυτυαλ ινφορµατιον ισ τηε διφφερενχε βετωεεν τωο εντροπιεσ. Ιν τηισ σεχτιον, ωε σηοω ηοω εντροπψ ανδ µυτυαλ ινφορµατιον αρε χοµ− πυτεδ φορ ρεσπονσεσ χηαραχτεριζεδ βψ χοντινυουσ ⇒ρινγ ρατεσ. Φορ χοµ− πλετενεσσ, ωε αλσο τρεατ τηε στιµυλυσ παραµετερ σ ασ α χοντινυουσ ϖαριαβλε. Τηισ µεανσ τηατ τηε προβαβιλιτψ Π[σ] ισ ρεπλαχεδ βψ τηε προβαβιλιτψ δενσιτψ π[σ], ανδ συµσ οϖερ σ αρε ρεπλαχεδ βψ ιντεγραλσ. Φορ α χοντινυουσλψ δε⇒νεδ ⇒ρινγ ρατε, τηε προβαβιλιτψ οφ τηε ⇒ρινγ ρατε λψινγ ιν τηε ρανγε βετωεεν ρ ανδ ρ + %ρ, φορ σµαλλ %ρ, ισ εξπρεσσεδ ιν τερµσ οφ α προβαβιλιτψ δενσιτψ ασ π[ρ]%ρ. Συµµινγ οϖερ δισχρετε βινσ οφ σιζε %ρ, ωε ⇒νδ, βψ αναλογψ ωιτη εθυατιον (4.3), ! Η=− π[ρ]%ρ λογ2 ( π[ρ]%ρ ) ! =− π[ρ]%ρ λογ2 π[ρ] − λογ2 %ρ . (4.16)

Το εξτραχτ τηε λαστ τερµ ωε ηαϖε εξπρεσσεδ τηε λογαριτηµ οφ α προδυχτ ασ τηε συµ οφ τωο λογαριτηµσ ανδ υσεδ τηε φαχτ τηατ τηε συµ οφ τηε ρεσπονσε προβαβιλιτιεσ ισ 1. Ωε ωουλδ νοω λικε το τακε τηε λιµιτ %ρ → 0 βυτ ωε χαννοτ, βεχαυσε τηε λογ2 %ρ τερµ διϖεργεσ ιν τηισ λιµιτ. Τηισ διϖεργενχε ρε⇓εχτσ τηε φαχτ τηατ α χοντινυουσ ϖαριαβλε µεασυρεδ ωιτη περφεχτ αχχυραχψ ηασ ιν⇒νιτε εντροπψ. Ηοωεϖερ, φορ ρεασοναβλε (ι.ε., Ριεµανν ιντεγραβλε) π[ρ], εϖερψτηινγ ωορκσ ουτ ⇒νε φορ τηε ⇒ρστ τερµ βεχαυσε τηε συµ βεχοµεσ

130

Ινφορµατιον Τηεορψ

αν ιντεγραλ ιν τηε λιµιτ %ρ → 0. Ιν τηισ λιµιτ, ωε χαν ωριτε " ; < λιµ Η + λογ2 %ρ = − δρ π[ρ] λογ2 π[ρ] . %ρ→0

(4.17)

χοντινυουσ εντροπψ %ρ ισ βεστ τηουγητ οφ ασ α λιµιτ ον τηε ρεσολυτιον ωιτη ωηιχη τηε ⇒ρινγ ρατε χαν βε µεασυρεδ. Υνλεσσ τηισ λιµιτ ισ κνοων, τηε εντροπψ οφ α προβ− αβιλιτψ δενσιτψ φορ α χοντινυουσ ϖαριαβλε χαν βε δετερµινεδ ονλψ υπ το αν αδδιτιϖε χονσταντ. Ηοωεϖερ, ιφ τωο εντροπιεσ χοµπυτεδ ωιτη τηε σαµε ρεσ− ολυτιον αρε συβτραχτεδ, τηε τρουβλεσοµε τερµ ινϖολϖινγ %ρ χανχελσ, ανδ ωε χαν προχεεδ ωιτηουτ κνοωινγ ιτσ πρεχισε ϖαλυε. Αλλ οφ τηε χασεσ ωηερε ωε υσε εθυατιον 4.17 αρε οφ τηισ φορµ. Τηε ιντεγραλ ον τηε ριγητ σιδε οφ διφφερεντιαλ εντροπψ εθυατιον 4.17 ισ σοµετιµεσ χαλλεδ τηε διφφερεντιαλ εντροπψ.

χοντινυουσ νοισε εντροπψ

Τηε νοισε εντροπψ, φορ α χοντινυουσ ϖαριαβλε λικε τηε ⇒ρινγ ρατε, χαν βε ωριττεν ιν α µαννερ σιµιλαρ το τηε ρεσπονσε εντροπψ 4.17, εξχεπτ τηατ τηε χονδιτιοναλ προβαβιλιτψ δενσιτψ π[ρ|σ] ισ υσεδ: " " ; < λιµ Ηνοισε + λογ2 %ρ = − δσ δρ π[σ]π[ρ|σ] λογ2 π[ρ|σ] . (4.18) %ρ→0

Τηε µυτυαλ ινφορµατιον ισ τηε διφφερενχε βετωεεν τηε εξπρεσσιονσ ιν εθυα− χοντινυουσ µυτυαλ τιονσ 4.17 ανδ 4.18, % & " " ινφορµατιον π[ρ|σ] Ιµ = δσ δρ π[σ]π[ρ|σ] λογ2 . (4.19) π[ρ] Νοτε τηατ τηε φαχτορ οφ λογ2 %ρ χανχελσ ιν τηε εξπρεσσιον φορ τηε µυτυαλ ινφορµατιον βεχαυσε βοτη εντροπιεσ αρε εϖαλυατεδ ατ τηε σαµε ρεσολυτιον. Ιν χηαπτερ 3, ωε δεσχριβεδ τηε Φισηερ ινφορµατιον ασ α λοχαλ µεασυρε οφ ηοω τιγητλψ τηε ρεσπονσεσ δετερµινε τηε στιµυλυσ. Τηε Φισηερ ινφορµα− τιον ισ λοχαλ βεχαυσε ιτ δεπενδσ ον τηε εξπεχτεδ χυρϖατυρε οφ τηε λικελιηοοδ Π[ρ|σ] (τψπιχαλλψ φορ τηε ρεσπονσεσ οφ µανψ χελλσ) εϖαλυατεδ ατ τηε τρυε στιµ− υλυσ ϖαλυε. Τηε µυτυαλ ινφορµατιον ισ α γλοβαλ µεασυρε ιν τηε σενσε τηατ ιτ δεπενδσ ον τηε αϖεραγε οϖεραλλ υνχερταιντψ ιν τηε δεχοδινγ διστριβυτιον π[σ|ρ], ινχλυδινγ ϖαλυεσ οφ σ βοτη χλοσε το ανδ φαρ φροµ τηε τρυε στιµυλυσ. Ιφ τηε δεχοδινγ διστριβυτιον π[σ|ρ] ηασ α σινγλε πεακ αβουτ τηε τρυε στιµυ− λυσ, τηε Φισηερ ινφορµατιον ανδ τηε µυτυαλ ινφορµατιον αρε χλοσελψ ρελατεδ. Ιν παρτιχυλαρ, φορ λαργε νυµβερσ οφ νευρονσ, τηε µαξιµυµ λικελιηοοδ εστι− µατορ τενδσ το ηαϖε α σηαρπλψ πεακεδ Γαυσσιαν διστριβυτιον, ασ δισχυσσεδ ιν χηαπτερ 3. Ιν τηισ χασε, τηε µυτυαλ ινφορµατιον ισ, υπ το αν αδδιτιϖε χονσταντ, τηε λογαριτηµ οφ τηε Φισηερ ινφορµατιον αϖεραγεδ οϖερ τηε διστρι− βυτιον οφ στιµυλι.

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

Εντροπψ ανδ µυτυαλ ινφορµατιον αρε υσεφυλ θυαντιτιεσ φορ χηαραχτεριζινγ τηε νατυρε ανδ εφ⇒χιενχψ οφ νευραλ ενχοδινγ ανδ σελεχτιϖιτψ. Οφτεν, ιν αδ− διτιον το συχη χηαραχτεριζατιονσ, ωε σεεκ το υνδερστανδ τηε χοµπυτατιοναλ

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

131

ιµπλιχατιονσ οφ αν οβσερϖεδ ρεσπονσε σελεχτιϖιτψ. Φορ εξαµπλε, ωε µιγητ ασκ ωηετηερ νευραλ ρεσπονσεσ το νατυραλ στιµυλι αρε οπτιµιζεδ το χονϖεψ ασ µυχη ινφορµατιον ασ ποσσιβλε. Τηισ ηψποτηεσισ χαν βε τεστεδ βψ χοµπυτινγ τηε ρεσπονσε χηαραχτεριστιχσ τηατ µαξιµιζε τηε µυτυαλ ινφορµατιον χον− ϖεψεδ αβουτ νατυραλλψ οχχυρρινγ στιµυλι ανδ χοµπαρινγ τηε ρεσυλτσ ωιτη ρεσπονσεσ οβσερϖεδ εξπεριµενταλλψ. Βεχαυσε τηε µυτυαλ ινφορµατιον ισ τηε φυλλ ρεσπονσε εντροπψ µινυσ τηε νοισε εντροπψ, µαξιµιζινγ τηε ινφορµατιον ινϖολϖεσ α χοµπροµισε. Ωε µυστ µακε τηε ρεσπονσε εντροπψ ασ λαργε ασ ποσσιβλε ωιτηουτ αλλοωινγ τηε νοισε εντροπψ το γετ τοο βιγ. Ιφ τηε νοισε εντροπψ ισ σµαλλ, µαξιµιζινγ τηε ρεσπονσε εντροπψ, συβϕεχτ το αν αππροπριατε χονστραιντ, µαξιµιζεσ τηε µυτυαλ ινφορµατιον το α γοοδ αππροξιµατιον. Ωε τηερεφορε βεγιν ουρ δισ− χυσσιον βψ στυδψινγ ηοω ρεσπονσε εντροπψ χαν βε µαξιµιζεδ. Λατερ ιν τηε δισχυσσιον, ωε ωιλλ χονσιδερ τηε εφφεχτσ οφ νοισε εντροπψ. Χονστραιντσ πλαψ α χρυχιαλ ρολε ιν τηισ αναλψσισ. Ωε ηαϖε αλρεαδψ σεεν τηατ τηε τηεορετιχαλ ινφορµατιον−χαρρψινγ χαπαχιτψ ασσοχιατεδ ωιτη α χοντινυουσ ⇒ρινγ ρατε ισ λιµιτεδ ονλψ βψ τηε ρεσολυτιον ωιτη ωηιχη τηε ⇒ρινγ ρατε χαν βε δε⇒νεδ. Εϖεν ωιτη α ⇒νιτε ρεσολυτιον, α ⇒ρινγ ρατε χουλδ χονϖεψ αν ιν⇒νιτε αµουντ οφ ινφορµατιον ιφ ιτ χουλδ τακε αρβιτραριλψ ηιγη ϖαλυεσ. Τηυσ, ωε µυστ ιµποσε σοµε χονστραιντ τηατ λιµιτσ τηε ⇒ρινγ ρατε το α ρεαλιστιχ ρανγε. Ποσσιβλε χονστραιντσ ινχλυδε λιµιτινγ τηε µαξιµυµ αλλοωεδ ⇒ρινγ ρατε ορ ηολδινγ τηε αϖεραγε ⇒ρινγ ρατε ορ ιτσ ϖαριανχε ⇒ξεδ.

Εντροπψ Μαξιµιζατιον φορ α Σινγλε Νευρον Το µαξιµιζε τηε ρεσπονσε εντροπψ, ωε µυστ ⇒νδ α προβαβιλιτψ δενσιτψ π[ρ] τηατ µακεσ τηε ιντεγραλ ιν εθυατιον 4.17 ασ λαργε ασ ποσσιβλε ωηιλε σατισ− φψινγ ωηατεϖερ χονστραιντσ ωε ιµποσε. ∆υρινγ τηε µαξιµιζατιον προχεσσ, τηε ρεσολυτιον %ρ ισ ηελδ ⇒ξεδ, σο τηε λογ2 %ρ τερµ ρεµαινσ χονσταντ, ανδ ιτ χαν βε ιγνορεδ. Ασ α ρεσυλτ, ιτ ωιλλ νοτ γενεραλλψ αππεαρ ιν τηε φολλοωινγ εθυατιονσ. Ονε χονστραιντ τηατ αλωαψσ αππλιεσ ιν εντροπψ µαξιµιζατιον ισ τηατ τηε ιντεγραλ οφ τηε προβαβιλιτψ δενσιτψ µυστ βε 1. Συπποσε τηατ τηε νευρον ιν θυεστιον ηασ α µαξιµυµ ⇒ρινγ ρατε οφ ρµαξ . Τηεν, τηε ιντεγραλσ ιν θυεστιον εξτενδ φροµ 0 το ρµαξ . Το ⇒νδ τηε π[ρ] προδυχινγ τηε µαξιµυµ εντροπψ, ωε µυστ µαξιµιζε " ρµαξ − δρ π[ρ] λογ2 π[ρ] , (4.20) 0

συβϕεχτ το τηε χονστραιντ "

0

ρµαξ

δρ π[ρ] = 1 .

(4.21)

Τηε ρεσυλτ, χοµπυτεδ υσινγ Λαγρανγε µυλτιπλιερσ (σεε τηε Ματηεµατιχαλ Αππενδιξ), ισ τηατ τηε προβαβιλιτψ δενσιτψ τηατ µαξιµιζεσ τηε εντροπψ συβ−

132

Ινφορµατιον Τηεορψ

ϕεχτ το τηισ χονστραιντ ισ α χονσταντ, π[ρ] =

1 , ρµαξ

(4.22)

ινδεπενδεντ οφ ρ. Τηε εντροπψ φορ τηισ προβαβιλιτψ δενσιτψ, φορ ⇒νιτε ⇒ρινγ− ρατε ρεσολυτιον %ρ, ισ =ρ > µαξ Η = λογ2 ρµαξ − λογ2 %ρ = λογ2 . (4.23) %ρ ηιστογραµ εθυαλιζατιον

Εθυατιον 4.22 ισ τηε βασισ οφ α σιγναλ−προχεσσινγ τεχηνιθυε χαλλεδ ηιστογραµ εθυαλιζατιον. Αππλιεδ το νευραλ ρεσπονσεσ, τηισ ισ α προχεδυρε φορ ταιλορινγ τηε νευροναλ σελεχτιϖιτψ σο τηατ π[ρ] = 1/ ρµαξ ιν ρεσπονσε το α σετ οφ στιµυλι οϖερ ωηιχη τηε εντροπψ ισ το βε µαξιµιζεδ. Συπποσε α νευρον ρεσπονδσ το α στιµυλυσ χηαραχτεριζεδ βψ τηε παραµετερ σ βψ ⇒ρινγ ατ α ρατε ρ = φ (σ ). Φορ σµαλλ %σ, τηε προβαβιλιτψ τηατ τηε χοντινυουσ στιµυλυσ ϖαριαβλε φαλλσ ιν τηε ρανγε βετωεεν σ ανδ σ + %σ ισ γιϖεν ιν τερµσ οφ τηε στιµυλυσ προβα− βιλιτψ δενσιτψ βψ π[σ]%σ. Τηισ προδυχεσ α ρεσπονσε τηατ φαλλσ ιν τηε ρανγε βετωεεν φ (σ + %σ ) ανδ φ (σ ). Ιφ τηε ρεσπονσε προβαβιλιτψ δενσιτψ τακεσ ιτσ οπτιµαλ ϖαλυε, π[ρ] = 1/ ρµαξ , τηε προβαβιλιτψ τηατ τηε ρεσπονσε φαλλσ ωιτηιν τηισ ρανγε ισ | φ (σ + %σ ) − φ (σ )|/ ρµαξ . Σεττινγ τηεσε τωο προβαβιλιτιεσ εθυαλ το εαχη οτηερ, ωε ⇒νδ τηατ | φ (σ + %σ ) − φ (σ )|/ ρµαξ = π[σ]%σ. Χονσιδερ τηε χασε οφ α µονοτονιχαλλψ ινχρεασινγ ρεσπονσε σο τηατ φ (σ + %σ ) > φ (σ ) φορ ποσιτιϖε %σ. Τηεν, ιν τηε λιµιτ %σ → 0, τηε εθυαλιζατιον χονδιτιον βεχοµεσ δφ = ρµαξ π[σ] , δσ

(4.24)

ωηιχη ηασ τηε σολυτιον φ (σ ) = ρµαξ

"

σ

δσ′ π[σ′ ] ,

(4.25)

σµιν

ωηερε σµιν ισ τηε µινιµυµ ϖαλυε οφ σ, ωηιχη ισ ασσυµεδ το γενερατε νο ρεσπονσε. Τηυσ, εντροπψ µαξιµιζατιον ρεθυιρεσ τηατ τηε αϖεραγε ⇒ρινγ ρατε οφ τηε ρεσπονδινγ νευρον βε προπορτιοναλ το τηε ιντεγραλ οφ τηε προβαβιλιτψ δενσιτψ οφ τηε στιµυλυσ. Λαυγηλιν (1981) ηασ προϖιδεδ εϖιδενχε τηατ ρεσπονσεσ οφ τηε λαργε µονο− πολαρ χελλ (ΛΜΧ) ιν τηε ϖισυαλ σψστεµ οφ τηε ⇓ψ σατισφψ τηε εντροπψ− µαξιµιζινγ χονδιτιον. Τηε ΛΜΧ ρεσπονδσ το χοντραστ, ανδ Λαυγηλιν µεα− συρεδ τηε προβαβιλιτψ διστριβυτιον οφ χοντραστσ οφ νατυραλ σχενεσ ιν ηαβιτατσ ωηερε τηε ⇓ιεσ ηε στυδιεδ λιϖε. Τηε σολιδ χυρϖε ιν ⇒γυρε 4.2 ισ τηε ιντε− γραλ οφ τηισ µεασυρεδ διστριβυτιον. Τηε δατα ποιντσ ιν ⇒γυρε 4.2 αρε ΛΜΧ ρεσπονσεσ ασ α φυνχτιον οφ χοντραστ. Τηεσε ρεσπονσεσ αρε µεασυρεδ ασ µεµ− βρανε ποτεντιαλ ⇓υχτυατιον αµπλιτυδεσ, νοτ ασ ⇒ρινγ ρατεσ, βυτ τηε αναλψσισ πρεσεντεδ χαν βε αππλιεδ ωιτηουτ µοδι⇒χατιον. Ασ ⇒γυρε 4.2 ινδιχατεσ, τηε ρεσπονσε ασ α φυνχτιον οφ χοντραστ ισ ϖερψ χλοσε το τηε ιντεγρατεδ προβαβιλιτψ δενσιτψ, συγγεστινγ τηατ τηε ΛΜΧ ισ υσινγ α µαξιµυµ εντροπψ ενχοδινγ.

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

133

relative response

1

0.5

0 -1

0

1

contrast Φιγυρε 4.2 Χοντραστ ρεσπονσε οφ τηε ⇓ψ ΛΜΧ (δατα ποιντσ) χοµπαρεδ το τηε ιντε− γραλ οφ τηε νατυραλ χοντραστ προβαβιλιτψ διστριβυτιον (σολιδ χυρϖε). Τηε ρελατιϖε ρε− σπονσε ισ τηε αµπλιτυδε οφ τηε µεµβρανε ποτεντιαλ ⇓υχτυατιον προδυχεδ βψ τηε ονσετ οφ α λιγητ ορ δαρκ ιµαγε ωιτη α γιϖεν λεϖελ οφ χοντραστ διϖιδεδ βψ τηε µαξ− ιµυµ ρεσπονσε. Χοντραστ ισ δε⇒νεδ ρελατιϖε το τηε βαχκγρουνδ λεϖελ οφ ιλλυµινα− τιον. (Αδαπτεδ φροµ Λαυγηλιν, 1981.)

Εϖεν τηουγη νευρονσ ηαϖε µαξιµυµ ⇒ρινγ ρατεσ, τηε χονστραιντ ρ ≤ ρµαξ µαψ νοτ αλωαψσ βε τηε φαχτορ τηατ λιµιτσ τηε εντροπψ. Φορ εξαµπλε, τηε αϖερ− αγε ⇒ρινγ ρατε οφ τηε νευρον µαψ βε χονστραινεδ το ϖαλυεσ µυχη λεσσ τηαν ρµαξ , ορ τηε ϖαριανχε οφ τηε ⇒ρινγ ρατε µιγητ βε χονστραινεδ. Τηε ρεαδερ ισ ινϖιτεδ το σηοω τηατ τηε εντροπψ−µαξιµιζινγ προβαβιλιτψ δενσιτψ, ιφ τηε αϖ− εραγε ⇒ρινγ ρατε ισ χονστραινεδ το α ⇒ξεδ ϖαλυε, ισ αν εξπονεντιαλ. Α ρελατεδ χαλχυλατιον σηοωσ τηατ τηε προβαβιλιτψ δενσιτψ τηατ µαξιµιζεσ τηε εντροπψ συβϕεχτ το χονστραιντσ ον τηε ⇒ρινγ ρατε ανδ ιτσ ϖαριανχε ισ α Γαυσσιαν.

Ποπυλατιονσ οφ Νευρονσ Ωηεν α ποπυλατιον οφ νευρονσ ενχοδεσ α στιµυλυσ, οπτιµιζινγ τηειρ ινδι− ϖιδυαλ ρεσπονσε προπερτιεσ ωιλλ νοτ νεχεσσαριλψ λεαδ το αν οπτιµιζεδ ποπυ− λατιον ρεσπονσε. Οπτιµιζινγ ινδιϖιδυαλ ρεσπονσεσ χουλδ ρεσυλτ ιν α ηιγηλψ ρεδυνδαντ ποπυλατιον ρεπρεσεντατιον ιν ωηιχη διφφερεντ νευρονσ ενχοδε τηε σαµε ινφορµατιον. Εντροπψ µαξιµιζατιον φορ α ποπυλατιον ρεθυιρεσ τηατ τηε νευρονσ χονϖεψ ινδεπενδεντ πιεχεσ οφ ινφορµατιον (ι.ε., τηεψ µυστ ηαϖε διφφερεντ ρεσπονσε σελεχτιϖιτιεσ). Λετ τηε ϖεχτορ ρ ωιτη χοµπονεντσ ρα φορ α = 1, 2, . . . , Ν δενοτε τηε ⇒ρινγ ρατεσ φορ α ποπυλατιον οφ Ν νευρονσ, µεασυρεδ ωιτη ρεσολυτιον %ρ. Ιφ π[ρ] ισ τηε προβαβιλιτψ οφ εϖοκινγ α ποπ− υλατιον ρεσπονσε χηαραχτεριζεδ βψ τηε ϖεχτορ ρ, τηε εντροπψ φορ τηε εντιρε ποπυλατιον ρεσπονσε ισ " Η = − δρ π[ρ] λογ2 π[ρ] − Ν λογ2 %ρ . (4.26) Αλονγ ωιτη τηε φυλλ ποπυλατιον εντροπψ οφ Εθυατιον 4.26, ωε χαν αλσο χον−

134

Ινφορµατιον Τηεορψ

σιδερ τηε εντροπψ # ?ασσοχιατεδ ωιτη ινδιϖιδυαλ νευρονσ ωιτηιν τηε ποπυλα− τιον. Ιφ π[ρα ] = β̸=α δρβ π[ρ] ισ τηε προβαβιλιτψ δενσιτψ φορ ρεσπονσε ρα φροµ νευρον α, ιτσ εντροπψ ισ " " Ηα = − δρα π[ρα ] λογ2 π[ρα ] − λογ2 %ρ = − δρ π[ρ] λογ2 π[ρα ] − λογ2 %ρ . (4.27)

Τηε τρυε ποπυλατιον εντροπψ χαν νεϖερ βε γρεατερ τηαν τηε συµ οφ τηεσε ινδιϖιδυαλ νευρον εντροπιεσ οϖερ τηε εντιρε ποπυλατιον, ! Η≤ Ηα . (4.28) α

Το προϖε τηισ, ωε νοτε τηατ τηε διφφερενχε βετωεεν τηε φυλλ εντροπψ ανδ τηε συµ οφ ινδιϖιδυαλ νευρον εντροπιεσ ισ % & " ! π[ρ] ? Ηα − Η = δρ π[ρ] λογ2 ≥ 0. (4.29) α πα [ρα ] α

Τηε ινεθυαλιτψ φολλοωσ φροµ τηε φαχτ τηατ τηε µιδδλε εξπρεσσιον ισ τηε ΚΛ ? διϖεργενχε βετωεεν τηε προβαβιλιτψ διστριβυτιονσ π[ρ] ανδ α π[ρα ], ανδ α ΚΛ διϖεργενχε ισ αλωαψσ νοννεγατιϖε. Εθυαλιτψ ηολδσ ονλψ ιφ π[ρ] = π[ρα ] , (4.30) α

φαχτοριαλ χοδε

ρεδυνδανχψ

φαχτοριζατιον

προβαβιλιτψ εθυαλιζατιον

τηατ ισ, ιφ τηε ρεσπονσεσ οφ τηε νευρονσ αρε στατιστιχαλλψ ινδεπενδεντ. Τηυσ, τηε φυλλ ρεσπονσε εντροπψ ισ νεϖερ γρεατερ τηαν τηε συµ οφ τηε εντροπιεσ οφ τηε ινδιϖιδυαλ νευρονσ ιν τηε ποπυλατιον, ανδ ιτ ρεαχηεσ τηε λιµιτινγ ϖαλυε ωηεν εθυατιον 4.30 ισ σατισ⇒εδ. Α χοδε τηατ σατισ⇒εσ τηισ χονδιτιον ισ χαλλεδ α φαχτοριαλ χοδε βεχαυσε τηε προβαβιλιτψ φαχτοριζεσ ιντο α προδυχτ οφ σινγλε νευρον προβαβιλιτιεσ. Ωηεν τηε ποπυλατιον−ρεσπονσε προβαβιλιτψ δενσιτψ φαχτοριζεσ, τηισ ιµπλιεσ τηατ τηε ινδιϖιδυαλ νευρονσ ρεσπονδ ινδεπενδεντλψ. Τηε εντροπψ διφφερενχε ιν εθυατιον 4.29 ηασ βεεν συγγεστεδ ασ α µεασυρε οφ ρεδυνδανχψ. Χοµβινινγ τηισ ρεσυλτ ωιτη τηε ρεσυλτσ οφ τηε πρεϖιουσ σεχτιον, ωε χον− χλυδε τηατ τηε µαξιµυµ ποπυλατιον−ρεσπονσε εντροπψ χαν βε αχηιεϖεδ βψ σατισφψινγ τωο χονδιτιονσ. Φιρστ, τηε ινδιϖιδυαλ νευρονσ µυστ ρεσπονδ ιν− ? δεπενδεντλψ, ωηιχη µεανσ τηατ π[ρ] = α π[ρα ] µυστ φαχτοριζε. Σεχονδ, τηεψ µυστ αλλ ηαϖε ρεσπονσε προβαβιλιτιεσ τηατ αρε οπτιµαλ φορ ωηατεϖερ χονστραιντσ αρε ιµποσεδ (ε.γ., ⇓ατ, εξπονεντιαλ, ορ Γαυσσιαν). Ιφ τηε σαµε χονστραιντ ισ ιµποσεδ ον εϖερψ νευρον, τηε σεχονδ χονδιτιον ιµπλιεσ τηατ εϖερψ νευρον µυστ ηαϖε τηε σαµε ρεσπονσε προβαβιλιτψ δενσιτψ. Ιν οτηερ ωορδσ, π[ρα ] µυστ βε τηε σαµε φορ αλλ α ϖαλυεσ, α προπερτψ χαλλεδ προβαβιλιτψ εθυαλιζατιον. Τηισ δοεσ νοτ ιµπλψ τηατ αλλ τηε νευρονσ ρεσπονδ ιδεντιχαλλψ το εϖερψ στιµυλυσ. Ινδεεδ, τηε χονδιτιοναλ προβαβιλιτιεσ π[ρα |σ] µυστ βε διφ− φερεντ φορ διφφερεντ νευρονσ ιφ τηεψ αρε το αχτ ινδεπενδεντλψ. Ωε προχεεδ βψ χονσιδερινγ φαχτοριζατιον ανδ προβαβιλιτψ εθυαλιζατιον ασ γενεραλ πριν− χιπλεσ οφ εντροπψ µαξιµιζατιον, ωιτηουτ ιµποσινγ εξπλιχιτ χονστραιντσ.

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

135

Εξαχτ φαχτοριζατιον ανδ προβαβιλιτψ εθυαλιζατιον αρε διφ⇒χυλτ το αχηιεϖε, εσπεχιαλλψ ιφ τηε φορµ οφ τηε νευραλ ρεσπονσε ισ ρεστριχτεδ. Τηεσε γοαλσ αρε λικελψ το βε ιµποσσιβλε το αχηιεϖε, φορ εξαµπλε, ιφ τηε νευραλ ρεσπονσεσ αρε µοδελεδ ασ ηαϖινγ α λινεαρ ρελατιον το τηε στιµυλυσ. Α µορε µοδεστ γοαλ ισ το ρεθυιρε τηατ τηε λοωεστ−ορδερ µοµεντσ οφ τηε ποπυλατιον−ρεσπονσε προβ− αβιλιτψ διστριβυτιον µατχη τηοσε οφ α φυλλψ φαχτοριζεδ ανδ εθυαλιζεδ διστρι− βυτιον. Ιφ τηε ινδιϖιδυαλ ρεσπονσε προβαβιλιτψ διστριβυτιονσ αρε εθυαλ, τηε αϖεραγε ⇒ρινγ ρατεσ ανδ ⇒ρινγ ρατε ϖαριανχεσ ωιλλ βε τηε σαµε φορ αλλ νευ− ρονσ, ⟨ρα ⟩ = ⟨ρ⟩ ανδ ⟨(ρα − ⟨ρ⟩)2 ⟩ = σρ2 φορ αλλ α. Φυρτηερµορε, τηε χοϖαριανχε µατριξ φορ α φαχτοριζεδ ανδ προβαβιλιτψ−εθυαλιζεδ ποπυλατιον διστριβυτιον ισ προπορτιοναλ το τηε ιδεντιτψ µατριξ, " Θαβ = δρ π[ρ](ρα − ⟨ρ⟩)(ρβ − ⟨ρ⟩) = σρ2 δαβ . (4.31) Φινδινγ ρεσπονσε διστριβυτιονσ τηατ σατισφψ ονλψ τηε δεχορρελατιον ανδ ϖαρι− ανχε εθυαλιζατιον χονδιτιον οφ εθυατιον 4.31 ισ υσυαλλψ τραχταβλε. Ιν τηε φολ− λοωινγ εξαµπλεσ, ωε ρεστριχτ ουρσελϖεσ το τηισ εασιερ τασκ. Τηισ µαξιµιζεσ τηε εντροπψ ονλψ ιφ τηε στατιστιχσ οφ τηε ρεσπονσεσ αρε Γαυσσιαν, βυτ ιτ ισ α ρεασοναβλε προχεδυρε εϖεν ιν α νον−Γαυσσιαν χασε, βεχαυσε ιτ τψπιχαλλψ ρεδυχεσ τηε ρεδυνδανχψ ιν τηε ποπυλατιον χοδε ανδ σπρεαδσ τηε λοαδ οφ ινφορµατιον τρανσµισσιον εθυαλλψ αµονγ τηε νευρονσ.

Αππλιχατιον το Ρετιναλ Γανγλιον Χελλ Ρεχεπτιϖε Φιελδσ Εντροπψ ανδ ινφορµατιον µαξιµιζατιον ηαϖε βεεν υσεδ το εξπλαιν προπερ− τιεσ οφ ϖισυαλ ρεχεπτιϖε ⇒ελδσ ιν τηε ρετινα, ΛΓΝ, ανδ πριµαρψ ϖισυαλ χορ− τεξ. Τηε βασιχ ασσυµπτιον ισ τηατ τηεσε ρεχεπτιϖε ⇒ελδσ σερϖε το µαξιµιζε τηε αµουντ οφ ινφορµατιον τηατ τηε ασσοχιατεδ νευραλ ρεσπονσεσ χονϖεψ αβουτ νατυραλ ϖισυαλ σχενεσ ιν τηε πρεσενχε οφ νοισε. Ινφορµατιον τηεορετ− ιχαλ αναλψσεσ αρε σενσιτιϖε το τηε στατιστιχαλ προπερτιεσ οφ τηε στιµυλι βεινγ ρεπρεσεντεδ, σο τηε στατιστιχσ οφ νατυραλ σχενεσ πλαψ αν ιµπορταντ ρολε ιν τηεσε στυδιεσ. Νατυραλ σχενεσ εξηιβιτ συβσταντιαλ σπατιαλ ανδ τεµποραλ ρε− δυνδανχψ. Μαξιµιζινγ τηε ινφορµατιον χονϖεψεδ ρεθυιρεσ ρεµοϖινγ τηισ ρεδυνδανχψ φροµ τηε νευραλ ρεσπονσεσ. Ιτ σηουλδ βε κεπτ ιν µινδ τηατ τηε ινφορµατιον µαξιµιζατιον αππροαχη σετσ λιµιτεδ γοαλσ ανδ ρεθυιρεσ στρονγ ασσυµπτιονσ αβουτ τηε νατυρε οφ τηε χονστραιντσ ρελεϖαντ το τηε νερϖουσ σψστεµ. Ιν αδδιτιον, τηε αππροαχη ανα− λψζεσ ονλψ τηε ρεπρεσεντατιοναλ προπερτιεσ οφ νευραλ ρεσπονσεσ ανδ ιγνορεσ τηε χοµπυτατιοναλ γοαλσ οφ τηε ϖισυαλ σψστεµ, συχη ασ οβϕεχτ ρεχογνιτιον ορ ταργετ τραχκινγ. Φιναλλψ, µαξιµιζινγ οτηερ µεασυρεσ οφ περφορµανχε, διφφερεντ φροµ τηε µυτυαλ ινφορµατιον, µαψ γιϖε σιµιλαρ ρεσυλτσ. Νεϖερ− τηελεσσ, τηε πρινχιπλε οφ ινφορµατιον µαξιµιζατιον ισ θυιτε συχχεσσφυλ ατ αχχουντινγ φορ προπερτιεσ οφ ρεχεπτιϖε ⇒ελδσ εαρλψ ιν τηε ϖισυαλ πατηωαψ. Ιν χηαπτερ 2, α ϖισυαλ ιµαγε ωασ δε⇒νεδ βψ α χοντραστ φυνχτιον σ ( ξ, ψ, τ ) ωιτη α τριαλ−αϖεραγεδ ϖαλυε οφ 0. Φορ τηε χαλχυλατιονσ ωε πρεσεντ ηερε, ιτ ισ µορε χονϖενιεντ το εξπρεσσ τηε ξ ανδ ψ χοορδινατεσ φορ λοχατιονσ ον τηε

δεχορρελατιον ανδ ϖαριανχε εθυαλιζατιον

136

Ινφορµατιον Τηεορψ

ϖιεωινγ σχρεεν ιν τερµσ οφ α σινγλε ϖεχτορ ξ⃗ = ( ξ, ψ ), ορ σοµετιµεσ ψ⃗ = ( ξ, ψ ). Υσινγ τηισ νοτατιον, τηε λινεαρ εστιµατε οφ τηε ρεσπονσε οφ α ϖισυαλ νευρον δισχυσσεδ ιν χηαπτερ 2 χαν βε ωριττεν ασ " ∞ " δτ δ ξ⃗ ∆ ( ξ⃗, τ)σ ( ξ⃗, τ − τ) . (4.32) Λ (τ ) = 0

Ιφ τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδ ∆ ( ξ⃗, τ) ισ σεπαραβλε, ∆ ( ξ⃗, τ) = ∆σ ( ξ⃗) ∆τ (τ), ανδ ωε χαν ρεωριτε Λ (τ ) ασ τηε προδυχτ οφ ιντεγραλσ ινϖολϖινγ τεµποραλ ανδ σπατιαλ ⇒λτερσ. Το κεεπ τηε νοτατιον σιµπλε, ωε ασσυµε τηατ τηε στιµυ− λυσ χαν αλσο βε σεπαρατεδ, σο τηατ σ ( ξ⃗, τ ) = σσ ( ξ⃗)στ (τ ). Τηεν, Λ (τ ) = Λσ Λτ (τ ) ωηερε " Λσ = δ ξ⃗ ∆σ ( ξ⃗)σσ ( ξ⃗) (4.33) ανδ Λτ ( τ ) =

"

∞ 0

δτ ∆τ (τ)στ (τ − τ) .

(4.34)

Ιν τηε φολλοωινγ, ωε αναλψζε τηε σπατιαλ ανδ τεµποραλ χοµπονεντσ, ∆σ ανδ ∆τ , σεπαρατελψ βψ χονσιδερινγ τηε ινφορµατιον−χαρρψινγ χαπαχιτψ οφ Λσ ανδ Λτ . Ωε στυδψ τηε σπατιαλ ρεχεπτιϖε ⇒ελδσ οφ ρετιναλ γανγλιον χελλσ ιν τηισ σεχ− τιον, ανδ τηε τεµποραλ ρεσπονσε προπερτιεσ οφ ΛΓΝ χελλσ ιν τηε νεξτ. Λατερ, ωε δισχυσσ τηε αππλιχατιον οφ ινφορµατιον µαξιµιζατιον ιδεασ το πριµαρψ ϖισυαλ χορτεξ. Το δεριϖε αππροπριατελψ οπτιµαλ σπατιαλ ⇒λτερσ, ωε χονσιδερ αν αρραψ οφ ρετιναλ γανγλιον χελλσ ωιτη ρεχεπτιϖε ⇒ελδσ χοϖερινγ α σµαλλ πατχη οφ τηε ρετινα. Ωε ασσυµε τηατ τηε στατιστιχσ οφ τηε ινπυτ αρε σπατιαλλψ (ανδ τεµ− ποραλλψ) στατιοναρψ ορ τρανσλατιον−ινϖαριαντ. Τηισ µεανσ τηατ αλλ λοχατιονσ ανδ διρεχτιονσ ιν σπαχε (ανδ αλλ τιµεσ), ατ λεαστ ωιτηιν τηε πατχη ωε χον− σιδερ, αρε εθυιϖαλεντ. Τηισ εθυιϖαλενχε αλλοωσ υσ το γιϖε αλλ οφ τηε ρεχεπτιϖε ⇒ελδσ τηε σαµε σπατιαλ στρυχτυρε, ωιτη τηε ρεχεπτιϖε ⇒ελδσ οφ διφφερεντ χελλσ µερελψ βεινγ σηιφτεδ το διφφερεντ ποιντσ ωιτηιν τηε ϖισυαλ ⇒ελδ. Ασ α ρεσυλτ, ωε ωριτε τηε σπατιαλ κερνελ δεσχριβινγ α ρετιναλ γανγλιον χελλ ωιτη ρεχεπτιϖε ⇒ελδ χεντερεδ ατ τηε ποιντ α⃗ ασ ∆σ ( ξ⃗ − α⃗). Τηε λινεαρ ρεσπονσε οφ τηισ χελλ ισ τηεν " Λσ (⃗ α ) = δ ξ⃗ ∆σ ( ξ⃗ − α⃗)σσ ( ξ⃗) . (4.35) Νοτε τηατ ωε αρε λαβελινγ τηε νευρονσ βψ τηε λοχατιονσ α⃗ οφ τηε χεντερσ οφ τηειρ ρεχεπτιϖε ⇒ελδσ ρατηερ τηαν βψ αν ιντεγερ ινδεξ συχη ασ ι. Τηισ ισ α χονϖενιεντ λαβελινγ σχηεµε τηατ αλλοωσ συµσ οϖερ νευρονσ το βε ρεπλαχεδ βψ συµσ οϖερ παραµετερσ δεσχριβινγ τηειρ ρεχεπτιϖε ⇒ελδσ. Τηε ϖεχτορσ α⃗ φορ τηε διφφερεντ νευρονσ τακε ον δισχρετε ϖαλυεσ χορρεσπονδινγ το τηε διφφερεντ νευρονσ ιν τηε ποπυλατιον. Ιφ µανψ νευρονσ αρε βεινγ χονσιδερεδ, τηεσε δισχρετε ϖεχτορσ µαψ ⇒λλ τηε ρανγε οφ ρεχεπτιϖε ⇒ελδ λοχατιονσ θυιτε δενσελψ. Ιν τηισ χασε, ιτ ισ ρεασοναβλε το αππροξιµατε τηε λαργε βυτ δισχρετε

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

137

σετ οφ α⃗ ϖαλυεσ ωιτη α ϖεχτορ α⃗ τηατ ισ αλλοωεδ το ϖαρψ χοντινυουσλψ. Ιν οτηερ ωορδσ, ασ αν αππροξιµατιον, ωε προχεεδ ασ ιφ τηερε ωερε α νευρον χορρεσπονδινγ το εϖερψ χοντινυουσ ϖαλυε οφ α⃗. Τηισ αλλοωσ υσ το τρεατ Λ (⃗ α) ασ α φυνχτιον οφ α⃗ ανδ το ρεπλαχε συµσ οϖερ νευρονσ ωιτη ιντεγραλσ οϖερ α⃗. Ιν τηε χασε ωε αρε χονσιδερινγ, τηε ρεχεπτιϖε ⇒ελδσ οφ ρετιναλ γανγλιον χελλσ χοϖερ τηε ρετινα δενσελψ, ωιτη µανψ ρεχεπτιϖε ⇒ελδσ οϖερλαππινγ εαχη ποιντ ον τηε ρετινα, σο τηε ρεπλαχεµεντ οφ δισχρετε συµσ οϖερ νευρονσ ωιτη χοντινυουσ ιντεγραλσ οϖερ α⃗ ισ θυιτε αχχυρατε. Τηε Ωηιτενινγ Φιλτερ Ωε ωιλλ νοτ αττεµπτ α χοµπλετε εντροπψ µαξιµιζατιον φορ τηε χασε οφ ρετι− ναλ γανγλιον χελλσ. Ινστεαδ, ωε φολλοω τηε αππροξιµατε προχεδυρε οφ σεττινγ τηε χορρελατιον µατριξ βετωεεν διφφερεντ νευρονσ ωιτηιν τηε ποπυλατιον προπορτιοναλ το τηε ιδεντιτψ µατριξ (εθυατιον 4.31). Τηε ρελεϖαντ χορρελα− τιον ισ τηε αϖεραγε, οϖερ αλλ στιµυλι, οφ τηε προδυχτ οφ τηε λινεαρ ρεσπονσεσ οφ τωο χελλσ, ωιτη ρεχεπτιϖε ⇒ελδσ χεντερεδ ατ α⃗ ανδ ⃗β, " ⃗ ⃗ ΘΛΛ (⃗ α, β ) = ⟨ Λσ (⃗ α ) Λσ (β )⟩ = δ ξ⃗ δ ψ⃗ ∆σ ( ξ⃗ − α⃗) ∆σ ( ψ⃗ − ⃗β )⟨σσ ( ξ⃗)σσ ( ψ⃗)⟩ . (4.36)

Τηε αϖεραγε ηερε, δενοτεδ βψ ανγλε βραχκετσ, ισ νοτ οϖερ τριαλσ βυτ οϖερ τηε σετ οφ νατυραλ σχενεσ φορ ωηιχη ωε βελιεϖε τηε ρεχεπτιϖε ⇒ελδ ισ οπτιµιζεδ. Βψ αναλογψ ωιτη εθυατιον 4.31, δεχορρελατιον ανδ ϖαριανχε εθυαλιζατιον οφ τηε διφφερεντ ρετιναλ γανγλιον χελλσ, ωηεν α⃗ ανδ ⃗β αρε τακεν το βε χοντινυουσ ϖαριαβλεσ, ρεθυιρε τηατ ωε σετ τηισ χορρελατιον φυνχτιον προπορτιοναλ το α δ φυνχτιον, ΘΛΛ (⃗ α, ⃗β ) = σΛ2 δ(⃗ α − ⃗β ) .

(4.37)

Τηισ ισ τηε χοντινυουσ ϖαριαβλε αναλογ οφ µακινγ α δισχρετε χορρελατιον µα− τριξ προπορτιοναλ το τηε ιδεντιτψ µατριξ (εθυατιον 4.31). Τηε δ φυνχτιον ωιτη ϖεχτορ αργυµεντσ ισ νονζερο ονλψ ωηεν αλλ οφ τηε χοµπονεντσ οφ α⃗ ανδ ⃗β αρε ιδεντιχαλ. Τηε θυαντιτψ ⟨σσ ( ξ⃗)σσ ( ψ⃗)⟩ ιν εθυατιον 4.36 ισ τηε χορρελατιον φυνχτιον οφ τηε στιµυλυσ αϖεραγεδ οϖερ νατυραλ σχενεσ. Ουρ ασσυµπτιον οφ ηοµογενειτψ ιµπλιεσ τηατ τηισ θυαντιτψ ισ ονλψ α φυνχτιον οφ τηε ϖεχτορ διφφερενχε ξ⃗ − ψ⃗ (αχτυαλλψ, ιφ αλλ διρεχτιονσ αρε εθυιϖαλεντ, ιτ ισ ονλψ α φυνχτιον οφ τηε µαγνι− τυδε |⃗ ξ − ψ⃗|), ανδ ωε ωριτε ιτ ασ Θσσ ( ξ⃗ − ψ⃗) = ⟨σσ ( ξ⃗)σσ ( ψ⃗)⟩ .

(4.38)

Το δετερµινε τηε φορµ οφ τηε ρεχεπτιϖε ⇒ελδ ⇒λτερ τηατ ισ οπτιµαλ, ωε µυστ σολϖε εθυατιον 4.37 φορ ∆σ . Τηισ ισ δονε βψ εξπρεσσινγ ∆σ ανδ Θσσ ιν τερµσ οφ τηειρ Φουριερ τρανσφορµσ ∆σ ανδ Θσσ , " ) * 1 δκ⃗ εξπ −ικ⃗ · ( ξ⃗ − α⃗) ∆σ (⃗κ ) (4.39) ∆σ ( ξ⃗ − α⃗) = 2 4π " ) * 1 δκ⃗ εξπ −ικ⃗ · ( ξ⃗ − ψ⃗) Θσσ (⃗κ ) . Θσσ ( ξ⃗ − ψ⃗) = (4.40) 2 4π

138

Ινφορµατιον Τηεορψ

Θσσ , ωηιχη ισ ρεαλ ανδ νοννεγατιϖε, ισ αλσο χαλλεδ τηε στιµυλυσ ποωερ σπεχ− τρυµ (σεε χηαπτερ 1). Ιν τερµσ οφ τηεσε Φουριερ τρανσφορµσ, εθυατιον 4.37 βεχοµεσ

|∆σ (⃗κ )|2 Θσσ (⃗κ ) = σ Λ2 ,

(4.41)

φροµ ωηιχη ωε ⇒νδ

ωηιτενινγ ⇒λτερ

|∆σ (⃗κ )| = 0

σΛ Θσσ (⃗κ )

.

(4.42)

Τηε λινεαρ κερνελ δεσχριβεδ βψ εθυατιον 4.42 εξαχτλψ χοµπενσατεσ φορ ωηατεϖερ δεπενδενχε τηε Φουριερ τρανσφορµ οφ τηε στιµυλυσ χορρελατιον φυνχτιον ηασ ον τηε σπατιαλ φρεθυενχψ κ⃗ , µακινγ τηε προδυχτ Θσσ (⃗κ )|∆σ (⃗κ )|2 ινδεπενδεντ οφ κ⃗ . Τηισ προδυχτ ισ τηε ποωερ σπεχτρυµ οφ Λ. Τηε ουτπυτ οφ τηε οπτιµαλ ⇒λτερ ηασ α ποωερ σπεχτρυµ τηατ ισ ινδεπενδεντ οφ σπατιαλ φρε− θυενχψ, ανδ τηερεφορε ηασ τηε σαµε χηαραχτεριστιχσ ασ ωηιτε νοισε. Τηερε− φορε, τηε κερνελ ιν εθυατιον 4.42 ισ χαλλεδ α ωηιτενινγ ⇒λτερ. ∆ιφφερεντ σπα− τιαλ φρεθυενχιεσ αχτ ινδεπενδεντλψ ιν α λινεαρ σψστεµ, σο δεχορρελατιον ανδ ϖαριανχε εθυαλιζατιον ρεθυιρε τηεµ το βε υτιλιζεδ ατ εθυαλ σιγναλ στρενγτη. Τηε χαλχυλατιον ωε ηαϖε περφορµεδ δετερµινεσ ονλψ τηε αµπλιτυδε |∆σ (⃗κ )|, ανδ νοτ ∆σ (⃗κ ) ιτσελφ. Τηυσ, δεχορρελατιον ανδ ϖαριανχε εθυαλιζατιον δο νοτ υνιθυελψ σπεχιφψ τηε φορµ οφ τηε λινεαρ κερνελ. Ωε στυδψ σοµε χονσε− θυενχεσ οφ τηε φρεεδοµ το χηοοσε διφφερεντ λινεαρ κερνελσ σατισφψινγ εθυα− τιον 4.42 λατερ ιν τηε χηαπτερ.

οπτιχαλ µοδυλατιον τρανσφερ φυνχτιον

Τηε σπατιαλ χορρελατιον φυνχτιον φορ νατυραλ σχενεσ ηασ βεεν µεασυρεδ, ωιτη τηε ρεσυλτ τηατ Θσσ (⃗κ ) ισ προπορτιοναλ το 1/|⃗κ|2 οϖερ τηε ρανγε ιτ ηασ βεεν εϖαλυατεδ. Τηε βεηαϖιορ νεαρ κ⃗ = 0 ισ νοτ ωελλ εσταβλισηεδ, βυτ τηε διϖεργενχε οφ 1/|⃗κ|2 νεαρ κ⃗ = 0 χαν βε ρεµοϖεδ βψ σεττινγ Θσσ (⃗κ ) προπορ− τιοναλ το 1/(|⃗κ|2 + κ20 ) ωηερε κ0 ισ α χονσταντ. Τηε στιµυλι οφ ιντερεστ ιν τηε χαλχυλατιον οφ ρετιναλ γανγλιον ρεχεπτιϖε ⇒ελδσ αρε νατυραλ ιµαγεσ ασ τηεψ αππεαρ ον τηε ρετινα, νοτ ιν τηε πηοτογραπησ φροµ ωηιχη τηε νατυραλ σχενεσ στατιστιχσ αρε µεασυρεδ. Αν αδδιτιοναλ φαχτορ µυστ βε ινχλυδεδ ιν Θσσ (⃗κ ) το αχχουντ φορ ⇒λτερινγ ιντροδυχεδ βψ τηε οπτιχσ οφ τηε εψε (τηε οπτιχαλ µοδυ− λατιον τρανσφερ φυνχτιον). Α σιµπλε µοδελ οφ τηε οπτιχαλ µοδυλατιον τρανσ− φερ φυνχτιον ρεσυλτσ ιν αν εξπονεντιαλ χορρεχτιον το τηε στιµυλυσ χορρελατιον φυνχτιον, Θσσ (⃗κ ) ∝

εξπ(−α|⃗κ|) , |⃗κ|2 + κ20

(4.43)

ωιτη α α παραµετερ. Συβστιτυτινγ τηισ ιντο εθυατιον 4.42 γιϖεσ τηε ρατηερ πεχυλιαρ ρεσυλτ τηατ τηε αµπλιτυδε |∆σ (⃗κ )|, βεινγ προπορτιοναλ το τηε ιν− ϖερσε οφ τηε σθυαρε ροοτ οφ Θσσ , ισ πρεδιχτεδ το γροω εξπονεντιαλλψ φορ λαργε |⃗κ|. Ωηιτενινγ ⇒λτερσ µαξιµιζε εντροπψ βψ εθυαλιζινγ τηε διστριβυτιον οφ ρεσπονσε ποωερ οϖερ τηε εντιρε σπατιαλ φρεθυενχψ ρανγε. Ηιγη σπατιαλ φρε− θυενχψ χοµπονεντσ οφ ιµαγεσ αρε ρελατιϖελψ ραρε ιν νατυραλ σχενεσ ανδ, εϖεν ιφ τηεψ οχχυρ, αρε γρεατλψ αττενυατεδ βψ τηε εψε. Τηε ωηιτενινγ ⇒λτερ χοµπενσατεσ φορ τηισ βψ βοοστινγ τηε ρεσπονσεσ το ηιγη σπατιαλ φρεθυενχιεσ. Αλτηουγη τηισ ισ τηε ρεσυλτ οφ τηε εντροπψ µαξιµιζατιον χαλχυλατιον, ιτ ισ νοτ

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

139

α γοοδ στρατεγψ το υσε ιν αν υνρεστριχτεδ ωαψ φορ ϖισυαλ προχεσσινγ. Ρεαλ ινπυτσ το ρετιναλ γανγλιον χελλσ ινϖολϖε α µιξτυρε οφ τρυε σιγναλ ανδ νοισε χοµινγ φροµ βιοπηψσιχαλ σουρχεσ ιν τηε ρετινα. Ατ ηιγη σπατιαλ φρεθυενχιεσ, φορ ωηιχη τηε τρυε σιγναλ ισ ωεακ, ινπυτσ το ρετιναλ γανγλιον χελλσ αρε λικελψ το βε δοµινατεδ βψ νοισε, εσπεχιαλλψ ιν λοω−λιγητ χονδιτιονσ. Βοοστινγ τηε αµπλιτυδε οφ τηισ νοισε−δοµινατεδ ινπυτ ανδ τρανσµιττινγ ιτ το τηε βραιν ισ νοτ αν εφ⇒χιεντ ϖισυαλ ενχοδινγ στρατεγψ. Τηε προβλεµ οφ εξχεσσιϖε βοοστινγ οφ ρεσπονσεσ ατ ηιγη σπατιαλ φρεθυενχψ αρισεσ ιν τηε εντροπψ µαξιµιζατιον χαλχυλατιον βεχαυσε νο διστινχτιον ηασ βεεν µαδε βετωεεν τηε εντροπψ χοµινγ φροµ τρυε σιγναλσ ανδ τηατ χοµινγ φροµ νοισε. Το χορρεχτ τηισ προβλεµ, ωε σηουλδ µαξιµιζε τηε ινφορµατιον τρανσµιττεδ βψ τηε ρετιναλ γανγλιον χελλσ αβουτ νατυραλ σχενεσ, ρατηερ τηαν µαξιµιζε τηε εντροπψ. Α φυλλ ινφορµατιον−µαξιµιζατιον χαλχυλατιον οφ τηε ρεχεπτιϖε ⇒ελδ προπερτιεσ οφ ρετιναλ γανγλιον χελλσ χαν βε περφορµεδ, βυτ τηισ ρεθυιρεσ ιντροδυχινγ α νυµβερ οφ ασσυµπτιονσ αβουτ τηε χονστραιντσ τηατ αρε ρελεϖαντ, ανδ ιτ ισ νοτ εντιρελψ οβϖιουσ ωηατ τηεσε χονστραιντσ σηουλδ βε. Ινστεαδ, ωε ωιλλ φολλοω αν αππροξιµατε προχεδυρε τηατ πρε− ⇒λτερσ τηε ινπυτ το ελιµινατε ασ µυχη νοισε ασ ποσσιβλε, ανδ τηεν υσεσ τηε ρεσυλτσ οφ τηισ σεχτιον το µαξιµιζε τηε εντροπψ οφ α λινεαρ ⇒λτερ αχτινγ ον τηε πρε⇒λτερεδ ινπυτ σιγναλ.

Φιλτερινγ Ινπυτ Νοισε Συπποσε τηατ τηε ϖισυαλ στιµυλυσ ον τηε ρετινα ισ τηε συµ οφ τηε τρυε στιµ− υλυσ σσ ( ξ⃗) τηατ σηουλδ βε χονϖεψεδ το τηε βραιν ανδ α νοισε τερµ η( ξ⃗) τηατ ρε⇓εχτσ ιµαγε διστορτιον, πηοτορεχεπτορ νοισε, ανδ οτηερ σιγναλσ τηατ αρε νοτ ωορτη χονϖεψινγ βεψονδ τηε ρετινα. Το δεαλ ωιτη συχη α µιξεδ ινπυτ σιγναλ, ωε εξπρεσσ τηε Φουριερ τρανσφορµ οφ τηε λινεαρ κερνελ ∆σ (⃗κ ) ασ α προδυχτ οφ τωο τερµσ: α νοισε ⇒λτερ, ∆ (⃗κ ), τηατ ελιµινατεσ ασ µυχη οφ τηε νοισε ασ ποσσιβλε; ανδ α ωηιτενινγ ⇒λτερ, ∆ω (⃗κ ), τηατ σατισ⇒εσ εθυατιον 4.42. Τηε Φουριερ τρανσφορµ οφ τηε χοµπλετε ⇒λτερ ισ τηεν ∆σ (⃗κ ) = ∆ω (⃗κ )∆ (⃗κ ). Το δετερµινε τηε φορµ οφ τηε νοισε ⇒λτερ, ωε δεµανδ τηατ ωηεν ιτ ισ απ− πλιεδ το τηε τοταλ ινπυτ σσ ( ξ⃗) + η( ξ⃗), τηε ρεσυλτ ισ ασ χλοσε το τηε σιγναλ παρτ οφ τηε ινπυτ, σσ ( ξ⃗), ασ ποσσιβλε. Τηε προβλεµ οφ µινιµιζινγ τηε αϖεραγε σθυαρεδ διφφερενχε βετωεεν τηε ⇒λτερεδ νοισψ σιγναλ ανδ τηε τρυε σιγναλ ισ φορµαλλψ τηε σαµε ασ τηε προβλεµσ ωε σολϖεδ ιν χηαπτερ 2 (αππενδιξ Α) ανδ χηαπτερ 3 (αππενδιξ Χ) το δετερµινε τηε οπτιµαλ κερνελσ φορ ρατε πρε− διχτιον ανδ φορ σπικε δεχοδινγ (αλσο σεε τηε Ματηεµατιχαλ Αππενδιξ). Τηε γενεραλ σολυτιον ισ τηατ τηε Φουριερ τρανσφορµ οφ τηε οπτιµαλ ⇒λτερ ισ τηε Φουριερ τρανσφορµ οφ τηε χροσσ−χορρελατιον βετωεεν τηε θυαντιτψ βεινγ ⇒λ− τερεδ ανδ τηε θυαντιτψ βεινγ αππροξιµατεδ διϖιδεδ βψ τηε Φουριερ τρανσ− φορµ οφ τηε αυτοχορρελατιον οφ τηε θυαντιτψ βεινγ ⇒λτερεδ. Ιν τηε πρεσεντ εξαµπλε, τηερε ισ α σλιγητ χοµπλιχατιον τηατ τηε ιντεγραλ ιν εθυατιον 4.35 ισ νοτ ιν τηε φορµ οφ α χονϖολυτιον, βεχαυσε ∆σ ισ ωριττεν ασ α φυνχτιον οφ ξ⃗ − α⃗ ρατηερ τηαν α⃗ − ξ⃗. Ηοωεϖερ, ιν τηε χασε ωε χονσιδερ, τηισ υλτιµατελψ µακεσ νο διφφερενχε το τηε ⇒ναλ ανσωερ.

140

Ινφορµατιον Τηεορψ

A

B 1.0

1.0

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.0

0.0 0.2

0.4

0.6

0.8

1.0

0.5

1.0

1.5

2.0

2.5

3.0

(degrees)

κ (cycles/degree)

Φιγυρε 4.3 Ρεχεπτιϖε ⇒ελδ προπερτιεσ πρεδιχτεδ βψ εντροπψ µαξιµιζατιον ανδ νοισε συππρεσσιον οφ ρεσπονσεσ το νατυραλ ιµαγεσ. (Α) Τηε αµπλιτυδε οφ τηε πρεδιχτεδ Φουριερ−τρανσφορµεδ λινεαρ ⇒λτερσ φορ λοω (σολιδ χυρϖε) ανδ ηιγη (δασηεδ χυρϖε) ιν− πυτ νοισε. |∆σ (⃗κ )| ισ πλοττεδ ρελατιϖε το ιτσ µαξιµυµ ϖαλυε. (Β) Τηε λινεαρ κερνελ ασ α φυνχτιον οφ τηε διστανχε φροµ τηε χεντερ οφ τηε ρεχεπτιϖε ⇒ελδ φορ λοω (σολιδ χυρϖε) ανδ ηιγη (δασηεδ χυρϖε) ινπυτ νοισε. Οβσερϖε τηε χεντερ−συρρουνδ στρυχ− τυρε ατ λοω νοισε. ∆σ (⃗κ ) ισ τακεν το βε ρεαλ, ανδ ∆σ (|⃗ ξ|) ισ πλοττεδ ρελατιϖε το ιτσ µαξιµυµ ϖαλυε. Παραµετερ ϖαλυεσ υσεδ ωερε 1/α = 0.16 χψχλεσ/δεγρεε, κ0 = 0.16 χψχλεσ/δεγρεε, ανδ Θηη / Θσσ (0 ) = 0.05 φορ τηε λοω−νοισε χασε ανδ 1 φορ τηε ηιγη− νοισε χασε.

Τηε χαλχυλατιον σιµπλι⇒εσ βεχαυσε ωε ασσυµε τηατ τηε σιγναλ ανδ νοισε τερµσ αρε υνχορρελατεδ, σο τηατ ⟨σσ ( ξ⃗)η( ψ⃗)⟩ = 0. Τηεν, τηε ρελεϖαντ χροσσ− χορρελατιον φορ τηισ προβλεµ ισ

⟨(σσ ( ξ⃗) + η( ξ⃗))σσ ( ψ⃗)⟩ = Θσσ ( ξ⃗ − ψ⃗) ,

(4.44)

ανδ τηε αυτοχορρελατιον ισ

⟨(σσ ( ξ⃗) + η( ξ⃗))(σσ ( ψ⃗) + η( ψ⃗))⟩ = Θσσ ( ξ⃗ − ψ⃗) + Θηη ( ξ⃗ − ψ⃗) ,

νοισε ⇒λτερ

(4.45)

ωηερε Θσσ ανδ Θηη αρε, ρεσπεχτιϖελψ, τηε στιµυλυσ ανδ νοισε αυτοχορρελα− τιονσ φυνχτιονσ. Τηεσε ρεσυλτσ ιµπλψ τηατ τηε οπτιµαλ νοισε ⇒λτερ ισ ρεαλ ανδ γιϖεν, ιν τερµσ οφ τηε Φουριερ τρανσφορµσ οφ Θσσ ανδ Θηη , βψ ∆ (⃗κ ) =

Θσσ (⃗κ ) . Θσσ (⃗κ ) + Θ (⃗κ )

(4.46)

Βεχαυσε τηε νοισε ⇒λτερ ισ δεσιγνεδ σο τηατ ιτσ ουτπυτ µατχηεσ τηε σιγναλ ασ χλοσελψ ασ ποσσιβλε, ωε µακε τηε αππροξιµατιον οφ υσινγ τηε σαµε ωηιτεν− ινγ ⇒λτερ ασ βεφορε (εθυατιον 4.42). Χοµβινινγ τηε τωο, ωε ⇒νδ τηατ 0 σ Λ Θσσ (⃗κ ) ∆ . | σ (⃗κ )| ∝ (4.47) Θσσ (⃗κ ) + Θ (⃗κ ) Λινεαρ κερνελσ ρεσυλτινγ φροµ εθυατιον 4.47, υσινγ εθυατιον 4.43 φορ τηε στιµυλυσ χορρελατιον φυνχτιον, αρε πλοττεδ ιν ⇒γυρε 4.3. Φορ τηισ ⇒γυρε, ωε ηαϖε ασσυµεδ τηατ τηε ινπυτ νοισε ισ ωηιτε σο τηατ Θ ισ ινδεπενδεντ οφ κ⃗ . Βοτη τηε αµπλιτυδε οφ τηε Φουριερ τρανσφορµ οφ τηε κερνελ (⇒γυρε 4.3Α) ανδ

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

141

τηε αχτυαλ σπατιαλ κερνελ ∆σ ( ξ⃗) (⇒γυρε 4.3Β) αρε πλοττεδ υνδερ χονδιτιονσ οφ λοω ανδ ηιγη νοισε. Τηε λινεαρ κερνελσ ιν ⇒γυρε 4.3Β ηαϖε βεεν χον− στρυχτεδ βψ ασσυµινγ τηατ ∆σ (⃗κ ) σατισ⇒εσ εθυατιον 4.47 ανδ ισ ρεαλ, ωηιχη µινιµιζεσ τηε σπατιαλ εξτεντ οφ τηε ρεσυλτινγ ρεχεπτιϖε ⇒ελδ. Τηε ρεσυλτινγ φυνχτιον ∆σ ( ξ⃗) ισ ραδιαλλψ σψµµετριχ, σο ιτ δεπενδσ ονλψ ον τηε διστανχε |⃗ ξ| φροµ τηε χεντερ οφ τηε ρεχεπτιϖε ⇒ελδ το τηε ποιντ ξ⃗, ανδ τηισ ραδιαλ δε− πενδενχε ισ πλοττεδ ιν ⇒γυρε 4.3Β. Υνδερ λοω νοισε χονδιτιονσ (σολιδ λινεσ ιν ⇒γυρε 4.3), τηε λινεαρ κερνελ ηασ α βανδπασσ χηαραχτερ ανδ τηε πρεδιχτεδ ρεχεπτιϖε ⇒ελδ ηασ α χεντερ−συρρουνδ στρυχτυρε, ωηιχη µατχηεσ τηε ρετιναλ γανγλιον ρεχεπτιϖε ⇒ελδσ σηοων ιν χηαπτερ 2. Τηισ στρυχτυρε ελιµινατεσ ονε µαϕορ σουρχε οφ ρεδυνδανχψ ιν νατυραλ σχενεσ: τηε στρονγ σιµιλαριτψ οφ νειγηβορινγ ινπυτσ οωινγ το τηε πρεδοµινανχε οφ λοω σπατιαλ φρεθυενχιεσ ιν ιµαγεσ. Ωηεν τηε νοισε λεϖελ ισ ηιγη (δασηεδ λινεσ ιν ⇒γυρε 4.3), τηε στρυχτυρε οφ τηε οπτιµαλ ρεχεπτιϖε ⇒ελδ ισ διφφερεντ. Ιν σπατιαλ φρεθυενχψ τερµσ, τηε ⇒λτερ ισ νοω λοω−πασσ, ανδ τηε ρεχεπτιϖε ⇒ελδ λοσεσ ιτσ συρρουνδ. Τηισ στρυχτυρε αϖεραγεσ οϖερ νειγηβορινγ πιξελσ το εξτραχτ τηε τρυε σιγναλ οβσχυρεδ βψ τηε υνχορρελατεδ νοισε. Ιν τηε ρετινα, ωε εξπεχτ τηε σιγναλ−το−νοισε ρατιο το βε χοντρολλεδ βψ τηε λεϖελ οφ αµβιεντ λιγητ, ωιτη λοω λεϖελσ οφ ιλλυµινατιον χορρεσπονδινγ το τηε ηιγη−νοισε χασε. Τηε πρεδιχτεδ χηανγε ιν τηε ρεχεπ− τιϖε ⇒ελδσ ατ λοω ιλλυµινατιον (ηιγη νοισε) µατχηεσ ωηατ αχτυαλλψ ηαππενσ ιν τηε ρετινα. Ατ λοω λιγητ λεϖελσ, χιρχυιτρψ χηανγεσ ωιτηιν τηε ρετινα ρε− µοϖε τηε οπποσινγ συρρουνδσ φροµ ρετιναλ γανγλιον χελλ ρεχεπτιϖε ⇒ελδσ.

Τεµποραλ Προχεσσινγ ιν τηε ΛΓΝ Νατυραλ ιµαγεσ τενδ το χηανγε ρελατιϖελψ σλοωλψ οϖερ τιµε. Τηισ µεανσ τηατ τηερε ισ συβσταντιαλ ρεδυνδανχψ ιν τηε συχχεσσιον οφ νατυραλ ιµαγεσ, συγγεστινγ αν οππορτυνιτψ φορ εφ⇒χιεντ τεµποραλ ⇒λτερινγ το χοµπλεµεντ εφ⇒χιεντ σπατιαλ ⇒λτερινγ. Αν αναλψσισ σιµιλαρ το τηατ οφ τηε πρεϖιουσ σεχτιον χαν βε περφορµεδ το αχχουντ φορ τηε τεµποραλ ρεχεπτιϖε ⇒ελδσ οφ ϖισυαλλψ ρεσπονσιϖε νευρονσ εαρλψ ιν τηε ϖισυαλ πατηωαψ. Ρεχαλλ τηατ τηε πρεδιχτεδ λινεαρ τεµποραλ ρεσπονσε ισ γιϖεν βψ Λτ (τ ), ασ εξπρεσσεδ ιν εθυατιον 4.34. Τηε αναλογ οφ εθυατιον 4.37 φορ τεµποραλ δεχορρελατιον ανδ ϖαριανχε εθυαλ− ιζατιον ισ

⟨ Λτ (τ ) Λτ (τ′ )⟩ = σ Λ2 δ(τ − τ′ ) .

(4.48)

Τηισ ισ µατηεµατιχαλλψ ιδεντιχαλ το εθυατιον 4.37 εξχεπτ τηατ τηε ρολε οφ τηε σπατιαλ ϖαριαβλεσ α⃗ ανδ ⃗β ηασ βεεν ρεπλαχεδ βψ τηε τεµποραλ ϖαριαβλεσ τ ανδ τ′ . Τηε αναλψσισ προχεεδσ εξαχτλψ ασ αβοϖε, ανδ τηε οπτιµαλ ⇒λτερ ισ τηε προδυχτ οφ α νοισε ⇒λτερ ανδ α τεµποραλ ωηιτενινγ ⇒λτερ, ασ βεφορε. Τηε τεµποραλ λινεαρ κερνελ ∆τ (τ) ισ ωριττεν ιν τερµσ οφ ιτσ Φουριερ τρανσφορµ, " 1 δω εξπ(−ιωτ)∆τ (ω) , (4.49) ∆τ (τ) = 2π

142

Ινφορµατιον Τηεορψ

B 30

1

20

0.5

τ (µσ)

10

200 0

1 10 temporal frequency (Ηζ)

100

0

∆τ /∆µαξ

firing rate (Ηζ)

A

-0.5

Φιγυρε 4.4 (Α) Πρεδιχτεδ (χυρϖε) ανδ αχτυαλ (διαµονδσ) σελεχτιϖιτψ οφ αν ΛΓΝ χελλ ασ α φυνχτιον οφ τεµποραλ φρεθυενχψ. Τηε πρεδιχτεδ χυρϖε ισ βασεδ ον τηε οπτιµαλ λινεαρ ⇒λτερ ∆τ (ω) ωιτη ω0 = 5.5 Ηζ. (Β) Χαυσαλ, µινιµυµ πηασε, τεµποραλ φορµ οφ τηε οπτιµαλ ⇒λτερ. (Αδαπτεδ φροµ ∆ονγ ανδ Ατιχκ, 1995; δατα ιν Α φροµ Σαυλ ανδ Ηυµπηρεψ, 1990.)

ανδ ∆τ (ω) ισ γιϖεν βψ αν εθυατιον σιµιλαρ το 4.47, 0 σ Λ Θσσ (ω) . |∆τ (ω)| ∝ Θσσ (ω) + Θ (ω)

(4.50)

Ιν τηισ χασε, Θσσ (ω) ανδ Θ (ω) αρε τηε ποωερ σπεχτρα οφ τηε σιγναλ ανδ τηε νοισε ιν τηε τεµποραλ δοµαιν. ∆ονγ ανδ Ατιχκ (1995) αναλψζεδ τεµποραλ ρεχεπτιϖε ⇒ελδσ ιν τηε ΛΓΝ ιν τηισ ωαψ, υνδερ τηε ασσυµπτιον τηατ α συβσταντιαλ φραχτιον οφ τηε τεµπο− ραλ ρεδυνδανχψ οφ ϖισυαλ στιµυλι ισ ρεµοϖεδ ιν τηε ΛΓΝ ρατηερ τηαν ιν τηε ρετινα. Τηεψ δετερµινεδ τηατ τηε τεµποραλ ποωερ σπεχτρυµ οφ νατυραλ σχενεσ ηασ τηε φορµ Θσσ (ω) ∝

ω2

1 , + ω20

(4.51)

ωηερε ω0 ισ α χονσταντ. Τηε ρεσυλτινγ ⇒λτερ, ιν βοτη τηε τεµποραλ φρεθυενχψ ανδ τηε τιµε δοµαινσ, ισ πλοττεδ ιν ⇒γυρε 4.4. Φιγυρε 4.4Α σηοωσ τηε πρε− διχτεδ ανδ αχτυαλ φρεθυενχψ ρεσπονσεσ οφ αν ΛΓΝ χελλ. Τηισ ισ σιµιλαρ το τηε πλοτ ιν ⇒γυρε 4.3Α, εξχεπτ τηατ τηε ρεσυλτ ηασ βεεν νορµαλιζεδ το α ρεαλιστιχ ρεσπονσε λεϖελ σο τηατ ιτ χαν βε χοµπαρεδ ωιτη δατα. Βεχαυσε τηε οπτιµιζα− τιον προχεδυρε δετερµινεσ ονλψ τηε αµπλιτυδε οφ τηε Φουριερ τρανσφορµ οφ τηε λινεαρ κερνελ, ∆τ (τ) ισ νοτ υνιθυελψ σπεχι⇒εδ. Το δετερµινε τηε τεµ− ποραλ κερνελ, ωε ρεθυιρε ιτ το βε χαυσαλ (∆τ (τ) = 0 φορ τ < 0) ανδ ιµποσε α τεχηνιχαλ χονδιτιον κνοων ασ µινιµυµ πηασε, ωηιχη ασσυρεσ τηατ τηε ουτ− πυτ χηανγεσ ασ ραπιδλψ ασ ποσσιβλε ωηεν τηε στιµυλυσ ϖαριεσ. Φιγυρε 4.4Β σηοωσ τηε ρεσυλτινγ φορµ οφ τηε τεµποραλ ⇒λτερ. Τηε σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ σηοων ιν χηαπτερ 2 τενδ το χηανγε σιγν ασ α φυνχτιον οφ τ . Τηε τεµ− ποραλ ⇒λτερ ιν ⇒γυρε 4.4Β ηασ εξαχτλψ τηισ προπερτψ. Αν ιντερεστινγ τεστ οφ τηε νοτιον οφ οπτιµαλ χοδινγ ωασ χαρριεδ ουτ βψ ∆αν, Ατιχκ, ανδ Ρειδ (1996). Τηεψ υσεδ βοτη νατυραλ σχενε ανδ ωηιτε− νοισε στιµυλι ωηιλε ρεχορδινγ χατ ΛΓΝ χελλσ. Φιγυρε 4.5Α σηοωσ τηε ποωερ

4.2

Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον

A

B

power (normalized)

4

4

3

3

2

2

1

1

0 0

5

10

temporal frequency (Ηζ)

15

143

0

0

5

10

15

temporal frequency (Ηζ)

Φιγυρε 4.5 (Α) Ποωερ σπεχτρα οφ τηε σπικε τραινσ οφ 51 χατ ΛΓΝ χελλσ ιν ρεσπονσε το πρεσεντατιον οφ τηε µοϖιε Χασαβλανχα, νορµαλιζεδ το τηειρ οων ϖαλυεσ βετωεεν 5 ανδ 6 Ηζ. Β) Εθυιϖαλεντλψ νορµαλιζεδ ποωερ σπεχτρα οφ τηε σπικε τραινσ οφ 75 ΛΓΝ χελλσ ιν ρεσπονσε το ωηιτε−νοισε στιµυλι. (Αδαπτεδ φροµ ∆αν ετ αλ., 1996.)

σπεχτρα οφ σπικε τραινσ οφ χατ ΛΓΝ χελλσ ιν ρεσπονσε το νατυραλ σχενεσ (τηε µοϖιε Χασαβλανχα), ανδ ⇒γυρε 4.5Β σηοωσ ποωερ σπεχτρα ιν ρεσπονσε το ωηιτε−νοισε στιµυλι. Τηε ποωερ σπεχτρα οφ τηε ρεσπονσεσ το νατυραλ σχενεσ αρε θυιτε ⇓ατ αβοϖε αβουτ ω = 3 Ηζ. Ιν ρεσπονσε το ωηιτε νοισε, ον τηε οτηερ ηανδ, τηεψ ρισε ωιτη ω. Τηισ ισ εξαχτλψ ωηατ ωε ωουλδ εξπεχτ ιφ ΛΓΝ χελλσ αρε αχτινγ ασ τεµποραλ ωηιτενινγ ⇒λτερσ. Ιν τηε χασε οφ νατυραλ στιµυλι, τηε ωηιτενινγ ⇒λτερ εϖενλψ διστριβυτεσ τηε ουτπυτ ποωερ οϖερ α βροαδ φρε− θυενχψ ρανγε. Ρεσπονσεσ το ωηιτε−νοισε στιµυλι ινχρεασε ατ ηιγη φρεθυεν− χιεσ δυε το τηε βοοστινγ οφ ινπυτσ ατ τηεσε φρεθυενχιεσ βψ τηε ωηιτενινγ ⇒λτερ.

Χορτιχαλ Χοδινγ Χοµπυτατιοναλ χονχερνσ βεψονδ µερε λινεαρ ινφορµατιον τρανσφερ αρε λικελψ το βε ρελεϖαντ ατ τηε λεϖελ οφ χορτιχαλ προχεσσινγ οφ ϖισυαλ ιµαγεσ. Φορ ονε τηινγ, τηε πριµαρψ ϖισυαλ χορτεξ ηασ µανψ µορε νευρονσ τηαν τηε ΛΓΝ, ψετ τηεψ χαν χολλεχτιϖελψ χονϖεψ νο µορε ινφορµατιον αβουτ τηε ϖι− συαλ ωορλδ τηαν τηεψ ρεχειϖε. Ασ ωε σαω ιν χηαπτερ 2, νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ αρε σελεχτιϖε φορ θυαντιτιεσ, συχη ασ σπατιαλ φρεθυενχψ ανδ ορι− εντατιον, τηατ αρε οφ παρτιχυλαρ ιµπορτανχε ιν ρελατιον το οβϕεχτ ρεχογνιτιον βυτ νοτ φορ ινφορµατιον τρανσφερ. Νεϖερτηελεσσ, τηε µετηοδσ δεσχριβεδ ιν τηε πρεϖιουσ σεχτιον χαν βε υσεδ το υνδερστανδ ρεστριχτεδ ασπεχτσ οφ ρεχεπ− τιϖε ⇒ελδσ οφ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ, ναµελψ, τηε ωαψ τηατ τηειρ µυλτιπλε σελεχτιϖιτιεσ αρε χολλεχτιϖελψ ασσιγνεδ. Φορ εξαµπλε, χελλσ τηατ ρε− σπονδ βεστ ατ ηιγη σπατιαλ φρεθυενχιεσ τενδ το ρεσπονδ µορε το λοω τεµ− ποραλ φρεθυενχψ χοµπονεντσ οφ ιµαγεσ, ανδ ϖιχε ϖερσα. Τηε στιµυλυσ ποωερ σπεχτρυµ ωριττεν ασ α φυνχτιον οφ βοτη ) σπατιαλ ανδ * τεµποραλ φρεθυενχψ ηασ βεεν εστιµατεδ ασ Θσσ (⃗κ, ω) ∝ 1/ |⃗κ|2 + α2 ω2 ,

144

Ινφορµατιον Τηεορψ

0.5

sensitivity

0.4

4 cycles/degree

0.3 0.2 0.5 cycles/degree

0.1

1

10

temporal frequency (Ηζ) Φιγυρε 4.6 ∆επενδενχε οφ τεµποραλ φρεθυενχψ τυνινγ ον πρεφερρεδ σπατιαλ φρε− θυενχψ φορ σπαχε−τιµε ρεχεπτιϖε ⇒ελδσ δεριϖεδ φροµ ινφορµατιον µαξιµιζατιον ιν τηε πρεσενχε οφ νοισε. Τηε χυρϖεσ σηοω α τρανσιτιον φροµ παρτιαλ ωηιτενινγ ιν τεµ− ποραλ φρεθυενχψ φορ λοω πρεφερρεδ σπατιαλ φρεθυενχψ (σολιδ χυρϖε, 0.5 χψχλεσ/δεγρεε) το τεµποραλ συµµατιον φορ ηιγη πρεφερρεδ σπατιαλ φρεθυενχψ (δασηεδ χυρϖε, 4 χψχλεσ/δεγρεε). (Αδαπτεδ φροµ Λι, 1996.)

ωηερε α = 0.4 χψχλε σεχονδσ/δεγρεε. Τηισ χορρελατιον φυνχτιον δεχρεασεσ βοτη φορ ηιγη σπατιαλ ανδ ηιγη τεµποραλ φρεθυενχιεσ. Φιγυρε 4.6 σηοωσ ηοω τεµποραλ σελεχτιϖιτψ φορ α χοµβινεδ νοισε ανδ ωηιτενινγ ⇒λτερ, χονστρυχτεδ υσινγ τηισ στιµυλυσ ποωερ σπεχτρυµ, χηανγεσ φορ διφφερεντ πρεφερρεδ σπα− τιαλ φρεθυενχιεσ. Τηε βασιχ ιδεα ισ τηατ χοµπονεντσ ωιτη φαιρλψ λοω στιµυλυσ ποωερ αρε βοοστεδ βψ τηε ωηιτενινγ ⇒λτερ, ωηιλε τηοσε ωιτη ϖερψ λοω στιµ− υλυσ ποωερ γετ συππρεσσεδ βψ τηε νοισε ⇒λτερ. Ασ σηοων βψ Λι (1996), ιφ α χελλ ισ σελεχτιϖε φορ ηιγη σπατιαλ φρεθυενχιεσ, τηε ινπυτ σιγναλ ραπιδλψ φαλλσ βελοω τηε νοισε (τρεατεδ ασ ωηιτε) ασ τηε τεµποραλ φρεθυενχψ οφ τηε ινπυτ ισ ινχρεασεδ. Ασ α ρεσυλτ, τηε νοισε ⇒λτερ οφ εθυατιον 4.46 χαυσεσ τηε τεµποραλ ρεσπονσε το βε λαργεστ ατ 0 τεµποραλ φρεθυενχψ (δασηεδ χυρϖε οφ ⇒γυρε 4.6). Ιφ ινστεαδ τηε χελλ ισ σελεχτιϖε φορ λοω σπατιαλ φρεθυενχιεσ, τηε σιγναλ δοµι− νατεσ τηε νοισε υπ το ηιγηερ τεµποραλ φρεθυενχιεσ, ανδ τηε ωηιτενινγ ⇒λτερ χαυσεσ τηε ρεσπονσε το ινχρεασε ασ α φυνχτιον οφ τεµποραλ φρεθυενχψ υπ το α µαξιµυµ ϖαλυε ωηερε τηε νοισε ⇒λτερ βεγινσ το συππρεσσ τηε ρεσπονσε (σολιδ χυρϖε ιν ⇒γυρε 4.6). Ρεχεπτιϖε ⇒ελδσ ωιτη πρεφερενχε φορ ηιγη σπατιαλ φρεθυενχψ τηυσ αχτ ασ λοω−πασσ τεµποραλ ⇒λτερσ, ανδ ρεχεπτιϖε ⇒ελδσ ωιτη σελεχτιϖιτψ φορ λοω σπατιαλ φρεθυενχψ αχτ ασ βανδπασσ τεµποραλ ⇒λτερσ. Σιµιλαρ χονχλυσιονσ χαν βε δραων χονχερνινγ οτηερ ϕοιντ σελεχτιϖιτιεσ. Φορ εξαµπλε, χολορ−σελεχτιϖε (χηροµινανχε) χελλσ τενδ το βε σελεχτιϖε φορ λοω τεµποραλ φρεθυενχιεσ, βεχαυσε τηειρ ινπυτ σιγναλ−το−νοισε ρατιο ισ λοωερ τηαν τηατ φορ βροαδβανδ (λυµινανχε) χελλσ. Τηερε ισ αλσο αν ιντερεστινγ πρεδιχτεδ ρελατιονσηιπ βετωεεν οχυλαρ δοµινανχε ανδ σπατιαλ φρεθυενχψ τυνινγ δυε το τηε νατυρε οφ τηε χορρελατιονσ βετωεεν τηε τωο εψεσ. Οπτι− µαλ ρεχεπτιϖε ⇒ελδσ ωιτη λοω σπατιαλ φρεθυενχψ τυνινγ (φορ ωηιχη τηε ιν− πυτ σιγναλ−το−νοισε ρατιο ισ ηιγη) ηαϖε ενηανχεδ σενσιτιϖιτψ το διφφερενχεσ βετωεεν ινπυτσ χοµινγ φροµ τηε τωο εψεσ. Ρεχεπτιϖε ⇒ελδσ τυνεδ το ιντερ− µεδιατε ανδ ηιγη σπατιαλ φρεθυενχιεσ συππρεσσ οχυλαρ διφφερενχεσ.

4.3

4.3

Εντροπψ ανδ Ινφορµατιον φορ Σπικε Τραινσ

145

Εντροπψ ανδ Ινφορµατιον φορ Σπικε Τραινσ

Χοµπυτινγ τηε εντροπψ ορ ινφορµατιον χοντεντ οφ α νευροναλ ρεσπονσε χηαραχτεριζεδ βψ σπικε τιµεσ ισ µυχη µορε διφ⇒χυλτ τηαν χοµπυτινγ τηεσε θυαντιτιεσ φορ ρεσπονσεσ δεσχριβεδ βψ ⇒ρινγ ρατεσ. Νεϖερτηελεσσ, τηεσε χοµ− πυτατιονσ αρε ιµπορταντ, βεχαυσε ⇒ρινγ ρατεσ αρε ινχοµπλετε δεσχριπτιονσ τηατ χαν λεαδ το σεριουσ υνδερεστιµατεσ οφ τηε εντροπψ ανδ ινφορµατιον. Ιν τηισ σεχτιον, ωε δισχυσσ ηοω τηε εντροπψ ανδ µυτυαλ ινφορµατιον χαν βε χοµπυτεδ φορ σπικε τραινσ. Εξτενσιϖε φυρτηερ δισχυσσιον χαν βε φουνδ ιν τηε βοοκ βψ Ριεκε ετ αλ. (1997). Σπικε−τραιν εντροπψ χαλχυλατιονσ αρε τψπιχαλλψ βασεδ ον τηε στυδψ οφ λονγ− δυρατιον ρεχορδινγσ χονσιστινγ οφ µανψ αχτιον ποτεντιαλσ. Τηε εντροπψ ορ µυτυαλ ινφορµατιον τψπιχαλλψ γροωσ λινεαρλψ ωιτη τηε λενγτη οφ τηε σπικε τραιν βεινγ χονσιδερεδ. Φορ τηισ ρεασον, τηε εντροπψ ανδ µυτυαλ ινφορµα− τιον οφ σπικε τραινσ αρε ρεπορτεδ ασ εντροπψ ορ ινφορµατιον ρατεσ. Τηεσε αρε τηε τοταλ εντροπψ ορ ινφορµατιον διϖιδεδ βψ τηε δυρατιον οφ τηε σπικε τραιν. ˙ ρατηερ τηαν Η. Αλτερνατιϖελψ, εντροπψ ανδ Ωε ωριτε τηε εντροπψ ρατε ασ Η µυτυαλ ινφορµατιον χαν βε διϖιδεδ βψ τηε τοταλ νυµβερ οφ αχτιον ποτεν− τιαλσ ανδ ρεπορτεδ ασ βιτσ περ σπικε ρατηερ τηαν βιτσ περ σεχονδ. Το χοµπυτε εντροπψ ανδ ινφορµατιον ρατεσ φορ α σπικε τραιν, ωε νεεδ το δετερµινε τηε προβαβιλιτιεσ τηατ ϖαριουσ τεµποραλ παττερνσ οφ αχτιον ποτεν− τιαλσ αππεαρ. Τηεσε προβαβιλιτιεσ ρεπλαχε τηε φαχτορσ Π[ρ] ορ π[ρ] τηατ οχχυρ ωηεν δισχρετε ορ χοντινυουσ ⇒ρινγ ρατεσ αρε υσεδ το χηαραχτεριζε α νευ− ραλ ρεσπονσε. Τηε τεµποραλ παττερν οφ α γρουπ οφ αχτιον ποτεντιαλσ χαν βε σπεχι⇒εδ βψ λιστινγ ειτηερ τηε ινδιϖιδυαλ σπικε τιµεσ ορ τηε σεθυενχε οφ ιν− τερϖαλσ βετωεεν συχχεσσιϖε σπικεσ. Τηε εντροπψ ανδ µυτυαλ ινφορµατιον χαλχυλατιονσ ωε πρεσεντ αρε βασεδ ον α σπικε−τιµε δεσχριπτιον, βυτ ασ αν ινιτιαλ εξαµπλε ωε χονσιδερ αν αππροξιµατε χοµπυτατιον οφ εντροπψ υσ− ινγ ιντερσπικε ιντερϖαλσ. Τηε προβαβιλιτψ οφ αν ιντερσπικε ιντερϖαλ φαλλινγ ιν τηε ρανγε βετωεεν τ ανδ τ + %τ ισ γιϖεν ιν τερµσ οφ τηε ιντερσπικε ιντερϖαλ προβαβιλιτψ δενσιτψ βψ π[τ ]%τ . Βεχαυσε τηε ιντερσπικε ιντερϖαλ ισ α χοντινυουσ ϖαριαβλε, ωε µυστ σπεχιφψ α ρεσολυτιον %τ ωιτη ωηιχη ιτ ισ µεασυρεδ το δε⇒νε τηε εντροπψ. Ιφ τηε διφφερεντ ιντερσπικε ιντερϖαλσ αρε στατιστιχαλλψ ινδεπενδεντ, τηε εντροπψ ασσοχιατεδ ωιτη τηε ιντερσπικε ιντερϖαλσ ιν α σπικε τραιν οφ αϖεραγε ρατε ⟨ρ⟩ ανδ οφ δυρατιον Τ ισ τηε νυµβερ οφ ιντερϖαλσ, ⟨ρ⟩Τ, τιµεσ τηε ιντεγραλ οϖερ τ οφ − π[τ ] λογ2 ( π[τ ]%τ). Τηε εντροπψ ρατε ισ οβταινεδ βψ διϖιδινγ τηισ ρεσυλτ βψ Τ, ανδ τηε εντροπψ περ σπικε ρεθυιρεσ διϖιδινγ βψ τηε νυµβερ οφ σπικεσ, ⟨ρ⟩Τ. Τηε ασσυµπτιον οφ ινδεπενδεντ ιντερσπικε ιντερϖαλσ ισ χριτιχαλ φορ οβ− ταινινγ τηε σπικε−τραιν εντροπψ σολελψ ιν τερµσ οφ π[τ ]. Χορρελατιονσ βε− τωεεν διφφερεντ ιντερσπικε ιντερϖαλσ ρεδυχε τηε τοταλ εντροπψ, σο τηε ρεσυλτ οβταινεδ βψ ασσυµινγ ινδεπενδεντ ιντερϖαλσ προϖιδεσ αν υππερ βουνδ ον ˙ φορ τηε τρυε εντροπψ οφ α σπικε τραιν. Τηυσ, ιν γενεραλ, τηε εντροπψ ρατε Η α σπικε τραιν ωιτη ιντερσπικε ιντερϖαλ διστριβυτιον π[τ ] ανδ αϖεραγε ρατε ⟨ρ⟩

εντροπψ ανδ ινφορµατιον ρατεσ

146

Ινφορµατιον Τηεορψ

σατισ⇒εσ

˙ ≤ −⟨ρ⟩ Η

Ποισσον εντροπψ ρατε

"

0

∞

δτ π[τ ] λογ2 ( π[τ ]%τ) .

(4.52)

Ιφ α σπικε τραιν ισ δεσχριβεδ βψ α ηοµογενεουσ Ποισσον προχεσσ ωιτη ρατε ⟨ρ⟩, ωε ηαϖε π[τ ] = ⟨ρ⟩ εξπ(−⟨ρ⟩τ), ανδ τηε ιντερσπικεσ αρε στατιστιχαλλψ ιν− δεπενδεντ (χηαπτερ 1). Εθυατιον 4.52 ισ τηεν αν εθυαλιτψ ανδ, περφορµινγ τηε ιντεγραλσ,

˙ = ⟨ρ⟩ (1 − λν(⟨ρ⟩%τ)) . Η λν(2 )

(4.53)

Ωε νοω τυρν το α µορε γενεραλ χαλχυλατιον οφ τηε σπικε−τραιν εντροπψ. Το µακε εντροπψ χαλχυλατιονσ πραχτιχαλ, α λονγ σπικε τραιν ισ βροκεν ιντο στα− τιστιχαλλψ ινδεπενδεντ συβυνιτσ, ανδ τηε τοταλ εντροπψ ισ ωριττεν ασ τηε συµ οφ τηε εντροπιεσ φορ τηε ινδιϖιδυαλ συβυνιτσ. Ιν τηε χασε οφ εθυατιον 4.52, τηε συβυνιτ ωασ τηε ιντερσπικε ιντερϖαλ. Ιφ ιντερσπικε ιντερϖαλσ αρε νοτ ιν− δεπενδεντ, ανδ ωε ωιση το χοµπυτε α ρεσυλτ ανδ νοτ µερελψ α βουνδ, ωε µυστ ωορκ ωιτη λαργερ συβυνιτ δεσχριπτιονσ. Στρονγ ετ αλ. (1998) προποσεδ α σχηεµε τηατ υσεσ σπικε σεθυενχεσ οφ δυρατιον Τσ ασ τηεσε βασιχ συβυνιτσ. Νοτε τηατ τηε ϖαριαβλε Τσ ισ υσεδ ηερε το δενοτε τηε δυρατιον οφ τηε σπικε σεθυενχε βεινγ χονσιδερεδ, ωηιλε Τ, ωηιχη ισ µυχη λαργερ τηαν Τσ , ισ τηε δυρατιον οφ τηε εντιρε σπικε τραιν. Τηε τιµε τηατ α σπικε οχχυρσ ισ α χοντινυουσ ϖαριαβλε, σο, ασ ιν τηε χασε οφ ιντερσπικε ιντερϖαλσ, α ρεσολυτιον µυστ βε σπεχι⇒εδ ωηεν σπικε τραιν εντροπιεσ αρε χοµπυτεδ. Τηισ χαν βε δονε βψ διϖιδινγ τιµε ιντο δισχρετε βινσ οφ σιζε %τ. Ωε ασσυµε τηατ τηε βινσ αρε σµαλλ ενουγη σο τηατ νοτ µορε τηαν ονε σπικε αππεαρσ ιν α βιν. ∆επενδινγ ον ωηετηερ ορ νοτ α σπικε οχχυρρεδ ωιτηιν ιτ, εαχη βιν ισ λαβελεδ βψ α 0 (νο σπικε) ορ α 1 (σπικε). Α σπικε σεθυενχε δε⇒νεδ οϖερ α βλοχκ οφ δυρατιον Τσ ισ τηυσ ρεπρεσεντεδ βψ α στρινγ οφ Τσ /%τ ζεροσ ανδ ονεσ. Ωε δενοτε συχη α σεθυενχε βψ Β (τ ), ωηερε Β ισ α Τσ /%τ βιτ βιναρψ νυµβερ, ανδ τ σπεχι⇒εσ τηε τιµε οφ τηε ⇒ρστ βιν ιν τηε σεθυενχε βεινγ χονσιδερεδ. Βοτη Τσ ανδ τ αρε ιντεγερ µυλτιπλεσ οφ τηε βιν σιζε %τ. Τηε προβαβιλιτψ οφ α σεθυενχε Β οχχυρρινγ ατ ανψ τιµε δυρινγ τηε εντιρε ρε− σπονσε ισ δενοτεδ βψ Π[Β]. Τηισ χαν βε οβταινεδ βψ χουντινγ τηε νυµβερ οφ τιµεσ τηε σεθυενχε Β οχχυρσ ανψωηερε ωιτηιν τηε σπικε τραινσ βεινγ αν− αλψζεδ (ινχλυδινγ οϖερλαππινγ χασεσ). Τηε σπικε−τραιν εντροπψ ρατε ιµπλιεδ βψ τηισ διστριβυτιον ισ ! ˙ =− 1 Η Π[Β] λογ2 Π[Β] , Τσ Β

(4.54)

ωηερε τηε συµ ισ οϖερ αλλ τηε σεθυενχεσ Β φουνδ ιν τηε δατα σετ, ανδ ωε ηαϖε διϖιδεδ βψ τηε δυρατιον Τσ οφ α σινγλε σεθυενχε το οβταιν αν εντροπψ ρατε. Ιφ τηε σπικε σεθυενχεσ ιν νονοϖερλαππινγ ιντερϖαλσ οφ δυρατιον Τσ αρε ιν− δεπενδεντ, τηε φυλλ σπικε−τραιν εντροπψ ρατε ισ αλσο γιϖεν βψ εθυατιον 4.54.

4.3

Εντροπψ ανδ Ινφορµατιον φορ Σπικε Τραινσ

147

Ηοωεϖερ, ανψ χορρελατιονσ βετωεεν συχχεσσιϖε ιντερϖαλσ (ιφ Β (τ + Τσ ) ισ χορ− ρελατεδ ωιτη Β (τ ), φορ εξαµπλε) ρεδυχε τηε τοταλ σπικε−τραιν εντροπψ, χαυσ− ινγ εθυατιον 4.54 το οϖερεστιµατε τηε τρυε εντροπψ ρατε. Τηυσ, φορ ⇒νιτε Τσ , τηισ εθυατιον προϖιδεσ αν υππερ βουνδ ον τηε τρυε εντροπψ ρατε. Ιφ Τσ ισ τοο σµαλλ, Β (τ + Τσ ) ανδ Β (τ ) αρε λικελψ το βε χορρελατεδ, ανδ τηε οϖερεστιµατε µαψ βε σεϖερε. Ασ Τσ ινχρεασεσ, ωε εξπεχτ τηε χορρελατιονσ το γετ σµαλλερ, ανδ εθυατιον 4.54 σηουλδ προϖιδε α µορε αχχυρατε ϖαλυε. Φορ ανψ ⇒νιτε δατα σετ, Τσ χαννοτ βε ινχρεασεδ παστ α χερταιν ποιντ, βεχαυσε τηερε ωιλλ νοτ βε ενουγη σπικε σεθυενχεσ οφ δυρατιον Τσ ιν τηε δατα σετ το δετερµινε τηειρ προβαβιλιτιεσ. Τηυσ, ιν πραχτιχε, Τσ µυστ βε ινχρεασεδ υντιλ τηε ποιντ ωηερε τηε εξτραχτιον οφ προβαβιλιτιεσ βεχοµεσ προβλεµατιχ, ανδ σοµε φορµ οφ εξτραπολατιον το Τσ → ∞ µυστ βε µαδε. Στατιστιχαλ µεχηανιχσ αργυµεντσ συγγεστ τηατ τηε διφφερενχε βετωεεν τηε εντροπψ φορ ⇒νιτε Τσ ανδ τηε τρυε εντροπψ φορ Τσ → ∞ σηουλδ βε προπορ− τιοναλ το 1/ Τσ φορ λαργε Τσ . Τηερεφορε, τηε τρυε εντροπψ χαν βε εστιµατεδ, ασ ιν ⇒γυρε 4.7, βψ λινεαρλψ εξτραπολατινγ α πλοτ οφ τηε εντροπψ ρατε ϖερσυσ 1/ Τσ το τηε ποιντ 1/ Τσ = 0. Ιν ⇒γυρε 4.7 (υππερ λινε), τηισ ηασ βεεν δονε φορ δατα φροµ τηε µοτιον−σενσιτιϖε Η1 νευρον οφ τηε ⇓ψ ϖισυαλ σψστεµ. Τηε πλοττεδ ποιντσ σηοω εντροπψ ρατεσ χοµπυτεδ φορ διφφερεντ ϖαλυεσ οφ 1/ Τσ , ανδ τηεψ ϖαρψ λινεαρλψ οϖερ µοστ οφ τηε ρανγε οφ τηε πλοτ. Ηοωεϖερ, ωηεν 1/ Τσ γοεσ βελοω αβουτ 20/σ (ορ Τσ > 50 µσ), τηε δεπενδενχε συδδενλψ χηανγεσ. Τηισ ισ τηε ποιντ ατ ωηιχη τηε αµουντ οφ δατα ισ ινσυφ⇒χιεντ το εξτραχτ εϖεν αν οϖερεστιµατε οφ τηε εντροπψ. Βψ λινεαρλψ εξτραπολατινγ τηε λινεαρ παρτ οφ τηε σεριεσ οφ χοµπυτεδ ποιντσ ιν ⇒γυρε 4.7, Στρονγ ετ αλ. εστι− µατεδ τηατ τηε Η1 σπικε τραινσ ηαδ αν εντροπψ ρατε οφ 157 βιτσ/σ ωηεν τηε ρεσολυτιον ωασ %τ = 3 µσ. Το χοµπυτε τηε µυτυαλ ινφορµατιον ρατε φορ α σπικε τραιν, ωε µυστ συβ− τραχτ τηε νοισε εντροπψ ρατε φροµ τηε φυλλ σπικε−τραιν εντροπψ ρατε. Τηε νοισε εντροπψ ρατε ισ δετερµινεδ φροµ τηε προβαβιλιτιεσ οφ ⇒νδινγ ϖαριουσ σεθυενχεσ Β, γιϖεν τηατ τηεψ ωερε εϖοκεδ βψ τηε σαµε στιµυλυσ. Τηισ ισ δονε βψ χονσιδερινγ σεθυενχεσ Β (τ ) τηατ σταρτ ατ α ⇒ξεδ τιµε τ. Ιφ τηε σαµε στιµυλυσ ισ υσεδ ιν ρεπεατεδ τριαλσ, σεθυενχεσ τηατ βεγιν ατ τιµε τ ιν εϖερψ τριαλ αρε γενερατεδ βψ τηε σαµε στιµυλυσ. Τηερεφορε, τηε χονδιτιοναλ προβ− αβιλιτψ οφ τηε ρεσπονσε, γιϖεν τηε στιµυλυσ, ισ ιν τηισ χασε τηε διστριβυτιον Π[Β (τ )] φορ ρεσπονσε σεθυενχεσ βεγιννινγ ατ τιµε τ. Τηισ ισ οβταινεδ βψ δετερµινινγ τηε φραχτιον οφ τριαλσ ον ωηιχη Β (τ ) ωασ εϖοκεδ. Νοτε τηατ Π[Β (τ )] ισ τηε προβαβιλιτψ οφ ⇒νδινγ α γιϖεν σεθυενχε ατ τιµε τ ωιτηιν α σετ οφ σπικε τραινσ οβταινεδ ον τριαλσ υσινγ τηε σαµε στιµυλυσ. Ιν χοντραστ, Π[Β], υσεδ ιν τηε σπικε−τραιν εντροπψ χαλχυλατιον, ισ τηε προβαβιλιτψ οφ ⇒νδ− ινγ τηε σεθυενχε Β ατ ανψ τιµε ωιτηιν τηεσε τραινσ. ∆ετερµινινγ Π[Β (τ )] φορ α συφ⇒χιεντ νυµβερ οφ σπικε σεθυενχεσ µαψ τακε α λαργε νυµβερ οφ τριαλσ υσινγ τηε σαµε στιµυλυσ. Τηε φυλλ νοισε εντροπψ ισ χοµπυτεδ βψ αϖεραγινγ τηε νοισε εντροπψ ατ τιµε τ οϖερ αλλ τ ϖαλυεσ. Τηε αϖεραγε οϖερ τ πλαψσ τηε ρολε οφ τηε αϖεραγε οϖερ

148

Ινφορµατιον Τηεορψ 200 160 120

80 40 0

0

20

40

60

80

100

Φιγυρε 4.7 Εντροπψ ανδ νοισε εντροπψ ρατεσ φορ τηε Η1 ϖισυαλ νευρον ιν τηε ⇓ψ ρεσπονδινγ το α ρανδοµλψ µοϖινγ ϖισυαλ ιµαγε. Τηε ⇒λλεδ χιρχλεσ ιν τηε υππερ τραχε σηοω τηε φυλλ σπικε−τραιν εντροπψ ρατε χοµπυτεδ φορ διφφερεντ ϖαλυεσ οφ 1/ Τσ . Τηε στραιγητ λινε ισ α λινεαρ εξτραπολατιον το 1/ Τσ = 0, ωηιχη χορρεσπονδσ το Τσ → ∞. Τηε λοωερ τραχε σηοωσ τηε σπικε τραιν νοισε εντροπψ ρατε φορ διφφερεντ ϖαλυεσ οφ 1/ Τσ . Τηε στραιγητ λινε ισ αγαιν αν εξτραπολατιον το 1/ Τσ = 0. Βοτη εντροπψ ρατεσ ινχρεασε ασ φυνχτιονσ οφ 1/ Τσ , ανδ τηε τρυε σπικε−τραιν ανδ νοισε εντροπψ ρατεσ αρε οϖερεστιµατεδ ατ λαργε ϖαλυεσ οφ 1/ Τσ . Ατ 1/ Τσ ≈ 20/σ, τηερε ισ α συδδεν σηιφτ ιν τηε δεπενδενχε. Τηισ οχχυρσ ωηεν τηερε ισ ινσυφ⇒χιεντ δατα το χοµπυτε τηε σπικε σεθυενχε προβαβιλιτιεσ. Τηε διφφερενχε βετωεεν τηε ψ ιντερχεπτσ οφ τηε τωο στραιγητ λινεσ πλοττεδ ισ τηε µυτυαλ ινφορµατιον ρατε. Τηε ρεσολυτιον ισ %τ = 3 µσ. (Αδαπτεδ φροµ Στρονγ ετ αλ., 1998.)

στιµυλι ιν εθυατιον 4.6. Τηε ρεσυλτ ισ ' ( %τ ! 1 ! ˙ Ηνοισε = − Π[Β (τ )] λογ2 Π[Β (τ )] , Τ τ Τσ Β

(4.55)

ωηερε Τ/%τ ισ τηε νυµβερ οφ διφφερεντ τ ϖαλυεσ βεινγ συµµεδ.

Ιφ εθυατιον 4.55 ισ βασεδ ον ⇒νιτε−λενγτη σπικε σεθυενχεσ, ιτ προϖιδεσ αν υππερ βουνδ ον τηε νοισε εντροπψ ρατε. Τηε τρυε νοισε εντροπψ ρατε ισ εστιµατεδ βψ περφορµινγ α λινεαρ εξτραπολατιον ιν 1/ Τσ το 1/ Τσ = 0, ασ ωασ δονε φορ τηε σπικε−τραιν εντροπψ ρατε. Τηε ρεσυλτ, σηοων ιν ⇒γυρε 4.7, ισ α νοισε εντροπψ οφ 79 βιτσ/σ φορ %τ = 3 µσ. Τηε ινφορµατιον ρατε ισ οβταινεδ βψ τακινγ τηε διφφερενχε βετωεεν τηε εξτραπολατεδ ϖαλυεσ φορ τηε σπικε− τραιν ανδ νοισε εντροπψ ρατεσ. Τηε ρεσυλτ φορ τηε ⇓ψ Η1 νευρον υσεδ ιν ⇒γυρε 4.7 ισ αν ινφορµατιον ρατε οφ 157 − 79 = 78 βιτσ/σ ορ 1.8 βιτσ/σπικε. ςαλυεσ ιν τηε ρανγε 1 το 3 βιτσ/σπικε αρε τψπιχαλ ρεσυλτσ οφ συχη χαλχυλατιονσ φορ α ϖαριετψ οφ πρεπαρατιονσ. Βοτη τηε σπικε−τραιν ανδ νοισε εντροπψ ρατεσ δεπενδ ον %τ. Τηε λεαδινγ δεπενδενχε, χοµινγ φροµ τηε λογ2 %τ τερµ δισχυσσεδ πρεϖιουσλψ, χανχελσ

4.4

Χηαπτερ Συµµαρψ

149

ιν τηε χοµπυτατιον οφ τηε ινφορµατιον ρατε, βυτ τηε ινφορµατιον χαν στιλλ δεπενδ ον %τ τηρουγη νονδιϖεργεντ τερµσ. Τηισ ρε⇓εχτσ τηε φαχτ τηατ µορε ινφορµατιον χαν βε εξτραχτεδ φροµ αχχυρατελψ µεασυρεδ σπικε τιµεσ τηαν φροµ ποορλψ µεασυρεδ σπικε τιµεσ. Τηυσ, ωε εξπεχτ τηε ινφορµατιον ρατε το ινχρεασε ωιτη δεχρεασινγ %τ, ατ λεαστ οϖερ σοµε ρανγε οφ %τ ϖαλυεσ. Ατ σοµε χριτιχαλ ϖαλυε οφ %τ τηατ µατχηεσ τηε νατυραλ δεγρεε οφ νοισε ϕιττερ ιν τηε σπικε τιµινγσ, ωε εξπεχτ τηε ινφορµατιον ρατε το στοπ ινχρεασινγ. Τηισ ϖαλυε οφ %τ ισ ιντερεστινγ βεχαυσε ιτ τελλσ υσ αβουτ τηε δεγρεε οφ σπικε τιµινγ αχχυραχψ ιν νευραλ ενχοδινγ. Τηε ινφορµατιον χονϖεψεδ βψ σπικε τραινσ χαν βε υσεδ το χοµπαρε ρε− σπονσεσ το διφφερεντ στιµυλι ανδ τηερεβψ ρεϖεαλ στιµυλυσ−σπεχι⇒χ ασπεχτσ οφ νευραλ ενχοδινγ. Φορ εξαµπλε, Ριεκε ετ αλ. (1995) χοµπαρεδ τηε ινφορ− µατιον χονϖεψεδ βψ σινγλε νευρονσ ιν α περιπηεραλ αυδιτορψ οργαν (τηε αµπηιβιαν παπιλλα) οφ τηε βυλλφρογ ιν ρεσπονσε το βροαδβανδ νοισε ορ το νοισε ⇒λτερεδ το ηαϖε αν αµπλιτυδε σπεχτρυµ χλοσε το τηατ οφ νατυραλ βυλλ− φρογ χαλλσ (αλτηουγη τηε πηασεσ φορ εαχη φρεθυενχψ χοµπονεντ ωερε χηοσεν ρανδοµλψ). Τηεψ δετερµινεδ τηατ τηε χελλσ χονϖεψεδ ον αϖεραγε οφ 46 βιτσ περ σεχονδ (1.4 βιτσ περ σπικε) φορ βροαδβανδ νοισε ανδ 133 βιτσ περ σεχονδ (7.8 βιτσ περ σπικε) φορ στιµυλι ωιτη χαλλ−λικε σπεχτρα, δεσπιτε τηε φαχτ τηατ τηε βροαδβανδ νοισε ηαδ α ηιγηερ εντροπψ. Τηε σπικε τραινσ ιν ρεσπονσε το τηε χαλλ−λικε στιµυλι χονϖεψεδ ινφορµατιον ωιτη νεαρ µαξιµαλ εφ⇒χιενχψ.

4.4

Χηαπτερ Συµµαρψ

Σηαννονaσ ινφορµατιον τηεορψ χαν βε υσεδ το δετερµινε ηοω µυχη α νευ− ραλ ρεσπονσε τελλσ βοτη υσ ανδ, πρεσυµαβλψ, τηε ανιµαλ ιν ωηιχη τηε νευ− ρον λιϖεσ, αβουτ α στιµυλυσ. Εντροπψ ισ α µεασυρε οφ τηε υνχερταιντψ ορ συρπρισε ασσοχιατεδ ωιτη α στοχηαστιχ ϖαριαβλε, συχη ασ α στιµυλυσ. Μυτυαλ ινφορµατιον θυαντι⇒εσ τηε ρεδυχτιον ιν υνχερταιντψ ασσοχιατεδ ωιτη τηε οβ− σερϖατιον οφ ανοτηερ ϖαριαβλε, συχη ασ α ρεσπονσε. Τηε µυτυαλ ινφορµατιον ισ ρελατεδ το τηε Κυλλβαχκ−Λειβλερ διϖεργενχε βετωεεν τωο προβαβιλιτψ δισ− τριβυτιονσ. Ωε δε⇒νεδ τηε ρεσπονσε ανδ νοισε εντροπιεσ φορ προβαβιλιτψ διστριβυτιονσ οφ δισχρετε ανδ χοντινυουσ ⇒ρινγ ρατεσ, ανδ χονσιδερεδ ηοω τηε ινφορµατιον τρανσµιττεδ αβουτ α σετ οφ στιµυλι µιγητ βε οπτιµιζεδ. Τηε πρινχιπλεσ οφ εντροπψ ανδ ινφορµατιον µαξιµιζατιον ωερε υσεδ το αχ− χουντ φορ φεατυρεσ οφ τηε ρεχεπτιϖε ⇒ελδσ οφ χελλσ ιν τηε ρετινα, ΛΓΝ, ανδ πριµαρψ ϖισυαλ χορτεξ. Τηισ αναλψσισ ιντροδυχεδ προβαβιλιτψ φαχτοριζατιον ανδ εθυαλιζατιον, ανδ ωηιτενινγ ανδ νοισε ⇒λτερσ. Φιναλλψ, ωε δισχυσσεδ ηοω τηε ινφορµατιον χονϖεψεδ αβουτ δψναµιχ στιµυλι βψ σπικε σεθυενχεσ χαν βε εστιµατεδ.

150

4.5

Ινφορµατιον Τηεορψ

Αππενδιξ

Ποσιτιϖιτψ οφ τηε Κυλλβαχκ−Λειβλερ ∆ιϖεργενχε ϑενσεν[σ ινεθυαλιτψ

Τηε λογαριτηµ ισ α χονχαϖε φυνχτιον, ωηιχη µεανσ τηατ λογ2 ⟨ζ⟩ ≥ ⟨λογ2 ζ⟩, ωηερε τηε ανγλε βραχκετσ δενοτε αϖεραγινγ ωιτη ρεσπεχτ το σοµε προβαβιλ− ιτψ διστριβυτιον ανδ ζ ισ ανψ ποσιτιϖε θυαντιτψ. Τηε εθυαλιτψ ηολδσ ονλψ ιφ ζ ισ α χονσταντ. Ιφ ωε χονσιδερ τηισ ρελατιον, κνοων ασ ϑενσενaσ ινεθυαλιτψ, ωιτη ζ = Π[ρ]/ Θ[ρ] ανδ τηε αϖεραγε δε⇒νεδ οϖερ τηε προβαβιλιτψ διστριβυ− τιον Π[ρ], ωε ⇒νδ ' ( % & ! ! Θ[ρ] Θ[ρ] ≤ λογ2 Π[ρ] = 0 . (4.56) − ∆ΚΛ ( Π, Θ ) = Π[ρ] λογ2 Π[ρ] Π[ρ] ρ ρ Τηε λαστ εθυαλιτψ ηολδσ βεχαυσε Θ[ρ] ισ α προβαβιλιτψ διστριβυτιον ανδ τηυσ / σατισ⇒εσ ρ Θ[ρ] = 1. Εθυατιον 4.56 ιµπλιεσ τηατ ∆ΚΛ ( Π, Θ ) ≥ 0, ωιτη εθυαλιτψ ηολδινγ ιφ ανδ ονλψ ιφ Π[ρ] = Θ[ρ]. Α σιµιλαρ ρεσυλτ ηολδσ φορ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε βετωεεν τωο προβαβιλιτψ δενσιτιεσ, % & " π[ρ] ∆ΚΛ ( π, θ ) = δρ π[ρ] λογ2 ≥ 0. (4.57) θ[ρ]

4.6

Αννοτατεδ Βιβλιογραπηψ

Ινφορµατιον τηεορψ ωασ χρεατεδ βψ Σηαννον (σεε Σηαννον & Ωεαϖερ, 1949) λαργελψ ασ α ωαψ οφ υνδερστανδινγ χοµµυνιχατιον ιν τηε φαχε οφ νοισε. Χοϖερ & Τηοµασ (1991) προϖιδεσ α ρεϖιεω, ανδ Ριεκε ετ αλ. (1997) γιϖεσ α τρεατµεντ σπεχιαλιζεδ το νευραλ χοδινγ. Ινφορµατιον τηεορψ ανδ τηεοριεσ ινσπιρεδ βψ ιτ, συχη ασ ηιστογραµ εθυαλιζατιον, ωερε αδοπτεδ ιν νευροσχιενχε ανδ πσψχηολογψ ασ α ωαψ οφ υνδερστανδινγ σενσορψ τρανσ− δυχτιον ανδ χοδινγ, ασ δισχυσσεδ βψ Βαρλοω (1961) ανδ Υττλεψ (1979). Ωε φολλοωεδ α µορε ρεχεντ σετ οφ στυδιεσ, ινσπιρεδ βψ Λινκσερ (1988) ανδ Βαρ− λοω (1989), ωηιχη ηαϖε παρτιχυλαρλψ φοχυσεδ ον οπτιµαλ χοδινγ ιν εαρλψ ϖισιον; Ατιχκ & Ρεδλιχη (1990), Πλυµβλεψ (1991), Ατιχκ ετ αλ. (1992), Ατιχκ (1992), ϖαν Ηατερεν (1992; 1993), Λι & Ατιχκ (1994α), ∆ονγ & Ατιχκ (1995), ανδ ∆αν ετ αλ. (1996). Λι & Ατιχκ (1994β) δισχυσσ τηε εξτενσιον το ϕοιντ σε− λεχτιϖιτιεσ οφ χελλσ ιν ς1; ανδ Λι & Ατιχκ (1994α) ανδ Λι (1996) τρεατ στερεο ανδ µοτιον σενσιτιϖιτιεσ ασ εξαµπλεσ. Τηε στατιστιχσ οφ νατυραλ σενσορψ ινπυτσ ισ ρεϖιεωεδ βψ Φιελδ (1987). Χαµπ− βελλ & Γυβισχη (1966) εστιµατεδ τηε οπτιµαλ µοδυλατιον τρανσφερ φυνχτιον. Ωε φολλοωεδ τηε τεχηνιθυε οφ Στρονγ ετ αλ. (1998) φορ χοµπυτινγ τηε µυτυαλ ινφορµατιον αβουτ α δψναµιχαλ στιµυλυσ ιν σπικε τραινσ. Βιαλεκ ετ αλ. (1993) πρεσεντσ αν εαρλιερ αππροαχη βασεδ ον στιµυλυσ ρεχονστρυχτιον.

ΙΙ

Νευρονσ ανδ Νευραλ Χιρχυιτσ

This page intentionally left blank

5

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

5.1

Ιντροδυχτιον

Α γρεατ δεαλ ισ κνοων αβουτ τηε βιοπηψσιχαλ µεχηανισµσ ρεσπονσιβλε φορ γενερατινγ νευροναλ αχτιϖιτψ, ανδ τηισ κνοωλεδγε προϖιδεσ α βασισ φορ χον− στρυχτινγ νευρον µοδελσ. Συχη µοδελσ ρανγε φροµ ηιγηλψ δεταιλεδ δε− σχριπτιονσ ινϖολϖινγ τηουσανδσ οφ χουπλεδ διφφερεντιαλ εθυατιονσ το γρεατλψ σιµπλι⇒εδ χαριχατυρεσ υσεφυλ φορ στυδψινγ λαργε ιντερχοννεχτεδ νετωορκσ. Ιν τηισ χηαπτερ, ωε δισχυσσ τηε βασιχ ελεχτριχαλ προπερτιεσ οφ νευρονσ ανδ τηε µατηεµατιχαλ µοδελσ βψ ωηιχη τηεψ αρε δεσχριβεδ. Ωε πρεσεντ α σιµ− πλε βυτ νεϖερτηελεσσ υσεφυλ µοδελ νευρον, τηε ιντεγρατε−ανδ−⇒ρε µοδελ, ιν α βασιχ ϖερσιον ανδ ωιτη αδδεδ µεµβρανε ανδ σψναπτιχ χονδυχτανχεσ. Ωε αλσο δισχυσσ τηε Ηοδγκιν−Ηυξλεψ µοδελ, ωηιχη δεσχριβεσ τηε χονδυχ− τανχεσ ρεσπονσιβλε φορ γενερατινγ αχτιον ποτεντιαλσ. Ιν χηαπτερ 6, ωε χον− τινυε βψ πρεσεντινγ µορε χοµπλεξ µοδελσ, ιν τερµσ οφ τηειρ χονδυχτανχεσ ανδ µορπηολογψ. Χιρχυιτσ ανδ νετωορκσ οφ µοδελ νευρονσ αρε δισχυσσεδ ιν χηαπτερ 7. Τηισ χηαπτερ µακεσ υσε οφ βασιχ χονχεπτσ οφ ελεχτριχαλ χιρχυιτ τηεορψ, ωηιχη αρε ρεϖιεωεδ ιν τηε Ματηεµατιχαλ Αππενδιξ.

5.2

Ελεχτριχαλ Προπερτιεσ οφ Νευρονσ

Λικε οτηερ χελλσ, νευρονσ αρε παχκεδ ωιτη α ηυγε νυµβερ ανδ ϖαριετψ οφ ιονσ ανδ µολεχυλεσ. Α χυβιχ µιχρον οφ χψτοπλασµ µιγητ χονταιν, φορ εξ− αµπλε, 1010 ωατερ µολεχυλεσ, 108 ιονσ, 107 σµαλλ µολεχυλεσ συχη ασ αµινο αχιδσ ανδ νυχλεοτιδεσ, ανδ 105 προτεινσ. Μανψ οφ τηεσε µολεχυλεσ χαρρψ χηαργεσ, ειτηερ ποσιτιϖε ορ νεγατιϖε. Μοστ οφ τηε τιµε, τηερε ισ αν εξχεσσ χονχεντρατιον οφ νεγατιϖε χηαργε ινσιδε α νευρον. Εξχεσσ χηαργεσ τηατ αρε µοβιλε, λικε ιονσ, ρεπελ εαχη οτηερ ανδ βυιλδ υπ ον τηε ινσιδε συρφαχε οφ τηε χελλ µεµβρανε. Ελεχτροστατιχ φορχεσ αττραχτ αν εθυαλ δενσιτψ οφ ποσιτιϖε ιονσ φροµ τηε εξτραχελλυλαρ µεδιυµ το τηε ουτσιδε συρφαχε οφ τηε µεµβρανε. Τηε χελλ µεµβρανε ισ α λιπιδ βιλαψερ 3 το 4 νµ τηιχκ τηατ ισ εσσεντιαλλψ ιµπερµεαβλε το µοστ χηαργεδ µολεχυλεσ. Τηισ ινσυλατινγ φεατυρε χαυσεσ τηε χελλ µεµβρανε το αχτ ασ α χαπαχιτορ βψ σεπαρατινγ τηε χηαργεσ λψινγ

χελλ µεµβρανε

154

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ channel pore

lipid bilayer

Φιγυρε 5.1 Α σχηεµατιχ διαγραµ οφ α σεχτιον οφ τηε λιπιδ βιλαψερ τηατ φορµσ τηε χελλ µεµβρανε ωιτη τωο ιον χηαννελσ εµβεδδεδ ιν ιτ. Τηε µεµβρανε ισ 3 το 4 νµ τηιχκ ανδ τηε ιον χηαννελσ αρε αβουτ 10 νµ λονγ. (Αδαπτεδ φροµ Ηιλλε, 1992.)

ιον χηαννελσ

χηαννελ σελεχτιϖιτψ

ιον πυµπσ

αλονγ ιτσ ιντεριορ ανδ εξτεριορ συρφαχεσ. Νυµερουσ ιον−χονδυχτινγ χηαν− νελσ εµβεδδεδ ιν τηε χελλ µεµβρανε (⇒γυρε 5.1) λοωερ τηε εφφεχτιϖε µεµ− βρανε ρεσιστανχε φορ ιον ⇓οω το α ϖαλυε αβουτ 10,000 τιµεσ σµαλλερ τηαν τηατ οφ α πυρε λιπιδ βιλαψερ. Τηε ρεσυλτινγ µεµβρανε χονδυχτανχε δεπενδσ ον τηε δενσιτψ ανδ τψπεσ οφ ιον χηαννελσ. Α τψπιχαλ νευρον µαψ ηαϖε α δοζεν ορ µορε διφφερεντ τψπεσ οφ χηαννελσ, ανψωηερε φροµ α φεω το ηυνδρεδσ οφ χηαννελσ ιν α σθυαρε µιχρον οφ µεµβρανε, ανδ ηυνδρεδσ οφ τηουσανδσ το µιλλιονσ οφ χηαννελσ ιν αλλ. Μανψ, βυτ νοτ αλλ, χηαννελσ αρε ηιγηλψ σελεχτιϖε, αλλοωινγ ονλψ α σινγλε τψπε οφ ιον το πασσ τηρουγη τηεµ (το αν αχχυραχψ οφ αβουτ 1 ιον ιν 104 ). Τηε χαπαχιτψ οφ χηαννελσ φορ χονδυχτινγ ιονσ αχροσσ τηε χελλ µεµβρανε χαν βε µοδι⇒εδ βψ µανψ φαχτορσ, ινχλυδινγ τηε µεµβρανε ποτεντιαλ (ϖολταγε−δεπενδεντ χηαννελσ), τηε ιντερναλ χονχεντρατιον οφ ϖαρι− ουσ ιντραχελλυλαρ µεσσενγερσ (Χα2+ −δεπενδεντ χηαννελσ, φορ εξαµπλε), ανδ τηε εξτραχελλυλαρ χονχεντρατιον οφ νευροτρανσµιττερσ ορ νευροµοδυλατορσ (σψναπτιχ ρεχεπτορ χηαννελσ, φορ εξαµπλε). Τηε µεµβρανε αλσο χονταινσ σελεχτιϖε πυµπσ τηατ εξπενδ ενεργψ το µαινταιν διφφερενχεσ ιν τηε χονχεν− τρατιονσ οφ ιονσ ινσιδε ανδ ουτσιδε τηε χελλ.

Βψ χονϖεντιον, τηε ποτεντιαλ οφ τηε εξτραχελλυλαρ ⇓υιδ ουτσιδε α νευρον ισ δε⇒νεδ το βε 0. Ωηεν α νευρον ισ ιναχτιϖε, τηε εξχεσσ ιντερναλ νεγατιϖε µεµβρανε ποτεντιαλ χηαργε χαυσεσ τηε ποτεντιαλ ινσιδε τηε χελλ µεµβρανε το βε νεγατιϖε. Τηισ ποτεντιαλ ισ αν εθυιλιβριυµ ποιντ ατ ωηιχη τηε ⇓οω οφ ιονσ ιντο τηε χελλ µατχηεσ τηατ ουτ οφ τηε χελλ. Τηε ποτεντιαλ χαν χηανγε ιφ τηε βαλανχε οφ ιον ⇓οω ισ µοδι⇒εδ βψ τηε οπενινγ ορ χλοσινγ οφ ιον χηαννελσ. Υνδερ νορµαλ χονδιτιονσ, νευροναλ µεµβρανε ποτεντιαλσ ϖαρψ οϖερ α ρανγε φροµ αβουτ −90 το +50 µς. Τηε ορδερ οφ µαγνιτυδε οφ τηεσε ποτεντιαλσ χαν βε εστιµατεδ φροµ βασιχ πηψσιχαλ πρινχιπλεσ. Μεµβρανε ποτεντιαλσ αρε σµαλλ ενουγη το αλλοω νευρονσ το τακε αδϖαν− ταγε οφ τηερµαλ ενεργψ το ηελπ τρανσπορτ ιονσ αχροσσ τηε µεµβρανε, βυτ αρε λαργε ενουγη σο τηατ τηερµαλ ⇓υχτυατιονσ δο νοτ σωαµπ τηε σιγναλινγ χα− παβιλιτιεσ οφ τηε νευρον. Τηεσε χονδιτιονσ ιµπλψ τηατ ποτεντιαλ διφφερενχεσ αχροσσ τηε χελλ µεµβρανε µυστ λιε ιν α ρανγε συχη τηατ τηε ενεργψ γαινεδ ορ λοστ βψ αν ιον τραϖερσινγ τηε µεµβρανε ισ τηε σαµε ορδερ οφ µαγνιτυδε ασ ιτσ τηερµαλ ενεργψ. Τηε τηερµαλ ενεργψ οφ αν ιον ισ αβουτ κΒ Τ ωηερε κΒ

5.2

Ελεχτριχαλ Προπερτιεσ οφ Νευρονσ

155

ισ τηε Βολτζµανν χονσταντ ανδ Τ ισ τηε τεµπερατυρε ον αν αβσολυτε Κελϖιν σχαλε. Φορ χηεµιστσ ανδ βιολογιστσ (τηουγη νοτ φορ πηψσιχιστσ), ιτ ισ µορε χυστοµαρψ το δισχυσσ µολεσ οφ ιονσ ρατηερ τηαν σινγλε ιονσ. Α µολε οφ ιονσ ηασ Αϖαγαδροaσ νυµβερ τιµεσ ασ µυχη τηερµαλ ενεργψ ασ α σινγλε ιον, ορ ΡΤ, ωηερε Ρ ισ τηε υνιϖερσαλ γασ χονσταντ, εθυαλ το 8.31 ϕουλεσ/µολ Κ◦ = 1.99 χαλ/µολ Κ◦ . ΡΤ ισ αβουτ 2500 ϕουλεσ/µολ ορ 0.6 κΧαλ/µολ ατ νορµαλ τεµπερατυρεσ. Το εστιµατε τηε σιζε οφ τψπιχαλ µεµβρανε ποτεντιαλσ, ωε εθυατε τηε τηερµαλ ενεργψ οφ α µολε οφ ιονσ το τηε ενεργψ γαινεδ ορ λοστ ωηεν α µολε οφ ιονσ χροσσεσ α µεµβρανε ωιτη α ποτεντιαλ διφφερενχε ςΤ αχροσσ ιτ. Τηισ ενεργψ ισ ΦςΤ , ωηερε Φ ισ τηε Φαραδαψ χονσταντ, Φ = 96,480 χουλοµβσ/µολ, εθυαλ το Αϖαγαδροaσ νυµβερ τιµεσ τηε χηαργε οφ α σινγλε προτον, θ. Σεττινγ ΦςΤ = ΡΤ γιϖεσ ςΤ =

ΡΤ κΒ Τ = . Φ θ

ςΤ

(5.1)

Τηισ ισ αν ιµπορταντ παραµετερ τηατ εντερσ ιντο α νυµβερ οφ χαλχυλατιονσ. ςΤ ισ βετωεεν 24 ανδ 27 µς φορ τηε τψπιχαλ τεµπερατυρεσ οφ χολδ− ανδ ωαρµ−βλοοδεδ ανιµαλσ. Τηισ σετσ τηε οϖεραλλ σχαλε φορ µεµβρανε ποτεν− τιαλσ αχροσσ νευροναλ µεµβρανεσ, ωηιχη ρανγε φροµ αβουτ −3 το +2 τιµεσ ςΤ .

Ιντραχελλυλαρ Ρεσιστανχε Μεµβρανε ποτεντιαλσ µεασυρεδ ατ διφφερεντ πλαχεσ ωιτηιν α νευρον χαν τακε διφφερεντ ϖαλυεσ. Φορ εξαµπλε, τηε ποτεντιαλσ ιν τηε σοµα, δενδριτε, ανδ αξον χαν αλλ βε διφφερεντ. Ποτεντιαλ διφφερενχεσ βετωεεν διφφερεντ παρτσ οφ α νευρον χαυσε ιονσ το ⇓οω ωιτηιν τηε χελλ, ωηιχη τενδσ το εθυαλιζε τηεσε διφφερενχεσ. Τηε ιντραχελλυλαρ µεδιυµ προϖιδεσ α ρεσιστανχε το συχη ⇓οω. Τηισ ρεσιστανχε ισ ηιγηεστ φορ λονγ, ναρροω στρετχηεσ οφ δενδριτιχ ορ αξοναλ χαβλε, συχη ασ τηε σεγµεντ σηοων ιν ⇒γυρε 5.2. Τηε λονγιτυδιναλ χυρρεντ ΙΛ ⇓οωινγ αλονγ συχη α χαβλε σεγµεντ χαν βε χοµπυτεδ φροµ Οηµaσ λαω. Φορ τηε χψλινδριχαλ σεγµεντ οφ δενδριτε σηοων ιν ⇒γυρε 5.2, τηε λονγιτυδι− ναλ χυρρεντ ⇓οωινγ φροµ ριγητ το λεφτ σατισ⇒εσ ς2 − ς1 = ΙΛ ΡΛ . Ηερε, ΡΛ ισ τηε λονγιτυδιναλ ρεσιστανχε, ωηιχη γροωσ ιν προπορτιον το τηε λενγτη οφ τηε σεγµεντ (λονγ σεγµεντσ ηαϖε ηιγηερ ρεσιστανχεσ τηαν σηορτ ονεσ) ανδ ισ ινϖερσελψ προπορτιοναλ το τηε χροσσ−σεχτιοναλ αρεα οφ τηε σεγµεντ (τηιν σεγ− µεντσ ηαϖε ηιγηερ ρεσιστανχεσ τηαν φατ ονεσ). Τηε χονσταντ οφ προπορτιον− αλιτψ, χαλλεδ τηε ιντραχελλυλαρ ρεσιστιϖιτψ, ρΛ , τψπιχαλλψ φαλλσ ιν α ρανγε φροµ 1 το 3 κ7 µµ. Τηε λονγιτυδιναλ ρεσιστανχε οφ τηε σεγµεντ ιν ⇒γυρε 5.2 ισ ρΛ τιµεσ τηε λενγτη Λ διϖιδεδ βψ τηε χροσσ−σεχτιοναλ αρεα πα2 , ΡΛ = ρΛ Λ/πα2 . Α σεγµεντ 100 µµ λονγ ωιτη α ραδιυσ οφ 2 µµ ηασ α λονγιτυδιναλ ρεσισ− τανχε οφ αβουτ 8 Μ7. Α ϖολταγε διφφερενχε οφ 8 µς ωουλδ βε ρεθυιρεδ το φορχε 1 νΑ οφ χυρρεντ δοων συχη α σεγµεντ. Ωε χαν αλσο υσε τηε ιντραχελλυλαρ ρεσιστιϖιτψ το εστιµατε χρυδελψ τηε χον− δυχτανχε οφ α σινγλε χηαννελ. Τηε χονδυχτανχε, βεινγ τηε ινϖερσε οφ α ρε− σιστανχε, ισ εθυαλ το τηε χροσσ−σεχτιοναλ αρεα οφ τηε χηαννελ πορε διϖιδεδ βψ

λονγιτυδιναλ χυρρεντ ΙΛ λονγιτυδιναλ ρεσιστανχε ΡΛ ιντραχελλυλαρ ρεσιστιϖιτψ ρΛ

156

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

Λ ς1

ς2

α

ΙΛ = (ς2 − ς1 )/ΡΛ ΡΛ = ρΛΛ/ π α2 ρΛ ≈ 1 κΩ µµ Φιγυρε 5.2 Τηε λονγιτυδιναλ ρεσιστανχε οφ α χψλινδριχαλ σεγµεντ οφ νευροναλ χαβλε ωιτη λενγτη Λ ανδ ραδιυσ α. Τηε διφφερενχε βετωεεν τηε µεµβρανε ποτεντιαλσ ατ τηε ενδσ οφ τηισ σεγµεντ ισ ρελατεδ το τηε λονγιτυδιναλ χυρρεντ ωιτηιν τηε σεγµεντ βψ Οηµaσ λαω, ωιτη ΡΛ τηε λονγιτυδιναλ ρεσιστανχε οφ τηε σεγµεντ. Τηε αρροω ιν− διχατεσ τηε διρεχτιον οφ ποσιτιϖε χυρρεντ ⇓οω. Τηε χονσταντ ρΛ ισ τηε ιντραχελλυλαρ ρεσιστιϖιτψ, ανδ α τψπιχαλ ϖαλυε ισ γιϖεν.

σινγλε−χηαννελ χονδυχτανχε

ιτσ λενγτη ανδ βψ ρΛ Ωε αππροξιµατε τηε χηαννελ πορε ασ α τυβε οφ λενγτη 6 νµ ανδ οπενινγ αρεα 0.15 νµ2 . Τηισ γιϖεσ αν εστιµατε οφ 0.15 νµ2 /(1 κ7 µµ × 6 νµ) ≈ 25 πΣ, ωηιχη ισ τηε ριγητ ορδερ οφ µαγνιτυδε φορ α χηαννελ χονδυχτανχε.

Μεµβρανε Χαπαχιτανχε ανδ Ρεσιστανχε

ελεχτροτονιχ χοµπαχτνεσσ

µεµβρανε χαπαχιτανχε Χµ

σπεχι⇒χ µεµβρανε χαπαχιτανχε χµ

Τηε ιντραχελλυλαρ ρεσιστανχε το χυρρεντ ⇓οω χαν χαυσε συβσταντιαλ διφφερ− ενχεσ ιν τηε µεµβρανε ποτεντιαλ µεασυρεδ ιν διφφερεντ παρτσ οφ α νευρον, εσπεχιαλλψ δυρινγ ραπιδ τρανσιεντ εξχυρσιονσ οφ τηε µεµβρανε ποτεντιαλ φροµ ιτσ ρεστινγ ϖαλυε, συχη ασ αχτιον ποτεντιαλσ. Νευρονσ τηατ ηαϖε φεω οφ τηε λονγ, ναρροω χαβλε σεγµεντσ τηατ προδυχε ηιγη λονγιτυδιναλ ρεσισ− τανχεσ µαψ ηαϖε ρελατιϖελψ υνιφορµ µεµβρανε ποτεντιαλσ αχροσσ τηειρ συρ− φαχεσ. Συχη νευρονσ αρε τερµεδ ελεχτροτονιχαλλψ χοµπαχτ. Φορ ελεχτροτον− ιχαλλψ χοµπαχτ νευρονσ, ορ φορ λεσσ χοµπαχτ νευρονσ ιν σιτυατιονσ ωηερε σπατιαλ ϖαριατιονσ ιν τηε µεµβρανε ποτεντιαλ αρε νοτ τηουγητ το πλαψ αν ιµπορταντ φυνχτιοναλ ρολε, τηε εντιρε νευρον µαψ βε αδεθυατελψ δεσχριβεδ βψ α σινγλε µεµβρανε ποτεντιαλ. Ηερε, ωε δισχυσσ τηε µεµβρανε χαπαχι− τανχε ανδ ρεσιστανχε υσινγ συχη α δεσχριπτιον. Αν αναλψσισ φορ τηε χασε οφ σπατιαλλψ ϖαρψινγ µεµβρανε ποτεντιαλσ ισ πρεσεντεδ ιν χηαπτερ 6. Ωε ηαϖε µεντιονεδ τηατ τηερε ισ τψπιχαλλψ αν εξχεσσ νεγατιϖε χηαργε ον τηε ινσιδε συρφαχε οφ τηε χελλ µεµβρανε οφ α νευρον, ανδ α βαλανχινγ ποσ− ιτιϖε χηαργε ον ιτσ ουτσιδε συρφαχε (⇒γυρε 5.3). Ιν τηισ αρρανγεµεντ, τηε χελλ µεµβρανε χρεατεσ α χαπαχιτανχε Χµ , ανδ τηε ϖολταγε αχροσσ τηε µεµ− βρανε ς ανδ τηε αµουντ οφ τηισ εξχεσσ χηαργε Θ αρε ρελατεδ βψ τηε σταν− δαρδ εθυατιον φορ α χαπαχιτορ, Θ = Χµ ς. Τηε µεµβρανε χαπαχιτανχε ισ προπορτιοναλ το τηε τοταλ αµουντ οφ µεµβρανε ορ, εθυιϖαλεντλψ, το τηε συρ− φαχε αρεα οφ τηε χελλ. Τηε χονσταντ οφ προπορτιοναλιτψ, χαλλεδ τηε σπεχι⇒χ µεµβρανε χαπαχιτανχε, ισ τηε χαπαχιτανχε περ υνιτ αρεα οφ µεµβρανε, ανδ ιτ ισ αππροξιµατελψ τηε σαµε φορ αλλ νευρονσ, χµ ≈ 10 νΦ/µµ2 . Τηε τοταλ χαπαχιτανχε Χµ ισ τηε µεµβρανε συρφαχε αρεα Α τιµεσ τηε σπεχι⇒χ χαπαχ− ιτανχε, Χµ = χµ Α. Νευροναλ συρφαχε αρεασ τενδ το βε ιν τηε ρανγε 0.01 το 0.1 µµ2 , σο τηε µεµβρανε χαπαχιτανχε φορ α ωηολε νευρον ισ τψπιχαλλψ 0.1

5.2

Ελεχτριχαλ Προπερτιεσ οφ Νευρονσ

157

Ιε +

∆ς = ΙεΡµ

+

Ρµ = ρµ/Α

+ +

ρµ ≈ 1 ΜΩ µµ2

-

+

+

- - -

+

- - -+ +

- + -

Θ = Χµς Χµ = χµΑ χµ ≈ 10 νΦ/µµ2

+

Area = Α Φιγυρε 5.3 Τηε χαπαχιτανχε ανδ µεµβρανε ρεσιστανχε οφ α νευρον χονσιδερεδ ασ α σινγλε χοµπαρτµεντ. Τηε µεµβρανε χαπαχιτανχε δετερµινεσ ηοω τηε µεµβρανε ποτεντιαλ ς ανδ εξχεσσ ιντερναλ χηαργε Θ αρε ρελατεδ. Τηε µεµβρανε ρεσιστανχε Ρµ δετερµινεσ τηε σιζε οφ τηε µεµβρανε ποτεντιαλ δεϖιατιον %ς χαυσεδ βψ α σµαλλ χυρρεντ Ιε εντερινγ τηρουγη αν ελεχτροδε, φορ εξαµπλε. Εθυατιονσ ρελατινγ τηε το− ταλ µεµβρανε χαπαχιτανχε ανδ ρεσιστανχε, Χµ ανδ Ρµ , το τηε σπεχι⇒χ µεµβρανε χαπαχιτανχε ανδ ρεσιστανχε, χµ ανδ ρµ , αρε γιϖεν αλονγ ωιτη τψπιχαλ ϖαλυεσ οφ χµ ανδ ρµ . Τηε ϖαλυε οφ ρµ µαψ ϖαρψ χονσιδεραβλψ υνδερ διφφερεντ χονδιτιονσ ανδ φορ διφφερεντ νευρονσ.

το 1 νΦ. Φορ α νευρον ωιτη α τοταλ µεµβρανε χαπαχιτανχε οφ 1 νΦ, 7 × 10−11 χουλοµβ ορ αβουτ 109 σινγλψ χηαργεδ ιονσ αρε ρεθυιρεδ το προδυχε α ρεστινγ ποτεντιαλ οφ −70 µς. Τηισ ισ αβουτ 1/100,000 οφ τηε τοταλ νυµβερ οφ ιονσ ιν α νευρον ανδ ισ τηε αµουντ οφ χηαργε δελιϖερεδ βψ α 0.7 νΑ χυρρεντ ιν 100 µσ. Ωε χαν υσε τηε µεµβρανε χαπαχιτανχε το δετερµινε ηοω µυχη χυρρεντ ισ ρεθυιρεδ το χηανγε τηε µεµβρανε ποτεντιαλ ατ α γιϖεν ρατε. Τηε τιµε δεριϖατιϖε οφ τηε βασιχ εθυατιον ρελατινγ τηε µεµβρανε ποτεντιαλ ανδ χηαργε, Χµ

δς δΘ = , δτ δτ

(5.2)

πλαψσ αν ιµπορταντ ρολε ιν τηε µατηεµατιχαλ µοδελινγ οφ νευρονσ. Τηε τιµε δεριϖατιϖε οφ τηε χηαργε δΘ/δτ ισ εθυαλ το τηε χυρρεντ πασσινγ ιντο τηε χελλ, σο τηε αµουντ οφ χυρρεντ νεεδεδ το χηανγε τηε µεµβρανε ποτεντιαλ οφ α νευρον ωιτη α τοταλ χαπαχιτανχε Χµ ατ α ρατε δς/δτ ισ Χµ δς/δτ. Φορ εξαµπλε, 1 νΑ ωιλλ χηανγε τηε µεµβρανε ποτεντιαλ οφ α νευρον ωιτη α χαπαχιτανχε οφ 1 νΦ ατ α ρατε οφ 1 µς/µσ. Τηε χαπαχιτανχε οφ α νευρον δετερµινεσ ηοω µυχη χυρρεντ ισ ρεθυιρεδ το µακε τηε µεµβρανε ποτεντιαλ χηανγε ατ α γιϖεν ρατε. Ηολδινγ τηε µεµ− βρανε ποτεντιαλ στεαδψ ατ α λεϖελ διφφερεντ φροµ ιτσ ρεστινγ ϖαλυε αλσο ρε− θυιρεσ χυρρεντ, βυτ τηισ χυρρεντ ισ δετερµινεδ βψ τηε µεµβρανε ρεσιστανχε ρατηερ τηαν βψ τηε χαπαχιτανχε οφ τηε χελλ. Φορ εξαµπλε, ιφ α σµαλλ χονσταντ χυρρεντ Ιε ισ ινϕεχτεδ ιντο α νευρον τηρουγη αν ελεχτροδε, ασ ιν ⇒γυρε 5.3, τηε µεµβρανε ποτεντιαλ ωιλλ σηιφτ αωαψ φροµ ιτσ ρεστινγ ϖαλυε βψ αν αµουντ %ς γιϖεν βψ Οηµaσ λαω, %ς = Ιε Ρµ . Ρµ ισ κνοων ασ τηε µεµβρανε ορ ιν− πυτ ρεσιστανχε. Τηε ρεστριχτιον το σµαλλ χυρρεντσ ανδ σµαλλ %ς ισ ρεθυιρεδ βεχαυσε µεµβρανε ρεσιστανχεσ χαν ϖαρψ ασ α φυνχτιον οφ ϖολταγε, ωηερεασ Οηµaσ λαω ασσυµεσ Ρµ ισ χονσταντ οϖερ τηε ρανγε %ς.

µεµβρανε ρεσιστανχε Ρµ

158

µεµβρανε χονδυχτανχε σπεχι⇒χ µεµβρανε ρεσιστανχε ρµ

µεµβρανε τιµε χονσταντ τµ

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

Τηε µεµβρανε ρεσιστανχε ισ τηε ινϖερσε οφ τηε µεµβρανε χονδυχτανχε, ανδ, λικε τηε χαπαχιτανχε, τηε χονδυχτανχε οφ α πιεχε οφ χελλ µεµβρανε ισ προπορτιοναλ το ιτσ συρφαχε αρεα. Τηε χονσταντ οφ προπορτιοναλιτψ ισ τηε µεµβρανε χονδυχτανχε περ υνιτ αρεα, βυτ ωε ωριτε ιτ ασ 1/ρµ , ωηερε ρµ ισ χαλλεδ τηε σπεχι⇒χ µεµβρανε ρεσιστανχε. Χονϖερσελψ, τηε µεµβρανε ρεσισ− τανχε Ρµ ισ εθυαλ το ρµ διϖιδεδ βψ τηε συρφαχε αρεα. Ωηεν α νευρον ισ ιν α ρεστινγ στατε, τηε σπεχι⇒χ µεµβρανε ρεσιστανχε ισ αρουνδ 1 Μ7 µµ2 . Τηισ νυµβερ ισ µυχη µορε ϖαριαβλε τηαν τηε σπεχι⇒χ µεµβρανε χαπαχιτανχε. Μεµβρανε ρεσιστανχεσ ϖαρψ χονσιδεραβλψ αµονγ χελλσ, ανδ υνδερ διφφερ− εντ χονδιτιονσ ανδ ατ διφφερεντ τιµεσ φορ α γιϖεν νευρον, δεπενδινγ ον τηε νυµβερ, τψπε, ανδ στατε οφ ιτσ ιον χηαννελσ. Φορ τοταλ συρφαχε αρεασ βετωεεν 0.01 ανδ 0.1 µµ, τηε µεµβρανε ρεσιστανχε ισ τψπιχαλλψ ιν τηε ρανγε 10 το 100 Μ7. Ωιτη α 100 Μ7 µεµβρανε ρεσιστανχε, α χονσταντ χυρρεντ οφ 0.1 νΑ ισ ρεθυιρεδ το ηολδ τηε µεµβρανε ποτεντιαλ 10 µς αωαψ φροµ ιτσ ρεστινγ ϖαλυε. Τηε προδυχτ οφ τηε µεµβρανε χαπαχιτανχε ανδ τηε µεµβρανε ρεσιστανχε ισ α θυαντιτψ ωιτη τηε υνιτσ οφ τιµε χαλλεδ τηε µεµβρανε τιµε χονσταντ, τµ = Ρµ Χµ . Βεχαυσε Χµ ανδ Ρµ ηαϖε ινϖερσε δεπενδενχεσ ον τηε µεµβρανε συρφαχε αρεα, τηε µεµβρανε τιµε χονσταντ ισ ινδεπενδεντ οφ αρεα ανδ εθυαλ το τηε προδυχτ οφ τηε σπεχι⇒χ µεµβρανε χαπαχιτανχε ανδ ρεσιστανχε, τµ = ρµ χµ . Τηε µεµβρανε τιµε χονσταντ σετσ τηε βασιχ τιµε σχαλε φορ χηανγεσ ιν τηε µεµβρανε ποτεντιαλ ανδ τψπιχαλλψ φαλλσ ιν τηε ρανγε βετωεεν 10 ανδ 100 µσ.

Εθυιλιβριυµ ανδ Ρεϖερσαλ Ποτεντιαλσ Ελεχτριχ φορχεσ ανδ διφφυσιον αρε ρεσπονσιβλε φορ δριϖινγ ιονσ τηρουγη χηαν− νελ πορεσ. ςολταγε διφφερενχεσ βετωεεν τηε εξτεριορ ανδ ιντεριορ οφ τηε χελλ προδυχε φορχεσ ον ιονσ. Νεγατιϖε µεµβρανε ποτεντιαλσ αττραχτ ποσιτιϖε ιονσ ιντο τηε νευρον ανδ ρεπελ νεγατιϖε ιονσ. Ιν αδδιτιον, ιονσ διφφυσε τηρουγη χηαννελσ βεχαυσε τηε ιον χονχεντρατιονσ διφφερ ινσιδε ανδ ουτσιδε τηε νευρον. Τηεσε διφφερενχεσ αρε µαινταινεδ βψ τηε ιον πυµπσ ωιτηιν τηε χελλ µεµβρανε. Τηε χονχεντρατιονσ οφ Να+ ανδ Χα2+ αρε ηιγηερ ουτσιδε τηε χελλ τηαν ινσιδε, σο τηεσε ιονσ αρε δριϖεν ιντο τηε νευρον βψ διφφυσιον. Κ+ ισ µορε χονχεντρατεδ ινσιδε τηε νευρον τηαν ουτσιδε, σο ιτ τενδσ το διφφυσε ουτ οφ τηε χελλ. εθυιλιβριυµ ποτεντιαλ

Ιτ ισ χονϖενιεντ το χηαραχτεριζε τηε χυρρεντ ⇓οω δυε το διφφυσιον ιν τερµσ οφ αν εθυιλιβριυµ ποτεντιαλ. Τηισ ισ δε⇒νεδ ασ τηε µεµβρανε ποτεντιαλ ατ ωηιχη χυρρεντ ⇓οω δυε το ελεχτριχ φορχεσ χανχελσ τηε διφφυσιϖε ⇓οω. Φορ χηαννελσ τηατ χονδυχτ α σινγλε τψπε οφ ιον, τηε εθυιλιβριυµ ποτεντιαλ χαν βε χοµπυτεδ εασιλψ. Τηε ποτεντιαλ διφφερενχε αχροσσ τηε χελλ µεµβρανε βι− ασεσ τηε ⇓οω οφ ιονσ ιντο ορ ουτ οφ α νευρον. Χονσιδερ, φορ εξαµπλε, α ποσιτιϖελψ χηαργεδ ιον ανδ α νεγατιϖε µεµβρανε ποτεντιαλ. Ιν τηισ χασε, τηε µεµβρανε ποτεντιαλ οπποσεσ τηε ⇓οω οφ ιονσ ουτ οφ τηε τηε χελλ. Ιονσ χαν χροσσ τηε µεµβρανε ανδ λεαϖε τηε ιντεριορ οφ τηε χελλ ονλψ ιφ τηεψ ηαϖε συφ⇒χιεντ τηερµαλ ενεργψ το οϖερχοµε τηε ενεργψ βαρριερ προδυχεδ βψ τηε

5.2

Ελεχτριχαλ Προπερτιεσ οφ Νευρονσ

159

µεµβρανε ποτεντιαλ. Ιφ τηε ιον ηασ αν ελεχτριχ χηαργε ζθ, ωηερε θ ισ τηε χηαργε οφ ονε προτον, ιτ µυστ ηαϖε α τηερµαλ ενεργψ οφ ατ λεαστ −ζθς το χροσσ τηε µεµβρανε (τηισ ισ α ποσιτιϖε ενεργψ φορ ζ > 0 ανδ ς < 0). Τηε προβαβιλιτψ τηατ αν ιον ηασ α τηερµαλ ενεργψ γρεατερ τηαν ορ εθυαλ το −ζθς, ωηεν τηε τεµπερατυρε (ον αν αβσολυτε σχαλε) ισ Τ, ισ εξπ( ζθς/ κΒ Τ ). Τηισ ισ δετερµινεδ βψ ιντεγρατινγ τηε Βολτζµανν διστριβυτιον φορ ενεργιεσ γρεατερ τηαν ορ εθυαλ το −ζθς. Ιν µολαρ υνιτσ, τηισ ρεσυλτ χαν βε ωριττεν ασ εξπ( ζΦς/ ΡΤ ), ωηιχη ισ εθυαλ το εξπ( ζς/ ςΤ ) βψ εθυατιον 5.1. Τηε βιασινγ εφφεχτ οφ τηε ελεχτριχαλ ποτεντιαλ χαν βε οϖερχοµε βψ αν οπποσ− ινγ χονχεντρατιον γραδιεντ. Α χονχεντρατιον οφ ιονσ ινσιδε τηε χελλ, [ινσιδε], τηατ ισ συφ⇒χιεντλψ γρεατερ τηαν τηε χονχεντρατιον ουτσιδε τηε χελλ, [ουτσιδε], χαν χοµπενσατε φορ τηε Βολτζµανν προβαβιλιτψ φαχτορ. Τηε ρατε ατ ωηιχη ιονσ ⇓οω ιντο τηε χελλ ισ προπορτιοναλ το [ουτσιδε]. Τηε ⇓οω οφ ιονσ ουτ οφ τηε χελλ ισ προπορτιοναλ το [ινσιδε] τιµεσ τηε Βολτζµανν φαχτορ, βεχαυσε ιν τηισ διρεχτιον ονλψ τηοσε ιονσ τηατ ηαϖε συφ⇒χιεντ τηερµαλ ενεργψ χαν λεαϖε τηε χελλ. Τηε νετ ⇓οω οφ ιονσ ωιλλ βε 0 ωηεν τηε ινωαρδ ανδ ουτωαρδ ⇓οωσ αρε εθυαλ. Ωε υσε τηε λεττερ Ε το δενοτε τηε παρτιχυλαρ ποτεντιαλ τηατ σατισ⇒εσ τηισ βαλανχινγ χονδιτιον, ωηιχη ισ τηεν [ουτσιδε] = [ινσιδε] εξπ( ζΕ/ ςΤ ) . Σολϖινγ τηισ εθυατιον φορ Ε, ωε ⇒νδ % & ςΤ [ουτσιδε] Ε= λν . ζ [ινσιδε]

(5.3) Νερνστ εθυατιον (5.4)

Εθυατιον 5.4 ισ τηε Νερνστ εθυατιον. Τηε ρεαδερ χαν χηεχκ τηατ ιφ τηε ρεσυλτ ισ δεριϖεδ φορ ειτηερ σιγν οφ ιονιχ χηαργε ορ µεµβρανε ποτεντιαλ, τηε ρεσυλτ ισ ιδεντιχαλ το 5.4, ωηιχη τηυσ αππλιεσ ιν αλλ χασεσ. Τηε εθυιλιβριυµ ποτεν− τιαλ φορ α Κ+ χονδυχτινγ χηαννελ, λαβελεδ ΕΚ , τψπιχαλλψ φαλλσ ιν τηε ρανγε βετωεεν −70 ανδ −90 µς. Τηε Να+ εθυιλιβριυµ ποτεντιαλ, ΕΝα , ισ 50 µς ορ ηιγηερ, ανδ ΕΧα , φορ Χα2+ χηαννελσ, ισ ηιγηερ στιλλ, αρουνδ 150 µς. Φι− ναλλψ, Χλ− εθυιλιβριυµ ποτεντιαλσ αρε τψπιχαλλψ αρουνδ −60 το −65 µς, νεαρ τηε ρεστινγ ποτεντιαλ οφ µανψ νευρονσ. Τηε Νερνστ εθυατιον (5.4) αππλιεσ ωηεν τηε χηαννελσ τηατ γενερατε α παρ− τιχυλαρ χονδυχτανχε αλλοω ονλψ ονε τψπε οφ ιον το πασσ τηρουγη τηεµ. Σοµε χηαννελσ αρε νοτ σο σελεχτιϖε, ανδ ιν τηισ χασε τηε ποτεντιαλ Ε ισ νοτ δετερ− µινεδ βψ εθυατιον 5.4. Ινστεαδ, ιτ τακεσ α ϖαλυε ιντερµεδιατε βετωεεν τηε εθυιλιβριυµ ποτεντιαλσ οφ τηε ινδιϖιδυαλ ιον τψπεσ τηατ ιτ χονδυχτσ. Αν απ− προξιµατε φορµυλα, κνοων ασ τηε Γολδµαν εθυατιον (σεε Τυχκωελλ, 1988; ορ ϑοηνστον ανδ Ωυ, 1995), χαν βε υσεδ το εστιµατε Ε φορ συχη χονδυχ− τανχεσ. Ιν τηισ χασε, Ε ισ οφτεν χαλλεδ α ρεϖερσαλ ποτεντιαλ, ρατηερ τηαν αν εθυιλιβριυµ ποτεντιαλ, βεχαυσε τηε διρεχτιον οφ χυρρεντ ⇓οω τηρουγη τηε χηαννελ σωιτχηεσ ασ τηε µεµβρανε ποτεντιαλ πασσεσ τηρουγη Ε. Α χονδυχτανχε ωιτη αν εθυιλιβριυµ ορ ρεϖερσαλ ποτεντιαλ Ε τενδσ το µοϖε τηε µεµβρανε ποτεντιαλ οφ τηε νευρον τοωαρδ τηε ϖαλυε Ε. Ωηεν ς > Ε, τηισ µεανσ τηατ ποσιτιϖε χυρρεντ ωιλλ ⇓οω ουτωαρδ, ανδ ωηεν ς < Ε, ποσ− ιτιϖε χυρρεντ ωιλλ ⇓οω ινωαρδ. Βεχαυσε Να+ ανδ Χα2+ χονδυχτανχεσ ηαϖε

Γολδµαν εθυατιον ρεϖερσαλ ποτεντιαλ

160

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

δεπολαριζατιον

ποσιτιϖε ρεϖερσαλ ποτεντιαλσ, τηεψ τενδ το δεπολαριζε α νευρον (µακε ιτσ µεµβρανε ποτεντιαλ λεσσ νεγατιϖε). Κ+ χονδυχτανχεσ, ωιτη τηειρ νεγα− ηψπερπολαριζατιον τιϖε Ε ϖαλυεσ, νορµαλλψ ηψπερπολαριζε α νευρον (µακε ιτσ µεµβρανε πο− τεντιαλ µορε νεγατιϖε). Χλ− χονδυχτανχεσ, ωιτη ρεϖερσαλ ποτεντιαλσ νεαρ τηε ρεστινγ ποτεντιαλ, µαψ πασσ λιττλε νετ χυρρεντ. Ινστεαδ, τηειρ πριµαρψ ιµπαχτ ισ το χηανγε τηε µεµβρανε ρεσιστανχε οφ τηε χελλ. Συχη χονδυχ− σηυντινγ τανχεσ αρε σοµετιµεσ χαλλεδ σηυντινγ, αλτηουγη αλλ χονδυχτανχεσ mσηυντn, χονδυχτανχεσ τηατ ισ, ινχρεασε τηε τοταλ χονδυχτανχε οφ α νευρον. Σψναπτιχ χονδυχτανχεσ αρε αλσο χηαραχτεριζεδ βψ ρεϖερσαλ ποτεντιαλσ ανδ αρε τερµεδ εξχιτατορψ ορ ινηιβιτορψ ον τηισ βασισ. Σψναπσεσ ωιτη ρεϖερσαλ ποτεντιαλσ λεσσ τηαν τηε ινηιβιτορψ ανδ τηρεσηολδ φορ αχτιον ποτεντιαλ γενερατιον αρε τψπιχαλλψ χαλλεδ ινηιβιτορψ, εξχιτατορψ σψναπσεσ ανδ τηοσε ωιτη ρεϖερσαλ ποτεντιαλσ αβοϖε τηε αχτιον ποτεντιαλ τηρεσηολδ αρε χαλλεδ εξχιτατορψ.

Τηε Μεµβρανε Χυρρεντ

µεµβρανε χυρρεντ περ υνιτ αρεα ιµ

δριϖινγ φορχε σπεχι⇒χ χονδυχτανχε γι µεµβρανε χυρρεντ

Τηε τοταλ χυρρεντ ⇓οωινγ αχροσσ τηε µεµβρανε τηρουγη αλλ οφ ιτσ ιον χηαν− νελσ ισ χαλλεδ τηε µεµβρανε χυρρεντ οφ τηε νευρον. Βψ χονϖεντιον, τηε µεµβρανε χυρρεντ ισ δε⇒νεδ ασ ποσιτιϖε ωηεν ποσιτιϖε ιονσ λεαϖε τηε νευ− ρον ανδ νεγατιϖε ωηεν ποσιτιϖε ιονσ εντερ τηε νευρον. Τηε τοταλ µεµβρανε χυρρεντ ισ δετερµινεδ βψ συµµινγ χυρρεντσ δυε το αλλ οφ τηε διφφερεντ τψπεσ οφ χηαννελσ ωιτηιν τηε χελλ µεµβρανε, ινχλυδινγ ϖολταγε−δεπενδεντ ανδ σψναπτιχ χηαννελσ. Το φαχιλιτατε χοµπαρισονσ βετωεεν νευρονσ οφ διφφερ− εντ σιζεσ, ιτ ισ χονϖενιεντ το υσε τηε µεµβρανε χυρρεντ περ υνιτ αρεα οφ χελλ µεµβρανε, ωηιχη ωε χαλλ ιµ . Τηε τοταλ µεµβρανε χυρρεντ ισ οβταινεδ φροµ ιµ βψ µυλτιπλψινγ ιτ βψ Α, τηε τοταλ συρφαχε αρεα οφ τηε χελλ. Ωε λαβελ τηε διφφερεντ τψπεσ οφ χηαννελσ ιν α χελλ µεµβρανε ωιτη αν ινδεξ ι. Ασ δισχυσσεδ ιν τηε λαστ σεχτιον, τηε χυρρεντ χαρριεδ βψ α σετ οφ χηαννελσ οφ τψπε ι ωιτη ρεϖερσαλ ποτεντιαλ Ει , ϖανισηεσ ωηεν τηε µεµβρανε ποτεν− τιαλ σατισ⇒εσ ς = Ει . Φορ µανψ τψπεσ οφ χηαννελσ, τηε χυρρεντ ινχρεασεσ ορ δεχρεασεσ αππροξιµατελψ λινεαρλψ ωηεν τηε µεµβρανε ποτεντιαλ δεϖι− ατεσ φροµ τηισ ϖαλυε. Τηε διφφερενχε ς − Ει ισ χαλλεδ τηε δριϖινγ φορχε, ανδ τηε µεµβρανε χυρρεντ περ υνιτ αρεα δυε το τηε τψπε ι χηαννελσ ισ ωριττεν ασ γι (ς − Ει ). Τηε φαχτορ γι ισ τηε χονδυχτανχε περ υνιτ αρεα, ορ σπεχι⇒χ χονδυχτανχε, δυε το τηεσε χηαννελσ. Συµµινγ οϖερ τηε διφφερεντ τψπεσ οφ χηαννελσ, ωε οβταιν τηε τοταλ µεµβρανε χυρρεντ, ! ιµ = γι ( ς − Ει ) . (5.5) ι

Σοµετιµεσ α µορε χοµπλιχατεδ εξπρεσσιον χαλλεδ τηε Γολδµαν−Ηοδγκιν− Κατζ φορµυλα ισ υσεδ το ρελατε τηε µεµβρανε χυρρεντ το γι ανδ µεµβρανε ποτεντιαλ (σεε Τυχκωελλ, 1988; ορ ϑοηνστον ανδ Ωυ, 1995), βυτ ωε ωιλλ ρε− στριχτ ουρ δισχυσσιον το τηε σιµπλερ ρελατιονσηιπ υσεδ ιν εθυατιον 5.5. Μυχη οφ τηε χοµπλεξιτψ ανδ ριχηνεσσ οφ νευροναλ δψναµιχσ αρισεσ βεχαυσε µεµβρανε χονδυχτανχεσ χηανγε οϖερ τιµε. Ηοωεϖερ, σοµε οφ τηε φαχ− τορσ τηατ χοντριβυτε το τηε τοταλ µεµβρανε χυρρεντ χαν βε τρεατεδ ασ ρελα− τιϖελψ χονσταντ, ανδ τηεσε αρε τψπιχαλλψ γρουπεδ τογετηερ ιντο α σινγλε τερµ

5.3

Σινγλε−Χοµπαρτµεντ Μοδελσ

161

χαλλεδ τηε λεακαγε χυρρεντ. Τηε χυρρεντσ χαρριεδ βψ ιον πυµπσ τηατ µαιν− ταιν τηε χονχεντρατιον γραδιεντσ τηατ µακε εθυιλιβριυµ ποτεντιαλσ νονζερο τψπιχαλλψ φαλλ ιντο τηισ χατεγορψ. Φορ εξαµπλε, ονε τψπε οφ πυµπ υσεσ τηε ενεργψ οφ ΑΤΠ ηψδρολψσισ το µοϖε τηρεε Να+ ιονσ ουτ οφ τηε χελλ φορ εϖερψ τωο Κ+ ιονσ ιτ µοϖεσ ιν. Ιτ ισ νορµαλλψ ασσυµεδ τηατ ιον πυµπσ ωορκ ατ ρελατιϖελψ στεαδψ ρατεσ σο τηατ τηε χυρρεντσ τηεψ γενερατε χαν βε ινχλυδεδ ιν α τιµε−ινδεπενδεντ λεακαγε χονδυχτανχε. Σοµετιµεσ, τηισ ασσυµπτιον ισ δροππεδ ανδ εξπλιχιτ πυµπ χυρρεντσ αρε µοδελεδ. Ιν ειτηερ χασε, αλλ οφ τηε τιµε−ινδεπενδεντ χοντριβυτιονσ το τηε µεµβρανε χυρρεντ χαν βε λυµπεδ τογετηερ ιντο α σιν− γλε λεακαγε τερµ γΛ (ς − ΕΛ ). Βεχαυσε τηισ τερµ ηιδεσ µανψ σινσ, ιτσ ρε− ϖερσαλ ποτεντιαλ ΕΛ ισ νοτ υσυαλλψ εθυαλ το τηε εθυιλιβριυµ ποτεντιαλ οφ ανψ σπεχι⇒χ ιον. Ινστεαδ, ιτ ισ οφτεν κεπτ ασ α φρεε παραµετερ ανδ αδϕυστεδ το µακε τηε ρεστινγ ποτεντιαλ οφ τηε µοδελ νευρον µατχη τηατ οφ τηε χελλ βεινγ µοδελεδ. Σιµιλαρλψ, γΛ ισ αδϕυστεδ το µατχη τηε µεµβρανε χονδυχτανχε ατ ρεστ. Τηε λινε οϖερ τηε παραµετερ γΛ ισ υσεδ το ινδιχατε τηατ ιτ ηασ χον− σταντ ϖαλυε. Α σιµιλαρ νοτατιον ισ υσεδ λατερ ιν τηισ χηαπτερ το διστινγυιση ϖαριαβλε χονδυχτανχεσ φροµ τηε ⇒ξεδ παραµετερσ τηατ δεσχριβε τηεµ. Τηε λεακαγε χονδυχτανχε ισ χαλλεδ α πασσιϖε χονδυχτανχε το διστινγυιση ιτ φροµ ϖαριαβλε χονδυχτανχεσ τηατ αρε τερµεδ αχτιϖε.

5.3

Σινγλε−Χοµπαρτµεντ Μοδελσ

Μοδελσ τηατ δεσχριβε τηε µεµβρανε ποτεντιαλ οφ α νευρον βψ α σινγλε ϖαρι− αβλε ς αρε χαλλεδ σινγλε−χοµπαρτµεντ µοδελσ. Τηισ χηαπτερ δεαλσ εξχλυ− σιϖελψ ωιτη συχη µοδελσ. Μυλτι−χοµπαρτµεντ µοδελσ, ωηιχη χαν δεσχριβε σπατιαλ ϖαριατιονσ ιν τηε µεµβρανε ποτεντιαλ, αρε χονσιδερεδ ιν χηαπτερ 6. Τηε εθυατιονσ φορ σινγλε−χοµπαρτµεντ µοδελσ, λικε τηοσε οφ αλλ νευρον µοδελσ, δεσχριβε ηοω χηαργεσ ⇓οω ιντο ανδ ουτ οφ α νευρον ανδ αφφεχτ ιτσ µεµβρανε ποτεντιαλ. Εθυατιον 5.2 προϖιδεσ τηε βασιχ ρελατιονσηιπ τηατ δετερµινεσ τηε µεµ− βρανε ποτεντιαλ φορ α σινγλε−χοµπαρτµεντ µοδελ. Τηισ εθυατιον στατεσ τηατ τηε ρατε οφ χηανγε οφ τηε µεµβρανε ποτεντιαλ ισ προπορτιοναλ το τηε ρατε ατ ωηιχη χηαργε βυιλδσ υπ ινσιδε τηε χελλ. Τηε ρατε οφ χηαργε βυιλδυπ ισ, ιν τυρν, εθυαλ το τηε τοταλ αµουντ οφ χυρρεντ εντερινγ τηε νευρον. Τηε ρελεϖαντ χυρρεντσ αρε τηοσε αρισινγ φροµ αλλ τηε µεµβρανε ανδ σψναπτιχ χονδυχτανχεσ πλυσ, ιν αν εξπεριµενταλ σεττινγ, ανψ χυρρεντ ινϕεχτεδ ιντο τηε χελλ τηρουγη αν ελεχτροδε. Φροµ εθυατιον 5.2, τηε συµ οφ τηεσε χυρρεντσ ισ εθυαλ το Χµ δς/δτ, τηε τοταλ χαπαχιτανχε οφ τηε νευρον τιµεσ τηε ρατε οφ χηανγε οφ τηε µεµβρανε ποτεντιαλ. Βεχαυσε τηε µεµβρανε χυρρεντ ισ υσυ− αλλψ χηαραχτεριζεδ ασ α χυρρεντ περ υνιτ αρεα, ιµ , ιτ ισ µορε χονϖενιεντ το διϖιδε τηισ ρελατιονσηιπ βψ τηε συρφαχε αρεα οφ τηε νευρον. Τηεν, τηε τοταλ χυρρεντ περ υνιτ αρεα ισ εθυαλ το χµ δς/δτ, ωηερε χµ = Χµ / Α ισ τηε σπε− χι⇒χ µεµβρανε χαπαχιτανχε. Ονε χοµπλιχατιον ιν τηισ προχεδυρε ισ τηατ τηε ελεχτροδε χυρρεντ, Ιε , ισ νοτ τψπιχαλλψ εξπρεσσεδ ασ α χυρρεντ περ υνιτ αρεα, σο ωε µυστ διϖιδε ιτ βψ τηε τοταλ συρφαχε αρεα οφ τηε νευρον, Α. Πυττινγ αλλ

λεακαγε χυρρεντ

ρεστινγ ποτεντιαλ

162

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

Ιε Ιε Α

ς σ γσ

ς

Εσ

χµ γΛ ϖ γ1 ϖ γ2 ΕΛ

Ε1

Ε2

Φιγυρε 5.4 Τηε εθυιϖαλεντ χιρχυιτ φορ α ονε−χοµπαρτµεντ νευρον µοδελ. Τηε νευ− ρον ισ ρεπρεσεντεδ, ατ τηε λεφτ, βψ α σινγλε χοµπαρτµεντ οφ συρφαχε αρεα Α ωιτη α σψναπσε ανδ α χυρρεντ−ινϕεχτινγ ελεχτροδε. Ατ ριγητ ισ τηε εθυιϖαλεντ χιρχυιτ. Τηε χιρχλεδ ινδιχατεσ α σψναπτιχ χονδυχτανχε τηατ δεπενδσ ον τηε αχτιϖιτψ οφ α πρεσψ− ναπτιχ νευρον. Α σινγλε σψναπτιχ χονδυχτανχε γσ ισ ινδιχατεδ, βυτ ιν γενεραλ τηερε µαψ βε σεϖεραλ διφφερεντ τψπεσ. Τηε χιρχλεδ ινδιχατεσ α ϖολταγε−δεπενδεντ χον− δυχτανχε, ανδ Ιε ισ τηε χυρρεντ πασσινγ τηρουγη τηε ελεχτροδε. Τηε δοτσ στανδ φορ ποσσιβλε αδδιτιοναλ µεµβρανε χονδυχτανχεσ.

τηισ τογετηερ, τηε βασιχ εθυατιον φορ αλλ σινγλε−χοµπαρτµεντ µοδελσ ισ χµ

εθυιϖαλεντ χιρχυιτ

δς Ιε = −ι µ + . δτ Α

(5.6)

Βψ χονϖεντιον, χυρρεντ τηατ εντερσ τηε νευρον τηρουγη αν ελεχτροδε ισ δε⇒νεδ ασ ποσιτιϖε−ινωαρδ, ωηερεασ µεµβρανε χυρρεντ ισ δε⇒νεδ ασ ποσιτιϖε−ουτωαρδ. Τηισ εξπλαινσ τηε διφφερεντ σιγνσ φορ τηε χυρρεντσ ιν εθυατιον 5.6. Τηε µεµβρανε χυρρεντ ιν εθυατιον 5.6 ισ δετερµινεδ βψ εθυατιον 5.5 ανδ αδδιτιοναλ εθυατιονσ τηατ σπεχιφψ τηε χονδυχτανχε ϖαρι− αβλεσ γι . Τηε στρυχτυρε οφ συχη α µοδελ ισ τηε σαµε ασ τηατ οφ αν ελεχτρι− χαλ χιρχυιτ, χαλλεδ τηε εθυιϖαλεντ χιρχυιτ, χονσιστινγ οφ α χαπαχιτορ ανδ α σετ οφ ϖαριαβλε ανδ νονϖαριαβλε ρεσιστορσ χορρεσπονδινγ το τηε διφφερεντ µεµ− βρανε χονδυχτανχεσ. Φιγυρε 5.4 σηοωσ τηε εθυιϖαλεντ χιρχυιτ φορ α γενεριχ ονε−χοµπαρτµεντ µοδελ.

5.4

Ιντεγρατε−ανδ−Φιρε Μοδελσ

Α νευρον ωιλλ τψπιχαλλψ ⇒ρε αν αχτιον ποτεντιαλ ωηεν ιτσ µεµβρανε ποτεν− τιαλ ρεαχηεσ α τηρεσηολδ ϖαλυε οφ αβουτ −55 το −50 µς. ∆υρινγ τηε αχτιον ποτεντιαλ, τηε µεµβρανε ποτεντιαλ φολλοωσ α ραπιδ, στερεοτψπεδ τραϕεχτορψ ανδ τηεν ρετυρνσ το α ϖαλυε τηατ ισ ηψπερπολαριζεδ ρελατιϖε το τηε τηρεσηολδ ποτεντιαλ. Ασ ωε ωιλλ σεε, τηε µεχηανισµσ βψ ωηιχη ϖολταγε−δεπενδεντ Κ+ ανδ Να+ χονδυχτανχεσ προδυχε αχτιον ποτεντιαλσ αρε ωελλ υνδερστοοδ ανδ χαν βε µοδελεδ θυιτε αχχυρατελψ. Ον τηε οτηερ ηανδ, νευρον µοδελσ χαν βε σιµπλι⇒εδ ανδ σιµυλατιονσ χαν βε αχχελερατεδ δραµατιχαλλψ ιφ τηε βιοπηψσιχαλ µεχηανισµσ ρεσπονσιβλε φορ αχτιον ποτεντιαλσ αρε νοτ εξπλιχ− ιτλψ ινχλυδεδ ιν τηε µοδελ. Ιντεγρατε−ανδ−⇒ρε µοδελσ δο τηισ βψ στιπυλατ− ινγ τηατ αν αχτιον ποτεντιαλ οχχυρσ ωηενεϖερ τηε µεµβρανε ποτεντιαλ οφ

5.4

Ιντεγρατε−ανδ−Φιρε Μοδελσ

163

τηε µοδελ νευρον ρεαχηεσ α τηρεσηολδ ϖαλυε ςτη . Αφτερ τηε αχτιον ποτεν− τιαλ, τηε ποτεντιαλ ισ ρεσετ το α ϖαλυε ςρεσετ βελοω τηε τηρεσηολδ ποτεντιαλ, ςρεσετ < ςτη . Τηε βασιχ ιντεγρατε−ανδ−⇒ρε µοδελ ωασ προποσεδ βψ Λαπιχθυε ιν 1907, λονγ βεφορε τηε µεχηανισµσ τηατ γενερατε αχτιον ποτεντιαλσ ωερε υνδερ− στοοδ. ∆εσπιτε ιτσ αγε ανδ σιµπλιχιτψ, τηε ιντεγρατε−ανδ−⇒ρε µοδελ ισ στιλλ αν εξτρεµελψ υσεφυλ δεσχριπτιον οφ νευροναλ αχτιϖιτψ. Βψ αϖοιδινγ α βιοπηψσ− ιχαλ δεσχριπτιον οφ τηε αχτιον ποτεντιαλ, ιντεγρατε−ανδ−⇒ρε µοδελσ αρε λεφτ ωιτη τηε σιµπλερ τασκ οφ µοδελινγ ονλψ συβτηρεσηολδ µεµβρανε ποτεντιαλ δψναµιχσ. Τηισ χαν βε δονε ωιτη ϖαριουσ λεϖελσ οφ ριγορ. Ιν τηε σιµπλεστ ϖερσιον οφ τηεσε µοδελσ, αλλ αχτιϖε µεµβρανε χονδυχτανχεσ αρε ιγνορεδ, ινχλυδινγ, φορ τηε µοµεντ, σψναπτιχ ινπυτσ, ανδ τηε εντιρε µεµβρανε χον− δυχτανχε ισ µοδελεδ ασ α σινγλε πασσιϖε λεακαγε τερµ, ιµ = γΛ (ς − ΕΛ ). Τηισ ϖερσιον ισ χαλλεδ τηε πασσιϖε ορ λεακψ ιντεγρατε−ανδ−⇒ρε µοδελ. Φορ σµαλλ ⇓υχτυατιονσ αβουτ τηε ρεστινγ µεµβρανε ποτεντιαλ, νευροναλ χον− δυχτανχεσ αρε αππροξιµατελψ χονσταντ, ανδ τηε πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ ασσυµεσ τηατ τηισ χονστανχψ ηολδσ οϖερ τηε εντιρε συβτηρεσηολδ ρανγε. Φορ σοµε νευρονσ τηισ ισ α ρεασοναβλε αππροξιµατιον, ανδ φορ οτη− ερσ ιτ ισ νοτ. Ωιτη τηεσε αππροξιµατιονσ, τηε µοδελ νευρον βεηαϖεσ λικε αν ελεχτριχ χιρχυιτ χονσιστινγ οφ α ρεσιστορ ανδ α χαπαχιτορ ιν παραλλελ (⇒γ− υρε 5.4), ανδ τηε µεµβρανε ποτεντιαλ ισ δετερµινεδ βψ εθυατιον 5.6 ωιτη ιµ = γΛ (ς − ΕΛ ), χµ

δς Ιε = −γΛ (ς − ΕΛ ) + . δτ Α

(5.7)

Ιτ ισ χονϖενιεντ το µυλτιπλψ εθυατιον 5.7 βψ τηε σπεχι⇒χ µεµβρανε ρεσισ− τανχε ρµ , ωηιχη ιν τηισ χασε ισ γιϖεν βψ ρµ = 1/ γΛ . Τηισ χανχελσ τηε φαχτορ οφ γΛ ον τηε ριγητ σιδε οφ τηε εθυατιον ανδ λεαϖεσ α φαχτορ χµ ρµ = τµ ον τηε λεφτ σιδε, ωηερε τµ ισ τηε µεµβρανε τιµε χονσταντ οφ τηε νευρον. Τηε ελεχτροδε χυρρεντ ενδσ υπ βεινγ µυλτιπλιεδ βψ ρµ / Α, ωηιχη ισ τηε τοταλ µεµβρανε ρεσιστανχε Ρµ . Τηυσ, τηε βασιχ εθυατιον οφ τηε πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελσ ισ

τµ

δς = ΕΛ − ς + Ρµ Ιε . δτ

(5.8)

Το γενερατε αχτιον ποτεντιαλσ ιν τηε µοδελ, εθυατιον 5.8 ισ αυγµεντεδ βψ τηε ρυλε τηατ ωηενεϖερ ς ρεαχηεσ τηε τηρεσηολδ ϖαλυε ςτη , αν αχτιον πο− τεντιαλ ισ ⇒ρεδ ανδ τηε ποτεντιαλ ισ ρεσετ το ςρεσετ . Εθυατιον 5.8 ινδιχατεσ τηατ ωηεν Ιε = 0, τηε µεµβρανε ποτεντιαλ ρελαξεσ εξπονεντιαλλψ ωιτη τιµε χονσταντ τµ το ς = ΕΛ . Τηυσ, ΕΛ ισ τηε ρεστινγ ποτεντιαλ οφ τηε µοδελ χελλ. Τηε µεµβρανε ποτεντιαλ φορ τηε πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ ισ δετερ− µινεδ βψ ιντεγρατινγ εθυατιον 5.8 (α νυµεριχαλ µετηοδ φορ δοινγ τηισ ισ δεσχριβεδ ιν αππενδιξ Α) ανδ αππλψινγ τηε τηρεσηολδ ανδ ρεσετ ρυλε φορ αχτιον ποτεντιαλ γενερατιον. Τηε ρεσπονσε οφ α πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ νευρον το α τιµε−ϖαρψινγ ελεχτροδε χυρρεντ ισ σηοων ιν ⇒γυρε 5.5. Τηε ⇒ρινγ ρατε οφ αν ιντεγρατε−ανδ−⇒ρε µοδελ ιν ρεσπονσε το α χονσταντ ινϕεχτεδ χυρρεντ χαν βε χοµπυτεδ αναλψτιχαλλψ. Ωηεν Ιε ισ ινδεπενδεντ οφ

πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ

164

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ς (µς)

0 -20 -40

Ιε (νΑ)

-60 4 0 0

100

200

300

400

500

τ (µσ) Φιγυρε 5.5 Α πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ δριϖεν βψ α τιµε−ϖαρψινγ ελεχτροδε χυρρεντ. Τηε υππερ τραχε ισ τηε µεµβρανε ποτεντιαλ, ανδ τηε βοττοµ τραχε τηε δριϖ− ινγ χυρρεντ. Τηε αχτιον ποτεντιαλσ ιν τηισ ⇒γυρε αρε σιµπλψ παστεδ οντο τηε µεµ− βρανε ποτεντιαλ τραϕεχτορψ ωηενεϖερ ιτ ρεαχηεσ τηε τηρεσηολδ ϖαλυε. Τηε παραµετερσ οφ τηε µοδελ αρε ΕΛ = ςρεσετ = −65 µς, ςτη = −50 µς, τµ = 10 µσ, ανδ Ρµ = 10 Μ7.

τιµε, τηε συβτηρεσηολδ ποτεντιαλ ς (τ ) χαν εασιλψ βε χοµπυτεδ βψ σολϖινγ εθυατιον 5.8, ανδ ισ ς (τ ) = ΕΛ + Ρµ Ιε + (ς (0 ) − ΕΛ − Ρµ Ιε ) εξπ(−τ/τµ ) ,

(5.9)

ωηερε ς (0 ) ισ τηε ϖαλυε οφ ς ατ τιµε τ = 0. Τηισ σολυτιον χαν βε χηεχκεδ βψ συβστιτυτινγ ιτ ιντο εθυατιον 5.8. Ιτ ισ ϖαλιδ φορ τηε ιντεγρατε−ανδ−⇒ρε µοδελ ονλψ ασ λονγ ασ ς σταψσ βελοω τηε τηρεσηολδ. Συπποσε τηατ ατ τ = 0, τηε νευρον ηασ ϕυστ ⇒ρεδ αν αχτιον ποτεντιαλ ανδ ισ τηυσ ατ τηε ρεσετ ποτεν− τιαλ, σο τηατ ς (0 ) = ςρεσετ . Τηε νεξτ αχτιον ποτεντιαλ ωιλλ οχχυρ ωηεν τηε µεµβρανε ποτεντιαλ ρεαχηεσ τηε τηρεσηολδ, τηατ ισ, ατ α τιµε τ = τισι ωηεν ς (τισι ) = ςτη = ΕΛ + Ρµ Ιε + (ςρεσετ − ΕΛ − Ρµ Ιε ) εξπ(−τισι /τµ ) .

(5.10)

Βψ σολϖινγ τηισ φορ τισι , τηε τιµε οφ τηε νεξτ αχτιον ποτεντιαλ, ωε χαν δε− τερµινε τηε ιντερσπικε ιντερϖαλ φορ χονσταντ Ιε , ορ εθυιϖαλεντλψ ιτσ ινϖερσε, ωηιχη ωε χαλλ τηε ιντερσπικε−ιντερϖαλ ⇒ρινγ ρατε οφ τηε νευρον, % % &&−1 1 Ρµ Ιε + ΕΛ − ςρεσετ ρισι = = τµ λν . τισι Ρµ Ιε + ΕΛ − ςτη

(5.11)

Τηισ εξπρεσσιον ισ ϖαλιδ ιφ Ρµ Ιε > ςτη − ΕΛ ; οτηερωισε ρισι = 0. Φορ συφ⇒− χιεντλψ λαργε ϖαλυεσ οφ Ιε , ωε χαν υσε τηε λινεαρ αππροξιµατιον οφ τηε λογα− ριτηµ (λν(1 + ζ ) ≈ ζ φορ σµαλλ ζ) το σηοω τηατ 8 7 ΕΛ − ςτη + Ρµ Ιε , (5.12) ρισι ≈ τµ (ςτη − ςρεσετ ) + ωηιχη σηοωσ τηατ τηε ⇒ρινγ ρατε γροωσ λινεαρλψ ωιτη Ιε φορ λαργε Ιε . Φιγυρε 5.6Α χοµπαρεσ ρισι ασ α φυνχτιον οφ Ιε , υσινγ αππροπριατε παραµε− τερ ϖαλυεσ, ωιτη δατα φροµ χυρρεντ ινϕεχτιον ιντο α χορτιχαλ νευρον ιν ϖιϖο. Τηε ⇒ρινγ ρατε οφ τηε χορτιχαλ νευρον ιν ⇒γυρε 5.6Α ηασ βεεν δε⇒νεδ ασ τηε

5.4

Ιντεγρατε−ανδ−Φιρε Μοδελσ

A

165

B

C

ρισι (Ηζ)

400 300 200 100 0

0

1

2

Ιε (νΑ) Φιγυρε 5.6 (Α) Χοµπαρισον οφ ιντερσπικε−ιντερϖαλ ⇒ρινγ ρατεσ ασ α φυνχτιον οφ ιν− ϕεχτεδ χυρρεντ φορ αν ιντεγρατε−ανδ−⇒ρε µοδελ ανδ α χορτιχαλ νευρον µεασυρε ιν ϖιϖο. Τηε λινε γιϖεσ ρισι φορ α µοδελ νευρον ωιτη τµ = 30 µσ, ΕΛ = ςρεσετ = −65 µς, ςτη = −50 µς, ανδ Ρµ = 90 Μ7. Τηε δατα ποιντσ αρε φροµ α πψραµιδαλ χελλ ιν τηε πριµαρψ ϖισυαλ χορτεξ οφ α χατ. Τηε ⇒λλεδ χιρχλεσ σηοω τηε ινϖερσε οφ τηε ιντερ− σπικε ιντερϖαλ φορ τηε ⇒ρστ τωο σπικεσ ⇒ρεδ, ανδ τηε οπεν χιρχλεσ σηοω τηε στεαδψ− στατε ιντερσπικε−ιντερϖαλ ⇒ρινγ ρατε αφτερ σπικε−ρατε αδαπτατιον. (Β) Α ρεχορδινγ οφ τηε ⇒ρινγ οφ α χορτιχαλ νευρον υνδερ χονσταντ χυρρεντ ινϕεχτιον, σηοωινγ σπικε−ρατε αδαπτατιον. (Χ) Μεµβρανε ϖολταγε τραϕεχτορψ ανδ σπικεσ φορ αν ιντεγρατε−ανδ−⇒ρε µοδελ ωιτη αν αδδεδ χυρρεντ, ωιτη ρµ % γσρα = 0.06, τσρα = 100 µσ, ανδ ΕΚ = −70 µς (σεε εθυατιονσ 5.13 ανδ 5.14). (∆ατα ιν Α φροµ Αηµεδ ετ αλ., 1998; Β φροµ ΜχΧορµιχκ, 1990.)

ινϖερσε οφ τηε ιντερϖαλ βετωεεν παιρσ οφ σπικεσ. Τηε ρατεσ δετερµινεδ ιν τηισ ωαψ, υσινγ τηε ⇒ρστ τωο σπικεσ ⇒ρεδ βψ τηε νευρον ιν ρεσπονσε το τηε ινϕεχτεδ χυρρεντ (⇒λλεδ χιρχλεσ ιν ⇒γυρε 5.6Α), αγρεε φαιρλψ ωελλ ωιτη τηε ρε− συλτσ οφ τηε ιντεγρατε−ανδ−⇒ρε µοδελ δεσχριβεδ ιν τηε ⇒γυρε χαπτιον. Ηοω− εϖερ, τηε ρεαλ νευρον εξηιβιτσ σπικε−ρατε αδαπτατιον, ιν τηατ τηε ιντερσπικε ιντερϖαλσ λενγτηεν οϖερ τιµε ωηεν α χονσταντ χυρρεντ ισ ινϕεχτεδ ιντο τηε χελλ (⇒γυρε 5.6Β), βεφορε σεττλινγ το α στεαδψ−στατε ϖαλυε. Τηε στεαδψ−στατε ⇒ρινγ ρατε ιν ⇒γυρε 5.6Α (οπεν χιρχλεσ) χουλδ αλσο βε ⇒ττεδ βψ αν ιντεγρατε− ανδ−⇒ρε µοδελ, βυτ νοτ υσινγ τηε σαµε παραµετερσ τηατ ωερε υσεδ το ⇒τ τηε ινιτιαλ σπικεσ. Σπικε−ρατε αδαπτατιον ισ α χοµµον φεατυρε οφ χορτιχαλ πψρα− µιδαλ χελλσ, ανδ χονσιδερατιον οφ τηισ πηενοµενον αλλοωσ υσ το σηοω ηοω αν ιντεγρατε−ανδ−⇒ρε µοδελ χαν βε µοδι⇒εδ το ινχορπορατε µορε χοµπλεξ δψναµιχσ.

Σπικε−Ρατε Αδαπτατιον ανδ Ρεφραχτορινεσσ Τηε πασσιϖε ιντεγρατε−ανδ−⇒ρε µοδελ τηατ ωε ηαϖε δεσχριβεδ τηυσ φαρ ισ βασεδ ον τωο σεπαρατε αππροξιµατιονσ, α ηιγηλψ σιµπλι⇒εδ δεσχριπτιον οφ τηε αχτιον ποτεντιαλ ανδ α λινεαρ αππροξιµατιον φορ τηε τοταλ µεµβρανε χυρρεντ. Ιφ δεταιλσ οφ τηε αχτιον−ποτεντιαλ γενερατιον προχεσσ αρε νοτ ιµ− πορταντ φορ α παρτιχυλαρ µοδελινγ γοαλ, τηε ⇒ρστ αππροξιµατιον χαν βε ρε− ταινεδ ωηιλε τηε µεµβρανε χυρρεντ ισ µοδελεδ ιν ασ µυχη δεταιλ ασ ισ νεχ− εσσαρψ. Ωε ωιλλ ιλλυστρατε τηισ προχεσσ βψ δεϖελοπινγ α ηευριστιχ δεσχριπτιον οφ σπικε−ρατε αδαπτατιον υσινγ α µοδελ χονδυχτανχε τηατ ηασ χηαραχτερισ− τιχσ σιµιλαρ το µεασυρεδ νευροναλ χονδυχτανχεσ κνοων το πλαψ ιµπορταντ ρολεσ ιν προδυχινγ τηισ εφφεχτ.

σπικε−ρατε αδαπτατιον

166

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

Ωε µοδελ σπικε−ρατε αδαπτατιον βψ ινχλυδινγ αν αδδιτιοναλ χυρρεντ ιν τηε µοδελ, δς = ΕΛ − ς − ρµ γσρα (ς − Ε Κ ) + Ρµ Ιε . (5.13) τµ δτ Τηε σπικε−ρατε αδαπτατιον χονδυχτανχε γσρα ηασ βεεν µοδελεδ ασ α Κ+ χον− δυχτανχε σο, ωηεν αχτιϖατεδ, ιτ ωιλλ ηψπερπολαριζε τηε νευρον, σλοωινγ ανψ σπικινγ τηατ µαψ βε οχχυρρινγ. Ωε ασσυµε τηατ τηισ χονδυχτανχε ρελαξεσ το 0 εξπονεντιαλλψ ωιτη τιµε χονσταντ τσρα τηρουγη τηε εθυατιον δγσρα = −γσρα . (5.14) δτ Ωηενεϖερ τηε νευρον ⇒ρεσ α σπικε, γσρα ισ ινχρεασεδ βψ αν αµουντ % γσρα , τηατ ισ, γσρα → γσρα + % γσρα . ∆υρινγ ρεπετιτιϖε ⇒ρινγ, τηε χυρρεντ βυιλδσ υπ ιν α σεθυενχε οφ στεπσ χαυσινγ τηε ⇒ρινγ ρατε το αδαπτ. Φιγυρεσ 5.6Β ανδ 5.6Χ χοµπαρε τηε αδαπτινγ ⇒ρινγ παττερν οφ α χορτιχαλ νευρον ωιτη τηε ουτπυτ οφ τηε µοδελ.

τσρα

Ασ δισχυσσεδ ιν χηαπτερ 1, τηε προβαβιλιτψ τηατ α νευρον ⇒ρεσ ισ σιγνι⇒χαντλψ ρεδυχεδ φορ α σηορτ περιοδ οφ τιµε αφτερ τηε αππεαρανχε οφ αν αχτιον ποτεν− τιαλ. Συχη α ρεφραχτορψ εφφεχτ ισ νοτ ινχλυδεδ ιν τηε βασιχ ιντεγρατε−ανδ−⇒ρε µοδελ. Τηε σιµπλεστ ωαψ οφ ινχλυδινγ αν αβσολυτε ρεφραχτορψ περιοδ ιν τηε µοδελ ισ το αδδ α χονδιτιον το τηε βασιχ τηρεσηολδ χροσσινγ ρυλε τηατ φορ− βιδσ ⇒ρινγ φορ α περιοδ οφ τιµε ιµµεδιατελψ αφτερ α σπικε. Ρεφραχτορινεσσ χαν βε ινχορπορατεδ ιν α µορε ρεαλιστιχ ωαψ βψ αδδινγ α χονδυχτανχε σιµ− ιλαρ το τηε σπικε−ρατε αδαπτατιον χονδυχτανχε δισχυσσεδ αβοϖε, βυτ ωιτη α φαστερ ρεχοϖερψ τιµε ανδ α λαργερ χονδυχτανχε ινχρεµεντ φολλοωινγ αν αχ− τιον ποτεντιαλ. Ωιτη α λαργε ινχρεµεντ, τηε χυρρεντ χαν εσσεντιαλλψ χλαµπ τηε νευρον το ΕΚ φολλοωινγ α σπικε, τεµποραριλψ πρεϖεντινγ φυρτηερ ⇒ρινγ ανδ προδυχινγ αν αβσολυτε ρεφραχτορψ περιοδ. Ασ τηισ χονδυχτανχε ρελαξεσ βαχκ το 0, ⇒ρινγ ωιλλ βε ποσσιβλε βυτ ινιτιαλλψ λεσσ λικελψ, προδυχινγ α ρελ− ατιϖε ρεφραχτορψ περιοδ. Ωηεν ρεχοϖερψ ισ χοµπλετεδ, νορµαλ ⇒ρινγ χαν ρεσυµε. Ανοτηερ σχηεµε τηατ ισ σοµετιµεσ υσεδ το µοδελ ρεφραχτορψ εφφεχτσ ισ το ραισε τηε τηρεσηολδ φορ αχτιον−ποτεντιαλ γενερατιον φολλοωινγ α σπικε ανδ τηεν αλλοω ιτ το ρελαξ βαχκ το ιτσ νορµαλ ϖαλυε. Σπικε−ρατε αδαπτατιον χαν αλσο βε δεσχριβεδ βψ υσινγ αν ιντεγρατεδ ϖερσιον οφ τηε ιντεγρατε−ανδ−⇒ρε µοδελ κνοων ασ τηε σπικε−ρεσπονσε µοδελ, ιν ωηιχη µεµβρανε ποτεντιαλ ωαϖεφορµσ αρε δετερµινεδ βψ συµµινγ πρεχοµπυτεδ ποστσψναπτιχ πο− τεντιαλσ ανδ αφτερ−σπικε ηψπερπολαριζατιονσ. Φιναλλψ, σπικε−ρατε αδαπτατιον ανδ οτηερ εφφεχτσ χαν βε ινχορπορατεδ ιντο τηε ιντεγρατε−ανδ−⇒ρε φραµε− ωορκ βψ αλλοωινγ τηε παραµετερσ γΛ ανδ ΕΛ ιν εθυατιον 5.7 το ϖαρψ ωιτη τιµε.

5.5

ςολταγε−∆επενδεντ Χονδυχτανχεσ

Μοστ οφ τηε ιντερεστινγ ελεχτριχαλ προπερτιεσ οφ νευρονσ, ινχλυδινγ τηειρ αβιλιτψ το ⇒ρε ανδ προπαγατε αχτιον ποτεντιαλσ, αρισε φροµ νονλινεαριτιεσ

current (πΑ)

5.5 ςολταγε−∆επενδεντ Χονδυχτανχεσ

167

channel closed

0 -4

channel open

-8 0

100

200

300

400

τ (µσ) Φιγυρε 5.7 Ρεχορδινγ οφ τηε χυρρεντ πασσινγ τηρουγη α σινγλε ιον χηαννελ. Τηισ ισ α σψναπτιχ ρεχεπτορ χηαννελ σενσιτιϖε το τηε νευροτρανσµιττερ αχετψλχηολινε. Α σµαλλ αµουντ οφ αχετψλχηολινε ωασ αππλιεδ το τηε πρεπαρατιον το προδυχε οχχα− σιοναλ χηαννελ οπενινγσ. Ιν τηε οπεν στατε, τηε χηαννελ πασσεσ 6.6 πΑ ατ α ηολδινγ ποτεντιαλ οφ −140 µς. Τηισ ισ εθυιϖαλεντ το µορε τηαν 107 χηαργεσ περ σεχονδ πασσ− ινγ τηρουγη τηε χηαννελ, ανδ χορρεσπονδσ το αν οπεν χηαννελ χονδυχτανχε οφ 47 πΣ. (Φροµ Ηιλλε, 1992.)

ασσοχιατεδ ωιτη αχτιϖε µεµβρανε χονδυχτανχεσ. Ρεχορδινγσ οφ τηε χυρρεντ ⇓οωινγ τηρουγη σινγλε χηαννελσ ινδιχατε τηατ χηαννελσ ⇓υχτυατε ραπιδλψ βετωεεν οπεν ανδ χλοσεδ στατεσ ιν α στοχηαστιχ µαννερ (⇒γυρε 5.7). Μοδελσ οφ µεµβρανε ανδ σψναπτιχ χονδυχτανχεσ µυστ δεσχριβε ηοω τηε προβαβιλ− ιτψ τηατ α χηαννελ ισ ιν αν οπεν, ιον−χονδυχτινγ στατε ατ ανψ γιϖεν τιµε δεπενδσ ον τηε µεµβρανε ποτεντιαλ (φορ α ϖολταγε−δεπενδεντ χονδυχ− τανχε), τηε πρεσενχε ορ αβσενχε οφ α νευροτρανσµιττερ (φορ α σψναπτιχ χον− δυχτανχε), ορ α νυµβερ οφ οτηερ φαχτορσ, συχη ασ τηε χονχεντρατιον οφ Χα2+ ορ οτηερ µεσσενγερ µολεχυλεσ ινσιδε τηε χελλ. Ιν τηισ χηαπτερ, ωε χονσιδερ τωο χλασσεσ οφ αχτιϖε χονδυχτανχεσ, ϖολταγε−δεπενδεντ µεµβρανε χονδυχ− τανχεσ ανδ τρανσµιττερ−δεπενδεντ σψναπτιχ χονδυχτανχεσ. Αν αδδιτιοναλ τψπε, τηε Χα2+ −δεπενδεντ χονδυχτανχε, ισ χονσιδερεδ ιν χηαπτερ 6. Ιν α λατερ σεχτιον οφ τηισ χηαπτερ, ωε δισχυσσ στοχηαστιχ µοδελσ οφ ινδιϖιδ− υαλ χηαννελσ βασεδ ον στατε διαγραµσ ανδ τρανσιτιον ρατεσ. Ηοωεϖερ, µοστ νευρον µοδελσ υσε δετερµινιστιχ δεσχριπτιονσ οφ τηε χονδυχτανχεσ αρισινγ φροµ µανψ χηαννελσ οφ α γιϖεν τψπε. Τηισ ισ ϕυστι⇒εδ βεχαυσε οφ τηε λαργε νυµβερ οφ χηαννελσ οφ εαχη τψπε ιν τηε χελλ µεµβρανε οφ α τψπιχαλ νευ− ρον. Ιφ λαργε νυµβερσ οφ χηαννελσ αρε πρεσεντ, ανδ ιφ τηεψ ⇓υχτυατε ινδε− πενδεντλψ οφ εαχη οτηερ (ωηιχη τηεψ δο, το α γοοδ αππροξιµατιον), τηεν, φροµ τηε λαω οφ λαργε νυµβερσ, τηε φραχτιον οφ χηαννελσ οπεν ατ ανψ γιϖεν τιµε ισ αππροξιµατελψ εθυαλ το τηε προβαβιλιτψ τηατ ανψ ονε χηαννελ ισ ιν αν οπεν στατε. Τηισ αλλοωσ υσ το µοϖε βετωεεν σινγλε−χηαννελ προβαβιλισ− τιχ φορµυλατιονσ ανδ µαχροσχοπιχ δετερµινιστιχ δεσχριπτιονσ οφ µεµβρανε χονδυχτανχεσ. Ωε ηαϖε δενοτεδ τηε χονδυχτανχε περ υνιτ αρεα οφ µεµβρανε δυε το α σετ οφ ιον χηαννελσ οφ τψπε ι βψ γι . Τηε ϖαλυε οφ γι ατ ανψ γιϖεν τιµε ισ δετερ− µινεδ βψ µυλτιπλψινγ τηε χονδυχτανχε οφ αν οπεν χηαννελ βψ τηε δενσιτψ οφ χηαννελσ ιν τηε µεµβρανε ανδ βψ τηε φραχτιον οφ χηαννελσ τηατ αρε οπεν ατ τηατ τιµε. Τηε προδυχτ οφ τηε ⇒ρστ τωο φαχτορσ ισ α χονσταντ χαλλεδ τηε µαξιµαλ χονδυχτανχε τηατ ισ δενοτεδ βψ γι . Ιτ ισ τηε χονδυχτανχε περ υνιτ αρεα οφ µεµβρανε ιφ αλλ τηε χηαννελσ οφ τψπε ι αρε οπεν. Μαξιµαλ χονδυχ− τανχε παραµετερσ τενδ το ρανγε φροµ µΣ/µµ2 το µΣ/µµ2 . Τηε φραχτιον οφ χηαννελσ ιν τηε οπεν στατε ισ εθυιϖαλεντ το τηε προβαβιλιτψ οφ ⇒νδινγ ανψ

στοχηαστιχ χηαννελ

ϖολταγε−δεπενδεντ, σψναπτιχ, ανδ Χα2+ −δεπενδεντ χονδυχτανχεσ

168 οπεν προβαβιλιτψ Πι

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

γιϖεν χηαννελ ιν τηε οπεν στατε, ανδ ιτ ισ δενοτεδ βψ Πι . Τηυσ, γι = γι Πι . Τηε δεπενδενχε οφ α χονδυχτανχε ον ϖολταγε, τρανσµιττερ χονχεντρατιον, ορ οτηερ φαχτορσ αρισεσ τηρουγη εφφεχτσ ον τηε οπεν προβαβιλιτψ. Τηε οπεν προβαβιλιτψ οφ α ϖολταγε−δεπενδεντ χονδυχτανχε δεπενδσ, ασ ιτσ ναµε συγγεστσ, ον τηε µεµβρανε ποτεντιαλ οφ τηε νευρον. Ιν τηισ χηαπ− τερ, ωε δισχυσσ µοδελσ οφ τωο συχη χονδυχτανχεσ, τηε σο−χαλλεδ δελαψεδ− ρεχτι⇒ερ Κ+ ανδ φαστ Να+ χονδυχτανχεσ. Τηε φορµαλισµ ωε πρεσεντ, ωηιχη ισ αλµοστ υνιϖερσαλλψ υσεδ το δεσχριβε ϖολταγε−δεπενδεντ χονδυχτανχεσ, ωασ δεϖελοπεδ βψ Ηοδγκιν ανδ Ηυξλεψ (1952) ασ παρτ οφ τηειρ πιονεερινγ ωορκ σηοωινγ ηοω τηεσε χονδυχτανχεσ γενερατε αχτιον ποτεντιαλσ ιν τηε σθυιδ γιαντ αξον. Οτηερ χονδυχτανχεσ αρε µοδελεδ ιν χηαπτερ 6.

Περσιστεντ Χονδυχτανχεσ

χηαννελ γατε

αχτιϖατιον δεαχτιϖατιον

Φιγυρε 5.8 σηοωσ χαρτοονσ οφ τηε µεχηανισµσ βψ ωηιχη ϖολταγε−δεπενδεντ χηαννελσ οπεν ανδ χλοσε ασ α φυνχτιον οφ µεµβρανε ποτεντιαλ. Χηαννελσ αρε δεπιχτεδ φορ τωο διφφερεντ τψπεσ οφ χονδυχτανχεσ, τερµεδ περσιστεντ (⇒γυρε 5.8Α) ανδ τρανσιεντ (⇒γυρε 5.8Β). Ωε βεγιν βψ δισχυσσινγ περσιστεντ χονδυχτανχεσ. Φιγυρε 5.8Α σηοωσ α σωινγινγ γατε ατταχηεδ το α ϖολταγε σενσορ τηατ χαν οπεν ορ χλοσε τηε πορε οφ τηε χηαννελ. Ιν ρεαλιτψ, χηαννελ γατινγ µεχηανισµσ ινϖολϖε χοµπλεξ χηανγεσ ιν τηε χονφορµατιοναλ στρυχ− τυρε οφ τηε χηαννελ, βυτ τηε σιµπλε σωινγινγ γατε πιχτυρε ισ συφ⇒χιεντ ιφ ωε αρε ιντερεστεδ ονλψ ιν τηε χυρρεντ−χαρρψινγ χαπαχιτψ οφ τηε χηαννελ. Α χηαννελ τηατ αχτσ ασ ιφ ιτ ηαδ α σινγλε τψπε οφ γατε (αλτηουγη, ασ ωε ωιλλ σεε, τηισ ισ αχτυαλλψ µοδελεδ ασ α νυµβερ οφ ιδεντιχαλ συβγατεσ), λικε τηε χηαν− νελ ιν ⇒γυρε 5.8Α, προδυχεσ ωηατ ισ χαλλεδ α περσιστεντ ορ νονιναχτιϖατινγ χονδυχτανχε. Οπενινγ οφ τηε γατε ισ χαλλεδ αχτιϖατιον οφ τηε χονδυχτανχε, ανδ γατε χλοσινγ ισ χαλλεδ δεαχτιϖατιον. Φορ τηισ τψπε οφ χηαννελ, τηε προβ− αβιλιτψ τηατ τηε γατε ισ οπεν, ΠΚ , ινχρεασεσ ωηεν τηε νευρον ισ δεπολαριζεδ ανδ δεχρεασεσ ωηεν ιτ ισ ηψπερπολαριζεδ. Τηε δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχ− τανχε τηατ ισ ρεσπονσιβλε φορ ρεπολαριζινγ α νευρον αφτερ αν αχτιον ποτεντιαλ ισ συχη α περσιστεντ χονδυχτανχε. Τηε οπενινγ οφ τηε γατε τηατ δεσχριβεσ α περσιστεντ χονδυχτανχε µαψ ιν− ϖολϖε α νυµβερ οφ χονφορµατιοναλ χηανγεσ. Φορ εξαµπλε, τηε δελαψεδ− ρεχτι⇒ερ Κ+ χονδυχτανχε ισ χονστρυχτεδ φροµ φουρ ιδεντιχαλ συβυνιτσ, ανδ ιτ αππεαρσ τηατ αλλ φουρ µυστ υνδεργο α στρυχτυραλ χηανγε φορ τηε χηαννελ το οπεν. Ιν γενεραλ, ιφ κ ινδεπενδεντ, ιδεντιχαλ εϖεντσ αρε ρεθυιρεδ φορ α χηαννελ το οπεν, ΠΚ χαν βε ωριττεν ασ ΠΚ = νκ ,

αχτιϖατιον ϖαριαβλε ν

(5.15)

ωηερε ν ισ τηε προβαβιλιτψ τηατ ανψ ονε οφ τηε κ ινδεπενδεντ γατινγ εϖεντσ ηασ οχχυρρεδ. Ηερε, ν, ωηιχη ϖαριεσ βετωεεν 0 ανδ 1, ισ χαλλεδ α γατινγ ορ αν αχτιϖατιον ϖαριαβλε, ανδ α δεσχριπτιον οφ ιτσ ϖολταγε ανδ τιµε δεπεν− δενχε αµουντσ το α δεσχριπτιον οφ τηε χονδυχτανχε. Ωε χαν τηινκ οφ ν ασ τηε προβαβιλιτψ οφ αν ινδιϖιδυαλ συβυνιτ γατε βεινγ οπεν, ανδ 1 − ν ασ τηε προβαβιλιτψ τηατ ιτ ισ χλοσεδ.

5.5 ςολταγε−∆επενδεντ Χονδυχτανχεσ A

169 B

lipid bilayer activation gate inactivation gate

sensor gate selectivity filter

aqueous pore channel protein extracellular

extracellular

intracellular

intracellular anchor protein

Φιγυρε 5.8 Γατινγ οφ µεµβρανε χηαννελσ. Ιν βοτη ⇒γυρεσ, τηε ιντεριορ οφ τηε νευρον ισ το τηε ριγητ οφ τηε µεµβρανε, ανδ τηε εξτραχελλυλαρ µεδιυµ ισ το τηε λεφτ. (Α) Α χαρτοον οφ γατινγ οφ α περσιστεντ χονδυχτανχε. Α γατε ισ οπενεδ ανδ χλοσεδ βψ α σενσορ τηατ ρεσπονδσ το τηε µεµβρανε ποτεντιαλ. Τηε χηαννελ αλσο ηασ α ρεγιον τηατ σελεχτιϖελψ αλλοωσ ιονσ οφ α παρτιχυλαρ τψπε το πασσ τηρουγη τηε χηαννελ, φορ εξαµπλε, Κ+ ιονσ φορ α ποτασσιυµ χηαννελ. (Β) Α χαρτοον οφ τηε γατινγ οφ α τρανσιεντ χονδυχτανχε. Τηε αχτιϖατιον γατε ισ χουπλεδ το α ϖολταγε σενσορ (δενοτεδ βψ α χιρχλεδ +) ανδ αχτσ λικε τηε γατε ιν Α. Α σεχονδ γατε, δενοτεδ βψ τηε βαλλ, χαν βλοχκ τηατ χηαννελ ονχε ιτ ισ οπεν. Τηε τοπ ⇒γυρε σηοωσ τηε χηαννελ ιν α δεαχτιϖατεδ (ανδ δειναχτιϖατεδ) στατε. Τηε µιδδλε πανελ σηοωσ αν αχτιϖατεδ χηαννελ, ανδ τηε βοττοµ πανελ σηοωσ αν ιναχτιϖατεδ χηαννελ. Ονλψ τηε µιδδλε πανελ χορρεσπονδσ το αν οπεν, ιον−χονδυχτινγ στατε. (Α φροµ Ηιλλε, 1992; Β φροµ Κανδελ ετ αλ., 1991.)

Αλτηουγη υσινγ τηε ϖαλυε οφ κ = 4 ισ χονσιστεντ ωιτη τηε φουρ−συβυνιτ στρυχ− τυρε οφ τηε δελαψεδ−ρεχτι⇒ερ χονδυχτανχε, ιν πραχτιχε κ ισ αν ιντεγερ χηοσεν το ⇒τ τηε δατα, ανδ σηουλδ βε ιντερπρετεδ ασ α φυνχτιοναλ δε⇒νιτιον οφ α συβυνιτ ρατηερ τηαν α ρε⇓εχτιον οφ α ρεαλιστιχ στρυχτυραλ µοδελ οφ τηε χηαν− νελ. Ινδεεδ, τηε στρυχτυρε οφ τηε χηαννελ ωασ νοτ κνοων ατ τηε τιµε τηατ Ηοδγκιν ανδ Ηυξλεψ χηοσε τηε φορµ οφ εθυατιον 5.15 ανδ συγγεστεδ τηατ κ = 4. Ωε δεσχριβε τηε τρανσιτιον οφ εαχη συβυνιτ γατε βψ α σιµπλε κινετιχ σχηεµε ιν ωηιχη τηε γατινγ τρανσιτιον χλοσεδ → οπεν οχχυρσ ατ α ϖολταγε− χηαννελ κινετιχσ δεπενδεντ ρατε αν (ς ), ανδ τηε ρεϖερσε τρανσιτιον, οπεν → χλοσεδ, οχχυρσ ατ α ϖολταγε−δεπενδεντ ρατε βν (ς ). Τηε προβαβιλιτψ τηατ α συβυνιτ γατε οπενσ οϖερ α σηορτ ιντερϖαλ οφ τιµε ισ προπορτιοναλ το τηε προβαβιλιτψ οφ ⇒νδινγ τηε γατε χλοσεδ, 1 − ν, µυλτιπλιεδ βψ τηε οπενινγ ρατε αν (ς ). Λικεωισε, τηε οπενινγ ρατε αν (ς ) προβαβιλιτψ τηατ α συβυνιτ γατε χλοσεσ δυρινγ α σηορτ τιµε ιντερϖαλ ισ προ− πορτιοναλ το τηε προβαβιλιτψ οφ ⇒νδινγ τηε γατε οπεν, ν, µυλτιπλιεδ βψ τηε χλοσινγ ρατε βν (ς ). Τηε ρατε ατ ωηιχη τηε οπεν προβαβιλιτψ φορ α συβυνιτ χλοσινγ ρατε βν (ς ) γατε χηανγεσ ισ γιϖεν βψ τηε διφφερενχε οφ τηεσε τωο τερµσ, δν = αν (ς )(1 − ν ) − βν (ς )ν . δτ

(5.16)

170

γατινγ εθυατιον

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

Τηε ⇒ρστ τερµ ιν εθυατιον 5.16 δεσχριβεσ τηε οπενινγ προχεσσ, ανδ τηε σεχ− ονδ τερµ τηε χλοσινγ προχεσσ (ηενχε τηε µινυσ σιγν) τηατ λοωερσ τηε προβ− αβιλιτψ οφ βεινγ ιν τηε χον⇒γυρατιον ωιτη αν οπεν συβυνιτ γατε. Εθυα− τιον 5.16 χαν βε ωριττεν ιν ανοτηερ υσεφυλ φορµ βψ διϖιδινγ τηρουγη βψ αν (ς ) + βν (ς ), δν = ν∞ ( ς ) − ν , δτ

(5.17)

τν ( ς ) =

1 αν ( ς ) + βν ( ς )

(5.18)

ν∞ ( ς ) =

αν ( ς ) . αν ( ς ) + βν ( ς )

(5.19)

τν ( ς ) τν ( ς )

ν∞ ( ς )

ωηερε

ανδ

Εθυατιον 5.17 ινδιχατεσ τηατ φορ α ⇒ξεδ ϖολταγε ς, ν αππροαχηεσ τηε λιµιτ− ινγ ϖαλυε ν∞ (ς ) εξπονεντιαλλψ ωιτη τιµε χονσταντ τν (ς ). Τηε κεψ ελεµεντσ ιν τηε εθυατιον τηατ δετερµινεσ ν αρε τηε οπενινγ ανδ χλοσινγ ρατε φυνχτιονσ αν (ς ) ανδ βν (ς ). Τηεσε αρε οβταινεδ βψ ⇒ττινγ εξ− περιµενταλ δατα. Ιτ ισ υσεφυλ το δισχυσσ τηε φορµ τηατ ωε εξπεχτ τηεσε ρατε φυνχτιονσ το τακε ον τηε βασισ οφ τηερµοδψναµιχ αργυµεντσ. Τηε στατε τρανσιτιονσ δεσχριβεδ βψ αν , φορ εξαµπλε, αρε λικελψ το βε ρατε−λιµιτεδ βψ βαρριερσ ρεθυιρινγ τηερµαλ ενεργψ. Τηεσε τρανσιτιονσ ινϖολϖε τηε µοϖε− µεντ οφ χηαργεδ χοµπονεντσ οφ τηε γατε αχροσσ παρτ οφ τηε µεµβρανε, σο τηε ηειγητ οφ τηεσε ενεργψ βαρριερσ σηουλδ βε αφφεχτεδ βψ τηε µεµβρανε πο− τεντιαλ. Τηε τρανσιτιον ρεθυιρεσ τηε µοϖεµεντ οφ αν εφφεχτιϖε χηαργε, ωηιχη ωε δενοτε βψ θΒα , τηρουγη τηε ποτεντιαλ ς. Τηισ ρεθυιρεσ αν ενεργψ θΒα ς. Τηε χονσταντ Βα ρε⇓εχτσ βοτη τηε αµουντ οφ χηαργε βεινγ µοϖεδ ανδ τηε διστανχε οϖερ ωηιχη ιτ τραϖελσ. Τηε προβαβιλιτψ τηατ τηερµαλ ⇓υχτυατιονσ ωιλλ προϖιδε ενουγη ενεργψ το συρµουντ τηισ ενεργψ βαρριερ ισ προπορ− τιοναλ το τηε Βολτζµανν φαχτορ, εξπ(−θΒα ς/ κΒ Τ ). Βασεδ ον τηισ αργυµεντ, ωε εξπεχτ αν το βε οφ τηε φορµ

αν (ς ) = Αα εξπ(−θΒα / κΒ Τ ) = Αα εξπ(− Βα ς/ ςΤ )

(5.20)

φορ σοµε χονσταντ Αα . Τηε χλοσινγ ρατε βν σηουλδ βε εξπρεσσεδ σιµιλαρλψ, εξχεπτ ωιτη διφφερεντ χονσταντσ Αβ ανδ Ββ . Φροµ εθυατιον 5.19, ωε τηεν ⇒νδ τηατ ν∞ (ς ) ισ εξπεχτεδ το βε α σιγµοιδαλ φυνχτιον ν∞ ( ς ) =

1 . 1 + ( Αβ / Αα ) εξπ(( Βα − Ββ )ς/ ςΤ )

(5.21)

Φορ α ϖολταγε−αχτιϖατεδ χονδυχτανχε, δεπολαριζατιον χαυσεσ ν το γροω το− ωαρδ 1, ανδ ηψπερπολαριζατιον χαυσεσ ν το σηρινκ τοωαρδ 0. Τηυσ, ωε εξπεχτ τηατ τηε οπενινγ ρατε, αν , σηουλδ βε αν ινχρεασινγ φυνχτιον οφ ς (ανδ τηυσ Βα < 0), ανδ βν σηουλδ βε α δεχρεασινγ φυνχτιον οφ ς (ανδ τηυσ Ββ > 0). Εξαµπλεσ οφ τηε φυνχτιονσ ωε ηαϖε δισχυσσεδ αρε πλοττεδ ιν ⇒γ− υρε 5.9.

5.5 ςολταγε−∆επενδεντ Χονδυχτανχεσ A

171

B

C

0.5

1.0

6

0.4

0.8

5

0.3

0.6

0.2

0.4

0.1

0.2

0.0

0.0

4 3

-80

-40

0

2 1 0 -80

-40

0

-80

-40

0

Φιγυρε 5.9 Γενεριχ ϖολταγε−δεπενδεντ γατινγ φυνχτιονσ χοµπαρεδ ωιτη Ηοδγκιν− Ηυξλεψ ρεσυλτσ φορ τηε δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχε. (Α) Τηε εξπονεντιαλ αν ανδ βν φυνχτιονσ εξπεχτεδ φροµ τηερµοδψναµιχ αργυµεντσ αρε ινδιχατεδ βψ τηε σολιδ χυρϖεσ. Παραµετερ ϖαλυεσ υσεδ ωερε Αα = 1.22 µσ−1 , Αβ = 0.056 µσ−1 , Βα / ςΤ = −0.04/µς, ανδ Ββ / ςΤ = 0.0125/µς. Τηε ⇒τ οφ Ηοδγκιν ανδ Ηυξ− λεψ φορ βν ισ ιδεντιχαλ το τηε σολιδ χυρϖε σηοων. Τηε Ηοδγκιν−Ηυξλεψ ⇒τ φορ αν ισ τηε δασηεδ χυρϖε. (Β) Τηε χορρεσπονδινγ φυνχτιον ν∞ (ς ) οφ εθυατιον 5.21 (σολιδ χυρϖε). Τηε δασηεδ χυρϖε ισ οβταινεδ υσινγ τηε αν ανδ βν φυνχτιονσ οφ τηε Ηοδγκιν−Ηυξλεψ ⇒τ (εθυατιον 5.22). (Χ) Τηε χορρεσπονδινγ φυνχτιον τν (ς ), οβ− ταινεδ φροµ εθυατιον 5.18 (σολιδ χυρϖε). Αγαιν τηε δασηεδ χυρϖε ισ τηε ρεσυλτ οφ υσινγ τηε Ηοδγκιν−Ηυξλεψ ρατε φυνχτιονσ.

Ωηιλε τηερµοδψναµιχ αργυµεντσ συππορτ τηε φορµσ ωε ηαϖε πρεσεντεδ, τηεψ ρελψ ον σιµπλιστιχ ασσυµπτιονσ. Νοτ συρπρισινγλψ, τηε ρεσυλτινγ φυνχ− τιοναλ φορµσ δο νοτ αλωαψσ ⇒τ τηε δατα, ανδ ϖαριουσ αλτερνατιϖεσ αρε οφτεν εµπλοψεδ. Τηε δατα υπον ωηιχη τηεσε ⇒τσ αρε βασεδ αρε τψπιχαλλψ οβταινεδ υσινγ α τεχηνιθυε χαλλεδ ϖολταγε χλαµπινγ. Ιν τηισ τεχηνιθυε, αν αµπλι⇒ερ ισ χον⇒γυρεδ το ινϕεχτ τηε αππροπριατε αµουντ οφ ελεχτροδε χυρρεντ το ηολδ τηε µεµβρανε ποτεντιαλ ατ α χονσταντ ϖαλυε. Βψ χυρρεντ χονσερϖατιον, τηισ χυρρεντ ισ εθυαλ το τηε µεµβρανε χυρρεντ οφ τηε χελλ. Ηοδγκιν ανδ Ηυξ− λεψ ⇒ττεδ τηε ρατε φυνχτιονσ φορ τηε δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχε τηεψ στυδιεδ, υσινγ τηε εθυατιονσ

αν =

.01(ς + 55 ) 1 − εξπ(−.1(ς + 55 ))

ανδ

βν = 0.125 εξπ(−0.0125(ς + 65 )) , (5.22)

ωηερε ς ισ εξπρεσσεδ ιν µς, ανδ αν ανδ βν αρε βοτη εξπρεσσεδ ιν υνιτσ οφ 1/µσ. Τηε ⇒τ φορ βν ισ εξαχτλψ τηε εξπονεντιαλ φορµ ωε ηαϖε δισχυσσεδ, ωιτη Αβ = 0.125 εξπ(−0.0125 · 65 ) µσ−1 ανδ Ββ / ςΤ = 0.0125 µς−1 , βυτ τηε ⇒τ φορ αν υσεσ α διφφερεντ φυνχτιοναλ φορµ. Τηε δασηεδ χυρϖεσ ιν ⇒γυρε 5.9 πλοτ τηε φορµυλασ οφ εθυατιον 5.22.

Τρανσιεντ Χονδυχτανχεσ Σοµε χηαννελσ ονλψ οπεν τρανσιεντλψ ωηεν τηε µεµβρανε ποτεντιαλ ισ δε− πολαριζεδ βεχαυσε τηεψ αρε γατεδ βψ τωο προχεσσεσ ωιτη οπποσιτε ϖολταγε δεπενδενχεσ. Φιγυρε 5.8Β ισ α σχηεµατιχ οφ α χηαννελ τηατ ισ χοντρολλεδ βψ τωο γατεσ ανδ γενερατεσ α τρανσιεντ χονδυχτανχε. Τηε σωινγινγ γατε ιν ⇒γ− υρε 5.8Β βεηαϖεσ εξαχτλψ λικε τηε γατε ιν ⇒γυρε 5.8Α. Τηε προβαβιλιτψ τηατ ιτ

ϖολταγε χλαµπινγ

172 αχτιϖατιον ϖαριαβλε µ

ιναχτιϖατιον ϖαριαβλε η

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ισ οπεν ισ ωριττεν ασ µκ , ωηερε µ ισ αν αχτιϖατιον ϖαριαβλε σιµιλαρ το ν ανδ κ ισ αν ιντεγερ. Ηοδγκιν ανδ Ηυξλεψ υσεδ κ = 3 φορ τηειρ µοδελ οφ τηε φαστ Να+ χονδυχτανχε. Τηε βαλλ ιν ⇒γυρε 5.8Β αχτσ ασ τηε σεχονδ γατε. Τηε προβ− αβιλιτψ τηατ τηε βαλλ δοεσ νοτ βλοχκ τηε χηαννελ πορε ισ ωριττεν ασ η ανδ ισ χαλλεδ τηε ιναχτιϖατιον ϖαριαβλε. Τηε αχτιϖατιον ανδ ιναχτιϖατιον ϖαριαβλεσ µ ανδ η αρε διστινγυισηεδ βψ ηαϖινγ οπποσιτε ϖολταγε δεπενδενχεσ. ∆ε− πολαριζατιον χαυσεσ µ το ινχρεασε ανδ η το δεχρεασε, ανδ ηψπερπολαριζατιον δεχρεασεσ µ ωηιλε ινχρεασινγ η. Φορ τηε χηαννελ ιν ⇒γυρε 5.8Β το χονδυχτ, βοτη γατεσ µυστ βε οπεν, ανδ ασσυµινγ τηε τωο γατεσ αχτ ινδεπενδεντλψ, τηισ ηασ προβαβιλιτψ ΠΝα = µκ η .

(5.23)

Τηισ ισ τηε γενεραλ φορµ υσεδ το δεσχριβε τηε οπεν προβαβιλιτψ φορ α τραν− σιεντ χονδυχτανχε. Ωε χουλδ ραισε τηε η φαχτορ ιν τηισ εξπρεσσιον το αν αρβι− τραρψ ποωερ, ασ ωε διδ φορ µ, βυτ ωε οµιτ τηισ χοµπλιχατιον το στρεαµλινε τηε δισχυσσιον. Τηε αχτιϖατιον µ ανδ ιναχτιϖατιον η, λικε αλλ γατινγ ϖαρι− αβλεσ, ϖαρψ βετωεεν 0 ανδ 1. Τηεψ αρε δεσχριβεδ βψ εθυατιονσ ιδεντιχαλ το 5.16, εξχεπτ τηατ τηε ρατε φυνχτιονσ αν ανδ βν αρε ρεπλαχεδ βψ ειτηερ αµ ανδ βµ , ορ αη ανδ βη . Τηεσε ρατε φυνχτιονσ ωερε ⇒ττεδ βψ Ηοδγκιν ανδ Ηυξλεψ υσινγ τηε εθυατιονσ (ιν υνιτσ οφ 1/µσ ωιτη ς ιν µς)

.1(ς + 40 ) 1 − εξπ(−.1(ς + 40 )) αη = .07 εξπ(−.05(ς + 65 ))

αµ =

βµ = 4 εξπ(−.0556(ς + 65 )) βη = 1/(1 + εξπ(−.1(ς + 35 ))) . (5.24)

Φυνχτιονσ µ∞ (ς ) ανδ η∞ (ς ) δεσχριβινγ τηε στεαδψ−στατε αχτιϖατιον ανδ ιναχτιϖατιον λεϖελσ, ανδ ϖολταγε−δεπενδεντ τιµε χονσταντσ φορ µ ανδ η χαν βε δε⇒νεδ ασ ιν εθυατιονσ 5.19 ανδ 5.18. Τηεσε αρε πλοττεδ ιν ⇒γυρε 5.10. Φορ χοµπαρισον, ν∞ (ς ) ανδ τν (ς ) φορ τηε Κ+ χονδυχτανχε αρε αλσο πλοτ− τεδ. Νοτε τηατ η∞ (ς ), βεχαυσε ιτ χορρεσπονδσ το αν ιναχτιϖατιον ϖαριαβλε, ισ ⇓ιππεδ ρελατιϖε το µ∞ (ς ) ανδ ν∞ (ς ), σο τηατ ιτ αππροαχηεσ 1 ατ ηψπερ− πολαριζεδ ϖολταγεσ ανδ 0 ατ δεπολαριζεδ ϖολταγεσ.

δειναχτιϖατιον

ιναχτιϖατιον

Τηε πρεσενχε οφ τωο φαχτορσ ιν εθυατιον (5.23) γιϖεσ α τρανσιεντ χονδυχ− τανχε σοµε ιντερεστινγ προπερτιεσ. Το τυρν ον α τρανσιεντ χονδυχτανχε µαξιµαλλψ, ιτ µαψ ⇒ρστ βε νεχεσσαρψ το ηψπερπολαριζε τηε νευρον βελοω ιτσ ρεστινγ ποτεντιαλ ανδ τηεν το δεπολαριζε ιτ. Ηψπερπολαριζατιον ραισεσ τηε ϖαλυε οφ τηε ιναχτιϖατιον η, α προχεσσ χαλλεδ δειναχτιϖατιον. Τηε σεχονδ στεπ, δεπολαριζατιον, ινχρεασεσ τηε ϖαλυε οφ µ, ωηιχη ισ αχτιϖατιον. Ονλψ ωηεν µ ανδ η αρε βοτη νονζερο ισ τηε χονδυχτανχε τυρνεδ ον. Νοτε τηατ τηε χονδυχτανχε χαν βε ρεδυχεδ ιν µαγνιτυδε βψ ειτηερ δεχρεασινγ µ ορ η. ∆εχρεασινγ η ισ χαλλεδ ιναχτιϖατιον το διστινγυιση ιτ φροµ δεχρεασινγ µ, ωηιχη ισ δεαχτιϖατιον.

Ηψπερπολαριζατιον−Αχτιϖατεδ Χονδυχτανχεσ Περσιστεντ χυρρεντσ αχτ ασ ιφ τηεψ αρε χοντρολλεδ βψ αν αχτιϖατιον γατε, ωηιλε τρανσιεντ χυρρεντσ αχτ ασ ιφ τηεψ ηαϖε βοτη αν αχτιϖατιον ανδ αν ιναχτιϖατιον

5.6

Τηε Ηοδγκιν−Ηυξλεψ Μοδελ 10

1.0

η∞

0.8

0.2

η

8

τ (µσ)

µ∞

0.6 0.4

173

ν∞

6 4

ν

2

0.0

µ

0 -80

-40

ς (µς)

0

-80

-40

0

ς (µς)

Φιγυρε 5.10 Τηε ϖολταγε−δεπενδεντ φυνχτιονσ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ. Τηε λεφτ πανελ σηοωσ µ∞ (ς ), η∞ (ς ), ανδ ν∞ (ς ), τηε στεαδψ−στατε λεϖελσ οφ αχτιϖατιον ανδ ιναχτιϖατιον οφ τηε Να+ χονδυχτανχε, ανδ αχτιϖατιον οφ τηε Κ+ χονδυχτανχε. Τηε ριγητ πανελ σηοωσ τηε ϖολταγε−δεπενδεντ τιµε χονσταντσ τηατ χοντρολ τηε ρατεσ ατ ωηιχη τηεσε στεαδψ−στατε λεϖελσ αρε αππροαχηεδ φορ τηε τηρεε γατινγ ϖαριαβλεσ.

γατε. Ανοτηερ χλασσ οφ χονδυχτανχεσ, τηε ηψπερπολαριζατιον−αχτιϖατεδ χον− δυχτανχεσ, βεηαϖε ασ ιφ τηεψ αρε χοντρολλεδ σολελψ βψ αν ιναχτιϖατιον γατε. Τηεψ αρε τηυσ περσιστεντ χονδυχτανχεσ, βυτ τηεψ οπεν ωηεν τηε νευρον ισ ηψπερπολαριζεδ ρατηερ τηαν δεπολαριζεδ. Τηε οπενινγ προβαβιλιτψ φορ συχη χηαννελσ ισ ωριττεν σολελψ ιν τερµσ οφ αν ιναχτιϖατιον ϖαριαβλε σιµιλαρ το η. Στριχτλψ σπεακινγ, τηεσε χονδυχτανχεσ δειναχτιϖατε ωηεν τηεψ τυρν ον ανδ ιναχτιϖατε ωηεν τηεψ τυρν οφφ. Ηοωεϖερ, µοστ πεοπλε χαννοτ βρινγ τηεµσελϖεσ το σαψ mδειναχτιϖατεn αλλ τηε τιµε, σο τηεψ σαψ ινστεαδ τηατ τηεσε χονδυχτανχεσ αρε αχτιϖατεδ βψ ηψπερπολαριζατιον.

5.6

Τηε Ηοδγκιν−Ηυξλεψ Μοδελ

Τηε Ηοδγκιν−Ηυξλεψ µοδελ φορ τηε γενερατιον οφ τηε αχτιον ποτεντιαλ, ιν ιτσ σινγλε−χοµπαρτµεντ φορµ, ισ χονστρυχτεδ βψ ωριτινγ τηε µεµβρανε χυρ− ρεντ ιν εθυατιον 5.6 ασ τηε συµ οφ α λεακαγε χυρρεντ, α δελαψεδ−ρεχτι⇒εδ Κ+ χυρρεντ, ανδ α τρανσιεντ Να+ χυρρεντ, ιµ = γΛ (ς − ΕΛ ) + γΚ ν4 (ς − ΕΚ ) + γΝα µ3 η (ς − ΕΝα ) .

(5.25)

Τηε µαξιµαλ χονδυχτανχεσ ανδ ρεϖερσαλ ποτεντιαλσ υσεδ ιν τηε µοδελ αρε γΛ = 0.003 µΣ/µµ2 , γΚ = 0.36 µΣ/µµ2 , γΝα = 1.2 µΣ/µµ2 , ΕΛ = −54.387 µς, ΕΚ = −77 µς ανδ ΕΝα = 50 µς. Τηε φυλλ µοδελ χονσιστσ οφ εθυατιον 5.6 ωιτη εθυατιον 5.25 φορ τηε µεµβρανε χυρρεντ, ανδ εθυατιονσ οφ τηε φορµ 5.17 φορ τηε γατινγ ϖαριαβλεσ ν, µ, ανδ η. Τηεσε εθυατιονσ χαν βε ιντεγρατεδ νυµεριχαλλψ, υσινγ τηε µετηοδσ δεσχριβεδ ιν αππενδιχεσ Α ανδ Β. Τηε τεµποραλ εϖολυτιον οφ τηε δψναµιχ ϖαριαβλεσ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ δυρινγ α σινγλε αχτιον ποτεντιαλ ισ σηοων ιν ⇒γυρε 5.11. Τηε ινιτιαλ ρισε οφ τηε µεµβρανε ποτεντιαλ, πριορ το τηε αχτιον ποτεντιαλ, σεεν ιν τηε υππερ πανελ οφ ⇒γυρε 5.11, ισ δυε το τηε ινϕεχτιον οφ α ποσιτιϖε ελεχτροδε χυρρεντ ιντο τηε µοδελ σταρτινγ ατ τ = 5 µσ. Ωηεν τηισ χυρρεντ δριϖεσ τηε

ι µ(µΑ/µµ2 )

ς ( µς)

174

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

50 0 -50 5 0 -5 1

µ 0.5 0 1

η

0.5 0 1

ν

0.5 0 0

5

10

15

τ (µσ) Φιγυρε 5.11 Τηε δψναµιχσ οφ ς, µ, η, ανδ ν ιν τηε Ηοδγκιν−Ηυξλεψ µοδελ δυρινγ τηε ⇒ρινγ οφ αν αχτιον ποτεντιαλ. Τηε υππερ−µοστ τραχε ισ τηε µεµβρανε ποτεντιαλ, τηε σεχονδ τραχε ισ τηε µεµβρανε χυρρεντ προδυχεδ βψ τηε συµ οφ τηε Ηοδγκιν− Ηυξλεψ Κ+ ανδ Να+ χονδυχτανχεσ, ανδ συβσεθυεντ τραχεσ σηοω τηε τεµποραλ εϖο− λυτιον οφ µ, η, ανδ ν. Χυρρεντ ινϕεχτιον ωασ ινιτιατεδ ατ τ = 5 µσ.

µεµβρανε ποτεντιαλ υπ το αβουτ αβουτ −50 µς, τηε µ ϖαριαβλε τηατ δε− σχριβεσ αχτιϖατιον οφ τηε Να+ χονδυχτανχε συδδενλψ ϕυµπσ φροµ νεαρλψ 0 το α ϖαλυε νεαρ 1. Ινιτιαλλψ, τηε η ϖαριαβλε, εξπρεσσινγ τηε δεγρεε οφ ιναχ− τιϖατιον οφ τηε Να+ χονδυχτανχε, ισ αρουνδ 0.6. Τηυσ, φορ α βριεφ περιοδ βοτη µ ανδ η αρε σιγνι⇒χαντλψ διφφερεντ φροµ 0. Τηισ χαυσεσ α λαργε ιν− ⇓υξ οφ Να+ ιονσ, προδυχινγ τηε σηαρπ δοωνωαρδ σπικε οφ ινωαρδ χυρρεντ σηοων ιν τηε σεχονδ τραχε φροµ τηε τοπ. Τηε ινωαρδ χυρρεντ πυλσε χαυσεσ τηε µεµβρανε ποτεντιαλ το ρισε ραπιδλψ το αρουνδ 50 µς (νεαρ τηε Να+ εθυιλιβριυµ ποτεντιαλ). Τηε ραπιδ ινχρεασε ιν βοτη ς ανδ µ ισ δυε το α ποσ− ιτιϖε φεεδβαχκ εφφεχτ. ∆επολαριζατιον οφ τηε µεµβρανε ποτεντιαλ χαυσεσ µ το ινχρεασε, ανδ τηε ρεσυλτινγ αχτιϖατιον οφ τηε Να+ χονδυχτανχε µακεσ ς ινχρεασε. Τηε ρισε ιν τηε µεµβρανε ποτεντιαλ χαυσεσ τηε Να+ χονδυχτανχε το ιναχτιϖατε βψ δριϖινγ η τοωαρδ 0. Τηισ σηυτσ οφφ τηε Να+ χυρρεντ. Ιν αδ− διτιον, τηε ρισε ιν ς αχτιϖατεσ τηε Κ+ χονδυχτανχε βψ δριϖινγ ν τοωαρδ 1. Τηισ ινχρεασεσ τηε Κ+ χυρρεντ, ωηιχη δριϖεσ τηε µεµβρανε ποτεντιαλ βαχκ δοων το νεγατιϖε ϖαλυεσ. Τηε ⇒ναλ ρεχοϖερψ ινϖολϖεσ τηε ρεαδϕυστµεντ οφ µ, η, ανδ ν το τηειρ ινιτιαλ ϖαλυεσ.

5.7

Μοδελινγ Χηαννελσ

175

Τηε Ηοδγκιν−Ηυξλεψ µοδελ χαν αλσο βε υσεδ το στυδψ προπαγατιον οφ αν αχτιον ποτεντιαλ δοων αν αξον, βυτ φορ τηισ πυρποσε α µυλτι−χοµπαρτµεντ µοδελ µυστ βε χονστρυχτεδ. Μετηοδσ φορ βυιλδινγ συχη α µοδελ, ανδ ρε− συλτσ φροµ ιτ, αρε δεσχριβεδ ιν χηαπτερ 6.

5.7

Μοδελινγ Χηαννελσ

Ιν πρεϖιουσ σεχτιονσ, ωε δεσχριβεδ τηε Ηοδγκιν−Ηυξλεψ φορµαλισµ φορ δεσχριβινγ ϖολταγε−δεπενδεντ χονδυχτανχεσ αρισινγ φροµ α λαργε νυµβερ οφ χηαννελσ. Ωιτη τηε αδϖεντ οφ σινγλε−χηαννελ στυδιεσ, µιχροσχοπιχ δε− σχριπτιονσ οφ τηε τρανσιτιονσ βετωεεν τηε χονφορµατιοναλ στατεσ οφ χηαννελ µολεχυλεσ ηαϖε βεεν δεϖελοπεδ. Βεχαυσε τηεσε µοδελσ δεσχριβε χοµπλεξ µολεχυλεσ, τηεψ τψπιχαλλψ ινϖολϖε µανψ στατεσ ανδ τρανσιτιονσ. Ηερε, ωε δισχυσσ σιµπλε ϖερσιονσ οφ τηεσε µοδελσ τηατ χαπτυρε τηε σπιριτ οφ σινγλε− χηαννελ µοδελινγ ωιτηουτ γεττινγ µιρεδ ιν τηε δεταιλσ. Μοδελσ οφ σινγλε χηαννελσ αρε βασεδ ον στατε διαγραµσ τηατ ινδιχατε τηε ποσσιβλε χονφορµατιοναλ στατεσ τηατ τηε χηαννελ χαν ασσυµε. Τψπιχαλλψ, ονε οφ τηε στατεσ ιν τηε διαγραµ ισ δεσιγνατεδ ασ οπεν ανδ ιον−χονδυχτινγ, ωηιλε τηε οτηερ στατεσ αρε νονχονδυχτινγ. Τηε χυρρεντ χονδυχτεδ βψ τηε χηαννελ ισ ωριττεν ασ γΠ (ς − Ε ), ωηερε Ε ισ τηε ρεϖερσαλ ποτεντιαλ, γ ισ τηε σινγλε−χηαννελ οπεν χονδυχτανχε, ανδ Π ισ 1 ωηενεϖερ τηε οπεν στατε ισ οχχυπιεδ, ανδ 0 οτηερωισε. Χηαννελ µοδελσ χαν βε ινσταντιατεδ διρεχτλψ φροµ στατε διαγραµσ σιµπλψ βψ κεεπινγ τραχκ οφ τηε στατε οφ τηε χηαννελ ανδ αλλοωινγ στοχηαστιχ χηανγεσ οφ στατε το οχχυρ ατ αππροπριατε τρανσιτιον ρατεσ. Ιφ τηε µοδελ ισ υπδατεδ ιν σηορτ τιµε στεπσ οφ δυρατιον %τ, τηε προβ− αβιλιτψ τηατ τηε χηαννελ µακεσ α γιϖεν τρανσιτιον δυρινγ αν υπδατε ιντερϖαλ ισ τηε τρανσιτιον ρατε τιµεσ %τ. Φιγυρε 5.12 σηοωσ τηε στατε διαγραµ ανδ σιµυλατιον ρεσυλτσ φορ α µοδελ οφ α σινγλε δελαψεδ−ρεχτι⇒ερ Κ+ χηαννελ τηατ ισ χλοσελψ ρελατεδ το τηε Ηοδγκιν− Ηυξλεψ δεσχριπτιον οφ τηε µαχροσχοπιχ δελαψεδ−ρεχτι⇒ερ χονδυχτανχε. Τηε φαχτορσ αν ανδ βν ιν τηε τρανσιτιον ρατεσ σηοων ιν τηε στατε διαγραµ οφ ⇒γ− υρε 5.12 αρε τηε ϖολταγε−δεπενδεντ ρατε φυνχτιονσ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ. Τηε µοδελ υσεσ τηε σαµε φουρ συβυνιτ στρυχτυρε ασσυµεδ ιν τηε Ηοδγκιν−Ηυξλεψ µοδελ. Ωε χαν τηινκ οφ στατε 1 ιν τηισ διαγραµ ασ α στατε ιν ωηιχη αλλ τηε συβυνιτ γατεσ αρε χλοσεδ. Στατεσ 2, 3, 4, ανδ 5 ηαϖε 1, 2, 3, ανδ 4 οπεν συβυνιτ γατεσ, ρεσπεχτιϖελψ. Στατε 5 ισ τηε σολε οπεν στατε. Τηε φαχτορσ οφ 1, 2, 3, ανδ 4 ιν τηε τρανσιτιον ρατεσ ιν ⇒γυρε 5.12 χορρεσπονδ το τηε νυµβερ οφ συβυνιτ γατεσ τηατ χαν µακε α γιϖεν τρανσιτιον. Φορ εξαµ− πλε, τηε τρανσιτιον ρατε φροµ στατε 1 το στατε 2 ισ φουρ τιµεσ φαστερ τηαν τηε ρατε φροµ στατε 4 το στατε 5. Τηισ ισ βεχαυσε ανψ ονε οφ τηε φουρ συβυνιτ γατεσ χαν οπεν το γετ φροµ στατε 1 το στατε 2, βυτ τηε τρανσιτιον φροµ στατε 4 το στατε 5 ρεθυιρεσ τηε σινγλε ρεµαινινγ χλοσεδ συβυνιτ γατε το οπεν. Τηε λοωερ πανελσ ιν ⇒γυρε 5.12 σηοω σιµυλατιονσ οφ τηισ µοδελ ινϖολϖινγ 1, 10, ανδ 100 χηαννελσ. Τηε συµ οφ χυρρεντσ φροµ αλλ οφ τηεσε χηαννελσ ισ χοµπαρεδ ωιτη τηε χυρρεντ πρεδιχτεδ βψ τηε Ηοδγκιν−Ηυξλεψ µοδελ

176

1 closed

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ 4αν βν

3αν 2αν 3 2 closed closed 2βν 3βν

αν

4 closed

4βν

5 open

50 πΑ

5 πΑ

0.5 πΑ

10 µσ

1 channel

10 channels

100 channels

Φιγυρε 5.12 Α µοδελ οφ τηε δελαψεδ−ρεχτι⇒ερ Κ+ χηαννελ. Τηε υππερ διαγραµ σηοωσ τηε στατεσ ανδ τρανσιτιον ρατεσ οφ τηε µοδελ. Ιν τηε σιµυλατιονσ σηοων ιν τηε λοωερ πανελσ, τηε µεµβρανε ποτεντιαλ ωασ ινιτιαλλψ ηελδ ατ −100 µς, τηεν ηελδ ατ 10 µς φορ 20 µσ, ανδ ⇒ναλλψ ρετυρνεδ το α ηολδινγ ποτεντιαλ οφ −100 µς. Τηε σµοοτη χυρϖεσ ιν τηεσε πανελσ σηοω τηε µεµβρανε χυρρεντ πρεδιχτεδ βψ τηε Ηοδγκιν− Ηυξλεψ µοδελ ιν τηισ σιτυατιον. Τηε λεφτ πανελ σηοωσ α σιµυλατιον οφ α σινγλε χηαν− νελ τηατ οπενεδ σεϖεραλ τιµεσ δυρινγ τηε δεπολαριζατιον. Τηε µιδδλε πανελ σηοωσ τηε τοταλ χυρρεντ φροµ 10 σιµυλατεδ χηαννελσ, ανδ τηε ριγητ πανελ χορρεσπονδσ το 100 χηαννελσ. Ασ τηε νυµβερ οφ χηαννελσ ινχρεασεσ, τηε Ηοδγκιν−Ηυξλεψ µοδελ προϖιδεσ α µορε αχχυρατε δεσχριπτιον οφ τηε χυρρεντ.

(σχαλεδ βψ τηε αππροπριατε µαξιµαλ χονδυχτανχε). Φορ εαχη χηαννελ, τηε παττερν οφ οπενινγ ανδ χλοσινγ ισ ρανδοµ, βυτ ωηεν ενουγη χηαννελσ αρε συµµεδ, τηε τοταλ χυρρεντ µατχηεσ τηατ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ θυιτε ωελλ. Το σεε ηοω τηε χηαννελ µοδελ ιν ⇒γυρε 5.12 ρεπροδυχεσ τηε ρεσυλτσ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ ωηεν τηε χυρρεντσ φροµ µανψ χηαννελσ αρε συµµεδ, ωε µυστ χονσιδερ α προβαβιλιστιχ δεσχριπτιον οφ τηε χηαννελ µοδελ. Ωε δενοτε τηε προβαβιλιτψ τηατ α χηαννελ ισ ιν στατε α οφ ⇒γυρε 5.12 βψ πα , ωιτη α = 1, 2, . . . , 5. ∆ψναµιχ εθυατιονσ φορ τηεσε προβαβιλιτιεσ αρε εασιλψ δεριϖεδ βψ σεττινγ τηε ρατε οφ χηανγε φορ α γιϖεν πα εθυαλ το τηε προβ− αβιλιτψ περ υνιτ τιµε οφ εντρψ ιντο στατε α φροµ οτηερ στατεσ µινυσ τηε ρατε φορ λεαϖινγ στατε α. Τηε εντρψ προβαβιλιτψ περ υνιτ τιµε ισ τηε προδυχτ οφ τηε αππροπριατε τρανσιτιον ρατε τιµεσ τηε προβαβιλιτψ τηατ τηε στατε µακινγ τηε τρανσιτιον ισ οχχυπιεδ. Τηε προβαβιλιτψ περ υνιτ τιµε φορ λεαϖινγ ισ πα τιµεσ τηε συµ οφ αλλ τηε ρατεσ φορ ποσσιβλε τρανσιτιονσ ουτ οφ τηε στατε. Φολ− λοωινγ τηισ ρεασονινγ, τηε εθυατιονσ φορ τηε στατε προβαβιλιτιεσ αρε (υσινγ τηε νοτατιον π˙ = δπ/δτ) π˙1 = βν π2 − 4αν π1 π˙2 = 4αν π1 + 2βν π3 − (βν + 3αν ) π2 π˙3 = 3αν π2 + 3βν π4 − (2βν + 2αν ) π3 π˙4 = 2αν π3 + 4βν π5 − (3βν + αν ) π4

π˙5 = αν π4 − 4βν π5 .

(5.26)

Α σολυτιον φορ τηεσε εθυατιονσ χαν βε χονστρυχτεδ ιφ ωε ρεχαλλ τηατ, ιν τηε

5.7

Μοδελινγ Χηαννελσ

177

κ1 3αµ 1 closed βµ

2αµ 2 3 closed closed 2βµ

αµ 3βµ

4 open

κ3

5 inactv

κ2 αη 100 channels 50 πΑ

10 channels 5 πΑ

0.5 πΑ

1 channel

5 µσ

Φιγυρε 5.13 Α µοδελ οφ τηε φαστ Να+ χηαννελ. Τηε υππερ διαγραµ σηοωσ τηε στατεσ ανδ τρανσιτιονσ ρατεσ οφ τηε µοδελ. Τηε ϖαλυεσ κ1 = 0.24/µσ, κ2 = 0.4/µσ, ανδ κ3 = 1.5/µσ ωερε υσεδ ιν τηε σιµυλατιονσ σηοων ιν τηε λοωερ πανελσ. Φορ τηεσε σιµυλατιονσ, τηε µεµβρανε ποτεντιαλ ωασ ινιτιαλλψ ηελδ ατ −100 µς, τηεν ηελδ ατ 10 µς φορ 20 µσ, ανδ ⇒ναλλψ ρετυρνεδ το α ηολδινγ ποτεντιαλ οφ −100 µς. Τηε σµοοτη χυρϖεσ ιν τηεσε πανελσ σηοω τηε χυρρεντ πρεδιχτεδ βψ τηε Ηοδγκιν−Ηυξλεψ µοδελ ιν τηισ σιτυατιον. Τηε λεφτ πανελ σηοωσ α σιµυλατιον οφ α σινγλε χηαννελ τηατ οπενεδ ονχε δυρινγ τηε δεπολαριζατιον. Τηε µιδδλε πανελ σηοωσ τηε τοταλ χυρρεντ φροµ 10 σιµυλατεδ χηαννελσ, ανδ τηε ριγητ πανελ χορρεσπονδσ το 100 χηαννελσ. Ασ τηε νυµ− βερ οφ χηαννελσ ινχρεασεσ, τηε Ηοδγκιν−Ηυξλεψ µοδελ προϖιδεσ α φαιρλψ αχχυρατε δεσχριπτιον οφ τηε χυρρεντ, βυτ ιτ ισ νοτ ιδεντιχαλ το τηε χηαννελ µοδελ ιν τηισ χασε.

Ηοδγκιν−Ηυξλεψ µοδελ, ν ισ τηε προβαβιλιτψ οφ α συβυνιτ γατε βεινγ ιν τηε οπεν στατε ανδ 1 − ν ισ τηε προβαβιλιτψ οφ ιτ βεινγ χλοσεδ. Ιφ ωε υσε τηατ σαµε νοτατιον ηερε, στατε 1 ηασ φουρ χλοσεδ συβυνιτ γατεσ, ανδ τηυσ π1 = (1 − ν )4 . Στατε 5, τηε οπεν στατε, ηασ φουρ οπεν συβυνιτ γατεσ, σο π5 = ν4 = Π. Στατε 2 ηασ ονε οπεν συβυνιτ γατε, ωηιχη χαν βε ανψ ονε οφ τηε φουρ συβυνιτ γατεσ, ανδ τηρεε χλοσεδ στατεσ, µακινγ π2 = 4ν (1 − ν )3 . Σιµιλαρ αργυµεντσ ψιελδ π3 = 6ν2 (1 − ν )2 ανδ π4 = 4ν3 (1 − ν ). Τηεσε εξ− πρεσσιονσ γενερατε α σολυτιον το τηε αβοϖε εθυατιονσ, προϖιδεδ τηατ ν σατ− ισ⇒εσ εθυατιον 5.16, ασ τηε ρεαδερ χαν ϖεριφψ. Ιν τηε Ηοδγκιν−Ηυξλεψ µοδελ οφ τηε Να+ χονδυχτανχε, τηε αχτιϖατιον ανδ ιναχτιϖατιον προχεσσεσ αρε ασσυµεδ το αχτ ινδεπενδεντλψ. Τηε σχηεµατιχ ιν ⇒γυρε 5.8Β, ωηιχη χαρτοονσ τηε µεχηανισµ βελιεϖεδ το βε ρεσπονσιβλε φορ ιναχτιϖατιον, συγγεστσ τηατ τηισ ασσυµπτιον ισ ινχορρεχτ. Τηε βαλλ τηατ ιναχτιϖατεσ τηε χηαννελ ισ λοχατεδ ινσιδε τηε χελλ µεµβρανε, ωηερε ιτ χαννοτ βε αφφεχτεδ διρεχτλψ βψ τηε ποτεντιαλ αχροσσ τηε µεµβρανε. Φυρτηερµορε, ιν τηισ σχηεµε τηε βαλλ χαννοτ οχχυπψ τηε χηαννελ πορε υντιλ τηε αχτιϖατιον γατε ηασ οπενεδ, µακινγ τηε τωο προχεσσεσ ιντερδεπενδεντ. Τηε στατε διαγραµ ιν ⇒γυρε 5.13 ρε⇓εχτσ τηισ βψ ηαϖινγ α στατε−δεπενδεντ, ϖολταγε−ινδεπενδεντ ιναχτιϖατιον µεχηανισµ. Τηισ διαγραµ ισ α σιµπλι− ⇒εδ ϖερσιον οφ αν Να+ χηαννελ µοδελ δυε το Πατλακ (1991). Τηε σεθυενχε οφ τρανσιτιονσ τηατ λεαδ το χηαννελ οπενινγ τηρουγη στατεσ 1, 2, 3, ανδ 4 ισ

στατε−δεπενδεντ ιναχτιϖατιον

178

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ιδεντιχαλ το τηατ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ, ωιτη τρανσιτιον ρατεσ δε− τερµινεδ βψ τηε Ηοδγκιν−Ηυξλεψ φυνχτιονσ αµ (ς ) ανδ βµ (ς ) ανδ αππρο− πριατε χοµβινατοριχ φαχτορσ. Στατε 4 ισ τηε οπεν στατε. Τηε τρανσιτιον το τηε ιναχτιϖατεδ στατε 5, ηοωεϖερ, ισ θυιτε διφφερεντ φροµ τηε ιναχτιϖατιον προ− χεσσ ιν τηε Ηοδγκιν−Ηυξλεψ µοδελ. Ιναχτιϖατιον τρανσιτιονσ το στατε 5 χαν οχχυρ ονλψ φροµ στατεσ 2, 3, ανδ 4, ανδ τηε χορρεσπονδινγ τρανσιτιον ρατεσ κ1 , κ2 , ανδ κ3 αρε χονσταντσ, ινδεπενδεντ οφ ϖολταγε. Τηε δειναχτιϖατιον προχεσσ οχχυρσ ατ τηε Ηοδγκιν−Ηυξλεψ ρατε αη (ς ) φροµ στατε 5 το στατε 3. Φιγυρε 5.13 σηοωσ σιµυλατιονσ οφ τηισ Να+ χηαννελ µοδελ. Ιν χοντραστ το τηε Κ+ χηαννελ µοδελ σηοων ιν ⇒γυρε 5.12, τηισ µοδελ δοεσ νοτ ρεπροδυχε εξαχτλψ τηε ρεσυλτσ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ ωηεν λαργε νυµβερσ οφ χηαννελσ αρε συµµεδ. Νεϖερτηελεσσ, τηε τωο µοδελσ αγρεε θυιτε ωελλ, ασ σεεν ιν τηε λοωερ ριγητ πανελ οφ ⇒γυρε 5.13. Τηε αγρεεµεντ, δεσπιτε τηε διφφερεντ µεχηανισµσ οφ ιναχτιϖατιον, ισ δυε το τηε σπεεδ οφ τηε αχτιϖατιον προχεσσ φορ τηε Να+ χονδυχτανχε. Τηε ιναχτιϖατιον ρατε φυνχτιον βη (ς ) ιν τηε Ηοδγκιν−Ηυξλεψ µοδελ ηασ α σιγµοιδαλ φορµ σιµιλαρ το τηε ασψµπ− τοτιχ αχτιϖατιον φυνχτιον µ∞ (ς ) (σεε εθυατιον 5.24). Τηισ ισ ινδιχατιϖε οφ τηε αχτυαλ δεπενδενχε οφ ιναχτιϖατιον ον µ ανδ νοτ ον ς. Ηοωεϖερ, τηε αχτιϖατιον ϖαριαβλε µ οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ ρεαχηεσ ιτσ ϖολταγε− δεπενδεντ ασψµπτοτιχ ϖαλυε µ∞ (ς ) σο ραπιδλψ τηατ ιτ ισ διφ⇒χυλτ το διστιν− γυιση ιναχτιϖατιον προχεσσεσ τηατ δεπενδ ον µ φροµ τηοσε τηατ δεπενδ ον ς. ∆ιφφερενχεσ βετωεεν τηε τωο µοδελσ αρε αππαρεντ ονλψ δυρινγ α συβ− µιλλισεχονδ τιµε περιοδ ωηιλε τηε χονδυχτανχε ισ αχτιϖατινγ. Εξπεριµεντσ τηατ χαν ρεσολϖε τηισ τιµε σχαλε συππορτ τηε χηαννελ µοδελ οϖερ τηε οριγιναλ Ηοδγκιν−Ηυξλεψ δεσχριπτιον.

5.8

Σψναπτιχ Χονδυχτανχεσ

Σψναπτιχ τρανσµισσιον ατ α σπικε−µεδιατεδ χηεµιχαλ σψναπσε βεγινσ ωηεν αν αχτιον ποτεντιαλ ινϖαδεσ τηε πρεσψναπτιχ τερµιναλ ανδ αχτιϖατεσ ϖολταγε− δεπενδεντ Χα2+ χηαννελσ, λεαδινγ το α ρισε ιν τηε χονχεντρατιον οφ Χα2+ ωιτηιν τηε τερµιναλ. Τηισ χαυσεσ ϖεσιχλεσ χονταινινγ τρανσµιττερ µολεχυλεσ το φυσε ωιτη τηε χελλ µεµβρανε ανδ ρελεασε τηειρ χοντεντσ ιντο τηε σψναπτιχ χλεφτ βετωεεν τηε πρε− ανδ ποστσψναπτιχ σιδεσ οφ τηε σψναπσε. Τηε τρανσ− µιττερ µολεχυλεσ τηεν διφφυσε αχροσσ τηε χλεφτ ανδ βινδ το ρεχεπτορσ ον τηε ποστσψναπτιχ νευρον. Βινδινγ οφ τρανσµιττερ µολεχυλεσ λεαδσ το τηε οπενινγ οφ ιον χηαννελσ τηατ µοδιφψ τηε χονδυχτανχε οφ τηε ποστσψναπ− τιχ νευρον, χοµπλετινγ τηε τρανσµισσιον οφ τηε σιγναλ φροµ ονε νευρον το τηε οτηερ. Ποστσψναπτιχ ιον χηαννελσ χαν βε αχτιϖατεδ διρεχτλψ βψ βινδινγ το τηε τρανσµιττερ, ορ ινδιρεχτλψ ωηεν τηε τρανσµιττερ βινδσ το α διστινχτ ρε− χεπτορ τηατ αφφεχτσ ιον χηαννελσ τηρουγη αν ιντραχελλυλαρ σεχονδ−µεσσενγερ σιγναλινγ πατηωαψ. Ασ ωιτη α ϖολταγε−δεπενδεντ χονδυχτανχε, α σψναπτιχ χονδυχτανχε χαν βε ωριττεν ασ τηε προδυχτ οφ α µαξιµαλ χονδυχτανχε ανδ αν οπεν χηαννελ προβαβιλιτψ, γσ = γσ Π. Τηε οπεν προβαβιλιτψ φορ α σψναπτιχ χονδυχτανχε χαν βε εξπρεσσεδ ασ α προδυχτ οφ τωο τερµσ τηατ ρε⇓εχτ προχεσσεσ οχχυρρινγ ον

5.8

Σψναπτιχ Χονδυχτανχεσ

179

τηε πρε− ανδ ποστσψναπτιχ σιδεσ οφ τηε σψναπσε, Π = Πσ Πρελ . Τηε φαχτορ Πσ ισ τηε προβαβιλιτψ τηατ α ποστσψναπτιχ χηαννελ οπενσ, γιϖεν τηατ τηε τρανσµιτ− τερ ωασ ρελεασεδ βψ τηε πρεσψναπτιχ τερµιναλ. Βεχαυσε τηερε αρε τψπιχαλλψ µανψ ποστσψναπτιχ χηαννελσ, τηισ χαν αλσο βε τακεν ασ τηε φραχτιον οφ χηαν− νελσ οπενεδ βψ τηε τρανσµιττερ. Πρελ ισ ρελατεδ το τηε προβαβιλιτψ τηατ τρανσµιττερ ισ ρελεασεδ βψ τηε πρεσψ− ναπτιχ τερµιναλ φολλοωινγ τηε αρριϖαλ οφ αν αχτιον ποτεντιαλ. Τηισ ρε⇓εχτσ τηε φαχτ τηατ τρανσµιττερ ρελεασε ισ α στοχηαστιχ προχεσσ. Ρελεασε οφ τρανσµιτ− τερ ατ α πρεσψναπτιχ τερµιναλ δοεσ νοτ νεχεσσαριλψ οχχυρ εϖερψ τιµε αν αχ− τιον ποτεντιαλ αρριϖεσ ανδ, χονϖερσελψ, σποντανεουσ ρελεασε χαν οχχυρ εϖεν ιν τηε αβσενχε οφ τηε δεπολαριζατιον δυε το αν αχτιον ποτεντιαλ. Τηε ιντερ− πρετατιον οφ Πρελ ισ α βιτ συβτλε βεχαυσε α σψναπτιχ χοννεχτιον βετωεεν νευ− ρονσ µαψ ινϖολϖε µυλτιπλε ανατοµιχαλ σψναπσεσ, ανδ εαχη οφ τηεσε µαψ ηαϖε µυλτιπλε ινδεπενδεντ τρανσµιττερ ρελεασε σιτεσ. Τηε φαχτορ Πρελ , ιν ουρ δισχυσσιον, ισ τηε αϖεραγε οφ τηε ρελεασε προβαβιλιτιεσ ατ εαχη ρελεασε σιτε. Ιφ τηερε αρε µανψ ρελεασε σιτεσ, τηε τοταλ αµουντ οφ τρανσµιττερ ρελεασεδ βψ αλλ τηε σιτεσ ισ προπορτιοναλ το Πρελ . Ιφ τηερε ισ α σινγλε ρελεασε σιτε, Πρελ ισ τηε προβαβιλιτψ τηατ ιτ ρελεασεσ τρανσµιττερ. Ωε ωιλλ ρεστριχτ ουρ δισχυσσιον το τηεσε τωο ιντερπρετατιονσ οφ Πρελ . Φορ α µοδεστ νυµβερ οφ ρελεασε σιτεσ ωιτη ωιδελψ ϖαρψινγ ρελεασε προβαβιλιτιεσ, τηε χυρρεντ ωε δισχυσσ δεσχριβεσ ονλψ αν αϖεραγε οϖερ µυλτιπλε τριαλσ. Σψναπσεσ χαν εξερτ τηειρ εφφεχτσ ον τηε σοµα, δενδριτεσ, αξον σπικε− ινιτιατιον ζονε, ορ πρεσψναπτιχ τερµιναλσ οφ τηειρ ποστσψναπτιχ ταργετσ. Τηερε αρε τωο βροαδ χλασσεσ οφ σψναπτιχ χονδυχτανχεσ τηατ αρε διστιν− γυισηεδ βψ ωηετηερ τηε τρανσµιττερ βινδσ το τηε σψναπτιχ χηαννελ ανδ αχ− τιϖατεσ ιτ διρεχτλψ, ορ τηε τρανσµιττερ βινδσ το α διστινχτ ρεχεπτορ τηατ αχτι− ϖατεσ τηε χονδυχτανχε ινδιρεχτλψ τηρουγη αν ιντραχελλυλαρ σιγναλινγ πατη− ωαψ. Τηε ⇒ρστ χλασσ ισ χαλλεδ ιονοτροπιχ ανδ τηε σεχονδ, µεταβοτροπιχ. Ιονοτροπιχ χονδυχτανχεσ αχτιϖατε ανδ δεαχτιϖατε µορε ραπιδλψ τηαν µετα− βοτροπιχ χονδυχτανχεσ. Μεταβοτροπιχ ρεχεπτορσ χαν, ιν αδδιτιον το οπεν− ινγ χηαννελσ, χαυσε λονγ−λαστινγ χηανγεσ ινσιδε α νευρον. Τηεψ τψπιχαλλψ οπερατε τηρουγη πατηωαψσ τηατ ινϖολϖε Γ−προτειν−µεδιατεδ ρεχεπτορσ ανδ ϖαριουσ ιντραχελλυλαρ σιγναλινγ µολεχυλεσ κνοων ασ σεχονδ µεσσενγερσ. Μανψ νευροµοδυλατορσ, ινχλυδινγ σεροτονιν, δοπαµινε, νορεπινεπηρινε, ανδ αχετψλχηολινε, αχτ τηρουγη µεταβοτροπιχ ρεχεπτορσ. Τηεσε ηαϖε α ωιδε ϖαριετψ οφ ιµπορταντ εφφεχτσ ον τηε φυνχτιονινγ οφ τηε νερϖουσ σψστεµ. Γλυταµατε ανδ ΓΑΒΑ (γ −αµινοβυτψριχ αχιδ) αρε τηε µαϕορ εξχιτατορψ ανδ ινηιβιτορψ τρανσµιττερσ ιν τηε βραιν. Βοτη αχτ ιονοτροπιχαλλψ ανδ µεταβο− τροπιχαλλψ. Τηε πρινχιπαλ ιονοτροπιχ ρεχεπτορ τψπεσ φορ γλυταµατε αρε χαλλεδ ΑΜΠΑ ανδ ΝΜ∆Α. Βοτη ΑΜΠΑ ανδ ΝΜ∆Α ρεχεπτορσ προδυχε µιξεδ− χατιον χονδυχτανχεσ ωιτη ρεϖερσαλ ποτεντιαλσ αρουνδ 0 µς. Τηε ΑΜΠΑ χυρρεντ αχτιϖατεσ ανδ δεαχτιϖατεσ ραπιδλψ. Τηε ΝΜ∆Α ρεχεπτορ ισ σοµε− ωηατ σλοωερ το αχτιϖατε ανδ δεαχτιϖατεσ χονσιδεραβλψ µορε σλοωλψ. Ιν αδ− διτιον, ΝΜ∆Α ρεχεπτορσ ηαϖε αν υνυσυαλ ϖολταγε δεπενδενχε τηατ ωε δισ− χυσσ ιν α λατερ σεχτιον, ανδ αρε µορε περµεαβλε το Χα2+ τηαν ΑΜΠΑ ρεχεπ− τορσ.

σψναπτιχ οπεν προβαβιλιτψ Πσ

τρανσµιττερ ρελεασε προβαβιλιτψ Πρελ

ιονοτροπιχ ρεχεπτορ µεταβοτροπιχ ρεχεπτορ

γλυταµατε, ΓΑΒΑ

ΑΜΠΑ, ΝΜ∆Α

180 ΓΑΒΑΑ , ΓΑΒΑΒ

γαπ ϕυνχτιονσ

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ΓΑΒΑ αχτιϖατεσ τωο ιµπορταντ ινηιβιτορψ σψναπτιχ χονδυχτανχεσ ιν τηε βραιν. ΓΑΒΑΑ ρεχεπτορσ προδυχε α ρελατιϖελψ φαστ ιονοτροπιχ Χλ− χονδυχ− τανχε. ΓΑΒΑΒ ρεχεπτορσ αρε µεταβοτροπιχ, ανδ αχτ το προδυχε α σλοωερ ανδ λονγερ−λαστινγ Κ+ χονδυχτανχε. Ιν αδδιτιον το χηεµιχαλ σψναπσεσ, νευρονσ χαν βε χουπλεδ τηρουγη ελεχτρι− χαλ σψναπσεσ (γαπ ϕυνχτιονσ) τηατ προδυχε α σψναπτιχ χυρρεντ προπορτιοναλ το τηε διφφερενχε βετωεεν τηε πρε− ανδ ποστσψναπτιχ µεµβρανε ποτεντιαλσ. Σοµε γαπ ϕυνχτιονσ ρεχτιφψ σο τηατ ποσιτιϖε ανδ νεγατιϖε χυρρεντ ⇓οωσ αρε νοτ εθυαλ φορ ποτεντιαλ διφφερενχεσ οφ τηε σαµε µαγνιτυδε.

Τηε Ποστσψναπτιχ Χονδυχτανχε Ιν α σιµπλε µοδελ οφ α διρεχτλψ αχτιϖατεδ ρεχεπτορ χηαννελ, τηε τρανσµιττερ ιντεραχτσ ωιτη τηε χηαννελ τηρουγη α βινδινγ ρεαχτιον ιν ωηιχη κ τρανσµιτ− τερ µολεχυλεσ βινδ το α χλοσεδ ρεχεπτορ ανδ οπεν ιτ. Ιν τηε ρεϖερσε ρεαχτιον, τηε τρανσµιττερ µολεχυλεσ υνβινδ φροµ τηε ρεχεπτορ ανδ ιτ χλοσεσ. Τηεσε προχεσσεσ αρε αναλογουσ το τηε οπενινγ ανδ χλοσινγ ινϖολϖεδ ιν τηε γατινγ οφ α ϖολταγε−δεπενδεντ χηαννελ, ανδ τηε σαµε τψπε οφ εθυατιον ισ υσεδ το δεσχριβε ηοω τηε οπεν προβαβιλιτψ Πσ χηανγεσ ωιτη τιµε, δΠσ = ασ (1 − Πσ ) − βσ Πσ . δτ

(5.27)

Ηερε, βσ δετερµινεσ τηε χλοσινγ ρατε οφ τηε χηαννελ ανδ ισ υσυαλλψ ασ− συµεδ το βε α χονσταντ. Τηε οπενινγ ρατε, ασ , ον τηε οτηερ ηανδ, δε− πενδσ ον τηε χονχεντρατιον οφ τρανσµιττερ αϖαιλαβλε φορ βινδινγ το τηε ρε− χεπτορ. Ιφ τηε χονχεντρατιον οφ τρανσµιττερ ατ τηε σιτε οφ τηε σψναπτιχ χηαννελ ισ [τρανσµιττερ], τηε προβαβιλιτψ οφ ⇒νδινγ κ τρανσµιττερ µολεχυλεσ ωιτηιν βινδινγ ρανγε οφ τηε χηαννελ ισ προπορτιοναλ το [τρανσµιττερ]κ , ανδ ασ ισ σοµε χονσταντ οφ προπορτιοναλιτψ τιµεσ τηισ φαχτορ. Ωηεν αν αχτιον ποτεντιαλ ινϖαδεσ τηε πρεσψναπτιχ τερµιναλ, τηε τρανσµιττερ χονχεντρατιον ρισεσ ανδ ασ γροωσ ραπιδλψ, χαυσινγ Πσ το ινχρεασε. Φολλοω− ινγ τηε ρελεασε οφ τρανσµιττερ, διφφυσιον ουτ οφ τηε χλεφτ, ενζψµε−µεδιατεδ δεγραδατιον, ανδ πρεσψναπτιχ υπτακε µεχηανισµσ χαν αλλ χοντριβυτε το α ραπιδ ρεδυχτιον οφ τηε τρανσµιττερ χονχεντρατιον. Τηισ σετσ ασ το 0, ανδ Πσ φολλοωσ συιτ βψ δεχαψινγ εξπονεντιαλλψ ωιτη α τιµε χονσταντ 1/βσ . Τψπι− χαλλψ, τηε τιµε χονσταντ φορ χηαννελ χλοσινγ ισ χονσιδεραβλψ λαργερ τηαν τηε οπενινγ τιµε. Ασ α σιµπλε µοδελ οφ τρανσµιττερ ρελεασε, ωε ασσυµε τηατ τηε τρανσµιττερ χονχεντρατιον ιν τηε σψναπτιχ χλεφτ ρισεσ εξτρεµελψ ραπιδλψ αφτερ ϖεσιχλε ρε− λεασε, ρεµαινσ ατ α ηιγη ϖαλυε φορ α περιοδ οφ δυρατιον Τ, ανδ τηεν φαλλσ ραπιδλψ το 0. Τηυσ, τηε τρανσµιττερ χονχεντρατιον ισ µοδελεδ ασ α σθυαρε πυλσε. Ωηιλε τηε τρανσµιττερ χονχεντρατιον ισ νονζερο, ασ τακεσ α χονσταντ ϖαλυε µυχη γρεατερ τηαν βσ , οτηερωισε ασ = 0. Συπποσε τηατ ϖεσιχλε ρελεασε οχχυρσ ατ τιµε τ = 0 ανδ τηατ τηε σψναπτιχ χηαννελ οπεν προβαβιλιτψ τακεσ τηε ϖαλυε Πσ (0 ) ατ τηισ τιµε. Ωηιλε τηε τρανσµιττερ χονχεντρατιον ιν τηε χλεφτ

Σψναπτιχ Χονδυχτανχεσ

181

60 πΑ

5.8

10 µσ

Φιγυρε 5.14 Α ⇒τ οφ τηε µοδελ δισχυσσεδ ιν τηε τεξτ το τηε αϖεραγε ΕΠΣΧ (εξχιτατορψ ποστσψναπτιχ χυρρεντ) ρεχορδεδ φροµ µοσσψ ⇒βερ ινπυτ το α ΧΑ3 πψραµιδαλ χελλ ιν α ηιπποχαµπαλ σλιχε πρεπαρατιον. Τηε σµοοτη λινε ισ τηε τηεορετιχαλ χυρϖε ανδ τηε ωιγγλψ λινε ισ τηε ρεσυλτ οφ αϖεραγινγ ρεχορδινγσ φροµ α νυµβερ οφ τριαλσ. (Αδαπτεδ φροµ ∆εστεξηε ετ αλ., 1994.)

ισ νονζερο, ασ ισ σο µυχη λαργερ τηαν βσ τηατ ωε χαν ιγνορε τηε τερµ ινϖολϖ− ινγ βσ ιν εθυατιον 5.27. Ιντεγρατινγ εθυατιον 5.27 υνδερ τηισ ασσυµπτιον, ωε ⇒νδ τηατ Πσ (τ ) = 1 + ( Πσ (0 ) − 1 ) εξπ(−ασ τ ) φορ

0 ≤ τ ≤ Τ.

(5.28)

Τηε οπεν προβαβιλιτψ τακεσ ιτσ µαξιµυµ ϖαλυε ατ τιµε τ = Τ ανδ τηεν, φορ τ ≥ Τ, δεχαψσ εξπονεντιαλλψ ατ α ρατε δετερµινεδ βψ τηε χονσταντ βσ , Πσ (τ ) = Πσ ( Τ ) εξπ(−βσ (τ − Τ )) φορ

τ ≥ Τ.

(5.29)

Ιφ Πσ (0 ) = 0, ασ ιτ ωιλλ ιφ τηερε ισ νο σψναπτιχ ρελεασε ιµµεδιατελψ βεφορε τηε ρελεασε ατ τ = 0, εθυατιον 5.28 σιµπλι⇒εσ το Πσ (τ ) = 1 − εξπ(−ασ τ ) φορ 0 ≤ τ ≤ Τ, ανδ τηισ ρεαχηεσ α µαξιµυµ ϖαλυε Πµαξ = Πσ ( Τ ) = 1 − εξπ(−ασ Τ ). Ιν τερµσ οφ τηισ παραµετερ, α σιµπλε µανιπυλατιον οφ εθυατιον 5.28 σηοωσ τηατ ωε χαν ωριτε, ιν τηε γενεραλ χασε, Πσ ( Τ ) = Πσ (0 ) + Πµαξ (1 − Πσ (0 )) .

(5.30)

Φιγυρε 5.14 σηοωσ α ⇒τ το α ρεχορδεδ ποστσψναπτιχ χυρρεντ υσινγ τηισ φορ− µαλισµ. Ιν τηισ χασε, βσ ωασ σετ το 0.19 µσ−1 . Τηε τρανσµιττερ χονχεντρα− τιον ωασ µοδελεδ ασ α σθυαρε πυλσε οφ δυρατιον Τ = 1 µσ δυρινγ ωηιχη ασ = 0.93 µσ−1 . Ινϖερτινγ τηεσε ϖαλυεσ, ωε ⇒νδ τηατ τηε τιµε χονσταντ δε− τερµινινγ τηε ραπιδ ρισε σεεν ιν ⇒γυρε 5.14Α ισ 0.9 µσ, ωηιλε τηε φαλλ οφ τηε χυρρεντ ισ αν εξπονεντιαλ ωιτη α τιµε χονσταντ οφ 5.26 µσ. Φορ α φαστ σψναπσε λικε τηε ονε σηοων ιν ⇒γυρε 5.14, τηε ρισε οφ τηε χον− δυχτανχε φολλοωινγ α πρεσψναπτιχ αχτιον ποτεντιαλ ισ σο ραπιδ τηατ ιτ χαν βε αππροξιµατεδ ασ ινσταντανεουσ. Ιν τηισ χασε, τηε σψναπτιχ χονδυχτανχε δυε το α σινγλε πρεσψναπτιχ αχτιον ποτεντιαλ οχχυρρινγ ατ τ = 0 ισ οφτεν ωριττεν ασ αν εξπονεντιαλ, Πσ = Πµαξ εξπ(−τ/τσ ) (σεε τηε ΑΜΠΑ τραχε ιν ⇒γυρε 5.15Α), ωηερε φροµ εθυατιον 5.29, τσ = 1/βσ . Τηε σψναπτιχ χονδυχτανχε δυε το α

182

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

B

A 1.0

1.0 AMPA GABAA

0.8

NMDA

Πσ/Πµαξ

Πσ/Πµαξ

0.8 0.6

0.6

0.4

0.4

0.2

0.2

0.0

0.0 0

5

10

15

20

25

τ (µσ)

0

100 200 300 400 500

τ (µσ)

Φιγυρε 5.15 Τιµε−δεπενδεντ οπεν προβαβιλιτιεσ ⇒ττεδ το µατχη ΑΜΠΑ, ΓΑΒΑΑ , ανδ ΝΜ∆Α σψναπτιχ χονδυχτανχεσ. (Α) Τηε ΑΜΠΑ χυρϖε ισ α σινγλε εξπονεντιαλ δεσχριβεδ βψ εθυατιον 5.31 ωιτη τσ = 5.26 µσ. Τηε ΓΑΒΑΑ χυρϖε ισ α διφφερενχε οφ εξπονεντιαλσ ωιτη τ1 = 5.6 µσ ανδ τρισε = 0.3 µσ. (Β) Τηε ΝΜ∆Α χυρϖε ισ τηε διφφερενχεσ οφ τωο εξπονεντιαλσ ωιτη τ1 = 152 µσ ανδ τρισε = 1.5 µσ. (Παραµετερσ αρε φροµ ∆εστεξηε ετ αλ., 1994.)

σεθυενχε οφ αχτιον ποτεντιαλσ ατ αρβιτραρψ τιµεσ χαν βε µοδελεδ βψ αλλοω− ινγ Πσ το δεχαψ εξπονεντιαλλψ το 0 αχχορδινγ το τηε εθυατιον δΠσ = − Πσ , δτ ανδ, ον τηε βασισ οφ τηε εθυατιον 5.30, µακινγ τηε ρεπλαχεµεντ

τσ

Πσ → Πσ + Πµαξ (1 − Πσ )

(5.31)

(5.32)

ιµµεδιατελψ αφτερ εαχη πρεσψναπτιχ αχτιον ποτεντιαλ. Εθυατιονσ 5.28 ανδ 5.29 χαν αλσο βε υσεδ το µοδελ σψναπσεσ ωιτη σλοωερ ρισε τιµεσ, βυτ οτηερ φυνχτιοναλ φορµσ αρε οφτεν υσεδ. Ονε ωαψ οφ δεσχριβ− ινγ βοτη τηε ρισε ανδ τηε φαλλ οφ α σψναπτιχ χονδυχτανχε ισ το εξπρεσσ Πσ ασ τηε διφφερενχε οφ τωο εξπονεντιαλσ (σεε τηε ΓΑΒΑΑ ανδ ΝΜ∆Α τραχεσ ιν ⇒γυρε 5.15). Φορ αν ισολατεδ πρεσψναπτιχ αχτιον ποτεντιαλ οχχυρρινγ ατ τ = 0, τηε σψναπτιχ χονδυχτανχε ισ ωριττεν ασ ) * Πσ = Πµαξ Β εξπ(−τ/τ1 ) − εξπ(−τ/τ2 ) , (5.33)

ωηερε τ1 > τ2 , ανδ Β ισ α νορµαλιζατιον φαχτορ τηατ ασσυρεσ τηατ τηε πεακ ϖαλυε οφ Πσ ισ εθυαλ το Πµαξ , '% & % &τρισε /τ2 (−1 τ2 τ2 τρισε /τ1 − . (5.34) Β= τ1 τ1

Τηε ρισε τιµε οφ τηε σψναπσε ισ δετερµινεδ βψ τρισε = τ1 τ2 /(τ1 − τ2 ), ωηιλε τηε φαλλ τιµε ισ σετ βψ τ1 . Τηισ χονδυχτανχε ρεαχηεσ ιτσ πεακ ϖαλυε τρισε λν(τ1 /τ2 ) αφτερ τηε πρεσψναπτιχ αχτιον ποτεντιαλ. Ανοτηερ ωαψ οφ δεσχριβινγ α σψναπτιχ χονδυχτανχε ισ το υσε τηε εξπρεσσιον Πσ =

Πµαξ τ εξπ(1 − τ/τσ ) τσ

(5.35)

5.8

Σψναπτιχ Χονδυχτανχεσ

183

1.0

[Μγ2+]

0.5

0

-80 -60

-40

-20

0

20

40

60

Φιγυρε 5.16 ∆επενδενχε οφ τηε ΝΜ∆Α χονδυχτανχε ον τηε µεµβρανε ποτεντιαλ ανδ εξτραχελλυλαρ Μγ2+ χονχεντρατιον. Νορµαλ εξτραχελλυλαρ Μγ2+ χονχεντρατιονσ αρε ιν τηε ρανγε οφ 1 το 2 µΜ. Τηε σολιδ λινεσ αρε τηε φαχτορσ ΓΝΜ∆Α οφ εθυα− τιον 5.36 φορ διφφερεντ ϖαλυεσ οφ [Μγ2+ ], ανδ τηε σψµβολσ ινδιχατε τηε δατα ποιντσ. (Αδαπτεδ φροµ ϑαηρ ανδ Στεϖενσ, 1990.)

φορ αν ισολατεδ πρεσψναπτιχ ρελεασε τηατ οχχυρσ ατ τιµε τ = 0. Τηισ εξπρεσ− σιον, χαλλεδ αν αλπηα φυνχτιον, σταρτσ ατ 0, ρεαχηεσ ιτσ πεακ ϖαλυε ατ τ = τσ , ανδ τηεν δεχαψσ ωιτη α τιµε χονσταντ τσ . Ωε µεντιονεδ εαρλιερ ιν τηισ χηαπτερ τηατ ΝΜ∆Α ρεχεπτορ χονδυχτανχε ηασ αν αδδιτιοναλ δεπενδενχε ον τηε ποστσψναπτιχ ποτεντιαλ νοτ νορµαλλψ σεεν ιν οτηερ χονδυχτανχεσ. Το ινχορπορατε τηισ δεπενδενχε, τηε χυρρεντ δυε το τηε ΝΜ∆Α ρεχεπτορ χαν βε δεσχριβεδ υσινγ αν αδδιτιοναλ φαχτορ τηατ δεπενδσ ον τηε ποστσψναπτιχ ποτεντιαλ, ς. Τηε ΝΜ∆Α χυρρεντ ισ ωριτ− τεν ασ γΝΜ∆Α ΓΝΜ∆Α (ς ) Π (ς − ΕΝΜ∆Α ). Π ισ τηε υσυαλ οπεν προβαβιλιτψ φαχτορ. Τηε φαχτορ ΓΝΜ∆Α (ς ) δεσχριβεσ αν εξτρα ϖολταγε δεπενδενχε δυε το τηε φαχτ τηατ ωηεν τηε ποστσψναπτιχ νευρον ισ νεαρ ιτσ ρεστινγ ποτεντιαλ, ΝΜ∆Α ρεχεπτορσ αρε βλοχκεδ βψ Μγ2+ ιονσ. Το αχτιϖατε τηε χονδυχτανχε, τηε ποστσψναπτιχ νευρον µυστ βε δεπολαριζεδ το κνοχκ ουτ τηε βλοχκινγ ιονσ. ϑαηρ ανδ Στεϖενσ (1990) ηαϖε ⇒ττεδ τηισ δεπενδενχε βψ (⇒γυρε 5.16) ΓΝΜ∆Α

(−1 [Μγ2+ ] εξπ(−ς/16.13 µς ) . = 1+ 3.57 µΜ '

αλπηα φυνχτιον

ΝΜ∆Α ρεχεπτορ

(5.36)

ΝΜ∆Α ρεχεπτορσ χονδυχτ Χα2+ ιονσ ασ ωελλ ασ µονοϖαλεντ χατιονσ. Εντρψ οφ Χα2+ ιονσ τηρουγη ΝΜ∆Α ρεχεπτορσ ισ α χριτιχαλ εϖεντ φορ λονγ−τερµ µοδι⇒χατιον οφ σψναπτιχ στρενγτη. Τηε φαχτ τηατ τηε οπενινγ οφ ΝΜ∆Α χηαννελσ ρεθυιρεσ βοτη πρε− ανδ ποστσψναπτιχ δεπολαριζατιον µεανσ ΝΜ∆Α ρεχεπτορσ χαν αχτ ασ χοινχιδενχε δετεχτορσ οφ σιµυλτανεουσ πρε− ανδ ποστσψναπτιχ αχτιϖιτψ. Τηισ πλαψσ αν ιµπορταντ ρολε ιν χοννεχτιον ωιτη τηε Ηεββ ρυλε φορ σψναπτιχ µοδι⇒χατιον δισχυσσεδ ιν χηαπτερ 8.

χοινχιδενχε δετεχτιον

184

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

A 0.4 µς 100 µσ

1.5 µς

B

100 µσ

Φιγυρε 5.17 ∆επρεσσιον ανδ φαχιλιτατιον οφ εξχιτατορψ ιντραχορτιχαλ σψναπσεσ. (Α) ∆επρεσσιον οφ αν εξχιτατορψ σψναπσε βετωεεν τωο λαψερ 5 πψραµιδαλ χελλσ ρεχορδεδ ιν α σλιχε οφ ρατ σοµατοσενσορψ χορτεξ. Σπικεσ ωερε εϖοκεδ βψ χυρρεντ ινϕεχτιον ιντο τηε πρεσψναπτιχ νευρον, ανδ ποστσψναπτιχ ποτεντιαλσ ωερε ρεχορδεδ ωιτη α σεχονδ ελεχτροδε. (Β) Φαχιλιτατιον οφ αν εξχιτατορψ σψναπσε φροµ α πψραµιδαλ νευρον το αν ινηιβιτορψ ιντερνευρον ιν λαψερ 2/3 οφ ρατ σοµατοσενσορψ χορτεξ. (Α φροµ Μαρκραµ ανδ Τσοδψκσ, 1996; Β φροµ Μαρκραµ ετ αλ., 1998.)

Ρελεασε Προβαβιλιτψ ανδ Σηορτ−Τερµ Πλαστιχιτψ

σηορτ−τερµ πλαστιχιτψ λονγ−τερµ πλαστιχιτψ

δεπρεσσιον φαχιλιτατιον

Τηε προβαβιλιτψ οφ τρανσµιττερ ρελεασε ανδ τηε µαγνιτυδε οφ τηε ρεσυλτινγ χονδυχτανχε χηανγε ιν τηε ποστσψναπτιχ νευρον χαν δεπενδ ον τηε ηιστορψ οφ αχτιϖιτψ ατ α σψναπσε. Τηε εφφεχτσ οφ αχτιϖιτψ ον σψναπτιχ χονδυχτανχεσ αρε τερµεδ σηορτ− ανδ λονγ−τερµ. Σηορτ−τερµ πλαστιχιτψ ρεφερσ το α νυµ− βερ οφ πηενοµενα τηατ αφφεχτ τηε προβαβιλιτψ τηατ α πρεσψναπτιχ αχτιον πο− τεντιαλ οπενσ ποστσψναπτιχ χηαννελσ ανδ τηατ λαστ ανψωηερε φροµ µιλλισεχ− ονδσ το τενσ οφ σεχονδσ. Τηε εφφεχτσ οφ λονγ−τερµ πλαστιχιτψ αρε εξτρεµελψ περσιστεντ, λαστινγ, φορ εξαµπλε, ασ λονγ ασ τηε πρεπαρατιον βεινγ στυδιεδ χαν βε κεπτ αλιϖε. Τηε µοδελινγ ανδ ιµπλιχατιονσ οφ λονγ−τερµ πλαστιχιτψ αρε χονσιδερεδ ιν χηαπτερ 8. Ηερε ωε πρεσεντ α σιµπλε ωαψ οφ δεσχριβινγ σηορτ−τερµ σψναπτιχ πλαστιχιτψ ασ α µοδι⇒χατιον ιν τηε ρελεασε προβαβιλιτψ φορ σψναπτιχ τρανσµισσιον. Σηορτ−τερµ µοδι⇒χατιονσ οφ σψναπτιχ τρανσµισ− σιον χαν ινϖολϖε οτηερ µεχηανισµσ τηαν µερελψ χηανγεσ ιν τηε προβαβιλιτψ οφ τρανσµισσιον, βυτ φορ σιµπλιχιτψ ωε αβσορβ αλλ τηεσε εφφεχτσ ιντο α µοδι⇒− χατιον οφ τηε φαχτορ Πρελ ιντροδυχεδ πρεϖιουσλψ. Τηυσ, Πρελ χαν βε ιντερπρετεδ µορε γενεραλλψ ασ α πρεσψναπτιχ φαχτορ αφφεχτινγ σψναπτιχ τρανσµισσιον. Φιγυρε 5.17 ιλλυστρατεσ τωο πρινχιπαλ τψπεσ οφ σηορτ−τερµ πλαστιχιτψ, δεπρεσ− σιον ανδ φαχιλιτατιον. Φιγυρε 5.17Α σηοωσ τριαλ−αϖεραγεδ ποστσψναπτιχ χυρ− ρεντ πυλσεσ προδυχεδ ιν ονε χορτιχαλ πψραµιδαλ νευρον βψ εϖοκινγ α ρεγ− υλαρ σεριεσ οφ αχτιον ποτεντιαλσ ιν α σεχονδ πψραµιδαλ νευρον πρεσψναπτιχ το τηε ⇒ρστ. Τηε πυλσεσ δραµατιχαλλψ δεχρεασε ιν αµπλιτυδε υπον ρεπεατεδ αχτιϖατιον οφ τηε σψναπτιχ χονδυχτανχε, ρεϖεαλινγ σηορτ−τερµ σψναπτιχ δε− πρεσσιον. Φιγυρε 5.17Β σηοωσ α σιµιλαρ σεριεσ οφ αϖεραγεδ ποστσψναπτιχ χυρ− ρεντ πυλσεσ ρεχορδεδ ιν α χορτιχαλ ινηιβιτορψ ιντερνευρον ωηεν α σεθυενχε οφ αχτιον ποτεντιαλσ ωασ εϖοκεδ ιν α πρεσψναπτιχ πψραµιδαλ χελλ. Ιν τηισ χασε, τηε αµπλιτυδε οφ τηε πυλσεσ ινχρεασεσ, ανδ τηυσ τηε σψναπσε φαχιλι− τατεσ. Ιν γενεραλ, σψναπσεσ χαν εξηιβιτ φαχιλιτατιον ανδ δεπρεσσιον οϖερ α ϖαριετψ οφ τιµε σχαλεσ, ανδ µυλτιπλε χοµπονεντσ οφ σηορτ−τερµ πλαστιχιτψ χαν βε φουνδ ατ τηε σαµε σψναπσε. Το κεεπ τηε δισχυσσιον σιµπλε, ωε χον− σιδερ σψναπσεσ τηατ εξηιβιτ ειτηερ φαχιλιτατιον ορ δεπρεσσιον δεσχριβεδ βψ α σινγλε τιµε χονσταντ.

5.8

Σψναπτιχ Χονδυχτανχεσ

185

Φαχιλιτατιον ανδ δεπρεσσιον χαν βοτη βε µοδελεδ ασ πρεσψναπτιχ προχεσσεσ τηατ µοδιφψ τηε προβαβιλιτψ οφ τρανσµιττερ ρελεασε. Ωε δεσχριβε τηεµ υσινγ α σιµπλε νονµεχηανιστιχ µοδελ τηατ ηασ σιµιλαριτιεσ το τηε µοδελ οφ Πσ πρεσεντεδ ιν τηε πρεϖιουσ συβσεχτιον. Φορ βοτη φαχιλιτατιον ανδ δεπρεσσιον, τηε ρελεασε προβαβιλιτψ αφτερ α λονγ περιοδ οφ πρεσψναπτιχ σιλενχε ισ Πρελ = Π0 . Αχτιϖιτψ ατ τηε σψναπσε χαυσεσ Πρελ το ινχρεασε ιν τηε χασε οφ φαχιλιτατιον ανδ το δεχρεασε φορ δεπρεσσιον. Βετωεεν πρεσψναπτιχ αχτιον ποτεντιαλσ, τηε ρελεασε προβαβιλιτψ δεχαψσ εξπονεντιαλλψ βαχκ το ιτσ mρεστινγn ϖαλυε, Π0 ,

τΠ

δΠρελ = Π0 − Πρελ . δτ

(5.37)

Τηε παραµετερ τΠ χοντρολσ τηε ρατε ατ ωηιχη τηε ρελεασε προβαβιλιτψ δεχαψσ το Π0 . Τηε µοδελσ οφ φαχιλιτατιον ανδ δεπρεσσιον διφφερ ιν ηοω τηε ρελεασε προβα− βιλιτψ ισ χηανγεδ βψ πρεσψναπτιχ αχτιϖιτψ. Ιν τηε χασε οφ φαχιλιτατιον, Πρελ ισ αυγµεντεδ βψ µακινγ τηε ρεπλαχεµεντ Πρελ → Πρελ + φ Φ (1 − Πρελ ) ιµµεδι− ατελψ αφτερ α πρεσψναπτιχ αχτιον ποτεντιαλ (ασ ιν εθυατιον 5.32). Τηε παραµ− ετερ φ Φ (ωιτη 0 ≤ φ Φ ≤ 1) χοντρολσ τηε δεγρεε οφ φαχιλιτατιον, ανδ τηε φαχτορ (1 − Πρελ ) πρεϖεντσ τηε ρελεασε προβαβιλιτψ φροµ γροωινγ λαργερ τηαν 1. Το µοδελ δεπρεσσιον, τηε ρελεασε προβαβιλιτψ ισ ρεδυχεδ αφτερ α πρεσψναπτιχ αχτιον ποτεντιαλ βψ µακινγ τηε ρεπλαχεµεντ Πρελ → φ ∆ Πρελ . Ιν τηισ χασε, τηε παραµετερ φ ∆ (ωιτη 0 ≤ φ ∆ ≤ 1) χοντρολσ τηε αµουντ οφ δεπρεσσιον, ανδ τηε φαχτορ Πρελ πρεϖεντσ τηε ρελεασε προβαβιλιτψ φροµ βεχοµινγ νεγατιϖε. Ωε βεγιν βψ αναλψζινγ τηε εφφεχτσ οφ φαχιλιτατιον ον σψναπτιχ τρανσµισσιον φορ α πρεσψναπτιχ σπικε τραιν ωιτη Ποισσον στατιστιχσ. Ιν παρτιχυλαρ, ωε χοµπυτε τηε αϖεραγε στεαδψ−στατε ρελεασε προβαβιλιτψ, δενοτεδ βψ ⟨ Πρελ ⟩. ⟨ Πρελ ⟩ ισ δετερµινεδ βψ ρεθυιρινγ τηατ τηε φαχιλιτατιον τηατ οχχυρσ αφτερ εαχη πρεσψναπτιχ αχτιον ποτεντιαλ ισ εξαχτλψ χανχελεδ βψ τηε αϖεραγε εξ− πονεντιαλ δεχρεµεντ τηατ οχχυρσ βετωεεν πρεσψναπτιχ σπικεσ. Χονσιδερ τωο πρεσψναπτιχ αχτιον ποτεντιαλσ σεπαρατεδ βψ αν ιντερϖαλ τ , ανδ συπ− ποσε τηατ τηε ρελεασε προβαβιλιτψ τακεσ ιτσ αϖεραγε ϖαλυε ϖαλυε ⟨ Πρελ ⟩ ατ τηε τιµε οφ τηε ⇒ρστ σπικε. Ιµµεδιατελψ αφτερ τηισ σπικε, ιτ ισ αυγµεντεδ το ⟨ Πρελ ⟩ + φ Φ (1 − ⟨ Πρελ ⟩). Βψ τηε τιµε οφ τηε σεχονδ σπικε, τηισ ωιλλ ηαϖε δε− χαψεδ το Π0 + (⟨ Πρελ ⟩ + φ Φ (1 − ⟨ Πρελ ⟩) − Π0 ) εξπ(−τ/τΠ ), ωηιχη ισ οβταινεδ βψ ιντεγρατινγ εθυατιον 5.37. Τηε αϖεραγε ϖαλυε οφ τηε εξπονεντιαλ δεχαψ φαχ− τορ ιν τηισ εξπρεσσιον ισ τηε ιντεγραλ οϖερ αλλ ποσιτιϖε τ ϖαλυεσ οφ εξπ(−τ/τΠ ) τιµεσ τηε προβαβιλιτψ δενσιτψ φορ α Ποισσον σπικε τραιν ωιτη α ⇒ρινγ ρατε r το προδυχε αν ιντερσπικε ιντερϖαλ οφ δυρατιον τ , ωηιχη ισ r εξπ(−rτ) (σεε χηαπτερ 1). Τηυσ, τηε αϖεραγε εξπονεντιαλ δεχρεµεντ ισ " ∞ rτΠ δτ εξπ(−rτ − τ/τΠ ) = r . (5.38) 1 + rτΠ 0 Ιν ορδερ φορ τηε ρελεασε προβαβιλιτψ το ρετυρν, ον αϖεραγε, το ιτσ στεαδψ−στατε ϖαλυε βετωεεν πρεσψναπτιχ σπικεσ, ωε µυστ τηερεφορε ρεθυιρε τηατ ) * ⟨ Πρελ ⟩ = Π0 + ⟨ Πρελ ⟩ + φ Φ (1 − ⟨ Πρελ ⟩) − Π0

rτΠ . 1 + rτΠ

(5.39)

186

A

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

B

1.0 60

0.8 0.6

40

0.4 20

0.2 0

0 0

20

40

60

1.0 0.8

4

0.6

3

0.4

2

0.2

1

0

80 100

0 0

20 40

60

80 100

Φιγυρε 5.18 Τηε εφφεχτσ οφ φαχιλιτατιον ανδ δεπρεσσιον ον σψναπτιχ τρανσµισσιον. (Α) Ρελεασε προβαβιλιτψ ανδ τρανσµισσιον ρατε φορ α φαχιλιτατινγ σψναπσε ασ α φυνχτιον οφ τηε ⇒ρινγ ρατε οφ α Ποισσον πρεσψναπτιχ σπικε τραιν. Τηε δασηεδ χυρϖε σηοωσ τηε ρισε οφ τηε αϖεραγε ρελεασε προβαβιλιτψ ασ τηε πρεσψναπτιχ ρατε ινχρεασεσ. Τηε σολιδ χυρϖε ισ τηε αϖεραγε ρατε οφ τρανσµισσιον, ωηιχη ισ τηε αϖεραγε ρελεασε προβαβιλιτψ τιµεσ τηε πρεσψναπτιχ ⇒ρινγ ρατε. Τηε παραµετερσ οφ τηε µοδελ αρε Π0 = 0.1, φ Φ = 0.4, ανδ τΠ = 50 µσ. (Β) Σαµε ασ Α, βυτ φορ τηε χασε οφ δεπρεσσιον. Τηε παραµετερσ οφ τηε µοδελ αρε Π0 = 1, φ ∆ = 0.4, ανδ τΠ = 500 µσ.

Σολϖινγ φορ ⟨ Πρελ ⟩ γιϖεσ

⟨ Πρελ ⟩ =

Π0 + φ Φ rτΠ . 1 + r φ Φ τΠ

(5.40)

Τηισ εθυαλσ Π0 ατ λοω ρατεσ ανδ ρισεσ τοωαρδ τηε ϖαλυε 1 ατ ηιγη ρατεσ (⇒γυρε 5.18Α). Ασ α ρεσυλτ, ισολατεδ σπικεσ ιν λοω−φρεθυενχψ τραινσ αρε τρανσµιττεδ ωιτη λοωερ προβαβιλιτψ τηαν σπικεσ οχχυρρινγ ωιτηιν ηιγη− φρεθυενχψ βυρστσ. Τηε σψναπτιχ τρανσµισσιον ρατε ωηεν τηε πρεσψναπτιχ νευρον ισ ⇒ρινγ ατ ρατε r ισ τηε ⇒ρινγ ρατε τιµεσ τηε ρελεασε προβαβιλιτψ. Τηισ ισ αππροξιµατελψ Π0 r φορ σµαλλ ρατεσ ανδ αππροαχηεσ r ατ ηιγη ρατεσ (⇒γ− υρε 5.18Α). Τηε ϖαλυε οφ ⟨ Πρελ ⟩ φορ α Ποισσον πρεσψναπτιχ σπικε τραιν χαν αλσο βε χοµ− πυτεδ ιν τηε χασε οφ δεπρεσσιον. Τηε ονλψ διφφερενχε φροµ τηε αβοϖε δεριϖα− τιον ισ τηατ φολλοωινγ α πρεσψναπτιχ σπικε, ⟨ Πρελ ⟩ ισ δεχρεασεδ το φ ∆ ⟨ Πρελ ⟩. Τηυσ, τηε χονσιστενχψ χονδιτιον 5.39 ισ ρεπλαχεδ βψ

⟨ Πρελ ⟩ = Π0 + ( φ ∆ ⟨ Πρελ ⟩ − Π0 )

rτΠ , 1 + rτΠ

(5.41)

γιϖινγ

⟨ Πρελ ⟩ =

Π0 . 1 + (1 − φ ∆ )rτΠ

(5.42)

Τηισ εθυαλσ Π0 ατ λοω ρατεσ ανδ δεχρεασεσ ασ 1/r ατ ηιγη ρατεσ (⇒γυρε 5.18Β), ωηιχη ηασ σοµε ιντερεστινγ χονσεθυενχεσ. Ασ νοτεδ αβοϖε, τηε αϖεραγε ρατε οφ συχχεσσφυλ σψναπτιχ τρανσµισσιονσ ισ εθυαλ το ⟨ Πρελ ⟩ τιµεσ τηε πρεσψ− ναπτιχ ρατε r. Βεχαυσε ⟨ Πρελ ⟩ ισ προπορτιοναλ το 1/r ατ ηιγη ρατεσ, τηε αϖερ− αγε τρανσµισσιον ρατε ισ ινδεπενδεντ οφ r ιν τηισ ρανγε. Τηισ χαν βε σεεν βψ τηε ⇓αττενινγ οφ τηε σολιδ χυρϖε ιν ⇒γυρε 5.18Β. Ασ α ρεσυλτ, σψναπσεσ

5.8

Σψναπτιχ Χονδυχτανχεσ

187

15 10

25 Ηζ

100 Ηζ

10 Ηζ

40 Ηζ

5 0 0

200

400

600

800

1000

1200

τ (µσ)

Φιγυρε 5.19 Τηε αϖεραγε ρατε οφ τρανσµισσιον φορ α σψναπσε ωιτη δεπρεσσιον ωηεν τηε πρεσψναπτιχ ⇒ρινγ ρατε χηανγεσ ιν α σεθυενχε οφ στεπσ. Τηε ⇒ρινγ ρατεσ ωερε ηελδ χονσταντ ατ τηε ϖαλυεσ 25, 100, 10, ανδ 40 Ηζ, εξχεπτ φορ αβρυπτ χηανγεσ ατ τηε τιµεσ ινδιχατεδ βψ τηε δασηεδ λινεσ. Τηε παραµετερσ οφ τηε µοδελ αρε Π0 = 1, φ ∆ = 0.6, ανδ τΠ = 500 µσ.

τηατ δεπρεσσ δο νοτ χονϖεψ ινφορµατιον αβουτ τηε ϖαλυεσ οφ χονσταντ, ηιγη πρεσψναπτιχ ⇒ρινγ ρατεσ το τηειρ ποστσψναπτιχ ταργετσ. Τηε πρεσψναπτιχ ⇒ρ− ινγ ρατε ατ ωηιχη τρανσµισσιον σταρτσ το βεχοµε ινδεπενδεντ οφ r ισ αρουνδ 1/((1 − φ ∆ )τΠ ). Φιγυρε 5.19 σηοωσ τηε αϖεραγε τρανσµισσιον ρατε, ⟨ Πρελ ⟩r, ιν ρεσπονσε το α σεριεσ οφ στεπσ ιν τηε πρεσψναπτιχ ⇒ρινγ ρατε. Νοτε ⇒ρστ τηατ τηε στεαδψ− στατε τρανσµισσιον ρατεσ δυρινγ τηε 25, 100, 10, ανδ 40 Ηζ περιοδσ αρε θυιτε σιµιλαρ. Τηισ ισ α χονσεθυενχε οφ τηε 1/r δεπενδενχε οφ τηε αϖεραγε ρε− λεασε προβαβιλιτψ, ασ δισχυσσεδ αβοϖε. Τηε λαργεστ τρανσµισσιον ρατεσ ιν τηε ⇒γυρε οχχυρ δυρινγ τηε σηαρπ υπωαρδ τρανσιτιονσ βετωεεν διφφερεντ πρεσψ− ναπτιχ ρατεσ. Τηισ ιλλυστρατεσ τηε ιµπορταντ ποιντ τηατ δεπρεσσινγ σψναπσεσ αµπλιφψ τρανσιεντ σιγναλσ ρελατιϖε το στεαδψ−στατε ινπυτσ. Τηε τρανσιεντσ χορ− ρεσπονδινγ τηε 25 το 100 Ηζ τρανσιτιον ανδ τηε 10 το 40 Ηζ τρανσιτιον αρε οφ ρουγηλψ εθυαλ αµπλιτυδεσ, βυτ τηε τρανσιεντ φορ τηε 10 το 40 Ηζ τρανσιτιον ισ βροαδερ τηαν τηατ φορ τηε 25 το 100 Ηζ τρανσιτιον. Τηε εθυαλιτψ οφ αµπλιτυδεσ οφ τηε τωο υπωαρδ τρανσιεντσ ιν ⇒γυρε 5.19 ισ α χονσεθυενχε οφ τηε 1/r βεηαϖιορ οφ ⟨ Πρελ ⟩. Συπποσε τηατ τηε πρεσψναπτιχ ⇒ρινγ ρατε µακεσ α συδδεν τρανσιτιον φροµ α στεαδψ ϖαλυε r το α νεω ϖαλυε r + %r. Βεφορε τηε τρανσιτιον, τηε αϖεραγε ρελεασε προβαβιλιτψ ισ γιϖεν βψ εθυατιον 5.42. Ιµµεδιατελψ αφτερ τηε τρανσιτιον, βεφορε τηε ρελεασε προβα− βιλιτψ ηασ ηαδ τιµε το αδϕυστ το τηε νεω ινπυτ ρατε, τηε αϖεραγε τρανσµισ− σιον ρατε ωιλλ βε τηισ πρεϖιουσ ϖαλυε οφ ⟨ Πρελ ⟩ τιµεσ τηε νεω ρατε r + %r, ωηιχη ισ Π0 (ρ + %ρ )/(1 + (1 − φ ∆ )ρτΠ ). Φορ συφ⇒χιεντλψ ηιγη ρατεσ, τηισ ισ αππροξιµατελψ προπορτιοναλ το (r + %r )/r. Τηε σιζε οφ τηε χηανγε ιν τηε τρανσµισσιον ρατε ισ τηυσ προπορτιοναλ το %r/r, ωηιχη µεανσ τηατ δεπρεσσ− ινγ σψναπσεσ νοτ ονλψ αµπλιφψ τρανσιεντ ινπυτσ, τηεψ τρανσµιτ τηεµ ιν α σχαλεδ µαννερ. Τηε αµπλιτυδε οφ τηε τρανσιεντ τρανσµισσιον ρατε ισ προπορ− τιοναλ το τηε φραχτιοναλ χηανγε, νοτ τηε αβσολυτε χηανγε, ιν τηε πρεσψναπτιχ ⇒ρινγ ρατε. Τηε τωο τρανσιεντσ σεεν ιν ⇒γυρε 5.19 ηαϖε σιµιλαρ αµπλιτυδεσ βεχαυσε ιν βοτη χασεσ %ρ/ ρ = 3. Τηε διφφερενχε ιν τηε ρεχοϖερψ τιµε φορ τηε τωο υπωαρδ τρανσιεντσ ιν ⇒γυρε 5.19 ισ δυε το τηε φαχτ τηατ τηε εφφεχ− τιϖε τιµε χονσταντ γοϖερνινγ τηε ρεχοϖερψ το α νεω στεαδψ−στατε λεϖελ r ισ τΠ /(1 + (1 − φ ∆ )τΠ ρ ).

188

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

2

-40 -60 -80 0

B 1

20

40

60

0 -20

80 100

Ιε 2

-40 -60 -80 0

20

40

60

80 100

ς2 (µς)

ς1 (µς)

Ιε

ς2 (µς)

1

Ιε

0 -20

ς1 (µς)

A Ιε

0 -20 -40 -60 -80 0

20

40

60

80

100

20

40

60

80

100

0 -20 -40 -60 -80 0

τ (µσ)

τ (µσ)

Φιγυρε 5.20 Τωο σψναπτιχαλλψ χουπλεδ ιντεγρατε−ανδ−⇒ρε νευρονσ. (Α) Εξχιτατορψ σψναπσεσ (Εσ = 0 µς) προδυχε αν αλτερνατινγ, ουτ−οφ−πηασε παττερν οφ ⇒ρινγ. (Β) Ιν− ηιβιτορψ σψναπσεσ (Εσ = −80 µς) προδυχε σψνχηρονουσ ⇒ρινγ. Βοτη µοδελ νευρονσ ηαϖε ΕΛ = −70 µς, ςτη = −54 µς, ςρεσετ = −80 µς, τµ = 20 µσ, ρµ γσ = 0.05, Πµαξ = 1, Ρµ Ιε = 25 µς, ανδ τσ = 10 µσ.

5.9

Σψναπσεσ ον Ιντεγρατε−ανδ−Φιρε Νευρονσ

Σψναπτιχ ινπυτσ χαν βε ινχορπορατεδ ιντο αν ιντεγρατε−ανδ−⇒ρε µοδελ βψ ινχλυδινγ σψναπτιχ χονδυχτανχεσ ιν τηε µεµβρανε χυρρεντ αππεαρινγ ιν εθυατιον 5.8,

τµ

δς = ΕΛ − ς − ρµ γσ Πσ (ς − Εσ ) + Ρµ Ιε . δτ

(5.43)

Φορ σιµπλιχιτψ, ωε ασσυµε τηατ Πρελ = 1 ιν τηισ εξαµπλε. Τηε σψναπτιχ χυρ− ρεντ ισ µυλτιπλιεδ βψ ρµ ιν εθυατιον 5.43 βεχαυσε εθυατιον 5.8 ωασ µυλτι− πλιεδ βψ τηισ φαχτορ. Το µοδελ σψναπτιχ τρανσµισσιον, Πσ χηανγεσ ωηενεϖερ τηε πρεσψναπτιχ νευρον ⇒ρεσ αν αχτιον ποτεντιαλ υσινγ ονε οφ τηε σχηεµεσ δεσχριβεδ πρεϖιουσλψ.

σψνχηρονουσ ανδ ασψνχηρονουσ ⇒ρινγ

Φιγυρεσ 5.20Α ανδ 5.20Β σηοω εξαµπλεσ οφ τωο ιντεγρατε−ανδ−⇒ρε νευ− ρονσ δριϖεν βψ ελεχτροδε χυρρεντσ ανδ χοννεχτεδ βψ ιδεντιχαλ εξχιτατορψ ορ ινηιβιτορψ σψναπσεσ. Τηε σψναπτιχ χονδυχτανχεσ ιν τηισ εξαµπλε αρε δεσχριβεδ βψ τηε α φυνχτιον µοδελ. Τηισ µεανσ τηατ τηε σψναπτιχ χον− δυχτανχε α τιµε τ αφτερ τηε οχχυρρενχε οφ α πρεσψναπτιχ αχτιον ποτεντιαλ ισ γιϖεν βψ εθυατιον 5.35. Τηε ⇒γυρε σηοωσ α νονιντυιτιϖε εφφεχτ. Ωηεν τηε σψναπτιχ τιµε χονσταντ ισ συφ⇒χιεντλψ λονγ (τσ = 10 µσ ιν τηισ εξαµ− πλε), εξχιτατορψ χοννεχτιονσ προδυχε α στατε ιν ωηιχη τηε τωο νευρονσ ⇒ρε αλτερνατελψ, ουτ οφ πηασε ωιτη ονε ανοτηερ, ωηιλε ινηιβιτορψ σψναπσεσ προ− δυχε σψνχηρονουσ ⇒ρινγ. Ιτ ισ νορµαλλψ ασσυµεδ τηατ εξχιτατιον προδυχεσ σψνχηρονψ. Αχτυαλλψ, ιν σοµε χασεσ ινηιβιτορψ χοννεχτιονσ χαν βε µορε εφφεχτιϖε τηαν εξχιτατορψ χοννεχτιονσ ατ σψνχηρονιζινγ νευροναλ ⇒ρινγ. Σψναπσεσ ηαϖε µυλτιπλε εφφεχτσ ον τηειρ ποστσψναπτιχ ταργετσ. Ιν εθυα− τιον 5.43, τηε τερµ ρµ γσ Πσ Εσ αχτσ ασ α σουρχε οφ χυρρεντ το τηε νευρον, ωηιλε

5.9

Σψναπσεσ ον Ιντεγρατε−ανδ−Φιρε Νευρονσ

189

τηε τερµ ρµ γσ Πσ ς χηανγεσ τηε µεµβρανε χονδυχτανχε. Τηε εφφεχτσ οφ τηε λαττερ τερµ αρε ρεφερρεδ το ασ σηυντινγ, ανδ τηεψ χαν βε ιδεντι⇒εδ µοστ εασιλψ ιφ ωε διϖιδε εθυατιον 5.43 βψ 1 + ρµ γσ Πσ το οβταιν ΕΛ + ρµ γσ Πσ Εσ + Ρµ Ιε τµ δς = −ς + . 1 + ρµ γσ Πσ δτ 1 + ρµ γσ Πσ

(5.44)

Τηε σηυντινγ εφφεχτσ οφ τηε σψναπσε αρε σεεν ιν τηισ εθυατιον ασ α δεχρεασε ιν τηε εφφεχτιϖε µεµβρανε τιµε χονσταντ, ανδ α διϖισιϖε ρεδυχτιον ιν τηε ιµπαχτ οφ τηε λεακαγε ανδ σψναπτιχ ρεϖερσαλ ποτεντιαλσ ανδ οφ τηε ελεχτροδε χυρρεντ. Τηε σηυντινγ εφφεχτσ σεεν ιν εθυατιον 5.44 ηαϖε βεεν προποσεδ ασ α ποσσι− βλε βασισ φορ νευραλ χοµπυτατιονσ ινϖολϖινγ διϖισιον. Ηοωεϖερ, σηυντινγ ηασ α διϖισιϖε εφφεχτ ονλψ ον τηε µεµβρανε ποτεντιαλ οφ αν ιντεγρατε−ανδ− ⇒ρε νευρον; ιτσ εφφεχτ ον τηε ⇒ρινγ ρατε ισ συβτραχτιϖε. Το σεε τηισ, ασσυµε τηατ σψναπτιχ ινπυτ ισ αρριϖινγ ατ α συφ⇒χιεντ ρατε το µαινταιν α ρελατιϖελψ χονσταντ ϖαλυε οφ Πσ . Ιν τηισ χασε, σηυντινγ αµουντσ το χηανγινγ τηε ϖαλυε οφ τηε µεµβρανε ρεσιστανχε φροµ Ρµ το Ρµ /(1 + ρµ γσ Πσ ). Ρεχαλλινγ εθυα− τιον 5.12 φορ τηε ⇒ρινγ ρατε οφ τηε ιντεγρατε−ανδ−⇒ρε µοδελ, ανδ τηε φαχτ τηατ τµ = Χµ Ρµ , ωε χαν ωριτε τηε ⇒ρινγ ρατε ιν α φορµ τηατ ρεϖεαλσ ιτσ δεπεν− δενχε ον Ρµ , 7 8 ΕΛ − ςτη Ιε + ρισι ≈ . (5.45) Χµ Ρµ (ςτη − ςρεσετ ) Χµ (ςτη − ςρεσετ ) + Χηανγινγ Ρµ µοδι⇒εσ ονλψ τηε χονσταντ τερµ ιν τηισ εθυατιον; ιτ ηασ νο εφφεχτ ον τηε δεπενδενχε οφ τηε ⇒ρινγ ρατε ον Ιε .

Ρεγυλαρ ανδ Ιρρεγυλαρ Φιρινγ Μοδεσ Ιντεγρατε−ανδ−⇒ρε µοδελσ αρε υσεφυλ φορ στυδψινγ ηοω νευρονσ συµ λαργε νυµβερσ οφ σψναπτιχ ινπυτσ ανδ ηοω νετωορκσ οφ νευρονσ ιντεραχτ. Ονε ισσυε τηατ ηασ ρεχειϖεδ χονσιδεραβλε αττεντιον ισ τηε δεγρεε οφ ϖαριαβιλιτψ ιν τηε ⇒ρινγ ουτπυτ οφ ιντεγρατε−ανδ−⇒ρε νευρονσ ρεχειϖινγ σψναπτιχ ινπυτ. Τηισ ωορκ ηασ λεδ το τηε ρεαλιζατιον τηατ νευρονσ χαν ρεσπονδ το µυλτι− πλε σψναπτιχ ινπυτσ ιν τωο διφφερεντ µοδεσ οφ οπερατιον δεπενδινγ ον τηε βαλανχε τηατ εξιστσ βετωεεν εξχιτατορψ ανδ ινηιβιτορψ χοντριβυτιονσ. Τηε τωο µοδεσ οφ οπερατιον αρε ιλλυστρατεδ ιν ⇒γυρε 5.21, ωηιχη σηοωσ µεµβρανε ποτεντιαλσ οφ αν ιντεγρατε−ανδ−⇒ρε µοδελ νευρον ρεσπονδινγ το 1000 εξχιτατορψ ανδ 200 ινηιβιτορψ ινπυτσ. Εαχη ινπυτ χονσιστσ οφ αν ινδε− πενδεντ Ποισσον σπικε τραιν δριϖινγ α σψναπτιχ χονδυχτανχε. Τηε υππερ πανελσ οφ ⇒γυρε 5.21 σηοω τηε µεµβρανε ποτεντιαλ ωιτη τηε αχτιον πο− τεντιαλ γενερατιον µεχηανισµ οφ τηε µοδελ τυρνεδ οφφ, ανδ ⇒γυρεσ 5.21Α ανδ 5.21Β ιλλυστρατε τηε τωο διφφερεντ µοδεσ οφ οπερατιον. Ιν ⇒γυρε 5.21Α, τηε εφφεχτ οφ τηε εξχιτατορψ ινπυτσ ισ στρονγ ενουγη, ρελατιϖε το τηατ οφ τηε ινηιβιτορψ ινπυτσ, το µακε τηε αϖεραγε µεµβρανε ποτεντιαλ, ωηεν αχτιον

190

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ς (µς)

A

B -50 -52 -54 -56 -58

-50 -52 -54 -56 -58

ς (µς)

250

500

750

1000

-10

-10

-30

-30

-50

-50

250

500

750

1000

250

500

750

1000

-70

-70 250

500

τ (µσ)

750

1000

τ (µσ)

Φιγυρε 5.21 Τηε ρεγυλαρ ανδ ιρρεγυλαρ ⇒ρινγ µοδεσ οφ αν ιντεγρατε−ανδ−⇒ρε µοδελ νευρον. (Α) Τηε ρεγυλαρ ⇒ρινγ µοδε. Υππερ πανελ: Τηε µεµβρανε ποτεντιαλ οφ τηε µοδελ νευρον ωηεν τηε σπικε γενερατιον µεχηανισµ ισ τυρνεδ οφφ. Τηε αϖεραγε µεµβρανε ποτεντιαλ ισ αβοϖε τηε σπικινγ τηρεσηολδ (δασηεδ λινε). Λοωερ πανελ: Ωηεν τηε σπικε γενερατιον µεχηανισµ ισ τυρνεδ ον, ιτ προδυχεσ α ρεγυλαρ σπικινγ παττερν. (Β) Τηε ιρρεγυλαρ ⇒ρινγ µοδε. Υππερ πανελ: Τηε µεµβρανε ποτεντιαλ οφ τηε µοδελ νευρον ωηεν τηε σπικε γενερατιον µεχηανισµ ισ τυρνεδ οφφ. Τηε αϖεραγε µεµβρανε ποτεντιαλ ισ βελοω τηε σπικινγ τηρεσηολδ (δασηεδ λινε). Λοωερ πανελ: Ωηεν τηε σπικε γενερατιον µεχηανισµ ισ τυρνεδ ον, ιτ προδυχεσ αν ιρρεγυλαρ σπικινγ παττερν. Ιν ορδερ το κεεπ τηε ⇒ρινγ ρατεσ φροµ διφφερινγ τοο γρεατλψ βετωεεν τηεσε τωο εξαµπλεσ, τηε ϖαλυε οφ τηε ρεσετ ϖολταγε ισ ηιγηερ ιν Β τηαν ιν Α.

ποτεντιαλ γενερατιον ισ βλοχκεδ, µορε δεπολαριζεδ τηαν τηε σπικινγ τηρεση− ολδ οφ τηε µοδελ (τηε δασηεδ λινε ιν τηε ⇒γυρε). Ωηεν τηε αχτιον ποτεν− τιαλ µεχηανισµ ισ τυρνεδ ον (λοωερ πανελ οφ ⇒γυρε 5.21Α), τηισ προδυχεσ α φαιρλψ ρεγυλαρ παττερν οφ αχτιον ποτεντιαλσ. Τηε ιρρεγυλαριτψ οφ α σπικε τραιν χαν βε θυαντι⇒εδ υσινγ τηε χοεφ⇒χιεντ οφ ϖαριατιον (Χς ), τηε ρατιο οφ τηε στανδαρδ δεϖιατιον το τηε µεαν οφ τηε ιν− τερσπικε ιντερϖαλσ (σεε χηαπτερ 1). Φορ τηε Ποισσον ινπυτσ βεινγ υσεδ ιν τηισ εξαµπλε, Χς = 1, ωηιλε φορ τηε σπικε τραιν ιν τηε λοωερ πανελ οφ ⇒γ− υρε 5.21Α, Χς = 0.3. Τηυσ, τηε ουτπυτ σπικε τραιν ισ µυχη µορε ρεγυλαρ τηαν τηε ινπυτ τραινσ. Τηισ ισ νοτ συρπρισινγ, βεχαυσε τηε µοδελ νευρον εφφεχτιϖελψ αϖεραγεσ ιτσ µανψ σψναπτιχ ινπυτσ. Ιν τηε ρεγυλαρ ⇒ρινγ µοδε, τηε τοταλ σψναπτιχ ινπυτ αττεµπτσ το χηαργε τηε νευρον αβοϖε τηε τηρεση− ολδ, βυτ εϖερψ τιµε τηε ποτεντιαλ ρεαχηεσ τηε τηρεσηολδ, ιτ γετσ ρεσετ ανδ σταρτσ χηαργινγ αγαιν. Ιν τηισ µοδε οφ οπερατιον, τηε τιµινγ οφ τηε αχτιον ποτεντιαλσ ισ δετερµινεδ πριµαριλψ βψ τηε χηαργινγ ρατε οφ τηε χελλ, ωηιχη ισ χοντρολλεδ βψ ιτσ µεµβρανε τιµε χονσταντ. Φιγυρε 5.21Β σηοωσ τηε οτηερ µοδε οφ οπερατιον τηατ προδυχεσ αν ιρρεγ− υλαρ ⇒ρινγ παττερν. Ιν τηε ιρρεγυλαρ ⇒ρινγ µοδε, τηε αϖεραγε µεµβρανε ποτεντιαλ ισ µορε ηψπερπολαριζεδ τηαν τηε τηρεσηολδ φορ αχτιον ποτεντιαλ γενερατιον (υππερ πανελ οφ ⇒γυρε 5.21Β). Αχτιον ποτεντιαλσ αρε γενερατεδ

5.10

Χηαπτερ Συµµαρψ

191

ονλψ ωηεν τηερε ισ α ⇓υχτυατιον ιν τηε τοταλ σψναπτιχ ινπυτ στρονγ ενουγη το µακε τηε µεµβρανε ποτεντιαλ ρεαχη τηε τηρεσηολδ. Τηισ προδυχεσ αν ιρρεγυλαρ σπικε τραιν, συχη ασ τηατ σεεν ιν τηε λοωερ πανελ οφ ⇒γυρε 5.21Β, ωηιχη ηασ α Χς ϖαλυε οφ 0.84. Τηε ηιγη δεγρεε οφ ϖαριαβιλιτψ σεεν ιν τηε σπικινγ παττερνσ οφ ιν ϖιϖο ρεχορδινγσ οφ χορτιχαλ νευρονσ (σεε χηαπτερ 1) συγγεστσ τηατ τηεψ αρε βεττερ αππροξιµατεδ βψ αν ιντεγρατε−ανδ−⇒ρε µοδελ οπερατινγ ιν αν ιρρεγυλαρ− ⇒ρινγ µοδε. Τηερε αρε αδϖανταγεσ το οπερατινγ ιν τηε ιρρεγυλαρ−⇒ρινγ µοδε τηατ µαψ χοµπενσατε φορ ιτσ ινχρεασεδ ϖαριαβιλιτψ. Ονε ισ τηατ νευ− ρονσ ⇒ρινγ ιν τηε ιρρεγυλαρ µοδε ρε⇓εχτ ιν τηειρ ουτπυτσ τηε τεµποραλ προπ− ερτιεσ οφ ⇓υχτυατιονσ ιν τηειρ τοταλ σψναπτιχ ινπυτ. Ιν τηε ρεγυλαρ ⇒ρινγ µοδε, τηε τιµινγ οφ ουτπυτ σπικεσ ισ ονλψ ωεακλψ ρελατεδ το τηε τεµποραλ χηαραχτερ οφ τηε ινπυτ σπικε τραινσ. Ιν αδδιτιον, νευρονσ οπερατινγ ιν τηε ιρρεγυλαρ ⇒ρινγ µοδε χαν ρεσπονδ µορε θυιχκλψ το χηανγεσ ιν πρεσψναπτιχ σπικινγ παττερνσ ανδ ⇒ρινγ ρατεσ τηαν τηοσε οπερατινγ ιν τηε ρεγυλαρ ⇒ρινγ µοδε.

5.10

Χηαπτερ Συµµαρψ

Ιν τηισ χηαπτερ, ωε χονσιδερεδ τηε βασιχ ελεχτριχαλ προπερτιεσ οφ νευρονσ, ινχλυδινγ τηειρ ιντραχελλυλαρ ανδ µεµβρανε ρεσιστανχεσ, χαπαχιτανχεσ, ανδ αχτιϖε ϖολταγε−δεπενδεντ ανδ σψναπτιχ χονδυχτανχεσ. Ωε ιντροδυχεδ τηε Νερνστ εθυατιον φορ εθυιλιβριυµ ποτεντιαλσ ανδ τηε φορµαλισµ οφ Ηοδγκιν ανδ Ηυξλεψ φορ δεσχριβινγ περσιστεντ, τρανσιεντ, ανδ ηψπερπολαριζατιον− αχτιϖατεδ χονδυχτανχεσ. Μετηοδσ ωερε ιντροδυχεδ φορ µοδελινγ στοχηασ− τιχ χηαννελ οπενινγ ανδ στοχηαστιχ σψναπτιχ τρανσµισσιον, ινχλυδινγ τηε εφφεχτσ οφ σψναπτιχ φαχιλιτατιον ανδ δεπρεσσιον. Ωε δισχυσσεδ α νυµβερ οφ ωαψσ οφ δεσχριβινγ σψναπτιχ χονδυχτανχεσ φολλοωινγ τηε ρελεασε οφ α νευρο− τρανσµιττερ. Τωο µοδελσ οφ αχτιον ποτεντιαλ γενερατιον ωερε δισχυσσεδ, τηε σιµπλε ιντεγρατε−ανδ−⇒ρε σχηεµε ανδ τηε µορε ρεαλιστιχ Ηοδγκιν−Ηυξλεψ µοδελ.

5.11

Αππενδιχεσ

Α: Ιντεγρατινγ τηε Μεµβρανε Ποτεντιαλ Ωε βεγιν βψ χονσιδερινγ τηε νυµεριχαλ ιντεγρατιον οφ εθυατιον 5.8. Ιτ ισ χονϖενιεντ το ρεωριτε τηισ εθυατιον ιν τηε φορµ δς = ς∞ − ς , (5.46) δτ ωηερε τς = τµ ανδ ς∞ = ΕΛ + Ρµ Ιε . Ωηεν τηε ελεχτροδε χυρρεντ Ιε ισ ινδεπενδεντ οφ τιµε, τηε σολυτιον οφ τηισ εθυατιον ισ

τς

ς (τ ) = ς∞ + (ς (τ0 ) − ς∞ ) εξπ(−(τ − τ0 )/τς ) ,

(5.47)

192

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

ωηερε τ0 ισ ανψ τιµε πριορ το τ ανδ ς (τ0 ) ισ τηε ϖαλυε οφ ς ατ τιµε τ0 . Εθυα− τιον 5.9 ισ α σπεχιαλ χασε οφ τηισ ρεσυλτ ωιτη τ0 = 0. Ιφ Ιε δεπενδσ ον τιµε, τηε σολυτιον 5.47 ισ νοτ ϖαλιδ. Αν αναλψτιχ σολυτιον χαν στιλλ βε ωριττεν δοων ιν τηισ χασε, βυτ ιτ ισ νοτ παρτιχυλαρλψ υσεφυλ εξχεπτ ιν σπεχιαλ χασεσ. Οϖερ α σµαλλ ενουγη τιµε περιοδ %τ, ωε χαν αππροξιµατε Ιε (τ ) ασ χονσταντ ανδ υσε τηε σολυτιον 5.47 το στεπ φροµ α τιµε τ το τ + %τ. Τηισ ρεθυιρεσ ρεπλαχινγ τηε ϖαριαβλε τ0 ιν εθυατιον 5.47 ωιτη τ, ανδ τ ωιτη τ + %τ, σο τηατ ς (τ + %τ ) = ς∞ + (ς (τ ) − ς∞ ) εξπ(−%τ/τς ) .

(5.48)

Τηισ εθυατιον προϖιδεσ αν υπδατινγ ρυλε φορ τηε νυµεριχαλ ιντεγρατιον οφ εθυατιον 5.46. Προϖιδεδ τηατ %τ ισ συφ⇒χιεντλψ σµαλλ, ρεπεατεδ αππλιχατιον οφ τηε υπδατε ρυλε 5.48 προϖιδεσ αν αχχυρατε ωαψ οφ δετερµινινγ τηε µεµ− βρανε ποτεντιαλ. Φυρτηερµορε, τηισ µετηοδ ισ σταβλε βεχαυσε ιφ %τ ισ τοο λαργε, ιτ ωιλλ ονλψ µοϖε ς τοωαρδ ς∞ ανδ νοτ, φορ εξαµπλε, µακε ιτ γροω ωιτηουτ βουνδ. Τηε εθυατιον φορ α γενεραλ σινγλε−χοµπαρτµεντ χονδυχτανχε−βασεδ µοδελ, εθυατιον 5.6 ωιτη 5.5, χαν βε ωριττεν ιν τηε σαµε φορµ ασ εθυατιον 5.46 ωιτη / γι Ει + Ιε / Α ς∞ = ι / (5.49) ι γι ανδ

χµ τς = / . ι γι

(5.50)

Νοτε τηατ ιφ χµ ισ ιν υνιτσ οφ νΦ/µµ2 ανδ τηε χονδυχτανχεσ αρε ιν τηε υνιτσ µΣ/µµ2 , τς χοµεσ ουτ ιν µσ υνιτσ. Σιµιλαρλψ, ιφ τηε ρεϖερσαλ ποτεντιαλσ αρε γιϖεν ιν υνιτσ οφ µς, Ιε ισ ιν νΑ, ανδ Α ισ ιν µµ2 , ς∞ ωιλλ βε ιν µς υνιτσ. Ιφ ωε τακε τηε τιµε ιντερϖαλ %τ το βε σµαλλ ενουγη σο τηατ τηε γατινγ ϖαρι− αβλεσ χαν βε αππροξιµατεδ ασ χονσταντ δυρινγ τηισ περιοδ, τηε µεµβρανε ποτεντιαλ χαν αγαιν βε ιντεγρατεδ οϖερ ονε τιµε στεπ, υσινγ εθυατιον 5.48. Οφ χουρσε, τηε γατινγ ϖαριαβλεσ αρε νοτ ⇒ξεδ, σο ονχε ς ηασ βεεν υπδατεδ βψ τηισ ρυλε, τηε γατινγ ϖαριαβλεσ µυστ βε υπδατεδ ασ ωελλ.

Β: Ιντεγρατινγ τηε Γατινγ ςαριαβλεσ Αλλ τηε γατινγ ϖαριαβλεσ ιν α χονδυχτανχε−βασεδ µοδελ σατισφψ εθυατιονσ οφ τηε σαµε φορµ,

τζ

δζ = ζ∞ − ζ , δτ

(5.51)

ωηερε ωε υσε ζ το δενοτε α γενεριχ ϖαριαβλε. Νοτε τηατ τηισ εθυατιον ηασ τηε σαµε φορµ ασ εθυατιον 5.46, ανδ ιτ χαν βε ιντεγρατεδ ιν εξαχτλψ τηε σαµε ωαψ. Ωε ασσυµε τηατ %τ ισ συφ⇒χιεντλψ σµαλλ σο τηατ ς δοεσ νοτ χηανγε απ− πρεχιαβλψ οϖερ τηισ τιµε ιντερϖαλ (ανδ σιµιλαρλψ [Χα2+ ] ισ αππροξιµατεδ ασ

5.12

Αννοτατεδ Βιβλιογραπηψ

193

χονσταντ οϖερ τηισ ιντερϖαλ ιφ ανψ οφ τηε χονδυχτανχεσ αρε Χα2+ −δεπενδεντ). Τηεν, τζ ανδ ζ∞ , ωηιχη αρε φυνχτιονσ οφ ς (ανδ ποσσιβλψ [Χα2+ ]) χαν βε τρεατεδ ασ χονσταντσ οϖερ τηισ περιοδ ανδ ζ χαν βε υπδατεδ βψ α ρυλε ιδεν− τιχαλ το 5.48, ζ (τ + %τ ) = ζ∞ + ( ζ (τ ) − ζ∞ ) εξπ(−%τ/τζ ).

(5.52)

Αν εφ⇒χιεντ ιντεγρατιον σχηεµε φορ χονδυχτανχε−βασεδ µοδελσ ισ το αλτερ− νατε υσινγ ρυλε (5.48) το υπδατε τηε µεµβρανε ποτεντιαλ ανδ ρυλε (5.52) το υπδατε αλλ τηε γατινγ ϖαριαβλεσ. Ιτ ισ ιµπορταντ το αλτερνατε τηε υπδατ− ινγ οφ ς ωιτη τηατ οφ τηε γατινγ ϖαριαβλεσ, ρατηερ τηαν δοινγ τηεµ αλλ σι− µυλτανεουσλψ, ασ τηισ κεεπσ τηε µετηοδ αχχυρατε το σεχονδ ορδερ ιν %τ. Ιφ Χα2+ −δεπενδεντ χονδυχτανχεσ αρε ινχλυδεδ, τηε ιντραχελλυλαρ Χα2+ χονχεν− τρατιον σηουλδ βε χοµπυτεδ σιµυλτανεουσλψ ωιτη τηε µεµβρανε ποτεντιαλ. Βψ αλτερνατινγ τηε υπδατινγ, ωε µεαν τηατ τηε µεµβρανε ποτεντιαλ ισ χοµ− πυτεδ ατ τιµεσ 0, %τ, 2%τ, . . . , ωηιλε τηε γατινγ ϖαριαβλεσ αρε χοµπυτεδ ατ τιµεσ %τ/2, 3%τ/2, 5%τ/2, . . . . Α δισχυσσιον οφ τηε σεχονδ−ορδερ αχχυραχψ οφ τηισ σχηεµε ισ γιϖεν ιν Μασχαγνι ανδ Σηερµαν (1998).

5.12

Αννοτατεδ Βιβλιογραπηψ

ϑαχκ ετ αλ. (1975), Τυχκωελλ (1988), ϑοηνστον & Ωυ (1995), Κοχη & Σεγεϖ (1998), ανδ Κοχη (1998) χοϖερ µυχη οφ τηε µατεριαλ ιν τηισ χηαπτερ ανδ ιν χηαπτερ 6. Ηιλλε (1992) προϖιδεσ α χοµπρεηενσιϖε τρεατµεντ οφ ιον χηαν− νελσ. Ηοδγκιν & Ηυξλεψ (1952) πρεσεντσ τηε χλασσιχ βιοπηψσιχαλ µοδελ οφ τηε αχτιον ποτεντιαλ, ανδ Σακµανν & Νεηερ (1983) δεσχριβεσ πατχη χλαµπ ρεχορδινγ τεχηνιθυεσ αλλοωινγ σινγλε χηαννελσ το βε στυδιεδ ελεχτροπηψσι− ολογιχαλλψ. Τηε ιντεγρατε−ανδ−⇒ρε µοδελ ωασ ιντροδυχεδ βψ Λαπιχθυε (1907). ∆εσ− τεξηε ετ αλ. (1994) δεσχριβεσ κινετιχ µοδελσ οφ βοτη ιον χηαννελσ ανδ σηορτ− τερµ ποστσψναπτιχ εφφεχτσ ατ σψναπσεσ. Μαροµ & Αββοττ (1994) σηοωσ ηοω τηε Να+ χηαννελ µοδελ οφ Πατλακ (1991) χαν βε ρεχονχιλεδ ωιτη τψπι− χαλ µαχροσχοπιχ χονδυχτανχε µοδελσ. Φορ α ρεϖιεω οφ τηε σπικε−ρεσπονσε µοδελ, τηε ιντεγρατεδ ϖερσιον οφ τηε ιντεγρατε−ανδ−⇒ρε µοδελ, σεε Γερστ− νερ (1998). Ωανγ (1994) αναλψζεσ α σπικε−ρατε αδαπτατιον µοδελ σιµιλαρ το τηε ονε ωε πρεσεντεδ, ανδ Στεϖενσ & Ζαδορ (1998) ιντροδυχεσ αν ιντεγρατε− ανδ−⇒ρε µοδελ ωιτη τιµε−δεπενδεντ παραµετερσ. Τηε δψναµιχ ασπεχτσ οφ σψναπτιχ τρανσµισσιον αρε ρεϖιεωεδ ιν Μαγλεβψ (1987) ανδ Ζυχκερ (1989). Ουρ πρεσεντατιον φολλοωεδ Αββοττ ετ αλ. (1997), ςαρελα ετ αλ. (1997), ανδ Τσοδψκσ & Μαρκραµ (1997). Φορ αδδιτιοναλ ιµ− πλιχατιονσ οφ σηορτ−τερµ σψναπτιχ πλαστιχιτψ φορ χορτιχαλ προχεσσινγ, σεε Λισ− µαν (1997) ανδ Χηανχε ετ αλ. (1998). Ωανγ & Ρινζελ (1992) νοτεσ τηατ ιν− ηιβιτορψ σψναπσεσ χαν σψνχηρονιζε χουπλεδ χελλσ, ανδ ιν ουρ δισχυσσιον ωε φολλοωεδ τηε τρεατµεντ ιν ϖαν ςρεεσωιϕκ ετ αλ. (1994). Ουρ αναλψσισ οφ τηε ρεγυλαρ ανδ ιρρεγυλαρ ⇒ρινγ µοδε ρεγιµεσ οφ ιντεγρατε−ανδ−⇒ρε χελλσ ωασ

194

Μοδελ Νευρονσ Ι: Νευροελεχτρονιχσ

βασεδ ον Τροψερ & Μιλλερ (1997). Νυµεριχαλ µετηοδσ φορ ιντεγρατινγ τηε εθυατιονσ οφ νευρον µοδελσ αρε δισχυσσεδ ιν Μασχαγνι & Σηερµαν (1998).

6

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

6.1

Λεϖελσ οφ Νευρον Μοδελινγ

Ιν µοδελινγ νευρονσ, ωε µυστ δεαλ ωιτη τωο τψπεσ οφ χοµπλεξιτψ: τηε ιντριχατε ιντερπλαψ οφ αχτιϖε χονδυχτανχεσ τηατ µακεσ νευροναλ δψναµιχσ σο ριχη ανδ ιντερεστινγ, ανδ τηε ελαβορατε µορπηολογψ τηατ αλλοωσ νευ− ρονσ το ρεχειϖε ανδ ιντεγρατε ινπυτσ φροµ σο µανψ οτηερ νευρονσ. Τηε ⇒ρστ παρτ οφ τηισ χηαπτερ εξτενδσ τηε µατεριαλ πρεσεντεδ ιν χηαπτερ 5 βψ εξαµινινγ σινγλε−χοµπαρτµεντ µοδελσ ωιτη α ωιδερ ϖαριετψ οφ ϖολταγε− δεπενδεντ χονδυχτανχεσ, ανδ ηενχε α ωιδερ ρανγε οφ δψναµιχ βεηαϖιορσ, τηαν τηε Ηοδγκιν−Ηυξλεψ µοδελ. Ιν τηε σεχονδ παρτ οφ τηε χηαπτερ, ωε ιν− τροδυχε µετηοδσ υσεδ το στυδψ τηε εφφεχτσ οφ µορπηολογψ ον τηε ελεχτριχαλ χηαραχτεριστιχσ οφ νευρονσ. Αν αναλψτιχ αππροαχη κνοων ασ χαβλε τηεορψ ισ πρεσεντεδ ⇒ρστ, φολλοωεδ βψ α δισχυσσιον οφ µυλτι−χοµπαρτµεντ µοδελσ τηατ περµιτ νυµεριχαλ σιµυλατιον οφ χοµπλεξ νευροναλ στρυχτυρεσ. Μοδελ νευρονσ ρανγε φροµ γρεατλψ σιµπλι⇒εδ χαριχατυρεσ το ηιγηλψ δε− ταιλεδ δεσχριπτιονσ ινϖολϖινγ τηουσανδσ οφ διφφερεντιαλ εθυατιονσ. Χηοοσ− ινγ τηε µοστ αππροπριατε λεϖελ οφ µοδελινγ φορ α γιϖεν ρεσεαρχη προβλεµ ρεθυιρεσ α χαρεφυλ ασσεσσµεντ οφ τηε εξπεριµενταλ ινφορµατιον αϖαιλαβλε ανδ α χλεαρ υνδερστανδινγ οφ τηε ρεσεαρχη γοαλσ. Οϖερσιµπλι⇒εδ µοδ− ελσ χαν, οφ χουρσε, γιϖε µισλεαδινγ ρεσυλτσ, βυτ εξχεσσιϖελψ δεταιλεδ µοδ− ελσ χαν οβσχυρε ιντερεστινγ ρεσυλτσ βενεατη ινεσσεντιαλ ανδ υνχονστραινεδ χοµπλεξιτψ.

6.2

Χονδυχτανχε−Βασεδ Μοδελσ

Τηε ελεχτριχαλ προπερτιεσ οφ νευρονσ αρισε φροµ µεµβρανε χονδυχτανχεσ ωιτη α ωιδε ϖαριετψ οφ προπερτιεσ. Τηε βασιχ φορµαλισµ δεϖελοπεδ βψ Ηοδγκιν ανδ Ηυξλεψ το δεσχριβε τηε Να+ ανδ Κ+ χονδυχτανχεσ ρεσπον− σιβλε φορ γενερατινγ αχτιον ποτεντιαλσ (δισχυσσεδ ιν χηαπτερ 5) ισ αλσο υσεδ το ρεπρεσεντ µοστ οφ τηε αδδιτιοναλ χονδυχτανχεσ ενχουντερεδ ιν νευρον µοδελινγ. Μοδελσ τηατ τρεατ τηεσε ασπεχτσ οφ ιονιχ χονδυχτανχεσ, κνοων ασ

196

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

χονδυχτανχε−βασεδ µοδελσ, χαν ρεπροδυχε τηε ριχη ανδ χοµπλεξ δψναµ− ιχσ οφ ρεαλ νευρονσ θυιτε αχχυρατελψ. Ιν τηισ χηαπτερ, ωε δισχυσσ βοτη σινγλε− ανδ µυλτι−χοµπαρτµεντ χονδυχτανχε−βασεδ µοδελσ, βεγιννινγ ωιτη τηε σινγλε−χοµπαρτµεντ χασε. Το ρεϖιεω φροµ χηαπτερ 5, τηε µεµβρανε ποτεντιαλ οφ α σινγλε−χοµπαρτ− µεµβρανε ποτεντιαλ µεντ νευρον µοδελ, ς, ισ δετερµινεδ βψ ιντεγρατινγ τηε εθυατιον εθυατιον δς Ιε χµ = −ι µ + , (6.1) δτ Α

γατινγ εθυατιονσ

ωιτη Ιε τηε ελεχτροδε χυρρεντ, Α τηε µεµβρανε συρφαχε αρεα οφ τηε χελλ, ανδ ιµ τηε µεµβρανε χυρρεντ. Ιν τηε φολλοωινγ συβσεχτιονσ, ωε πρεσεντ εξ− πρεσσιονσ φορ τηε µεµβρανε χυρρεντ ιν τερµσ οφ τηε ρεϖερσαλ ποτεντιαλσ, µαξιµαλ χονδυχτανχε παραµετερσ, ανδ γατινγ ϖαριαβλεσ οφ τηε διφφερεντ χονδυχτανχεσ οφ τηε µοδελσ βεινγ χονσιδερεδ. Τηε γατινγ ϖαριαβλεσ ανδ ς χοµπρισε τηε δψναµιχ ϖαριαβλεσ οφ τηε µοδελ. Αλλ τηε γατινγ ϖαριαβλεσ αρε δετερµινεδ βψ εθυατιονσ οφ τηε φορµ

τζ (ς )

δζ = ζ∞ ( ς ) − ζ , δτ

(6.2)

ωηερε ζ δενοτεσ α γενεριχ γατινγ ϖαριαβλε. Τηε φυνχτιονσ τζ (ς ) ανδ ζ∞ (ς ) αρε δετερµινεδ φροµ εξπεριµενταλ δατα. Φορ σοµε χονδυχτανχεσ, τηεσε αρε ωριττεν ιν τερµσ οφ τηε οπενινγ ανδ χλοσινγ ρατεσ αζ (ς ) ανδ βζ (ς ) (σεε χηαπτερ 5), ασ

τζ (ς ) =

1 αζ (ς ) + βζ (ς )

ανδ

ζ∞ ( ς ) =

αζ (ς ) . αζ (ς ) + βζ (ς )

(6.3)

Ωε ηαϖε ωριττεν τζ (ς ) ανδ ζ∞ (ς ) ασ φυνχτιονσ οφ τηε µεµβρανε ποτεντιαλ, βυτ φορ Χα2+ −δεπενδεντ χυρρεντσ τηεψ αλσο δεπενδ ον τηε ιντερναλ Χα2+ χονχεντρατιον. Ωε χαλλ αζ (ς ), βζ (ς ), τζ (ς ), ανδ ζ∞ (ς ) γατινγ φυνχτιονσ. Α µετηοδ φορ νυµεριχαλλψ ιντεγρατινγ εθυατιονσ 6.1 ανδ 6.2 ισ δεσχριβεδ ιν τηε αππενδιχεσ οφ χηαπτερ 5. Ιν τηε φολλοωινγ συβσεχτιονσ, σοµε βασιχ φεατυρεσ οφ χονδυχτανχε−βασεδ µοδελσ αρε πρεσεντεδ ιν α σεθυενχε οφ εξαµπλεσ οφ ινχρεασινγ χοµπλεξιτψ. Ωε δο τηισ το ιλλυστρατε τηε εφφεχτσ οφ ϖαριουσ χονδυχτανχεσ ανδ χοµβινα− τιονσ οφ χονδυχτανχεσ ον νευροναλ αχτιϖιτψ. ∆ιφφερεντ χελλσ (ανδ εϖεν τηε σαµε χελλ ηελδ ατ διφφερεντ ρεστινγ ποτεντιαλσ) χαν ηαϖε θυιτε διφφερεντ ρε− σπονσε προπερτιεσ δυε το τηειρ παρτιχυλαρ χοµβινατιονσ οφ χονδυχτανχεσ. Ρεσεαρχη ον χονδυχτανχε−βασεδ µοδελσ φοχυσεσ ον υνδερστανδινγ ηοω νευροναλ ρεσπονσε δψναµιχσ αρισεσ φροµ τηε προπερτιεσ οφ µεµβρανε ανδ σψναπτιχ χονδυχτανχεσ, ανδ ηοω τηε χηαραχτεριστιχσ οφ διφφερεντ νευρονσ ιντεραχτ ωηεν τηεψ αρε χουπλεδ ιν νετωορκσ.

Τηε Χοννορ−Στεϖενσ Μοδελ Τηε Ηοδγκιν−Ηυξλεψ µοδελ οφ αχτιον−ποτεντιαλ γενερατιον, δισχυσσεδ ιν χηαπτερ 5, ωασ δεϖελοπεδ ον τηε βασισ οφ δατα φροµ τηε γιαντ αξον οφ τηε

6.2

Χονδυχτανχε−Βασεδ Μοδελσ

197

σθυιδ, ανδ ωε πρεσεντ α µυλτι−χοµπαρτµεντ σιµυλατιον οφ αχτιον−ποτεντιαλ προπαγατιον υσινγ τηισ µοδελ ιν α λατερ σεχτιον. Τηε Χοννορ−Στεϖενσ µοδελ (Χοννορ ανδ Στεϖενσ, 1971; Χοννορ ετ αλ. 1977) προϖιδεσ αν αλτερνα− τιϖε δεσχριπτιον οφ αχτιον−ποτεντιαλ γενερατιον. Λικε τηε Ηοδγκιν−Ηυξλεψ µοδελ, ιτ χονταινσ φαστ Να+ , δελαψεδ−ρεχτι⇒ερ Κ+ , ανδ λεακαγε χονδυχ− τανχεσ. Τηε φαστ Να+ ανδ δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχεσ ηαϖε προπ− ερτιεσ σοµεωηατ διφφερεντ φροµ τηοσε οφ τηε Ηοδγκιν−Ηυξλεψ µοδελ, ιν παρτιχυλαρ φαστερ κινετιχσ, σο τηε αχτιον ποτεντιαλσ αρε βριεφερ. Ιν αδδιτιον, τηε Χοννορ−Στεϖενσ µοδελ χονταινσ αν εξτρα Κ+ χονδυχτανχε, χαλλεδ τηε Α−χυρρεντ, τηατ ισ τρανσιεντ. Κ+ χονδυχτανχεσ χοµε ιν ωιδε ϖαριετψ οφ διφ− φερεντ φορµσ, ανδ τηε Χοννορ−Στεϖενσ µοδελ ινϖολϖεσ τωο οφ τηεµ. Τηε µεµβρανε χυρρεντ ιν τηε Χοννορ−Στεϖενσ µοδελ ισ ιµ = γ Λ (ς − ΕΛ ) + γΝα µ3 η (ς − ΕΝα ) + γ Κ ν4 (ς − ΕΚ ) + γΑ α3 β (ς − ΕΑ ) , (6.4) ωηερε γΛ = 0.003 µΣ/µµ2 ανδ ΕΛ = −17 µς αρε τηε µαξιµαλ χονδυχτανχε ανδ ρεϖερσαλ ποτεντιαλ φορ τηε λεακ χονδυχτανχε; ανδ γΝα = 1.2 µΣ/µµ2 , γΚ = 0.2 µΣ/µµ2 , γΑ = 0.477 µΣ/µµ2 , ΕΝα = 55 µς, ΕΚ = −72 µς, ανδ ΕΑ = −75 µς (αλτηουγη τηε Α−χυρρεντ ισ χαρριεδ βψ Κ+ , τηε µοδελ δοεσ νοτ ρεθυιρε ΕΑ = ΕΚ ). Τηε γατινγ ϖαριαβλεσ, µ, η, ν, α, ανδ β, αρε δετερµινεδ βψ εθυατιονσ οφ τηε φορµ 6.2 ωιτη τηε γατινγ φυνχτιονσ γιϖεν ιν αππενδιξ Α. Τηε φαστ Να+ ανδ δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχεσ γενερατε αχτιον πο− τεντιαλσ ιν τηε Χοννορ−Στεϖενσ µοδελ ϕυστ ασ τηεψ δο ιν τηε Ηοδγκιν− Ηυξλεψ µοδελ (σεε χηαπτερ 5). Ωηατ ισ τηε ρολε οφ τηε αδδιτιοναλ Α−χυρρεντ? Φιγυρε 6.1 ιλλυστρατεσ αχτιον−ποτεντιαλ γενερατιον ιν τηε Χοννορ−Στεϖενσ µοδελ. Ιν τηε αβσενχε οφ αν ινϕεχτεδ ελεχτροδε χυρρεντ ορ σψναπτιχ ινπυτ, τηε µεµβρανε ποτεντιαλ οφ τηε µοδελ ρεµαινσ χονσταντ ατ α ρεστινγ ϖαλυε οφ −68 µς. Φορ α χονσταντ ελεχτροδε χυρρεντ γρεατερ τηαν α τηρεσηολδ ϖαλυε, τηε µοδελ νευρον γενερατεσ αχτιον ποτεντιαλσ. Φιγυρε 6.1Α σηοωσ ηοω τηε ⇒ρινγ ρατε οφ τηε µοδελ δεπενδσ ον τηε µαγνιτυδε οφ τηε ελεχτροδε χυρρεντ ρελατιϖε το τηε τηρεσηολδ ϖαλυε. Τηε ⇒ρινγ ρατε ρισεσ χοντινυουσλψ φροµ ζερο ανδ τηεν ινχρεασεσ ρουγηλψ λινεαρλψ φορ χυρρεντσ οϖερ τηε ρανγε σηοων. Φιγυρε 6.1Β σηοωσ αν εξαµπλε οφ αχτιον−ποτεντιαλ γενερατιον φορ ονε παρτιχυλαρ ϖαλυε οφ τηε ελεχτροδε χυρρεντ. Φιγυρε 6.1Χ σηοωσ τηε ⇒ρινγ ρατε ασ α φυνχτιον οφ ελεχτροδε χυρρεντ φορ τηε Χοννορ−Στεϖενσ µοδελ ωιτη τηε µαξιµαλ χονδυχτανχε οφ τηε Α−χυρρεντ σετ το 0. Τηε λεακαγε χονδυχτανχε ανδ ρεϖερσαλ ποτεντιαλ ηαϖε βεεν αδϕυστεδ το κεεπ τηε ρεστινγ ποτεντιαλ ανδ µεµβρανε ρεσιστανχε τηε σαµε ασ ιν τηε οριγιναλ µοδελ. Τηε ⇒ρινγ ρατε ισ χλεαρλψ µυχη ηιγηερ ωιτη τηε Α−χυρρεντ τυρνεδ οφφ. Τηισ ισ βεχαυσε τηε δειναχτιϖατιον ρατε οφ τηε Α−χυρρεντ λιµιτσ τηε ρισε τιµε οφ τηε µεµβρανε ποτεντιαλ βετωεεν αχτιον ποτεντιαλσ. Ιν αδδι− τιον, τηε τρανσιτιον φροµ νο ⇒ρινγ φορ χυρρεντσ λεσσ τηαν τηε τηρεσηολδ ϖαλυε το ⇒ρινγ ωιτη συπρατηρεσηολδ χυρρεντσ ισ διφφερεντ ωηεν τηε Α−χυρρεντ ισ ελιµινατεδ. Ωιτηουτ τηε Α−χυρρεντ, τηε ⇒ρινγ ρατε ϕυµπσ δισχοντινυουσλψ το α νονζερο ϖαλυε ρατηερ τηαν ρισινγ χοντινυουσλψ. Νευρονσ ωιτη ⇒ρινγ ρατεσ τηατ ρισε χοντινυουσλψ φροµ 0 ασ α φυνχτιον οφ ελεχτροδε χυρρεντ αρε

Α−τψπε ποτασσιυµ χυρρεντ

198

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ B 60

40

40

ς (µς)

firing rate (Ηζ)

A

20

-40 -80

0 0.9

1.0

1.1

1.2

1.3

1.4

0

1.5

Ι /Ιτηρεσηολδ

C

20

40

60

80

100

τ (µσ)

D

200 150

ς (µς)

firing rate (Ηζ)

0

100 50

0 -40 -80

0 0.9

1.0

1.1

1.2

1.3

0

Ι /Ιτηρεσηολδ

50

100

150

200

τ (µσ)

Φιγυρε 6.1 Φιρινγ οφ αχτιον ποτεντιαλσ ιν τηε Χοννορ−Στεϖενσ µοδελ. (Α) Φιρινγ ρατε ασ α φυνχτιον οφ ελεχτροδε χυρρεντ. Τηε ⇒ρινγ ρατε ρισεσ χοντινυουσλψ φροµ 0 ασ τηε χυρρεντ ινχρεασεσ βεψονδ τηε τηρεσηολδ ϖαλυε. (Β) Αν εξαµπλε οφ αχτιον ποτεντιαλσ γενερατεδ βψ χονσταντ χυρρεντ ινϕεχτιον. (Χ) Φιρινγ ρατε ασ α φυνχτιον οφ ελεχτροδε χυρρεντ ωηεν τηε Α−χυρρεντ ισ τυρνεδ οφφ. Τηε ⇒ρινγ ρατε νοω ρισεσ δισχοντινυουσλψ φροµ 0 ασ τηε χυρρεντ ινχρεασεσ βεψονδ τηε τηρεσηολδ ϖαλυε. (∆) ∆ελαψεδ ⇒ρινγ δυε το ηψπερπολαριζατιον. Τηε νευρον ωασ ηελδ ηψπερπολαριζεδ φορ α προλονγεδ περιοδ βψ ινϕεχτιον οφ νεγατιϖε χυρρεντ. Ατ τ = 50 µσ, τηε νεγατιϖε ελεχτροδε χυρρεντ ωασ σωιτχηεδ το α ποσιτιϖε ϖαλυε. Τηε Α−χυρρεντ δελαψσ τηε οχχυρρενχε οφ τηε ⇒ρστ αχτιον ποτεντιαλ.

τψπε Ι, τψπε ΙΙ

χαλλεδ τψπε Ι, ανδ τηοσε ωιτη δισχοντινυουσ ϕυµπσ ιν τηειρ ⇒ρινγ ρατεσ ατ τηρεσηολδ αρε χαλλεδ τψπε ΙΙ. Αν Α−χυρρεντ ισ νοτ τηε ονλψ µεχηανισµ τηατ χαν προδυχε α τψπε Ι ρεσπονσε βυτ, ασ ⇒γυρεσ 6.1Α ανδ 6.1Χ σηοω, ιτ πλαψσ τηισ ρολε ιν τηε Χοννορ−Στεϖενσ µοδελ. Τηε Ηοδγκιν−Ηυξλεψ µοδελ προ− δυχεσ α τψπε ΙΙ ρεσπονσε. Ανοτηερ εφφεχτ οφ τηε Α−χυρρεντ ισ ιλλυστρατεδ ιν ⇒γυρε 6.1∆. Ηερε τηε µοδελ νευρον ωασ ηελδ ηψπερπολαριζεδ βψ νεγατιϖε χυρρεντ ινϕεχτιον φορ αν εξ− τενδεδ περιοδ οφ τιµε, ανδ τηεν τηε χυρρεντ ωασ σωιτχηεδ το α ποσιτιϖε ϖαλυε. Ωηιλε τηε νευρον ωασ ηψπερπολαριζεδ, τηε Α−χυρρεντ δειναχτιϖατεδ, τηατ ισ, τηε ϖαριαβλε β ινχρεασεδ τοωαρδ 1. Ωηεν τηε ελεχτροδε χυρρεντ σωιτχηεδ σιγν ανδ τηε νευρον δεπολαριζεδ, τηε Α−χυρρεντ ⇒ρστ αχτιϖατεδ ανδ τηεν ιναχτιϖατεδ. Τηισ δελαψεδ τηε ⇒ρστ σπικε φολλοωινγ τηε χηανγε ιν τηε ελεχτροδε χυρρεντ.

Ποστινηιβιτορψ Ρεβουνδ ανδ Βυρστινγ τρανσιεντ Χα2+ χονδυχτανχε

Τηε ρανγε οφ ρεσπονσεσ εξηιβιτεδ βψ τηε Χοννορ−Στεϖενσ µοδελ νευρον χαν βε εξτενδεδ βψ ινχλυδινγ α τρανσιεντ Χα2+ χονδυχτανχε. Τηε χονδυχτανχε ωε υσε ωασ µοδελεδ βψ Ηυγυεναρδ ανδ ΜχΧορµιχκ (1992) ον τηε βασισ οφ δατα φροµ τηαλαµιχ ρελαψ χελλσ. Τηε µεµβρανε χυρρεντ δυε το τηε τρανσιεντ

6.2

Χονδυχτανχε−Βασεδ Μοδελσ

199

20

ς (µς)

0 -20 -40 -60 -80 -100 0

50

100

150

200

250

τ (µσ) Φιγυρε 6.2 Α βυρστ οφ αχτιον ποτεντιαλσ δυε το ρεβουνδ φροµ ηψπερπολαριζατιον. Τηε µοδελ νευρον ωασ ηελδ ηψπερπολαριζεδ φορ αν εξτενδεδ περιοδ (υντιλ τηε χονδυχ− τανχεσ χαµε το εθυιλιβριυµ) βψ ινϕεχτιον οφ χονσταντ νεγατιϖε ελεχτροδε χυρρεντ. Ατ τ = 50 µσ, τηε ελεχτροδε χυρρεντ ωασ σετ το 0, ανδ α βυρστ οφ Να+ σπικεσ ωασ γεν− ερατεδ δυε το αν υνδερλψινγ Χα2+ σπικε. Τηε δελαψ ιν τηε ⇒ρινγ ισ χαυσεδ βψ τηε πρεσενχε οφ τηε Α−χυρρεντ ιν τηε µοδελ.

Χα2+ χονδυχτανχε ισ εξπρεσσεδ ασ ιΧαΤ = γΧαΤ Μ2 Η (ς − ΕΧα )

(6.5)

ωιτη, φορ τηε εξαµπλε γιϖεν ηερε, γΧαΤ = 0.013 µΣ/µµ2 ανδ ΕΧα = 120 µς. Τηε γατινγ ϖαριαβλεσ φορ τηε τρανσιεντ Χα2+ χονδυχτανχε αρε δετερ− µινεδ φροµ τηε γατινγ φυνχτιονσ ιν αππενδιξ Α. Σεϖεραλ διφφερεντ Χα2+ χονδυχτανχεσ αρε χοµµονλψ εξπρεσσεδ ιν νευροναλ µεµβρανεσ. Τηεσε αρε χατεγοριζεδ ασ Λ, Τ, Ν, ανδ Π τψπεσ. Λ−τψπε Χα2+ χυρρεντσ αρε περσιστεντ ασ φαρ ασ τηειρ ϖολταγε δεπενδενχε ισ χονχερνεδ, ανδ τηεψ αχτιϖατε ατ α ρελατιϖελψ ηιγη τηρεσηολδ. Τηεψ ιναχτιϖατε δυε το α Χα2+ −δεπενδεντ ρατηερ τηαν ϖολταγε−δεπενδεντ προχεσσ. Τ−τψπε Χα2+ χυρρεντσ ηαϖε λοωερ αχτιϖατιον τηρεσηολδσ ανδ αρε τρανσιεντ. Ν− ανδ Π− τψπε Χα2+ χονδυχτανχεσ ηαϖε ιντερµεδιατε τηρεσηολδσ ανδ αρε τρανσιεντ ανδ περσιστεντ, ρεσπεχτιϖελψ. Τηεψ µαψ βε ρεσπονσιβλε φορ τηε Χα2+ εν− τρψ τηατ χαυσεσ τηε ρελεασε οφ τρανσµιττερ ατ πρεσψναπτιχ τερµιναλσ. Εντρψ οφ Χα2+ ιντο α νευρον ηασ µανψ σεχονδαρψ χονσεθυενχεσ ρανγινγ φροµ γατινγ Χα2+ −δεπενδεντ χηαννελσ το ινδυχινγ λονγ−τερµ µοδι⇒χατιονσ οφ σψναπτιχ χονδυχτανχεσ. Α τρανσιεντ Χα2+ χονδυχτανχε αχτσ, ιν µανψ ωαψσ, λικε α σλοωερ ϖερσιον οφ τηε τρανσιεντ Να+ χονδυχτανχε τηατ γενερατεσ αχτιον ποτεντιαλσ. Ινστεαδ οφ προδυχινγ αν αχτιον ποτεντιαλ, α τρανσιεντ Χα2+ χονδυχτανχε γενερατεσ α σλοωερ τρανσιεντ δεπολαριζατιον σοµετιµεσ χαλλεδ α Χα2+ σπικε. Τηισ τραν− σιεντ δεπολαριζατιον χαυσεσ τηε νευρον το ⇒ρε α βυρστ οφ αχτιον ποτεντιαλσ, ωηιχη αρε Να+ σπικεσ ριδινγ ον τηε σλοωερ Χα2+ σπικε. Φιγυρε 6.2 σηοωσ συχη α βυρστ ανδ ιλλυστρατεσ ονε ωαψ το προδυχε ιτ. Ιν τηισ εξαµπλε, τηε µοδελ νευρον ωασ ηψπερπολαριζεδ φορ αν εξτενδεδ περιοδ ανδ τηεν ρε− λεασεδ φροµ ηψπερπολαριζατιον βψ σεττινγ τηε ελεχτροδε χυρρεντ το 0. ∆υρινγ τηε προλονγεδ ηψπερπολαριζατιον, τηε τρανσιεντ Χα2+ χονδυχτανχε δειναχ− τιϖατεδ. Ωηεν τηε ελεχτροδε χυρρεντ ωασ σετ το 0, τηε ρεσυλτινγ δεπολαρ− ιζατιον αχτιϖατεδ τηε τρανσιεντ Χα2+ χονδυχτανχε ανδ γενερατεδ α βυρστ οφ

Λ, Τ, Ν ανδ Π τψπε Χα2+ χηαννελσ

Χα2+ σπικε βυρστ

ς (µς)

ς (µς)

ς (µς)

200

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

0 -20 -40 -60 -80 0 -20 -40 -60 -80 0 -20 -40 -60 -80 0

100

200

300

400

500

τ (µσ) Φιγυρε 6.3 Τηρεε αχτιϖιτψ µοδεσ οφ α µοδελ τηαλαµιχ νευρον. Υππερ πανελ: ωιτη νο ελεχτροδε χυρρεντ, τηε µοδελ ισ σιλεντ. Μιδδλε πανελ: ωηεν α ποσιτιϖε χυρρεντ ισ ινϕεχτεδ ιντο τηε µοδελ νευρον, ιτ ⇒ρεσ αχτιον ποτεντιαλσ ιν α ρεγυλαρ, περιοδιχ παττερν. Λοωερ πανελ: ωηεν νεγατιϖε χυρρεντ ισ ινϕεχτεδ ιντο τηε µοδελ νευρον, ιτ ⇒ρεσ αχτιον ποτεντιαλσ ιν περιοδιχ βυρστσ. (Αδαπτεδ φροµ Ωανγ, 1994.)

ποστινηιβιτορψ ρεβουνδ

τηαλαµιχ ρελαψ νευρον

αχτιον ποτεντιαλσ. Τηε βυρστ ιν ⇒γυρε 6.2 ισ δελαψεδ δυε το τηε πρεσενχε οφ τηε Α−χυρρεντ ιν τηε Χοννορ−Στεϖενσ µοδελ το ωηιχη τηε Χα2+ χονδυχτανχε ηασ βεεν αδδεδ, ανδ ιτ τερµινατεσ ωηεν τηε Χα2+ χονδυχτανχε ιναχτιϖατεσ. Γενερατιον οφ αχτιον ποτεντιαλσ ιν ρεσπονσε το ρελεασε φροµ ηψπερπολαρ− ιζατιον ισ χαλλεδ ποστινηιβιτορψ ρεβουνδ βεχαυσε, ιν α νατυραλ σεττινγ, τηε ηψπερπολαριζατιον ωουλδ βε χαυσεδ βψ ινηιβιτορψ σψναπτιχ ινπυτ, νοτ βψ χυρρεντ ινϕεχτιον. Τηε τρανσιεντ Χα2+ χυρρεντ ισ αν ιµπορταντ χοµπονεντ οφ µοδελσ οφ τηα− λαµιχ ρελαψ νευρονσ. Τηεσε νευρονσ εξηιβιτ διφφερεντ ⇒ρινγ παττερνσ ιν σλεεπ ανδ ωακεφυλ στατεσ. Αχτιον ποτεντιαλσ τενδ το αππεαρ ιν βυρστσ δυρινγ σλεεπ. Φιγυρε 6.3 σηοωσ αν εξαµπλε οφ τηρεε στατεσ οφ αχτιϖιτψ οφ α µοδελ τηαλαµιχ ρελαψ χελλ δυε το Ωανγ (1994) τηατ ηασ, ιν αδδι− τιον το φαστ Να+ , δελαψεδ−ρεχτι⇒ερ Κ+ , ανδ τρανσιεντ Χα2+ χονδυχτανχεσ, α ηψπερπολαριζατιον−αχτιϖατεδ µιξεδ−χατιον χονδυχτανχε ανδ α περσιστεντ Να+ χονδυχτανχε. Τηε χελλ ισ σιλεντ ορ ⇒ρεσ αχτιον ποτεντιαλσ ιν α ρεγυλαρ παττερν ορ ιν βυρστσ, δεπενδινγ ον τηε λεϖελ οφ χυρρεντ ινϕεχτιον. Ιν παρτιχ− υλαρ, ινϕεχτιον οφ σµαλλ αµουντσ οφ νεγατιϖε χυρρεντ λεαδσ το βυρστινγ. Τηισ οχχυρσ βεχαυσε τηε ηψπερπολαριζατιον δυε το τηε χυρρεντ ινϕεχτιον δειναχ− τιϖατεσ τηε τρανσιεντ Χα2+ χυρρεντ ανδ αχτιϖατεσ τηε ηψπερπολαριζατιον αχτι− ϖατεδ χυρρεντ. Τηε ρεγυλαρ ⇒ρινγ µοδε οφ τηε µιδδλε πλοτ οφ ⇒γυρε 6.3 ισ βελιεϖεδ το βε ρελεϖαντ δυρινγ ωακεφυλ στατεσ, ωηεν τηε τηαλαµυσ ισ φαιτη− φυλλψ ρεπορτινγ ινπυτ φροµ τηε σενσορψ περιπηερψ το τηε χορτεξ. Νευρονσ χαν ⇒ρε αχτιον ποτεντιαλσ ειτηερ ατ α στεαδψ ρατε ορ ιν βυρστσ εϖεν

6.2

Χονδυχτανχε−Βασεδ Μοδελσ

201

ιν τηε αβσενχε οφ χυρρεντ ινϕεχτιον ορ σψναπτιχ ινπυτ. Περιοδιχ βυρστινγ ισ α χοµµον φεατυρε οφ νευρονσ ιν χεντραλ παττερν γενερατορσ, ωηιχη αρε νευραλ χιρχυιτσ τηατ προδυχε περιοδιχ παττερνσ οφ αχτιϖιτψ το δριϖε ρηψτηµιχ µοτορ βεηαϖιορσ συχη ασ ωαλκινγ, ρυννινγ, ορ χηεωινγ. Το ιλλυστρατε πε− ριοδιχ βυρστινγ, ωε χονσιδερ α µοδελ χονστρυχτεδ το µατχη τηε αχτιϖιτψ οφ νευρονσ ιν τηε χρυσταχεαν στοµατογαστριχ γανγλιον (ΣΤΓ), α νευροναλ χιρ− χυιτ τηατ χοντρολσ χηεωινγ ανδ διγεστιϖε ρηψτηµσ ιν τηε φορεγυτ οφ λοβστερσ ανδ χραβσ. Τηε ΣΤΓ ισ α µοδελ σψστεµ φορ ινϖεστιγατινγ τηε εφφεχτσ οφ νευ− ροµοδυλατορσ, συχη ασ αµινεσ ανδ νευροπεπτιδεσ, ον τηε αχτιϖιτψ παττερνσ οφ α νευραλ νετωορκ. Νευροµοδυλατορσ µοδιφψ νευροναλ ανδ νετωορκ βε− ηαϖιορ βψ αχτιϖατινγ, δεαχτιϖατινγ, ορ οτηερωισε αλτερινγ τηε προπερτιεσ οφ µεµβρανε ανδ σψναπτιχ χηαννελσ. Νευροµοδυλατιον ηασ α µαϕορ ιµπαχτ ον ϖιρτυαλλψ αλλ νευραλ νετωορκσ, ρανγινγ φροµ περιπηεραλ µοτορ παττερν γενερατορσ λικε τηε ΣΤΓ το τηε σενσορψ, µοτορ, ανδ χογνιτιϖε χιρχυιτσ οφ τηε βραιν.

στοµατογαστριχ γανγλιον νευροµοδυλατορ

Τηε µοδελ ΣΤΓ νευρον χονταινσ φαστ Να+ , δελαψεδ−ρεχτι⇒ερ Κ+ , Α−τψπε Κ+ , ανδ τρανσιεντ Χα2+ χονδυχτανχεσ σιµιλαρ το τηοσε δισχυσσεδ αβοϖε, αλτηουγη τηε φορµυλασ ανδ παραµετερσ υσεδ αρε σοµεωηατ διφφερεντ. Ιν αδδιτιον, τηε µοδελ ηασ α Χα2+ −δεπενδεντ Κ+ χονδυχτανχε. ∆υε το τηε χοµπλεξιτψ οφ τηε µοδελ, ωε δο νοτ προϖιδε χοµπλετε δεσχριπτιονσ οφ ιτσ χονδυχτανχεσ εξχεπτ φορ τηε Χα2+ −δεπενδεντ Κ+ χονδυχτανχε ωηιχη πλαψσ α παρτιχυλαρλψ σιγνι⇒χαντ ρολε ιν τηε µοδελ. Τηε ρεπολαριζατιον οφ τηε µεµβρανε ποτεντιαλ αφτερ αν αχτιον ποτεντιαλ ισ οφτεν χαρριεδ ουτ βοτη βψ τηε δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχε ανδ βψ α φαστ Χα2+ −δεπενδεντ Κ+ χονδυχτανχε. Χα2+ −δεπενδεντ Κ+ χονδυχτανχεσ µαψ βε ϖολταγε δεπενδεντ, βυτ τηεψ αρε αχτιϖατεδ πριµαριλψ βψ α ρισε ιν τηε λεϖελ οφ ιντραχελλυλαρ Χα2+ . Α σλοω Χα2+ −δεπενδεντ Κ+ χονδυχτανχε χαλλεδ τηε αφτερ−ηψπερπολαριζατιον (ΑΗΠ) χονδυχτανχε βυιλδσ υπ δυρινγ σεθυενχεσ οφ αχτιον ποτεντιαλσ ανδ τψπιχαλλψ χοντριβυτεσ το τηε σπικε−ρατε αδαπτατιον δισχυσσεδ ανδ µοδελεδ ιν χηαπτερ 5. Τηε Χα2+ −δεπενδεντ Κ+ χυρρεντ ιν τηε µοδελ ΣΤΓ νευρον ισ γιϖεν βψ ιΚΧα = γΚΧα χ4 (ς − ΕΚ ) ,

(6.6)

ωηερε χ οβεψσ αν εθυατιον οφ τηε φορµ 6.2, ωιτη χ∞ δεπενδινγ ον βοτη τηε µεµβρανε ποτεντιαλ ανδ τηε ιντραχελλυλαρ Χα2+ χονχεντρατιον, [Χα2+ ] (σεε αππενδιξ Α). Τηε ιντραχελλυλαρ Χα2+ χονχεντρατιον ισ χοµπυτεδ ιν τηισ µοδελ υσινγ α σιµπλι⇒εδ δεσχριπτιον ιν ωηιχη ρισεσ ιν ιντραχελλυλαρ Χα2+ αρε χαυσεδ βψ ιν⇓υξ τηρουγη µεµβρανε Χα2+ χηαννελσ, ανδ Χα2+ ρεµοϖαλ ισ δεσχριβεδ βψ αν εξπονεντιαλ προχεσσ. Τηε ρεσυλτινγ εθυατιον φορ τηε ιν− τραχελλυλαρ Χα2+ χονχεντρατιον, [Χα2+ ], ισ δ[Χα2+ ] [Χα2+ ] = −γ ιΧα − . δτ τΧα

(6.7)

Ηερε ιΧα ισ τηε τοταλ Χα2+ χυρρεντ περ υνιτ αρεα οφ µεµβρανε, τΧα ισ τηε τιµε χονσταντ δετερµινινγ τηε ρατε ατ ωηιχη ιντραχελλυλαρ Χα2+ ισ ρεµοϖεδ, ανδ γ ισ α φαχτορ τηατ χονϖερτσ φροµ τηε ελεχτριχ χυρρεντ δυε το Χα2+ ιον ⇓οω

Χα2+ −δεπενδεντ Κ+ χονδυχτανχε αφτερ− ηψπερπολαριζατιον χονδυχτανχε

202

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

ς (µς)

40 0 -40 -80

γΧα (µΣ)

0.6 0.4 0.2

10 8 6 4 2 0

2+

[Χα ] (µΜ)

100 80 60 40 20 0

γΚΧα (νΣ)

0.0

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

τ (σ) Φιγυρε 6.4 Περιοδιχ βυρστινγ ιν α µοδελ ΣΤΓ νευρον. Φροµ τηε τοπ, τηε πανελσ σηοω τηε µεµβρανε ποτεντιαλ, τηε Χα2+ χονδυχτανχε, τηε ιντραχελλυλαρ Χα2+ χονχεντρα− τιον, ανδ τηε Χα2+ −δεπενδεντ Κ+ χονδυχτανχε. Τηε Χα2+ −δεπενδεντ Κ+ χονδυχ− τανχε ισ σηοων ατ αν εξπανδεδ σχαλε σο τηε ρεδυχτιον οφ τηε χονδυχτανχε δυε το τηε φαλλινγ ιντραχελλυλαρ Χα2+ χονχεντρατιον δυρινγ τηε ιντερβυρστ ιντερϖαλσ χαν βε σεεν. Ιν τηισ εξαµπλε, τΧα = 200 µσ. (Σιµυλατιον βψ Μ. Γολδµαν βασεδ ον α ϖαριαντ οφ α µοδελ οφ Τυρριγιανο ετ αλ., 1995, δυε το Ζ. Λιυ ανδ Μ. Γολδµαν.)

το τηε ρατε ατ ωηιχη τηε Χα2+ ιον χονχεντρατιον χηανγεσ ωιτηιν τηε χελλ. Βεχαυσε τηε Χα2+ χονχεντρατιον ισ δετερµινεδ βψ διϖιδινγ τηε νυµβερ οφ Χα2+ ιονσ ιν α χελλ βψ τηε τοταλ χελλυλαρ ϖολυµε ανδ τηε Χα2+ ιν⇓υξ ισ χοµ− πυτεδ βψ µυλτιπλψινγ ιΧα βψ τηε µεµβρανε συρφαχε αρεα, γ ισ προπορτιοναλ το τηε συρφαχε−το−ϖολυµε ρατιο φορ τηε χελλ. Ιτ αλσο χονταινσ α φαχτορ τηατ χον− ϖερτσ φροµ χουλοµβσ περ σεχονδ οφ ελεχτριχαλ χυρρεντ το µολεσ περ σεχονδ οφ Χα2+ ιονσ. Τηισ φαχτορ ισ 1/( ζΦ ), ωηερε ζ ισ τηε νυµβερ οφ χηαργεσ ον τηε ιον (ζ = 2 φορ Χα2+ ) ανδ Φ ισ τηε Φαραδαψ χονσταντ. Ιφ, ασ ισ νορµαλλψ τηε χασε, [Χα2+ ] ισ ιν µολσ/λιτερ, γ σηουλδ αλσο χονταιν α φαχτορ τηατ χονϖερτσ τηε ϖολυµε µεασυρε το λιτερσ, 106 µµ3 /λιτερ. Φιναλλψ, γ ισ σοµετιµεσ µυλτι− πλιεδ βψ αν αδδιτιοναλ φαχτορ τηατ ρε⇓εχτσ φαστ ιντραχελλυλαρ Χα2+ βυφφερινγ. Μοστ οφ τηε Χα2+ ιονσ τηατ εντερ α νευρον αρε ραπιδλψ βουνδ το ιντραχελλυλαρ βυφφερσ, σο ονλψ α φραχτιον οφ τηε Χα2+ χυρρεντ τηρουγη µεµβρανε χηαννελσ ισ αχτυαλλψ αϖαιλαβλε το χηανγε τηε χονχεντρατιον [Χα2+ ] οφ φρεε Χα2+ ιονσ

6.3

Τηε Χαβλε Εθυατιον

203

ιν τηε χελλ. Τηισ φαχτορ ισ α φεω περχεντ. Τηε µινυσ σιγν ιν φροντ οφ τηε γ ιν εθυατιον 6.7 ισ δυε το τηε δε⇒νιτιον οφ µεµβρανε χυρρεντσ ασ ποσιτιϖε ιν τηε ουτωαρδ διρεχτιον. Φιγυρε 6.4 σηοωσ τηε µοδελ ΣΤΓ νευρον ⇒ρινγ αχτιον ποτεντιαλσ ιν βυρστσ. Ασ ιν τηε µοδελσ οφ ⇒γυρεσ 6.2 ανδ 6.3, τηε βυρστσ αρε τρανσιεντ Χα2+ σπικεσ ωιτη αχτιον ποτεντιαλσ ριδινγ ον τοπ οφ τηεµ. Τηε Χα2+ χυρρεντ δυρινγ τηεσε βυρστσ χαυσεσ α δραµατιχ ινχρεασε ιν τηε ιντραχελλυλαρ Χα2+ χονχεν− τρατιον. Τηισ αχτιϖατεσ τηε Χα2+ −δεπενδεντ Κ+ χυρρεντ, ωηιχη, αλονγ ωιτη τηε ιναχτιϖατιον οφ τηε Χα2+ χυρρεντ, τερµινατεσ τηε βυρστ. Τηε ιντερβυρστ ιντερϖαλ ισ δετερµινεδ πριµαριλψ βψ τηε τιµε ιτ τακεσ φορ τηε ιντραχελλυλαρ Χα2+ χονχεντρατιον το ρετυρν το α λοω ϖαλυε, ωηιχη δεαχτιϖατεσ τηε Χα2+ − δεπενδεντ Κ+ χυρρεντ, αλλοωινγ ανοτηερ βυρστ το βε γενερατεδ. Αλτηουγη ⇒γυρε 6.4 σηοωσ τηατ τηε χονδυχτανχε οφ τηε Χα2+ −δεπενδεντ Κ+ χυρρεντ ρεαχηεσ α λοω ϖαλυε ιµµεδιατελψ αφτερ εαχη βυρστ (δυε το ιτσ ϖολταγε δε− πενδενχε), τηισ ινιτιαλ διπ ισ τοο εαρλψ φορ ανοτηερ βυρστ το βε γενερατεδ ατ τηατ ποιντ ιν τηε χψχλε.

6.3

Τηε Χαβλε Εθυατιον

Σινγλε−χοµπαρτµεντ µοδελσ δεσχριβε τηε µεµβρανε ποτεντιαλ οϖερ αν εν− τιρε νευρον ωιτη α σινγλε ϖαριαβλε. Μεµβρανε ποτεντιαλσ χαν ϖαρψ χονσιδ− εραβλψ οϖερ τηε συρφαχε οφ τηε χελλ µεµβρανε, εσπεχιαλλψ φορ νευρονσ ωιτη λονγ ανδ ναρροω προχεσσεσ, ορ ιφ ωε χονσιδερ ραπιδλψ χηανγινγ µεµβρανε ποτεντιαλσ. Φιγυρε 6.5Α σηοωσ τηε δελαψ ανδ αττενυατιον οφ αν αχτιον πο− τεντιαλ ασ ιτ προπαγατεσ φροµ τηε σοµα ουτ το τηε δενδριτεσ οφ α χορτιχαλ πψραµιδαλ νευρον. Φιγυρε 6.5Β σηοωσ τηε δελαψ ανδ αττενυατιον οφ αν εξ− χιτατορψ ποστσψναπτιχ ποτεντιαλ (ΕΠΣΠ) ινιτιατεδ ιν τηε δενδριτε βψ σψναπτιχ ινπυτ ασ ιτ σπρεαδσ το τηε σοµα. Υνδερστανδινγ τηεσε φεατυρεσ ισ χρυχιαλ φορ δετερµινινγ ωηετηερ ανδ ωηεν α γιϖεν σψναπτιχ ινπυτ ωιλλ χαυσε α νευρον το ⇒ρε αν αχτιον ποτεντιαλ. Τηε αττενυατιον ανδ δελαψ ωιτηιν α νευρον αρε µοστ σεϖερε ωηεν ελεχτριχαλ σιγναλσ τραϖελ δοων τηε λονγ, ναρροω, χαβλελικε στρυχτυρεσ οφ δενδριτιχ ορ αξοναλ βρανχηεσ. Φορ τηισ ρεασον, τηε µατηεµατιχαλ αναλψσισ οφ σιγναλ προπ− αγατιον ωιτηιν νευρονσ ισ χαλλεδ χαβλε τηεορψ. ∆ενδριτιχ ανδ αξοναλ χαβλεσ αρε τψπιχαλλψ ναρροω ενουγη τηατ ϖαριατιονσ οφ τηε ποτεντιαλ ιν τηε ραδιαλ ορ αξιαλ διρεχτιονσ αρε νεγλιγιβλε χοµπαρεδ το λονγιτυδιναλ ϖαριατιονσ. Τηερε− φορε, τηε µεµβρανε ποτεντιαλ αλονγ α νευροναλ χαβλε ισ εξπρεσσεδ ασ α φυνχ− τιον οφ α σινγλε λονγιτυδιναλ σπατιαλ χοορδινατε ξ ανδ τιµε, ς ( ξ, τ ), ανδ τηε βασιχ προβλεµ ισ το σολϖε φορ τηισ ποτεντιαλ. Χυρρεντ ⇓οωσ ωιτηιν α νευρον δυε το ϖολταγε γραδιεντσ. Ιν χηαπτερ 5, ωε δισχυσσεδ ηοω τηε ποτεντιαλ διφφερενχε αχροσσ α σεγµεντ οφ νευροναλ χαβλε ισ ρελατεδ το τηε λονγιτυδιναλ χυρρεντ ⇓οωινγ δοων τηε χαβλε. Τηε λονγιτυ− διναλ ρεσιστανχε οφ α χαβλε σεγµεντ οφ λενγτη %ξ ανδ ραδιυσ α ισ γιϖεν βψ µυλτιπλψινγ τηε ιντραχελλυλαρ ρεσιστιϖιτψ ρΛ βψ %ξ ανδ διϖιδινγ βψ τηε χροσσ− σεχτιοναλ αρεα, πα2 , σο τηατ ΡΛ = ρΛ %ξ/(πα2 ). Τηε ϖολταγε δροπ αχροσσ τηισ

χαβλε τηεορψ

204

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

A

1 µς

25 µς

10 µσ

B

10 µσ

Φιγυρε 6.5 Σιµυλτανεουσ ιντραχελλυλαρ ρεχορδινγσ φροµ τηε σοµα ανδ απιχαλ δεν− δριτε οφ χορτιχαλ πψραµιδαλ νευρονσ ιν σλιχε πρεπαρατιονσ. (Α) Α πυλσε οφ χυρρεντ ωασ ινϕεχτεδ ιντο τηε σοµα οφ τηε νευρον το προδυχε τηε αχτιον ποτεντιαλ σεεν ιν τηε σοµατιχ ρεχορδινγ. Τηε αχτιον ποτεντιαλ αππεαρσ δελαψεδ ανδ ωιτη σµαλλερ αµπλι− τυδε ιν τηε δενδριτιχ ρεχορδινγ. (Β) Α σετ οφ αξον ⇒βερσ ωασ στιµυλατεδ, προδυχινγ αν εξχιτατορψ σψναπτιχ ινπυτ. Τηε εξχιτατορψ ποστσψναπτιχ ποτεντιαλ (ΕΠΣΠ) ισ λαργερ ανδ πεακσ εαρλιερ ιν τηε δενδριτε τηαν ιν τηε σοµα. Νοτε τηατ τηε σχαλε φορ τηε πο− τεντιαλ ισ σµαλλερ τηαν ιν Α. (Α αδαπτεδ φροµ Στυαρτ ανδ Σακµανν, 1994; Β αδαπτεδ φροµ Στυαρτ ανδ Σπρυστον, 1998.)

λενγτη οφ χαβλε, %ς = ς ( ξ + %ξ ) − ς ( ξ ), ισ τηεν ρελατεδ το τηε αµουντ οφ λονγιτυδιναλ χυρρεντ ⇓οω βψ Οηµaσ λαω. Ιν χηαπτερ 5, ωε δισχυσσεδ τηε µαγνιτυδε οφ τηισ χυρρεντ ⇓οω, βυτ φορ τηε πρεσεντ πυρποσεσ, ωε αλσο νεεδ το δε⇒νε α σιγν χονϖεντιον φορ ιτσ διρεχτιον. Ωε δε⇒νε χυρρεντσ ⇓οω− ινγ ιν τηε διρεχτιον οφ ινχρεασινγ ξ ασ ποσιτιϖε. Βψ τηισ χονϖεντιον, τηε ρελατιονσηιπ βετωεεν %ς ανδ ΙΛ γιϖεν βψ Οηµaσ λαω ισ %ς = − ΡΛ ΙΛ ορ %ς = −ρΛ %ξΙΛ /(πα2 ). Σολϖινγ τηισ φορ τηε λονγιτυδιναλ χυρρεντ, ωε ⇒νδ ΙΛ = −πα2 %ς/(ρΛ %ξ ). Ιτ ισ υσεφυλ το τακε τηε λιµιτ οφ τηισ εξπρεσσιον φορ ιν⇒νιτεσιµαλλψ σηορτ χαβλε σεγµεντσ, τηατ ισ, ασ %ξ → 0. Ιν τηισ λιµιτ, τηε ρατιο οφ %ς το %ξ βεχοµεσ τηε δεριϖατιϖε ∂ς/∂ ξ. Ωε υσε α παρτιαλ δεριϖα− τιϖε ηερε βεχαυσε ς χαν αλσο δεπενδ ον τιµε. Τηυσ, ατ ανψ ποιντ αλονγ α χαβλε οφ ραδιυσ α ανδ ιντραχελλυλαρ ρεσιστιϖιτψ ρΛ , τηε λονγιτυδιναλ χυρρεντ ⇓οωινγ ιν τηε διρεχτιον οφ ινχρεασινγ ξ ισ ΙΛ = −

π α2 ∂ ς . ρΛ ∂ ξ

(6.8)

Τηε µεµβρανε ποτεντιαλ ς ( ξ, τ ) ισ δετερµινεδ βψ σολϖινγ α παρτιαλ διφφερ− εντιαλ εθυατιον, τηε χαβλε εθυατιον, τηατ δεσχριβεσ ηοω τηε χυρρεντσ εντερ− ινγ, λεαϖινγ, ανδ ⇓οωινγ ωιτηιν α νευρον αφφεχτ τηε ρατε οφ χηανγε οφ τηε µεµβρανε ποτεντιαλ. Το δεριϖε τηε χαβλε εθυατιον, ωε χονσιδερ τηε χυρ− ρεντσ ωιτηιν τηε σµαλλ σεγµεντ σηοων ιν ⇒γυρε 6.6. Τηισ σεγµεντ ηασ α ραδιυσ α ανδ α σηορτ λενγτη %ξ. Τηε ρατε οφ χηανγε οφ τηε µεµβρανε πο− τεντιαλ δυε το χυρρεντσ ⇓οωινγ ιντο ανδ ουτ οφ τηισ ρεγιον ισ δετερµινεδ βψ ιτσ χαπαχιτανχε. Ρεχαλλ φροµ χηαπτερ 5 τηατ τηε χαπαχιτανχε οφ α µεµβρανε ισ δετερµινεδ βψ µυλτιπλψινγ τηε σπεχι⇒χ µεµβρανε χαπαχιτανχε χµ βψ τηε αρεα οφ τηε µεµβρανε. Τηε χψλινδερ οφ µεµβρανε σηοων ιν ⇒γυρε 6.6 ηασ α συρφαχε αρεα οφ 2πα%ξ, ανδ ηενχε α χαπαχιτανχε οφ 2πα%ξχµ . Τηε αµουντ οφ χυρρεντ νεεδεδ το χηανγε τηε µεµβρανε ποτεντιαλ ατ α ρατε ∂ς/∂τ ισ τηυσ 2πα%ξχµ ∂ς/∂τ.

6.3

Τηε Χαβλε Εθυατιον

205

Φιγυρε 6.6 Τηε σεγµεντ οφ νευρον υσεδ ιν τηε δεριϖατιον οφ τηε χαβλε εθυατιον. Τηε λονγιτυδιναλ, µεµβρανε, ανδ ελεχτροδε χυρρεντσ τηατ δετερµινε τηε ρατε οφ χηανγε οφ τηε µεµβρανε ποτεντιαλ ωιτηιν τηισ σεγµεντ αρε δενοτεδ. Τηε σεγµεντ ηασ λενγτη %ξ ανδ ραδιυσ α. Τηε εξπρεσσιον ινϖολϖινγ τηε σπεχι⇒χ µεµβρανε χαπαχι− τανχε ρεφερσ το τηε ρατε ατ ωηιχη χηαργε βυιλδσ υπ ον τηε χελλ µεµβρανε, γενερατινγ χηανγεσ ιν τηε µεµβρανε ποτεντιαλ. (Τηε νευρον διαγραµ ηερε ανδ ιν ⇒γυρεσ 6.15 ανδ 6.16 ισ φροµ Ηαβερλψ, 1990.)

Αλλ οφ τηε χυρρεντσ τηατ χαν χηανγε τηε µεµβρανε ποτεντιαλ οφ τηε σεγµεντ βεινγ χονσιδερεδ αρε σηοων ιν ⇒γυρε 6.6. Χυρρεντ χαν ⇓οω λονγιτυδιναλλψ ιντο τηε σεγµεντ φροµ νειγηβορινγ σεγµεντσ, ανδ εξπρεσσιον 6.8 ηασ βεεν υσεδ ιν ⇒γυρε 6.6 το σπεχιφψ τηε λονγιτυδιναλ χυρρεντσ ατ βοτη ενδσ οφ τηε σεγµεντ. Χυρρεντ χαν ⇓οω αχροσσ τηε µεµβρανε οφ τηε σεγµεντ ωε αρε χονσιδερινγ τηρουγη ιον ανδ σψναπτιχ ρεχεπτορ χηαννελσ, ορ τηρουγη αν ελεχτροδε. Τηε χοντριβυτιον φροµ ιον ανδ σψναπτιχ χηαννελσ ισ εξπρεσσεδ ασ α χυρρεντ περ υνιτ αρεα οφ µεµβρανε ιµ τιµεσ τηε συρφαχε αρεα οφ τηε σεγ− µεντ, 2πα%ξ. Τηε ελεχτροδε χυρρεντ ισ νοτ νορµαλλψ εξπρεσσεδ ασ α χυρρεντ περ υνιτ αρεα, βυτ φορ τηε πρεσεντ πυρποσεσ ιτ ισ χονϖενιεντ το δε⇒νε ιε το βε τηε τοταλ ελεχτροδε χυρρεντ ⇓οωινγ ιντο α γιϖεν ρεγιον οφ τηε νευροναλ χαβλε διϖιδεδ βψ τηε συρφαχε αρεα οφ τηατ ρεγιον. Τηε τοταλ αµουντ οφ ελεχτροδε χυρρεντ βεινγ ινϕεχτεδ ιντο τηε χαβλε σεγµεντ οφ ⇒γυρε 6.6 ισ τηεν ιε 2πα%ξ. Βεχαυσε τηε ελεχτροδε χυρρεντ ισ νορµαλλψ σπεχι⇒εδ βψ Ιε , νοτ βψ α χυρρεντ περ υνιτ αρεα, αλλ τηε ρεσυλτσ ωε οβταιν ωιλλ υλτιµατελψ βε ρε−εξπρεσσεδ ιν τερµσ οφ Ιε . Φολλοωινγ τηε στανδαρδ χονϖεντιον, µεµβρανε ανδ σψναπ− τιχ χυρρεντσ αρε δε⇒νεδ ασ ποσιτιϖε ωηεν τηεψ αρε ουτωαρδ, ανδ ελεχτροδε χυρρεντσ αρε δε⇒νεδ ασ ποσιτιϖε ωηεν τηεψ αρε ινωαρδ. Τηε χαβλε εθυατιον ισ δεριϖεδ βψ σεττινγ τηε συµ οφ αλλ τηε χυρρεντσ σηοων ιν ⇒γυρε 6.6 εθυαλ το τηε χυρρεντ νεεδεδ το χηαργε τηε µεµβρανε. Τηε τοταλ λονγιτυδιναλ χυρρεντ εντερινγ τηε χψλινδερ ισ τηε διφφερενχε βετωεεν τηε χυρρεντ ⇓οωινγ ιν ον τηε λεφτ ανδ τηατ ⇓οωινγ ουτ ον τηε ριγητ. Τηυσ, % 2 &. &. % 2 πα ∂ς .. πα ∂ς .. ∂ς =− + − 2π α% ξ (ιµ − ιε ) . 2πα%ξχµ ∂τ ρΛ ∂ ξ .λεφτ ρΛ ∂ ξ .ριγητ (6.9)

∆ιϖιδινγ βοτη σιδεσ οφ τηισ εθυατιον βψ 2πα%ξ, ωε νοτε τηατ τηε ριγητ σιδε ινϖολϖεσ τηε τερµ @% % 2 &. &. A % & πα2 ∂ς .. πα ∂ς .. ∂ π α2 ∂ ς 1 − → . (6.10) %ξ ρΛ ∂ ξ .ριγητ ρΛ ∂ ξ .λεφτ ∂ ξ ρΛ ∂ ξ

206

χαβλε εθυατιον

βουνδαρψ χονδιτιονσ φορ τηε χαβλε εθυατιον

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

Τηε αρροω ρεφερσ το τηε λιµιτ %ξ → 0, ωηιχη ωε νοω τακε. Ωε χαν µοϖε ρΛ ουτσιδε τηε δεριϖατιϖε ιν τηισ εθυατιον υνδερ τηε ασσυµπτιον τηατ ιτ ισ νοτ α φυνχτιον οφ ποσιτιον. Ηοωεϖερ, τηε φαχτορ οφ α2 µυστ ρεµαιν ινσιδε τηε δεριϖατιϖε υνλεσσ ιτ ισ ινδεπενδεντ οφ ξ. Συβστιτυτινγ τηε ρεσυλτ 6.10 ιντο 6.9, ωε οβταιν τηε χαβλε εθυατιον, % & ∂ς 1 ∂ ∂ς = α2 − ιµ + ιε . (6.11) χµ ∂τ 2αρΛ ∂ ξ ∂ξ Το δετερµινε τηε µεµβρανε ποτεντιαλ, εθυατιον (6.11) µυστ βε αυγµεντεδ βψ αππροπριατε βουνδαρψ χονδιτιονσ. Τηε βουνδαρψ χονδιτιονσ σπεχ− ιφψ ωηατ ηαππενσ το τηε µεµβρανε ποτεντιαλ ωηεν τηε νευροναλ χαβλε βρανχηεσ ορ τερµινατεσ. Τηε ποιντ ατ ωηιχη α χαβλε βρανχηεσ, ορ εθυιϖ− αλεντλψ ωηερε µυλτιπλε χαβλε σεγµεντσ ϕοιν, ισ χαλλεδ α νοδε. Ατ συχη α βρανχηινγ νοδε, τηε ποτεντιαλ µυστ βε χοντινυουσ, τηατ ισ, τηε φυνχτιονσ ς ( ξ, τ ) δε⇒νεδ αλονγ εαχη οφ τηε σεγµεντσ µυστ ψιελδ τηε σαµε ρεσυλτ ωηεν εϖαλυατεδ ατ τηε ξ ϖαλυε χορρεσπονδινγ το τηε νοδε. Ιν αδδιτιον, χηαργε µυστ βε χονσερϖεδ, ωηιχη µεανσ τηατ τηε συµ οφ τηε λονγιτυδι− ναλ χυρρεντσ εντερινγ (ορ λεαϖινγ) α νοδε αλονγ αλλ οφ ιτσ βρανχηεσ µυστ βε 0. Αχχορδινγ το εθυατιον 6.8, τηε λονγιτυδιναλ χυρρεντ εντερινγ α νοδε ισ προπορτιοναλ το τηε σθυαρε οφ τηε χαβλε ραδιυσ τιµεσ τηε δεριϖατιϖε οφ τηε ποτεντιαλ εϖαλυατεδ ατ τηατ ποιντ, α2 ∂ς/∂ ξ. Τηε συµ οφ τηε λονγιτυδι− ναλ χυρρεντσ εντερινγ τηε νοδε, χοµπυτεδ βψ εϖαλυατινγ τηεσε δεριϖατιϖεσ αλονγ εαχη χαβλε σεγµεντ ατ τηε ποιντ ωηερε τηεψ µεετ ατ τηε νοδε, µυστ βε 0. Σεϖεραλ διφφερεντ βουνδαρψ χονδιτιονσ χαν βε ιµποσεδ ατ τηε ενδ οφ α τερ− µινατινγ χαβλε σεγµεντ. Ονε σιµπλε χονδιτιον ισ τηατ νο χυρρεντ ⇓οωσ ουτ οφ τηε ενδ οφ τηε χαβλε. Βψ εθυατιον 6.8, τηισ µεανσ τηατ τηε σπατιαλ δεριϖατιϖε οφ τηε ποτεντιαλ µυστ ϖανιση ατ α τερµινατιον ποιντ. ∆υε το τηε χοµπλεξιτιεσ οφ νευροναλ µεµβρανε χυρρεντσ ανδ µορπηολο− γιεσ, τηε χαβλε εθυατιον ισ µοστ οφτεν σολϖεδ νυµεριχαλλψ, υσινγ µυλτι− χοµπαρτµενταλ τεχηνιθυεσ δεσχριβεδ λατερ ιν τηισ χηαπτερ. Ηοωεϖερ, ιτ ισ υσεφυλ το στυδψ αναλψτιχ σολυτιονσ οφ τηε χαβλε εθυατιον ιν σιµπλε χασεσ το γετ α φεελ φορ ηοω διφφερεντ µορπηολογιχαλ φεατυρεσ, συχη ασ λονγ δενδριτιχ χαβλεσ, βρανχηινγ νοδεσ, χηανγεσ ιν χαβλε ραδιι, ανδ χαβλε ενδσ, αφφεχτ τηε µεµβρανε ποτεντιαλ.

Λινεαρ Χαβλε Τηεορψ Βεφορε ωε χαν σολϖε τηε χαβλε εθυατιον βψ ανψ µετηοδ, τηε µεµβρανε χυρ− ρεντ ιµ µυστ βε σπεχι⇒εδ. Ωε δισχυσσεδ µοδελσ οφ ϖαριουσ ιον χηαννελ χον− τριβυτιονσ το τηε µεµβρανε χυρρεντ ιν χηαπτερ 5 ανδ εαρλιερ ιν τηισ χηαπτερ. Τηεσε µοδελσ τψπιχαλλψ προδυχε νονλινεαρ εξπρεσσιονσ τηατ αρε τοο χοµ− πλεξ το αλλοω αναλψτιχ σολυτιον οφ τηε χαβλε εθυατιον. Τηε αναλψτιχ σολυ− τιονσ ωε δισχυσσ υσε τωο ρατηερ δραστιχ αππροξιµατιονσ: σψναπτιχ χυρρεντσ αρε ιγνορεδ, ανδ τηε µεµβρανε χυρρεντ ισ ωριττεν ασ α λινεαρ φυνχτιον οφ τηε

6.3

Τηε Χαβλε Εθυατιον

207

µεµβρανε ποτεντιαλ. Ελιµινατινγ σψναπτιχ χυρρεντσ ρεθυιρεσ υσ το εξαµινε ηοω α νευρον ρεσπονδσ το τηε ελεχτροδε χυρρεντ ιε . Ιν σοµε χασεσ, ελεχτροδε χυρρεντ χαν µιµιχ τηε εφφεχτσ οφ α σψναπτιχ χονδυχτανχε, αλτηουγη τηε τωο αρε νοτ εθυιϖαλεντ. Ιν ανψ χασε, στυδψινγ ρεσπονσεσ το ελεχτροδε χυρρεντ αλ− λοωσ υσ το ινϖεστιγατε τηε εφφεχτσ οφ διφφερεντ µορπηολογιεσ ον µεµβρανε ποτεντιαλσ. Τψπιχαλλψ, α λινεαρ αππροξιµατιον φορ τηε µεµβρανε χυρρεντ ισ ϖαλιδ ονλψ ιφ τηε µεµβρανε ποτεντιαλ σταψσ ωιτηιν α λιµιτεδ ρανγε, φορ εξαµπλε, χλοσε το τηε ρεστινγ ποτεντιαλ οφ τηε χελλ. Τηε ρεστινγ ποτεντιαλ ισ δε⇒νεδ ασ τηε ποτεντιαλ ωηερε νο νετ χυρρεντ ⇓οωσ αχροσσ τηε µεµβρανε. Νεαρ τηισ πο− τεντιαλ, ωε αππροξιµατε τηε µεµβρανε χυρρεντ περ υνιτ αρεα ασ ιµ = (ς − ςρεστ )/ ρµ ,

(6.12)

ωηερε ςρεστ ισ τηε ρεστινγ ποτεντιαλ ανδ ρµ ισ τηε σπεχι⇒χ µεµβρανε ρεσισ− τανχε. Ιτ ισ χονϖενιεντ το δε⇒νε v ασ τηε µεµβρανε ποτεντιαλ ρελατιϖε το τηε ρεστινγ ποτεντιαλ, v = ς − ςρεστ , σο τηατ ιµ = v/ ρµ .

v = ς − ςρεστ

Ιφ τηε ραδιι οφ τηε χαβλε σεγµεντσ υσεδ το µοδελ α νευρον αρε χονσταντ εξ− χεπτ ατ βρανχηεσ ανδ αβρυπτ ϕυνχτιονσ, τηε φαχτορ α2 ιν εθυατιον 6.11 χαν βε τακεν ουτ οφ τηε δεριϖατιϖε ανδ χοµβινεδ ωιτη τηε πρεφαχτορ 1/2αρΛ το προ− δυχε α φαχτορ α/2ρΛ τηατ µυλτιπλιεσ τηε σπατιαλ σεχονδ δεριϖατιϖε. Ωιτη τηισ µοδι⇒χατιον ανδ υσε οφ τηε λινεαρ εξπρεσσιον φορ τηε µεµβρανε χυρρεντ, τηε χαβλε εθυατιον φορ v ισ χµ

∂v α ∂2 v v = − + ιε . 2 ∂τ 2ρΛ ∂ ξ ρµ

(6.13)

Ιτ ισ χονϖενιεντ το µυλτιπλψ τηισ εθυατιον βψ ρµ , τυρνινγ τηε φαχτορ τηατ µυλτιπλιεσ τηε τιµε δεριϖατιϖε ον τηε λεφτ σιδε ιντο τηε µεµβρανε τιµε χον− σταντ τµ = ρµ χµ . Τηισ αλσο χηανγεσ τηε εξπρεσσιον µυλτιπλψινγ τηε σπατιαλ σεχονδ δεριϖατιϖε ον τηε ριγητ σιδε οφ εθυατιον 6.13 το αρµ /2ρΛ . Τηισ φαχτορ ηασ τηε διµενσιονσ οφ λενγτη σθυαρεδ, ανδ ιτ δε⇒νεσ α φυνδαµενταλ λενγτη χονσταντ φορ α σεγµεντ οφ χαβλε οφ ραδιυσ α, τηε ελεχτροτονιχ λενγτη, B αρµ . (6.14) λ= 2ρΛ Υσινγ τηε ϖαλυεσ ρµ = 1 Μ7·µµ2 ανδ ρΛ = 1 κ7·µµ, α χαβλε οφ ραδιυσ α = 2 µµ ηασ αν ελεχτροτονιχ λενγτη οφ 1 µµ. Α σεγµεντ οφ χαβλε ωιτη ραδιυσ α ανδ λενγτη λ ηασ α µεµβρανε ρεσιστανχε τηατ ισ εθυαλ το ιτσ λονγιτυδιναλ ρεσιστανχε, ασ χαν βε σεεν φροµ εθυατιον 6.14, ρµ ρΛ λ (6.15) = 2. 2π α λ πα Τηε ρεσιστανχε Ρλ δε⇒νεδ βψ τηισ εθυατιον ισ α υσεφυλ θυαντιτψ τηατ εντερσ ιντο α νυµβερ οφ χαλχυλατιονσ.

ελεχτροτονιχ λενγτη λ

Ρλ

Ρλ =

Εξπρεσσεδ ιν τερµσ οφ τµ ανδ λ, τηε χαβλε εθυατιον βεχοµεσ

τµ

∂2 v ∂v = λ2 2 − v + ρµ ιε . ∂τ ∂ξ

(6.16)

λινεαρ χαβλε εθυατιον

208

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

Εθυατιον 6.16 ισ α λινεαρ εθυατιον φορ v σιµιλαρ το τηε διφφυσιον εθυατιον, ανδ ιτ χαν βε σολϖεδ βψ στανδαρδ µετηοδσ οφ µατηεµατιχαλ αναλψσισ. Τηε χονσταντσ τµ ανδ λ σετ τηε σχαλε φορ τεµποραλ ανδ σπατιαλ ϖαριατιονσ ιν τηε µεµβρανε ποτεντιαλ. Φορ εξαµπλε, τηε µεµβρανε ποτεντιαλ ρεθυιρεσ α τιµε οφ ορδερ τµ το σεττλε δοων αφτερ α τρανσιεντ, ανδ δεϖιατιονσ ιν τηε µεµ− βρανε ποτεντιαλ δυε το λοχαλιζεδ ελεχτροδε χυρρεντσ δεχαψ βαχκ το 0 οϖερ α λενγτη οφ ορδερ λ.

Γρεεν[σ φυνχτιον

Τηε µεµβρανε ποτεντιαλ ισ αφφεχτεδ βοτη βψ τηε φορµ οφ τηε χαβλε εθυατιον ανδ βψ τηε βουνδαρψ χονδιτιονσ ιµποσεδ ατ βρανχηινγ νοδεσ ανδ τερµι− νατιονσ. Το ισολατε τηεσε τωο εφφεχτσ, ωε χονσιδερ τωο ιδεαλιζεδ χασεσ: αν ιν⇒νιτε χαβλε τηατ δοεσ νοτ βρανχη ορ τερµινατε, ανδ α σινγλε βρανχηινγ νοδε τηατ ϕοινσ τηρεε σεµι−ιν⇒νιτε χαβλεσ. Οφ χουρσε, ρεαλ νευροναλ χαβλεσ αρε νοτ ιν⇒νιτελψ λονγ, βυτ τηε σολυτιονσ ωε ⇒νδ αρε αππλιχαβλε φορ λονγ χαβλεσ φαρ φροµ τηειρ ενδσ. Ωε δετερµινε τηε ποτεντιαλ φορ βοτη οφ τηεσε µορπηολογιεσ ωηεν χυρρεντ ισ ινϕεχτεδ ατ α σινγλε ποιντ. Βεχαυσε τηε εθυα− τιον ωε αρε στυδψινγ ισ λινεαρ, τηε µεµβρανε ποτεντιαλ φορ ανψ οτηερ σπατιαλ διστριβυτιον οφ ελεχτροδε χυρρεντ χαν βε δετερµινεδ βψ συµµινγ σολυτιονσ χορρεσπονδινγ το χυρρεντ ινϕεχτιον ατ διφφερεντ ποιντσ. Τηε υσε οφ ποιντ ινϕεχτιον το βυιλδ µορε γενεραλ σολυτιονσ ισ α στανδαρδ µετηοδ οφ λινεαρ αναλψσισ. Ιν τηισ χοντεξτ, τηε σολυτιον φορ α ποιντ σουρχε οφ χυρρεντ ινϕεχτιον ισ χαλλεδ α Γρεενaσ φυνχτιον.

Αν Ιν⇒νιτε Χαβλε Ιν γενεραλ, σολυτιονσ το τηε λινεαρ χαβλε εθυατιον αρε φυνχτιονσ οφ βοτη πο− σιτιον ανδ τιµε. Ηοωεϖερ, ιφ τηε χυρρεντ βεινγ ινϕεχτεδ ισ ηελδ χονσταντ, τηε µεµβρανε ποτεντιαλ σεττλεσ το α στεαδψ−στατε σολυτιον τηατ ισ ινδεπενδεντ οφ τιµε. Σολϖινγ φορ τηισ τιµε−ινδεπενδεντ σολυτιον ισ εασιερ τηαν σολϖινγ τηε φυλλ τιµε−δεπενδεντ εθυατιον, βεχαυσε τηε χαβλε εθυατιον ρεδυχεσ το αν ορδιναρψ διφφερεντιαλ εθυατιον ιν τηε στατιχ χασε,

λ2

δ2 v = v − ρµ ιε . δξ2

(6.17)

Φορ τηε λοχαλιζεδ χυρρεντ ινϕεχτιον ωε ωιση το στυδψ, ιε ισ 0 εϖερψωηερε εξ− χεπτ ωιτηιν α σµαλλ ρεγιον οφ σιζε %ξ αρουνδ τηε ινϕεχτιον σιτε, ωηιχη ωε τακε το βε ξ = 0. Εϖεντυαλλψ ωε ωιλλ λετ %ξ → 0. Αωαψ φροµ τηε ινϕεχτιον σιτε, τηε λινεαρ χαβλε εθυατιον ισ λ2 δ2 v/δξ2 = v, ωηιχη ηασ τηε γενεραλ σο− λυτιον v( ξ ) = Β1 εξπ(−ξ/λ) + Β2 εξπ( ξ/λ) ωιτη ασ ψετ υνδετερµινεδ χοεφ− ⇒χιεντσ Β1 ανδ Β2 . Τηεσε χονσταντ χοεφ⇒χιεντσ αρε δετερµινεδ βψ ιµποσινγ βουνδαρψ χονδιτιονσ αππροπριατε το τηε παρτιχυλαρ µορπηολογψ βεινγ χον− σιδερεδ. Φορ αν ιν⇒νιτε χαβλε, ον πηψσιχαλ γρουνδσ ωε σιµπλψ ρεθυιρε τηατ τηε σολυτιον δοεσ νοτ γροω ωιτηουτ βουνδ ωηεν ξ → ±∞. Τηισ µεανσ τηατ ωε µυστ χηοοσε τηε σολυτιον ωιτη Β1 = 0 φορ τηε ρεγιον ξ < 0 ανδ τηε σολυτιον ωιτη Β2 = 0 φορ ξ > 0. Βεχαυσε τηε σολυτιον µυστ βε χοντινυουσ ατ ξ = 0, ωε µυστ ρεθυιρε Β1 = Β2 = Β, ανδ τηεσε τωο σολυτιονσ χαν βε χοµ− βινεδ ιντο α σινγλε εξπρεσσιον, v( ξ ) = Β εξπ(−|ξ|/λ). Τηε ρεµαινινγ τασκ

6.3

Τηε Χαβλε Εθυατιον

209

A

B ϖ(ξ, τ)/ΙεΡλ

2ϖ(ξ)/ΙεΡλ

1.0 0.8 0.6 0.4 0.2 0.0

1.0

τ = 0.1τµ

0.8 0.6

τ = τµ

0.4 0.2

τ = 2τµ

0.0 -4

-2

0

ξ/λ

Ιε

2

4

-4

-2

0

2

4

ξ/λ

Ιε

Φιγυρε 6.7 Τηε ποτεντιαλ φορ χυρρεντ ινϕεχτιον ατ τηε ποιντ ξ = 0 αλονγ αν ιν⇒νιτε χαβλε. (Α) Στατιχ σολυτιον φορ α χονσταντ ελεχτροδε χυρρεντ. Τηε ποτεντιαλ δεχαψσ εξπονεντιαλλψ αωαψ φροµ τηε σιτε οφ χυρρεντ ινϕεχτιον. (Β) Τιµε−δεπενδεντ σολυτιον φορ α δ φυνχτιον πυλσε οφ χυρρεντ. Τηε ποτεντιαλ ισ δεσχριβεδ βψ α Γαυσσιαν φυνχτιον χεντερεδ ατ τηε σιτε οφ χυρρεντ ινϕεχτιον τηατ βροαδενσ ανδ σηρινκσ ιν αµπλιτυδε οϖερ τιµε.

ισ το δετερµινε Β, ωηιχη ωε δο βψ βαλανχινγ τηε χυρρεντ ινϕεχτεδ ωιτη τηε χυρρεντ τηατ διφφυσεσ αωαψ φροµ ξ = 0. Ιν τηε σµαλλ ρεγιον οφ σιζε %ξ αρουνδ ξ = 0 ωηερε τηε χυρρεντ ισ ινϕεχτεδ, τηε φυλλ εθυατιον λ2 δ2 v/δξ2 = v − ρµ ιε µυστ βε σολϖεδ. Ιφ τηε τοταλ αµουντ οφ χυρρεντ ινϕεχτεδ βψ τηε ελεχτροδε ισ Ιε , τηε χυρρεντ περ υνιτ αρεα ινϕεχτεδ ιντο τηισ ρεγιον ισ Ιε /(2πα%ξ ). Τηισ γροωσ ωιτηουτ βουνδ ασ %ξ → 0. Τηε ⇒ρστ δεριϖατιϖε οφ τηε µεµβρανε ποτεντιαλ v( ξ ) = Β εξπ(−|ξ|/λ) ισ δισχοντινυουσ ατ τηε ποιντ ξ = 0. Φορ σµαλλ %ξ, τηε δεριϖατιϖε ατ ονε σιδε οφ τηε ρεγιον ωε αρε δισχυσσινγ (ατ ξ = −%ξ/2) ισ αππροξιµατελψ Β/λ, ωηιλε ατ τηε οτηερ σιδε (ατ ξ = +%ξ/2) ιτ ισ − Β/λ. Ιν τηεσε εξπρεσ− σιονσ, ωε ηαϖε υσεδ τηε φαχτ τηατ %ξ ισ σµαλλ το σετ εξπ(−|%ξ|/2λ) ≈ 1. Φορ σµαλλ %ξ, τηε σεχονδ δεριϖατιϖε ισ αππροξιµατελψ τηε διφφερενχε βε− τωεεν τηεσε τωο ⇒ρστ δεριϖατιϖεσ διϖιδεδ βψ %ξ, ωηιχη ισ −2Β/(λ%ξ ). Ωε χαν ιγνορε τηε τερµ v ιν τηε χαβλε εθυατιον ωιτηιν τηισ σµαλλ ρε− γιον, βεχαυσε ιτ ισ νοτ προπορτιοναλ το 1/%ξ. Συβστιτυτινγ τηε εξπρεσσιονσ ωε ηαϖε δεριϖεδ φορ τηε ρεµαινινγ τερµσ ιν τηε εθυατιον, ωε ⇒νδ τηατ −2λ2 Β/(λ%ξ ) = −ρµ Ιε /(2πα%ξ ), ωηιχη µεανσ τηατ Β = Ιε Ρλ /2, υσινγ Ρλ φροµ εθυατιον 6.15. Τηυσ, τηε µεµβρανε ποτεντιαλ φορ στατιχ χυρρεντ ινϕεχ− τιον ατ τηε ποιντ ξ = 0 αλονγ αν ιν⇒νιτε χαβλε ισ % & Ιε Ρλ | ξ| v( ξ ) = εξπ − . (6.18) 2 λ Αχχορδινγ το τηισ ρεσυλτ, τηε µεµβρανε ποτεντιαλ αωαψ φροµ τηε σιτε οφ χυρρεντ ινϕεχτιον (ξ = 0) δεχαψσ εξπονεντιαλλψ ωιτη λενγτη χονσταντ λ (σεε ⇒γυρε 6.7Α). Τηε ρατιο οφ τηε µεµβρανε ποτεντιαλ ατ τηε ινϕεχτιον σιτε το τηε µαγνιτυδε οφ τηε ινϕεχτεδ χυρρεντ ισ χαλλεδ τηε ινπυτ ρεσιστανχε οφ τηε χαβλε. Τηε ϖαλυε οφ τηε ποτεντιαλ ατ ξ = 0 ισ Ιε Ρλ /2, ινδιχατινγ τηατ τηε

210

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

A

B 2.0

ξ=0

0.4

ξ = 0.5

1.5

0.3

ξ /λ

ϖ(ξ,τ)/ΙεΡλ

0.5

ξ=1

0.2 0.1

1.0 0.5

ξ=2

0.0

0.0 0.0

0.5

1.0

τ /τµ

1.5

2.0

0.0

0.2

0.4

0.6

0.8

1.0

τµαξ/τµ

Φιγυρε 6.8 Τιµε δεπενδενχε οφ τηε ποτεντιαλ ον αν ιν⇒νιτε χαβλε ιν ρεσπονσε το α πυλσε οφ χυρρεντ ινϕεχτεδ ατ τηε ποιντ ξ = 0 ατ τιµε τ = 0. (Α) Τηε ποτεντιαλ ισ αλωαψσ λαργεστ ατ τηε σιτε οφ χυρρεντ ινϕεχτιον. Ατ ανψ ⇒ξεδ ποιντ, ιτ ρεαχηεσ ιτσ µαξιµυµ ϖαλυε ασ α φυνχτιον οφ τιµε λατερ φορ µεασυρεµεντ σιτεσ λοχατεδ φαρτηερ αωαψ φροµ τηε χυρρεντ σουρχε. (Β) Μοϖεµεντ οφ τηε τεµποραλ µαξιµυµ οφ τηε ποτεντιαλ. Τηε σολιδ λινε σηοωσ τηε ρελατιονσηιπ βετωεεν τηε µεασυρεµεντ λοχατιον ξ ανδ τηε τιµε τµαξ ωηεν τηε ποτεντιαλ ρεαχηεσ ιτσ µαξιµυµ ϖαλυε ατ τηατ λοχατιον. Τηε δασηεδ λινε χορρεσπονδσ το α χονσταντ ϖελοχιτψ 2λ/τµ .

ιν⇒νιτε χαβλε ηασ αν ινπυτ ρεσιστανχε οφ Ρλ /2. Εαχη διρεχτιον οφ τηε χαβλε αχτσ λικε α ρεσιστανχε οφ Ρλ , ανδ τηεσε τωο αχτ ιν παραλλελ το προδυχε α τοταλ ρεσιστανχε ηαλφ ασ βιγ. Νοτε τηατ εαχη σεµι−ιν⇒νιτε χαβλε εξτενδινγ φροµ τηε ποιντ ξ = 0 ηασ α ρεσιστανχε εθυαλ το α ⇒νιτε χαβλε οφ λενγτη λ. Ωε νοω χονσιδερ τηε µεµβρανε ποτεντιαλ προδυχεδ βψ αν ινσταντανεουσ πυλσε οφ χυρρεντ ινϕεχτεδ ατ τηε ποιντ ξ = 0 ατ τηε τιµε τ = 0. Σπεχι⇒χαλλψ, ωε χονσιδερ ιε = Ιε τµ δ( ξ )δ(τ )/2πα, ωηιχη µεανσ τηατ τηε χυρρεντ πυλσε δελιϖερσ α τοταλ χηαργε οφ Ιε τµ . Ωε δο νοτ δεριϖε τηε σολυτιον φορ τηισ χασε (σεε Τυχκωελλ, 1988, φορ εξαµπλε), βυτ σιµπλψ στατε τηε ανσωερ, % & % & Ιε Ρλ τµ ξ2 τ v( ξ, τ ) = √ εξπ − 2 εξπ − . (6.19) 4λ τ τµ 4πτ/τµ Ιν τηισ χασε, τηε σπατιαλ δεπενδενχε οφ τηε ποτεντιαλ ισ δετερµινεδ βψ α Γαυσσιαν, ρατηερ τηαν αν εξπονεντιαλ φυνχτιον. Τηε Γαυσσιαν ισ αλωαψσ χεντερεδ αρουνδ τηε ινϕεχτιον σιτε, σο τηε ποτεντιαλ ισ αλωαψσ λαργεστ ατ ξ√ = 0. Τηε ωιδτη οφ τηε Γαυσσιαν χυρϖε αρουνδ ξ = 0 ισ προπορτιοναλ το λ τ/τµ . Ασ εξπεχτεδ, λ σετσ τηε σχαλε φορ τηισ σπατιαλ ϖαριατιον, βυτ τηε ωιδτη αλσο γροωσ ασ τηε σθυαρε ροοτ οφ τηε τιµε µεασυρεδ ιν υνιτσ οφ τµ . Τηε φαχτορ (4πτ/τµ )−1/2 ιν εθυατιον 6.19 πρεσερϖεσ τηε τοταλ αρεα υνδερ τηισ Γαυσσιαν χυρϖε, βυτ τηε αδδιτιοναλ εξπονεντιαλ φαχτορ εξπ(−τ/τµ ) ρεδυχεσ τηε ιντεγρατεδ αµπλιτυδε οϖερ τιµε. Ασ α ρεσυλτ, τηε σπατιαλ δεπενδενχε οφ τηε µεµβρανε ποτεντιαλ ισ δεσχριβεδ βψ α σπρεαδινγ Γαυσσιαν φυνχτιον ωιτη αν ιντεγραλ τηατ δεχαψσ εξπονεντιαλλψ (⇒γυρε 6.7Β). Φιγυρε 6.8 σηοωσ τηε σολυτιον οφ εθυατιον 6.19 πλοττεδ ατ ϖαριουσ ⇒ξεδ ποσι− τιονσ ασ α φυνχτιον οφ τιµε. Φιγυρε 6.8Α σηοωσ τηατ τηε µεµβρανε ποτεντιαλ µεασυρεδ φαρτηερ φροµ τηε ινϕεχτιον σιτε ρεαχηεσ ιτσ µαξιµυµ ϖαλυε ατ λατερ τιµεσ. Ιτ ισ ιµπορταντ το κεεπ ιν µινδ τηατ τηε µεµβρανε ποτεντιαλ σπρεαδσ ουτ φροµ τηε ρεγιον ξ = 0; ιτ δοεσ νοτ προπαγατε λικε α ωαϖε. Νεϖερτηελεσσ,

6.3

Τηε Χαβλε Εθυατιον

211

ωε χαν δε⇒νε α τψπε οφ mϖελοχιτψn φορ τηισ σολυτιον βψ χοµπυτινγ τηε τιµε τµαξ ωηεν τηε µαξιµυµ οφ τηε ποτεντιαλ οχχυρσ ατ α γιϖεν σπατιαλ λοχατιον. Τηισ ισ δονε βψ σεττινγ τηε τιµε δεριϖατιϖε οφ v( ξ, τ ) ιν εθυατιον 6.19 το 0, γιϖινγ > τ µ =0 τµαξ = 1 + 4( ξ/λ)2 − 1 . (6.20) 4

Φορ λαργε ξ, τµαξ ≈ ξτµ /2λ, χορρεσπονδινγ το α ϖελοχιτψ οφ 2λ/τµ . Φορ σµαλλερ ξ ϖαλυεσ, τηε λοχατιον οφ τηε µαξιµυµ µοϖεσ φαστερ τηαν τηισ mϖε− λοχιτψn ωουλδ ιµπλψ (⇒γυρε 6.8Β).

Αν Ισολατεδ Βρανχηινγ Νοδε Το ιλλυστρατε τηε εφφεχτσ οφ βρανχηινγ ον τηε µεµβρανε ποτεντιαλ ιν ρε− σπονσε το α ποιντ σουρχε οφ χυρρεντ ινϕεχτιον, ωε χονσιδερ α σινγλε ισολατεδ ϕυνχτιον οφ τηρεε σεµι−ιν⇒νιτε χαβλεσ, ασ σηοων ιν τηε βοττοµ πανελσ οφ ⇒γ− υρε 6.9. Φορ σιµπλιχιτψ, ωε δισχυσσ τηε σολυτιον φορ στατιχ χυρρεντ ινϕεχτιον ατ α ποιντ, βυτ τηε ρεσυλτσ γενεραλιζε διρεχτλψ το τηε χασε οφ τιµε−δεπενδεντ χυρρεντσ. Ωε λαβελ τηε ποτεντιαλσ αλονγ τηε τηρεε σεγµεντσ v1 , v2 , ανδ v3 , ανδ λαβελ τηε διστανχε ουτωαρδ φροµ τηε ϕυνχτιον ποιντ αλονγ ανψ γιϖεν σεγµεντ βψ τηε χοορδινατε ξ (αλτηουγη ιν ⇒γυρε 6.9 α σλιγητλψ διφφερεντ χον− ϖεντιον ισ υσεδ). Τηε ελεχτροδε ινϕεχτιον σιτε ισ λοχατεδ α διστανχε ψ αωαψ φροµ τηε ϕυνχτιον αλονγ σεγµεντ 2. Τηε σολυτιον φορ τηε τηρεε σεγµεντσ ισ τηεν

v1 ( ξ ) = π1 Ιε Ρλ1 εξπ(−ξ/λ1 − ψ/λ2 ) 2 Ιε Ρλ2 1 v2 ( ξ ) = εξπ(−| ψ − ξ|/λ2 ) + (2π2 − 1 ) εξπ(−( ψ + ξ )/λ2 ) 2 v3 ( ξ ) = π3 Ιε Ρλ3 εξπ(−ξ/λ3 − ψ/λ2 ) , (6.21) ωηερε, φορ ι = 1, 2, ανδ 3, 3/2

πι =

αι 3/2 α1

+ α32/2

+ α33/2

, λι =

B

αι ρµ ρ Λ λι , ανδ Ρλι = . 2ρΛ πα2ι

(6.22)

Νοτε τηατ τηε διστανχεσ ξ ανδ ψ αππεαρινγ ιν τηε εξπονεντιαλ φυνχτιονσ αρε διϖιδεδ βψ τηε ελεχτροτονιχ λενγτη οφ τηε σεγµεντ αλονγ ωηιχη τηε ποτεν− τιαλ ισ µεασυρεδ ορ τηε χυρρεντ ισ ινϕεχτεδ. Τηισ σολυτιον σατισ⇒εσ τηε χα− βλε εθυατιον, βεχαυσε ιτ ισ χονστρυχτεδ βψ χοµβινινγ σολυτιονσ οφ τηε φορµ 6.18. Τηε ονλψ τερµ τηατ ηασ α δισχοντινυουσ ⇒ρστ δεριϖατιϖε ωιτηιν τηε ρανγε βεινγ χονσιδερεδ ισ τηε ⇒ρστ τερµ ιν τηε εξπρεσσιον φορ v2 , ανδ τηισ σολϖεσ τηε χαβλε εθυατιον ατ τηε χυρρεντ ινϕεχτιον σιτε βεχαυσε ιτ ισ ιδεντιχαλ το 6.18. Ωε λεαϖε ιτ το τηε ρεαδερ το ϖεριφψ τηατ / τηισ σολυτιον σατισ⇒εσ τηε βουνδαρψ χονδιτιονσ v1 (0 ) = v2 (0 ) = v3 (0 ) ανδ α2ι ∂vι /∂ ξ = 0.

Φιγυρε 6.9 σηοωσ τηε ποτεντιαλ νεαρ α ϕυνχτιον ωηερε α χαβλε οφ ραδιυσ 2 µ βρεακσ ιντο τωο τηιννερ χαβλεσ οφ ραδιυσ 1 µ. Ιν ⇒γυρε 6.9Α, χυρρεντ ισ ιν− ϕεχτεδ αλονγ τηε τηιχκερ χαβλε, ανδ ιν ⇒γυρε 6.9Β ιτ ισ ινϕεχτεδ αλονγ ονε

212

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

ϖ/ϖ µαξ

A

B 1.0

1.0

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.0

0.0 -2.0

-1.5

-1.0

-0.5

0.0

ξ (µµ)

0.5

1.0

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0

ξ (µµ)

Ιε Ιε Φιγυρε 6.9 Τηε ποτεντιαλσ αλονγ τηε τηρεε βρανχηεσ οφ αν ισολατεδ ϕυνχτιον φορ α χυρρεντ ινϕεχτιον σιτε ονε ελεχτροτονιχ λενγτη χονσταντ αωαψ φροµ τηε ϕυνχτιον. Τηε ποτεντιαλ v ισ πλοττεδ ρελατιϖε το vµαξ , ωηιχη ισ v ατ τηε σιτε οφ τηε ελεχτροδε. Τηε τηιχκ βρανχη ηασ α ραδιυσ οφ 2 µ ανδ αν ελεχτροτονιχ λενγτη χονσταντ λ = 1 µµ, ανδ τηε τωο τηιν βρανχηεσ ηαϖε ραδιι οφ 1 µ ανδ λ = 2−1/2 µµ. (Α) Χυρρεντ ινϕεχτιον αλονγ τηε τηιχκ βρανχη. Τηε ποτεντιαλσ αλονγ βοτη οφ τηε τηιν βρανχηεσ, σηοων βψ τηε σολιδ χυρϖε οϖερ τηε ρανγε ξ > 0, αρε ιδεντιχαλ. Τηε σολιδ χυρϖε οϖερ τηε ρανγε ξ < 0 σηοωσ τηε ποτεντιαλ ον τηε τηιχκ βρανχη ωηερε χυρρεντ ισ βεινγ ινϕεχτεδ. (Β) Χυρρεντ ινϕεχτιον αλονγ ονε οφ τηε τηιν βρανχηεσ. Τηε δασηεδ λινε σηοωσ τηε ποτεντιαλ αλονγ τηε τηιν βρανχη ωηερε χυρρεντ ινϕεχτιον δοεσ νοτ οχχυρ. Τηε σολιδ λινε σηοωσ τηε ποτεντιαλ αλονγ τηε τηιχκ βρανχη φορ ξ < 0 ανδ αλονγ τηε τηιν βρανχη ρεχειϖινγ τηε ινϕεχτεδ χυρρεντ φορ ξ > 0.

οφ τηε τηιννερ βρανχηεσ. Ιν βοτη χασεσ, τηε σιτε οφ χυρρεντ ινϕεχτιον ισ ονε ελεχτροτονιχ λενγτη χονσταντ αωαψ φροµ τηε ϕυνχτιον. Τηε τωο δαυγητερ βρανχηεσ ηαϖε λιττλε εφφεχτ ον τηε φαλλοφφ οφ τηε ποτεντιαλ αωαψ φροµ τηε ελεχ− τροδε σιτε ιν ⇒γυρε 6.9Α. Τηισ ισ βεχαυσε τηε τηιν βρανχηεσ δο νοτ ρεπρεσεντ α λαργε χυρρεντ σινκ. Τηε τηιχκ βρανχη ηασ α βιγγερ εφφεχτ ον τηε αττενυα− τιον οφ τηε ποτεντιαλ αλονγ τηε τηιν βρανχη ρεχειϖινγ τηε ελεχτροδε χυρρεντ ιν ⇒γυρε 6.9Β. Τηισ χαν βε σεεν ασ αν ασψµµετρψ ιν τηε φαλλοφφ οφ τηε πο− τεντιαλ ον ειτηερ σιδε οφ τηε ελεχτροδε. Λοαδινγ βψ τηε τηιχκ χαβλε σεγµεντ χοντριβυτεσ το α θυιτε σεϖερε αττενυατιον βετωεεν τηε τωο τηιν βρανχηεσ ιν ⇒γυρε 6.9Β. Χοµπαρισον οφ ⇒γυρεσ 6.9Α ανδ Β ρεϖεαλσ α γενεραλ φεατυρε οφ στατιχ αττενυατιον ιν α πασσιϖε χαβλε: αττενυατιον νεαρ τηε σοµα δυε το ποτεντιαλσ αρισινγ ιν τηε περιπηερψ ισ τψπιχαλλψ γρεατερ τηαν αττενυατιον ιν τηε περιπηερψ δυε το ποτεντιαλσ αρισινγ νεαρ τηε σοµα.

Τηε Ραλλ Μοδελ Τηε ιν⇒νιτε ανδ σεµι−ιν⇒νιτε χαβλεσ ωε ηαϖε χονσιδερεδ αρε χλεαρλψ µατη− εµατιχαλ ιδεαλιζατιονσ. Ωε νοω τυρν το α µοδελ νευρον ιντροδυχεδ βψ Ραλλ (1959, 1977) τηατ, τηουγη στιλλ ηιγηλψ σιµπλι⇒εδ, χαπτυρεσ σοµε οφ τηε ιµ− πορταντ ελεµεντσ τηατ αφφεχτ τηε ρεσπονσεσ οφ ρεαλ νευρονσ. Μοστ νευρονσ ρεχειϖε τηειρ σψναπτιχ ινπυτσ οϖερ χοµπλεξ δενδριτιχ τρεεσ. Τηε ιντεγρατεδ

6.3

Τηε Χαβλε Εθυατιον

Ιε

ϖ

ϖσοµα

ξ ϖσοµα

213

ϖ

Λ

Ρ1

ϖ(ξ) ϖσοµα =

Ιε Ρσοµα

Ρ2 ϖ(ξ) =

Ιε(Ρ1 + Ρ2)Ρσοµα Ρ1 + Ρ2 + Ρσοµα ΙεΡ2Ρσοµα Ρ1 + Ρ2 + Ρσοµα

Φιγυρε 6.10 Τηε Ραλλ µοδελ ωιτη στατιχ χυρρεντ ινϕεχτεδ ιντο τηε σοµα. Τηε σχηεµατιχ ατ λεφτ σηοωσ τηε ρεχορδινγ σετυπ. Τηε ποτεντιαλ ισ µεασυρεδ ατ τηε σοµα ανδ ατ α διστανχε ξ αλονγ τηε εθυιϖαλεντ χαβλε. Τηε χεντραλ διαγραµ ισ τηε εθυιϖα− λεντ χιρχυιτ φορ τηισ χασε, ανδ τηε χορρεσπονδινγ φορµυλασ φορ τηε σοµατιχ ανδ δεν− δριτιχ ϖολταγεσ αρε γιϖεν ατ τηε ριγητ. Τηε σψµβολσ ατ τηε βοττοµ οφ τηε ρεσιστανχεσ Ρσοµα ανδ Ρ2 ινδιχατε τηατ v = 0 ατ τηεσε ποιντσ. Ρσοµα ισ τηε µεµβρανε ρεσιστανχε οφ τηε σοµα, ανδ Ρ1 ανδ Ρ2 αρε τηε ρεσιστανχεσ γιϖεν ιν εθυατιονσ 6.23 ανδ 6.24.

εφφεχτ οφ τηεσε ινπυτσ ισ υσυαλλψ µεασυρεδ φροµ τηε σοµα, ανδ τηε σπικε− ινιτιατιον ρεγιον οφ τηε αξον τηατ δετερµινεσ ωηετηερ τηε νευρον ⇒ρεσ αν αχτιον ποτεντιαλ ισ τψπιχαλλψ λοχατεδ νεαρ τηε σοµα. Ιν Ραλλaσ µοδελ, α χοµ− παχτ σοµα ρεγιον (ρεπρεσεντεδ βψ ονε χοµπαρτµεντ) ισ χοννεχτεδ το α σιν− γλε εθυιϖαλεντ χψλινδριχαλ χαβλε τηατ ρεπλαχεσ τηε εντιρε δενδριτιχ ρεγιον οφ τηε νευρον (σεε τηε σχηεµατιχσ ιν ⇒γυρεσ 6.10 ανδ 6.12). Τηε χριτιχαλ φεατυρε οφ τηε µοδελ ισ τηε χηοιχε οφ τηε ραδιυσ ανδ λενγτη φορ τηε εθυιϖαλεντ χαβλε το βεστ µατχη τηε προπερτιεσ οφ τηε δενδριτιχ στρυχτυρε βεινγ αππροξιµατεδ. Τηε ραδιυσ α ανδ λενγτη Λ οφ τηε εθυιϖαλεντ χαβλε αρε δετερµινεδ βψ µατχη− ινγ τωο ιµπορταντ ελεµεντσ οφ τηε φυλλ δενδριτιχ τρεε. Τηεσε αρε ιτσ αϖεραγε λενγτη ιν ελεχτροτονιχ υνιτσ, ωηιχη δετερµινεσ τηε αµουντ οφ αττενυατιον, ανδ τηε τοταλ συρφαχε αρεα, ωηιχη δετερµινεσ τηε τοταλ µεµβρανε ρεσιστανχε ανδ χαπαχιτανχε. Τηε αϖεραγε ελεχτροτονιχ λενγτη οφ α δενδριτε ισ δετερ− µινεδ βψ χονσιδερινγ διρεχτ πατησ φροµ τηε σοµα το τηε τερµιναλσ οφ τηε δενδριτε. Τηε ελεχτροτονιχ λενγτησ φορ τηεσε πατησ αρε χονστρυχτεδ βψ µεα− συρινγ τηε διστανχε τραϖελεδ αλονγ εαχη οφ τηε χαβλε σεγµεντσ τραϖερσεδ ιν υνιτσ οφ τηε ελεχτροτονιχ λενγτη χονσταντ φορ τηατ σεγµεντ. Ιν γενεραλ, τηε τοταλ ελεχτροτονιχ λενγτη µεασυρεδ βψ συµµινγ τηεσε ελεχτροτονιχ σεγ− µεντ λενγτησ δεπενδσ ον ωηιχη τερµιναλ οφ τηε τρεε ισ υσεδ ασ τηε ενδ ποιντ. Ηοωεϖερ, αν αϖεραγε ϖαλυε χαν βε υσεδ το δε⇒νε αν ελεχτροτονιχ λενγτη φορ τηε φυλλ δενδριτιχ στρυχτυρε. Τηε λενγτη Λ οφ τηε εθυιϖαλεντ χα− βλε ισ τηεν χηοσεν σο τηατ Λ/λ ισ εθυαλ το τηισ αϖεραγε ελεχτροτονιχ λενγτη, ωηερε λ ισ τηε λενγτη χονσταντ φορ τηε εθυιϖαλεντ χαβλε. Τηε ραδιυσ οφ τηε εθυιϖαλεντ χαβλε, ωηιχη ισ νεεδεδ το χοµπυτε λ, ισ δετερµινεδ βψ σεττινγ τηε συρφαχε αρεα οφ τηε εθυιϖαλεντ χαβλε, 2παΛ, εθυαλ το τηε συρφαχε αρεα οφ τηε φυλλ δενδριτιχ τρεε. Υνδερ σοµε ρεστριχτιϖε χιρχυµστανχεσ τηε εθυιϖαλεντ χαβλε ρεπροδυχεσ τηε εφφεχτσ οφ α φυλλ τρεε εξαχτλψ. Αµονγ τηεσε χονδιτιονσ ισ τηε ρεθυιρεµεντ 3/2 3/2 3/2 α1 = α2 + α3 ον τηε ραδιι οφ ανψ τηρεε σεγµεντσ βεινγ ϕοινεδ ατ α νοδε ωιτηιν τηε τρεε. Νοτε φροµ εθυατιον 6.22 τηατ τηισ χονδιτιον µακεσ π1 = π2 + π3 = 1/2. Ηοωεϖερ, εϖεν ωηεν τηε σο−χαλλεδ 3/2 λαω ισ νοτ εξαχτ, τηε εθυιϖαλεντ χαβλε ισ αν εξτρεµελψ υσεφυλ ανδ οφτεν ρεασοναβλψ αχχυρατε σιµπλι⇒χατιον.

214

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ 1.0

Λ = 0.5λ

attenuation

0.8 Λ=λ 0.6 Λ =1.5λ

0.4

Λ =2λ Λ=

0.2 0.0 0.0

0.5

1.0

1.5

2.0

ξ/λ Φιγυρε 6.11 ςολταγε ανδ χυρρεντ αττενυατιον φορ τηε Ραλλ µοδελ. Τηε αττενυατιον πλοττεδ ισ τηε ρατιο οφ τηε δενδριτιχ ϖολταγε το τηε σοµατιχ ϖολταγε φορ τηε ρεχορδινγ σετυπ οφ ⇒γυρε 6.10, ορ τηε ρατιο οφ τηε σοµατιχ χυρρεντ το τηε ελεχτροδε χυρρεντ φορ τηε αρρανγεµεντ ιν ⇒γυρε 6.12. Αττενυατιον ισ πλοττεδ ασ α φυνχτιον οφ ξ/λ φορ διφφερεντ εθυιϖαλεντ χαβλε λενγτησ.

Φιγυρεσ 6.10 ανδ 6.12 δεπιχτ στατιχ σολυτιονσ οφ τηε Ραλλ µοδελ φορ τωο διφ− φερεντ ρεχορδινγ χον⇒γυρατιονσ, εξπρεσσεδ ιν τηε φορµ οφ εθυιϖαλεντ χιρ− χυιτσ. Τηε εθυιϖαλεντ χιρχυιτσ αρε αν ιντυιτιϖε ωαψ οφ δεσχριβινγ τηε σο− λυτιον οφ τηε χαβλε εθυατιον. Ιν ⇒γυρε 6.10, χονσταντ χυρρεντ ισ ινϕεχτεδ ιντο τηε σοµα. Τηε χιρχυιτ διαγραµ σηοωσ αν αρρανγεµεντ οφ ρεσιστορσ τηατ ρεπλιχατεσ τηε ρεσυλτσ οφ σολϖινγ τηε τιµε−ινδεπενδεντ χαβλε εθυατιον (εθυατιον 6.17) φορ τηε πυρποσεσ οφ ϖολταγε µεασυρεµεντσ ατ τηε σοµα, vσοµα , ανδ ατ α διστανχε ξ αλονγ τηε εθυιϖαλεντ χαβλε, v( ξ ). Τηε ϖαλυεσ φορ τηεσε ρεσιστανχεσ (ανδ σιµιλαρλψ τηε ϖαλυεσ οφ Ρ3 ανδ Ρ4 γιϖεν βελοω) αρε σετ σο τηατ τηε εθυιϖαλεντ χιρχυιτ ρεχονστρυχτσ τηε σολυτιον οφ τηε χαβλε εθυατιον οβταινεδ υσινγ στανδαρδ µετηοδσ (σεε, φορ εξαµπλε, Τυχκωελλ, 1988). Ρσοµα ισ τηε µεµβρανε ρεσιστανχε οφ τηε σοµα, ανδ Ρ1 =

Ρλ (χοση ( Λ/λ) − χοση (( Λ − ξ )/λ)) σινη ( Λ/λ)

(6.23)

Ρλ χοση (( Λ − ξ )/λ) . σινη ( Λ/λ)

(6.24)

Ρ2 =

Εξπρεσσιονσ φορ vσοµα ανδ v( ξ ), αρισινγ διρεχτλψ φροµ τηε εθυιϖαλεντ χιρχυιτ υσινγ στανδαρδ ρυλεσ οφ χιρχυιτ αναλψσισ (σεε τηε Ματηεµατιχαλ Αππενδιξ), αρε γιϖεν ατ τηε ριγητ σιδε οφ ⇒γυρε 6.10. Τηε ινπυτ ρεσιστανχε οφ τηε Ραλλ µοδελ νευρον, ασ µεασυρεδ φροµ τηε σοµα, ισ δετερµινεδ βψ τηε σοµατιχ ρεσιστανχε Ρσοµα αχτινγ ιν παραλλελ ωιτη τηε εφφεχτιϖε ρεσιστανχε οφ τηε χαβλε, ανδ ισ ( Ρ1 + Ρ2 ) Ρσοµα /( Ρ1 + Ρ2 + Ρσοµα ). Τηε εφφεχτιϖε ρεσιστανχε οφ τηε χαβλε, Ρ1 + Ρ2 = Ρλ / τανη( Λ ), αππροαχηεσ τηε ϖαλυε Ρλ ωηεν Λ ≫ λ. Τηε εφφεχτ οφ λενγτηενινγ α χαβλε σατυρατεσ ωηεν ιτ γετσ µυχη λονγερ τηαν ιτσ ελεχτροτονιχ λενγτη. Τηε ϖολταγε αττενυατιον χαυσεδ βψ τηε χαβλε ισ δε⇒νεδ ασ τηε ρατιο οφ τηε δενδριτιχ ποτεντιαλ το τηε σοµατιχ ποτεντιαλ, ανδ ιν τηισ χασε ιτ ισ γιϖεν βψ

v( ξ ) Ρ2 χοση (( Λ − ξ )/λ) . = = vσοµα Ρ1 + Ρ2 χοση ( Λ/λ)

(6.25)

6.3

Τηε Χαβλε Εθυατιον

ςρεστ

Ιε

ςρεστ

ξ Ισοµα

215

ϖ

Ρ3

ϖ(ξ)

Λ

Ρσοµα

Ιε Ρ4

Ισοµα =

ΙεΡ4 Ρ 3 + Ρ4

ϖ(ξ) =

ΙεΡ3Ρ4 Ρ 3 + Ρ4

Φιγυρε 6.12 Τηε Ραλλ µοδελ ωιτη στατιχ χυρρεντ ινϕεχτεδ α διστανχε ξ αλονγ τηε εθυιϖ− αλεντ χαβλε ωηιλε τηε σοµα ισ χλαµπεδ ατ ιτσ ρεστινγ ποτεντιαλ. Τηε σχηεµατιχ ατ λεφτ σηοωσ τηε ρεχορδινγ σετυπ. Τηε ποτεντιαλ ατ τηε σιτε οφ τηε χυρρεντ ινϕεχτιον ανδ τηε χυρρεντ εντερινγ τηε σοµα αρε µεασυρεδ. Τηε χεντραλ διαγραµ ισ τηε εθυιϖαλεντ χιρχυιτ φορ τηισ χασε, ανδ τηε χορρεσπονδινγ φορµυλασ φορ τηε σοµατιχ χυρρεντ ανδ δενδριτιχ ϖολταγε αρε γιϖεν ατ τηε ριγητ. Ρσοµα ισ τηε µεµβρανε ρεσιστανχε οφ τηε σοµα, ανδ Ρ3 ανδ Ρ4 αρε τηε ρεσιστανχεσ γιϖεν ιν εθυατιονσ 6.26 ανδ 6.27.

Τηισ ρεσυλτ ισ πλοττεδ ιν ⇒γυρε 6.11. Φιγυρε 6.12 σηοωσ τηε εθυιϖαλεντ χιρχυιτ φορ τηε Ραλλ µοδελ ωηεν χυρρεντ ισ ινϕεχτεδ ατ α λοχατιον ξ αλονγ τηε χαβλε, ανδ τηε σοµα ισ χλαµπεδ ατ vσοµα = 0 (ορ εθυιϖαλεντλψ ςσοµα = ςρεστ ). Τηε εθυιϖαλεντ χιρχυιτ χαν βε υσεδ το δετερµινε τηε χυρρεντ εντερινγ τηε σοµα ανδ τηε ϖολταγε ατ τηε σιτε οφ χυρρεντ ινϕεχτιον. Ιν τηισ χασε, τηε σοµατιχ ρεσιστανχε ισ ιρρελεϖαντ βεχαυσε τηε σοµα ισ χλαµπεδ ατ ιτσ ρεστινγ ποτεντιαλ. Τηε οτηερ ρεσιστανχεσ αρε Ρ3 = Ρλ σινη ( ξ/λ)

(6.26)

ανδ Ρ4 =

Ρλ σινη ( ξ/λ) χοση (( Λ − ξ )/λ) . χοση ( Λ/λ) − χοση (( Λ − ξ )/λ)

(6.27)

Τηε ινπυτ ρεσιστανχε φορ τηισ χον⇒γυρατιον, ασ µεασυρεδ φροµ τηε δενδριτε, ισ δετερµινεδ βψ Ρ3 ανδ Ρ4 αχτινγ ιν παραλλελ, ανδ ισ Ρ3 Ρ4 /( Ρ3 + Ρ4 ) = Ρλ σινη( ξ/λ) χοση(( Λ − ξ )/λ)/ χοση( Λ/λ). Ωηεν Λ ανδ ξ αρε βοτη µυχη λαργερ τηαν λ, τηισ αππροαχηεσ τηε λιµιτινγ ϖαλυε Ρλ . Τηε χυρρεντ αττενυα− τιον ισ δε⇒νεδ ασ τηε ρατιο οφ τηε σοµατιχ χυρρεντ το τηε ελεχτροδε χυρρεντ, ανδ ισ γιϖεν βψ Ισοµα Ρ4 χοση (( Λ − ξ )/λ) . = = Ιε Ρ3 + Ρ4 χοση ( Λ/λ)

(6.28)

Τηε ινωαρδ χυρρεντ αττενυατιον (πλοττεδ ιν ⇒γυρε 6.11) φορ τηε ρεχορδινγ χον⇒γυρατιον οφ ⇒γυρε 6.12 ισ ιδεντιχαλ το τηε ουτωαρδ ϖολταγε αττενυατιον φορ ⇒γυρε 6.10 γιϖεν βψ εθυατιον 6.25. Εθυαλιτψ οφ τηε ϖολταγε αττενυατιον µεασυρεδ ιν ονε διρεχτιον ανδ τηε χυρρεντ αττενυατιον µεασυρεδ ιν τηε οπποσιτε διρεχτιον ισ α γενεραλ φεατυρε οφ λινεαρ χαβλε τηεορψ.

Τηε Μορπηοελεχτροτονιχ Τρανσφορµ Τηε µεµβρανε ποτεντιαλ φορ α νευρον οφ χοµπλεξ µορπηολογψ ισ οβϖι− ουσλψ µυχη µορε διφ⇒χυλτ το χοµπυτε τηαν τηε σιµπλε χασεσ ωε ηαϖε

216

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

anatomy

attenuation (in)

delay (in)

v

100 µµ

v

10 µσ

Φιγυρε 6.13 Τηε µορπηοελεχτροτονιχ τρανσφορµ οφ α χορτιχαλ νευρον. Τηε λεφτ πανελ ισ α νορµαλ δραωινγ οφ τηε νευρον. Τηε χεντραλ πανελ ισ α διαγραµ ιν ωηιχη τηε διστανχε βετωεεν ανψ ποιντ ανδ τηε σοµα ισ προπορτιοναλ το τηε λογαριτηµ οφ τηε στεαδψ−στατε αττενυατιον βετωεεν τηε σοµα ανδ τηατ ποιντ φορ στατιχ χυρρεντ ινϕεχτεδ ατ τηε τερµιναλσ οφ τηε δενδριτεσ. Τηε σχαλε βαρ δενοτεσ τηε διστανχε χορρεσπονδινγ το αν αττενυατιον οφ εξπ(−1 ). Ιν τηε ριγητ πανελ, τηε διστανχε φροµ τηε σοµα το α γιϖεν ποιντ ισ προπορτιοναλ το τηε ινωαρδ δελαψ, ωηιχη ισ τηε χεντροιδ οφ τηε σοµα ποτεντιαλ µινυσ τηε χεντροιδ ατ τηε περιπηερψ ωηεν α πυλσε οφ χυρρεντ ισ ινϕεχτεδ περιπηεραλλψ. Τηε v λαβελσ ιν τηε διαγραµσ ινδιχατε τηατ τηε ρεφερενχε ποτεντιαλ ιν τηεσε χασεσ ισ τηε σοµατιχ ποτεντιαλ. (Αδαπτεδ φροµ Ζαδορ ετ αλ, 1995.)

µορπηοελεχτροτονιχ τρανσφορµ

χονσιδερεδ. Φορτυνατελψ, εφ⇒χιεντ νυµεριχαλ σχηεµεσ (δισχυσσεδ λατερ ιν τηισ χηαπτερ) εξιστ φορ γενερατινγ σολυτιονσ φορ χοµπλεξ χαβλε στρυχτυρεσ. Ηοωεϖερ, εϖεν ωηεν τηε σολυτιον ισ κνοων, ιτ ισ στιλλ διφ⇒χυλτ το ϖισυαλ− ιζε τηε εφφεχτσ οφ α χοµπλεξ µορπηολογψ ον τηε ποτεντιαλ. Ζαδορ ετ αλ. (1995; σεε αλσο Τσαι ετ αλ., 1994) δεϖισεδ α σχηεµε φορ δεπιχτινγ τηε αττενυα− τιον ανδ δελαψ οφ τηε µεµβρανε ποτεντιαλ φορ χοµπλεξ µορπηολογιεσ. Τηε ϖολταγε αττενυατιον, ασ πλοττεδ ιν ⇒γυρε 6.11, ισ νοτ αν αππροπριατε θυαν− τιτψ το ρεπρεσεντ γεοµετριχαλλψ βεχαυσε ιτ ισ νοτ αδδιτιϖε. Χονσιδερ τηρεε ποιντσ αλονγ α χαβλε σατισφψινγ ξ1 > ξ2 > ξ3 . Τηε αττενυατιον βετωεεν ξ1 ανδ ξ3 ισ τηε προδυχτ οφ τηε αττενυατιον φροµ ξ1 το ξ2 ανδ φροµ ξ2 το ξ3 , v( ξ1 )/v( ξ3 ) = (v( ξ1 )/v( ξ2 ))(v( ξ2 )/v( ξ3 )). Αν αδδιτιϖε θυαντιτψ χαν βε οβταινεδ βψ τακινγ τηε λογαριτηµ οφ τηε αττενυατιον, δυε το τηε ιδεντιτψ λν(v( ξ1 )/v( ξ3 )) = λν(v( ξ1 )/v( ξ2 )) + λν(v( ξ2 )/v( ξ3 )). Τηε µορπηοελεχτρο− τονιχ τρανσφορµ ισ α διαγραµ οφ α νευρον ιν ωηιχη τηε διστανχε βετωεεν ανψ τωο ποιντσ ισ δετερµινεδ βψ τηε λογαριτηµ οφ τηε ρατιο οφ τηε µεµ− βρανε ποτεντιαλσ ατ τηεσε τωο λοχατιονσ, νοτ βψ τηε αχτυαλ σιζε οφ τηε νευρον. Ανοτηερ µορπηοελεχτροτονιχ τρανσφορµ χαν βε υσεδ το ινδιχατε τηε αµουντ οφ δελαψ ιν τηε ϖολταγε ωαϖεφορµ προδυχεδ βψ α τρανσιεντ ινπυτ χυρρεντ. Τηε µορπηοελεχτροτονιχ τρανσφορµ υσεσ α δε⇒νιτιον οφ δελαψ διφφερεντ φροµ τηατ υσεδ ιν Φιγυρε 6.8Β. Τηε δελαψ βετωεεν ανψ τωο ποιντσ ισ δε⇒νεδ ασ τηε διφφερενχε βετωεεν τηε χεντροιδ, ορ χεντερ οφ mµασσn, οφ τηε ϖολταγε

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

217

ρεσπονσε ατ τηεσε # # ποιντσ. Σπεχι⇒χαλλψ, τηε χεντροιδ ατ ποιντ ξ ισ δε⇒νεδ ασ δτ τv( ξ, τ )/ δτ v( ξ, τ ). Λικε τηε λογ−αττενυατιον, τηε δελαψ βετωεεν ανψ τωο ποιντσ ον α νευρον ισ ρεπρεσεντεδ ιν τηε µορπηοελεχτροτονιχ τρανσφορµ ασ α διστανχε. Μορπηοελεχτροτονιχ τρανσφορµσ οφ α πψραµιδαλ χελλ φροµ λαψερ 5 οφ χατ ϖι− συαλ χορτεξ αρε σηοων ιν ⇒γυρεσ 6.13 ανδ 6.14. Τηε λεφτ πανελ οφ ⇒γυρε 6.13 ισ α νορµαλ δραωινγ οφ τηε νευρον βεινγ στυδιεδ, τηε µιδδλε πανελ σηοωσ τηε στεαδψ−στατε αττενυατιον, ανδ τηε ριγητ πανελ σηοωσ τηε δελαψ. Τηε τρανσφορµεδ διαγραµσ χορρεσπονδ το χυρρεντ βεινγ ινϕεχτεδ περιπηεραλλψ, ωιτη σοµατιχ ποτεντιαλσ βεινγ χοµπαρεδ το δενδριτιχ ποτεντιαλσ. Τηεσε ⇒γ− υρεσ ινδιχατε τηατ, φορ ποτεντιαλσ γενερατεδ ιν τηε περιπηερψ, τηε απιχαλ ανδ βασαλ δενδριτεσ αρε µυχη µορε υνιφορµ τηαν τηε µορπηολογψ ωουλδ συγ− γεστ. Τηε σµαλλ νευρον διαγραµ ατ τηε υππερ λεφτ οφ ⇒γυρε 6.14 σηοωσ αττενυ− ατιον φορ τηε ρεϖερσε σιτυατιον φροµ ⇒γυρε 6.13, ωηεν χονσταντ χυρρεντ ισ ινϕεχτεδ ιντο τηε σοµα ανδ δενδριτιχ ποτεντιαλσ αρε χοµπαρεδ ωιτη τηε σο− µατιχ ποτεντιαλ. Νοτε ηοω µυχη σµαλλερ τηισ διαγραµ ισ τηαν τηε ονε ιν τηε χεντραλ πανελ οφ ⇒γυρε 6.13. Τηισ ιλλυστρατεσ τηε γενεραλ φεατυρε, µεν− τιονεδ πρεϖιουσλψ, τηατ ποτεντιαλσ αρε αττενυατεδ µυχη λεσσ ιν τηε ουτωαρδ τηαν ιν τηε ινωαρδ διρεχτιον. Τηισ ισ βεχαυσε τηε τηιν δενδριτεσ προϖιδε λεσσ οφ α χυρρεντ σινκ φορ ποτεντιαλσ αρισινγ φροµ τηε σοµα τηαν τηε σοµα προϖιδεσ φορ ποτεντιαλσ χοµινγ φροµ τηε δενδριτεσ. Τηε χαπαχιτανχε οφ νευροναλ χαβλεσ χαυσεσ τηε ϖολταγε αττενυατιον φορ τιµε− δεπενδεντ χυρρεντ ινϕεχτιον το ινχρεασε ασ α φυνχτιον οφ φρεθυενχψ. Φιγ− υρε 6.14 χοµπαρεσ τηε αττενυατιον οφ δενδριτιχ ποτεντιαλσ ρελατιϖε το τηε σοµατιχ ποτεντιαλ ωηεν χονσταντ ορ σινυσοιδαλ χυρρεντ οφ τωο διφφερεντ φρε− θυενχιεσ ισ ινϕεχτεδ ιντο τηε σοµα. Χλεαρλψ, αττενυατιον ινχρεασεσ δραµατ− ιχαλλψ ασ α φυνχτιον οφ φρεθυενχψ. Τηυσ, α νευρον τηατ αππεαρσ ελεχτροτον− ιχαλλψ χοµπαχτ φορ στατιχ ορ λοω φρεθυενχψ χυρρεντ ινϕεχτιον µαψ βε νοτ χοµπαχτ ωηεν ηιγηερ φρεθυενχιεσ αρε χονσιδερεδ. Φορ εξαµπλε, αχτιον πο− τεντιαλ ωαϖεφορµσ, ωηιχη χορρεσπονδ το φρεθυενχιεσ αρουνδ 500 Ηζ, αρε µυχη µορε σεϖερελψ αττενυατεδ ωιτηιν νευρονσ τηαν σλοωερ ϖαρψινγ πο− τεντιαλσ.

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

Τηε χαβλε εθυατιον χαν βε σολϖεδ αναλψτιχαλλψ ονλψ ιν ρελατιϖελψ σιµπλε χασεσ. Ωηεν τηε χοµπλεξιτιεσ οφ ρεαλ µεµβρανε χονδυχτανχεσ αρε ιν− χλυδεδ, τηε µεµβρανε ποτεντιαλ µυστ βε χοµπυτεδ νυµεριχαλλψ. Τηισ ισ δονε βψ σπλιττινγ τηε νευρον βεινγ µοδελεδ ιντο σεπαρατε ρεγιονσ ορ χοµ− παρτµεντσ, ανδ αππροξιµατινγ τηε χοντινυουσ µεµβρανε ποτεντιαλ ς ( ξ, τ ) βψ α δισχρετε σετ οφ ϖαλυεσ ρεπρεσεντινγ τηε ποτεντιαλσ ωιτηιν τηε διφφερ− εντ χοµπαρτµεντσ. Τηισ ασσυµεσ τηατ εαχη χοµπαρτµεντ ισ σµαλλ ενουγη σο τηατ τηερε ισ νεγλιγιβλε ϖαριατιον οφ τηε µεµβρανε ποτεντιαλ αχροσσ ιτ. Τηε πρεχισιον οφ συχη α µυλτι−χοµπαρτµενταλ δεσχριπτιον δεπενδσ ον τηε

218

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

0 Ηζ

100 Ηζ

500 Ηζ

Φιγυρε 6.14 Μορπηοελεχτροτονιχ τρανσφορµσ οφ τηε σαµε νευρον ασ ιν ⇒γυρε 6.13 βυτ σηοωινγ τηε ουτωαρδ λογ−αττενυατιον φορ χονσταντ ανδ οσχιλλατινγ ινπυτ χυρρεντσ. ∆ιστανχεσ ιν τηεσε διαγραµσ αρε προπορτιοναλ το τηε λογαριτηµ οφ τηε αµπλιτυδε οφ τηε ϖολταγε οσχιλλατιονσ ατ α γιϖεν ποιντ διϖιδεδ βψ τηε αµπλιτυδε οφ τηε οσχιλλα− τιονσ ατ τηε σοµα ωηεν α σινυσοιδαλ χυρρεντ ισ ινϕεχτεδ ιντο τηε σοµα. Τηε υππερ λεφτ πανελ χορρεσπονδσ το χονσταντ χυρρεντ ινϕεχτιον, τηε λοωερ λεφτ πανελ το σινυ− σοιδαλ χυρρεντ ινϕεχτιον ατ α φρεθυενχψ οφ 100 Ηζ, ανδ τηε ριγητ πανελ το αν ινϕεχτιον φρεθυενχψ οφ 500 Ηζ. Τηε σχαλε βαρ δενοτεσ τηε διστανχε χορρεσπονδινγ το αν αττεν− υατιον οφ εξπ(−1 ). (Αδαπτεδ φροµ Ζαδορ ετ αλ., 1995.)

νυµβερ οφ χοµπαρτµεντσ υσεδ ανδ ον τηειρ σιζε ρελατιϖε το τηε λενγτη χον− σταντσ τηατ χηαραχτεριζε τηειρ ελεχτροτονιχ χοµπαχτνεσσ. Φιγυρε 6.15 σηοωσ α σχηεµατιχ διαγραµ οφ α χορτιχαλ πψραµιδαλ νευρον, αλονγ ωιτη α σεριεσ οφ χοµπαρτµενταλ αππροξιµατιονσ οφ ιτσ στρυχτυρε. Τηε νυµβερ οφ χοµ− παρτµεντσ υσεδ χαν ρανγε φροµ τηουσανδσ, ιν σοµε µοδελσ, το ονε, φορ τηε δεσχριπτιον ατ τηε εξτρεµε ριγητ οφ ⇒γυρε 6.15. Ιν α µυλτι−χοµπαρτµεντ µοδελ, εαχη χοµπαρτµεντ ηασ ιτσ οων µεµβρανε ποτεντιαλ ςµ (ωηερε µ λαβελσ χοµπαρτµεντσ), ανδ ιτσ οων γατινγ ϖαριαβλεσ µ τηατ δετερµινε τηε µεµβρανε χυρρεντ φορ χοµπαρτµεντ µ, ιµ . Εαχη µεµ− βρανε ποτεντιαλ ςµ σατισ⇒εσ αν εθυατιον σιµιλαρ το 6.1 εξχεπτ τηατ τηε χοµ− παρτµεντσ χουπλε το τηειρ νειγηβορσ ιν τηε µυλτι−χοµπαρτµεντ στρυχτυρε (⇒γυρε 6.16). Φορ α νονβρανχηινγ χαβλε, εαχη χοµπαρτµεντ ισ χουπλεδ το τωο νειγηβορσ ανδ τηε εθυατιονσ φορ τηε µεµβρανε ποτεντιαλσ οφ τηε χοµ− παρτµεντσ αρε χµ

δςµ Ιµ µ = −ι µ + ε + γµ,µ+1 (ςµ+1 − ςµ ) + γµ,µ−1 (ςµ−1 − ςµ ) . (6.29) δτ Αµ

Ηερε Ιεµ ισ τηε τοταλ ελεχτροδε χυρρεντ ⇓οωινγ ιντο χοµπαρτµεντ µ, ανδ Αµ ισ ιτσ συρφαχε αρεα. Χοµπαρτµεντσ ατ τηε ενδσ οφ α χαβλε ηαϖε ονλψ ονε νειγηβορ, ανδ τηυσ ονλψ α σινγλε τερµ ρεπλαχινγ τηε λαστ τωο τερµσ ιν εθυατιον 6.29. Φορ α χοµπαρτµεντ ωηερε α χαβλε βρανχηεσ ιν τωο, τηερε αρε

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

219

Φιγυρε 6.15 Α σεθυενχε οφ αππροξιµατιονσ οφ τηε στρυχτυρε οφ α νευρον. Τηε νευρον ισ ρεπρεσεντεδ βψ α ϖαριαβλε νυµβερ οφ δισχρετε χοµπαρτµεντσ, εαχη ρεπρεσεντινγ α ρεγιον τηατ ισ δεσχριβεδ βψ α σινγλε µεµβρανε ποτεντιαλ. Τηε χοννεχτορσ βετωεεν χοµπαρτµεντσ ρεπρεσεντ ρεσιστιϖε χουπλινγσ. Τηε σιµπλεστ δεσχριπτιον ισ τηε σινγλε− χοµπαρτµεντ µοδελ φυρτηεστ το τηε ριγητ.

τηρεε συχη τερµσ, χορρεσπονδινγ το χουπλινγ οφ τηε βρανχηινγ νοδε το τηε ⇒ρστ χοµπαρτµεντ ιν εαχη οφ τηε δαυγητερ βρανχηεσ. Τηε χονσταντ γµ,µ′ τηατ δετερµινεσ τηε ρεσιστιϖε χουπλινγ φροµ νειγηβορινγ χοµπαρτµεντ µ′ το χοµπαρτµεντ µ ισ δετερµινεδ βψ χοµπυτινγ τηε χυρ− ρεντ τηατ ⇓οωσ φροµ ονε χοµπαρτµεντ το ιτσ νειγηβορ δυε το Οηµaσ λαω. Φορ σιµπλιχιτψ, ωε βεγιν βψ χοµπυτινγ τηε χουπλινγ βετωεεν τωο χοµ− παρτµεντσ τηατ ηαϖε τηε σαµε λενγτη Λ ανδ ραδιυσ α. Υσινγ τηε ρεσυλτσ οφ χηαπτερ 5, τηε ρεσιστανχε βετωεεν τωο συχη χοµπαρτµεντσ, µεασυρεδ φροµ τηειρ χεντερσ, ισ τηε ιντραχελλυλαρ ρεσιστιϖιτψ, ρΛ τιµεσ τηε διστανχε βετωεεν τηε χοµπαρτµεντ χεντερσ διϖιδεδ βψ τηε χροσσ−σεχτιοναλ αρεα, ρΛ Λ/(πα2 ). Τηε τοταλ χυρρεντ ⇓οωινγ φροµ χοµπαρτµεντ µ + 1 το χοµπαρτµεντ µ ισ τηεν πα2 (ςµ+1 − ςµ )/ ρΛ Λ. Εθυατιον 6.29 φορ τηε ποτεντιαλ ωιτηιν α χοµ− παρτµεντ µ ρεφερσ το χυρρεντσ περ υνιτ αρεα οφ µεµβρανε. Τηυσ, ωε µυστ διϖιδε τηε τοταλ χυρρεντ φροµ χοµπαρτµεντ µ′ βψ τηε συρφαχε αρεα οφ χοµ− παρτµεντ µ, 2παΛ, ανδ ωε ⇒νδ τηατ γµ,µ′ = α/(2ρΛ Λ2 ). Τηε ϖαλυε οφ γµ,µ′ ισ γιϖεν βψ α µορε χοµπλεξ εξπρεσσιον ιφ τηε τωο νειγη− βορινγ χοµπαρτµεντσ ηαϖε διφφερεντ λενγτησ ορ ραδιι. Τηισ χαν οχχυρ ωηεν α ταπερινγ χαβλε ισ αππροξιµατεδ βψ α σεθυενχε οφ χψλινδριχαλ χοµπαρτ− µεντσ, ορ ατ α βρανχη ποιντ ωηερε α σινγλε χοµπαρτµεντ χοννεχτσ ωιτη τωο οτηερ χοµπαρτµεντσ, ασ ιν ⇒γυρε 6.16. Ιν ειτηερ χασε, συπποσε τηατ χοµ− παρτµεντ µ ηασ λενγτη Λµ ανδ ραδιυσ αµ , ανδ χοµπαρτµεντ µ′ ηασ λενγτη Λµ′ ανδ ραδιυσ αµ′ . Τηε ρεσιστανχε βετωεεν τηεσε τωο χοµπαρτµεντσ ισ τηε συµ οφ τηε τωο ρεσιστανχεσ φροµ τηε µιδδλε οφ εαχη χοµπαρτµεντ το τηε ϕυνχτιον βετωεεν τηεµ, ρΛ Λµ /(2πα2µ ) + ρΛ Λµ′ /(2πα2µ′ ). Το χοµπυτε γµ,µ′ ωε ινϖερτ τηισ εξπρεσσιον ανδ διϖιδε τηε ρεσυλτ βψ τηε τοταλ συρφαχε αρεα οφ

220

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

2

1

3 γ2,4

ς2 γ2,1

γ1,0

ς1

γ0,1 v

γ4,2 v

γ1,2

γ1,3 γ3,1

s

v

v

Εσ

ΕΚ ΕΝαΕΧαΕΛ

v

v

ΕΚ ΕΝαΕΧαΕΛ

ς3

γ3,5 γ5,3

v

v

v

ΕΚ ΕΝαΕΧαΕΛ Φιγυρε 6.16 Α µυλτι−χοµπαρτµεντ µοδελ οφ α νευρον. Τηε εξπανδεδ ρεγιον σηοωσ τηρεε χοµπαρτµεντσ ατ α βρανχη ποιντ ωηερε α σινγλε χαβλε σπλιτσ ιντο τωο. Εαχη χοµπαρτµεντ ηασ µεµβρανε ανδ σψναπτιχ χονδυχτανχεσ, ασ ινδιχατεδ βψ τηε εθυιϖαλεντ ελεχτριχαλ χιρχυιτ, ανδ τηε χοµπαρτµεντσ αρε χουπλεδ τογετηερ βψ ρεσισ− τορσ. Αλτηουγη α σινγλε ρεσιστορ σψµβολ ισ δραων, νοτε τηατ γµ,µ′ ισ νοτ νεχεσσαριλψ εθυαλ το γµ′ ,µ .

χοµπαρτµεντ µ, 2παµ Λµ , ωηιχη γιϖεσ γµ,µ′ =

αµ α2µ′ ρΛ Λµ ( Λµ α2µ′ + Λµ′ α2µ )

.

(6.30)

Εθυατιονσ 6.29 φορ αλλ οφ τηε χοµπαρτµεντσ οφ α µοδελ δετερµινε τηε µεµ− βρανε ποτεντιαλ τηρουγηουτ τηε νευρον ωιτη α σπατιαλ ρεσολυτιον γιϖεν βψ τηε χοµπαρτµεντ σιζε. Αν εφ⇒χιεντ µετηοδ φορ ιντεγρατινγ τηε χου− πλεδ µυλτι−χοµπαρτµεντ εθυατιονσ ισ δισχυσσεδ ιν αππενδιξ Β. Υσινγ τηισ σχηεµε, µοδελσ χαν βε ιντεγρατεδ νυµεριχαλλψ ωιτη εξχελλεντ εφ⇒χιενχψ, εϖεν τηοσε ινϖολϖινγ λαργε νυµβερσ οφ χοµπαρτµεντσ. Συχη ιντεγρατιον σχηεµεσ αρε βυιλτ ιντο νευρον σιµυλατιον σοφτωαρε παχκαγεσ συχη ασ Νευ− ρον ανδ Γενεσισ.

Αχτιον−Ποτεντιαλ Προπαγατιον Αλονγ αν Υνµψελινατεδ Αξον Ασ αν εξαµπλε οφ µυλτι−χοµπαρτµεντ µοδελινγ, ωε σιµυλατε τηε προπα− γατιον οφ αν αχτιον ποτεντιαλ αλονγ αν υνµψελινατεδ αξον. Ιν τηισ µοδελ, εαχη χοµπαρτµεντ ηασ τηε σαµε µεµβρανε χονδυχτανχεσ ασ τηε σινγλε− χοµπαρτµεντ Ηοδγκιν−Ηυξλεψ µοδελ δισχυσσεδ ιν χηαπτερ 5. Τηε διφ− φερεντ χοµπαρτµεντσ αρε ϕοινεδ τογετηερ ιν α σινγλε νονβρανχηινγ χαβλε

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

ς (µς)

50

Ιε

221

ς1 1

ς2 2

3

-50

ς1 (µς)

4

ξ (µµ)

50 5

10

15

-50

ς2 (µς)

20

τ (µσ)

50

-50

5

10

15

20

τ (µσ)

Φιγυρε 6.17 Προπαγατιον οφ αν αχτιον ποτεντιαλ αλονγ α µυλτι−χοµπαρτµεντ µοδελ αξον. Τηε υππερ πανελ σηοωσ τηε µυλτι−χοµπαρτµεντ ρεπρεσεντατιον οφ τηε αξον ωιτη 100 χοµπαρτµεντσ. Τηε αξον σεγµεντ σηοων ισ 4 µµ λονγ ανδ ηασ α ραδιυσ οφ 1 µµ. Αν ελεχτροδε χυρρεντ συφ⇒χιεντ το ινιτιατε αχτιον ποτεντιαλσ ισ ινϕεχτεδ ατ τηε ποιντ µαρκεδ Ιε . Τηε πανελ βενεατη τηισ σηοωσ τηε µεµβρανε ποτεντιαλ ασ α φυνχτιον οφ ποσιτιον αλονγ τηε αξον, ατ τ = 9.75 µσ. Τηε σπατιαλ ποσιτιον ιν τηισ πανελ ισ αλιγνεδ ωιτη τηε αξον δεπιχτεδ αβοϖε ιτ. Τηε αχτιον ποτεντιαλ ισ µοϖινγ το τηε ριγητ. Τηε βοττοµ τωο πανελσ σηοω τηε µεµβρανε ποτεντιαλ ασ α φυνχτιον οφ τιµε ατ τηε τωο λοχατιονσ δενοτεδ βψ τηε αρροωσ ανδ σψµβολσ ς1 ανδ ς2 ιν τηε υππερ πανελ.

ρεπρεσεντινγ α λενγτη οφ αξον. Φιγυρε 6.17 σηοωσ αν αχτιον−ποτεντιαλ προπ− αγατινγ αλονγ αν αξον µοδελεδ ιν τηισ ωαψ. Τηε αχτιον ποτεντιαλ εξτενδσ οϖερ µορε τηαν 1 µµ οφ αξον ανδ τραϖελσ αβουτ 2 µµ ιν 5 µσ, φορ α σπεεδ οφ 0.4 µ/σ. Αλτηουγη αχτιον ποτεντιαλσ τψπιχαλλψ µοϖε αλονγ αξονσ ιν α διρεχτιον ουτ− ωαρδ φροµ τηε σοµα (χαλλεδ ορτηοδροµιχ προπαγατιον), τηε βασιχ προχεσσ οφ αχτιον−ποτεντιαλ προπαγατιον δοεσ νοτ φαϖορ ονε διρεχτιον οϖερ τηε οτηερ. Προπαγατιον ιν τηε ρεϖερσε διρεχτιον, χαλλεδ αντιδροµιχ προπαγατιον, ισ ποσσιβλε υνδερ χερταιν στιµυλατιον χονδιτιονσ. Φορ εξαµπλε, ιφ αν αξον ισ στιµυλατεδ ιν τηε µιδδλε οφ ιτσ λενγτη, αχτιον ποτεντιαλσ ωιλλ προπαγατε ιν βοτη διρεχτιονσ αωαψ φροµ τηε ποιντ οφ στιµυλατιον. Ονχε αν αχτιον ποτεν− τιαλ σταρτσ µοϖινγ αλονγ αν αξον, ιτ δοεσ νοτ γενερατε α σεχονδ αχτιον πο− τεντιαλ µοϖινγ ιν τηε οπποσιτε διρεχτιον βεχαυσε οφ ρεφραχτορψ εφφεχτσ. Τηε ρεγιον ιν φροντ οφ α µοϖινγ αχτιον ποτεντιαλ ισ ρεαδψ το γενερατε α σπικε ασ σοον ασ ενουγη χυρρεντ µοϖεσ λονγιτυδιναλλψ δοων τηε αξον φροµ τηε ρεγιον χυρρεντλψ σπικινγ το χηαργε τηε νεξτ ρεγιον υπ το σπικινγ τηρεσηολδ. Ηοωεϖερ, Να+ χονδυχτανχεσ ιν τηε ρεγιον ϕυστ βεηινδ τηε µοϖινγ αχτιον ποτεντιαλ αρε στιλλ παρτιαλλψ ιναχτιϖατεδ, σο τηισ ρεγιον χαννοτ γενερατε αν− οτηερ σπικε υντιλ αφτερ α ρεχοϖερψ περιοδ. Βψ τηε τιµε τηε τραιλινγ ρεγιον ηασ ρεχοϖερεδ, τηε αχτιον ποτεντιαλ ηασ µοϖεδ τοο φαρ αωαψ το γενερατε α σεχονδ σπικε.

ορτηοδροµιχ ανδ αντιδροµιχ προπαγατιον

222

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

Ρεφραχτορινεσσ φολλοωινγ σπικινγ ηασ α νυµβερ οφ οτηερ χονσεθυενχεσ φορ αχτιον−ποτεντιαλ προπαγατιον. Τωο αχτιον ποτεντιαλσ µοϖινγ ιν οπποσιτε διρεχτιονσ τηατ χολλιδε αννιηιλατε ονε ανοτηερ βεχαυσε τηεψ χαννοτ πασσ τηρουγη εαχη οτηερaσ τραιλινγ ρεφραχτορψ ρεγιονσ. Ρεφραχτορινεσσ αλσο κεεπσ αχτιον ποτεντιαλσ φροµ ρε⇓εχτινγ οφφ τηε ενδσ οφ αξον χαβλεσ, ωηιχη αϖοιδσ τηε ιµπεδανχε µατχηινγ νεεδεδ το πρεϖεντ ρε⇓εχτιον φροµ τηε ενδσ οφ ορ− διναρψ ελεχτριχαλ χαβλεσ. Τηε προπαγατιον ϖελοχιτψ φορ αν αχτιον ποτεντιαλ αλονγ αν υνµψελινατεδ αξον ισ προπορτιοναλ το τηε ρατιο οφ τηε ελεχτροτονιχ λενγτη χονσταντ το τηε µεµβρανε τιµε χονσταντ, λ/τµ = (α/(2χ2µ ρΛ ρµ ))1/2 . Τηισ ισ προπορτιοναλ το τηε σθυαρε ροοτ οφ τηε αξον ραδιυσ. Τηε σθυαρε−ροοτ δεπενδενχε οφ τηε προπαγατιον σπεεδ ον τηε αξον ραδιυσ µεανσ τηατ τηιχκ αξονσ αρε ρεθυιρεδ το αχηιεϖε ηιγη αχτιον−ποτεντιαλ προπαγατιον σπεεδσ, ανδ τηε σθυιδ γιαντ αξον ισ αν εξτρεµε εξαµπλε. Αχτιον−ποτεντιαλ προπαγατιον χαν αλσο βε σπεδ υπ βψ χοϖερινγ τηε αξον ωιτη αν ινσυλατινγ µψελιν ωραππινγ, ασ ωε δισχυσσ νεξτ.

Αχτιον−Ποτεντιαλ Προπαγατιον Αλονγ α Μψελινατεδ Αξον

σαλτατορψ προπαγατιον

Μανψ αξονσ ιν ϖερτεβρατεσ αρε χοϖερεδ ωιτη αν ινσυλατινγ σηεατη οφ µψελιν εξχεπτ ατ γαπσ, χαλλεδ τηε νοδεσ οφ Ρανϖιερ, ωηερε τηερε ισ α ηιγη δενσιτψ οφ φαστ ϖολταγε−δεπενδεντ Να+ χηαννελσ (σεε ⇒γυρε 6.18Α). Τηε µψελιν σηεατη χονσιστσ οφ µανψ λαψερσ οφ γλιαλ χελλ µεµβρανε ωραππεδ αρουνδ τηε αξον. Τηισ γιϖεσ τηε µψελινατεδ ρεγιον οφ τηε αξον α ϖερψ ηιγη µεµ− βρανε ρεσιστανχε ανδ α σµαλλ µεµβρανε χαπαχιτανχε. Τηισ ρεσυλτσ ιν ωηατ ισ χαλλεδ σαλτατορψ προπαγατιον, ιν ωηιχη µεµβρανε ποτεντιαλ δεπολαριζα− τιον ισ τρανσφερρεδ πασσιϖελψ δοων τηε µψελιν−χοϖερεδ σεχτιονσ οφ τηε αξον, ανδ αχτιον ποτεντιαλσ αρε αχτιϖελψ ρεγενερατεδ ατ τηε νοδεσ οφ Ρανϖιερ. Φιγ− υρε 6.18Α σηοωσ αν εθυιϖαλεντ χιρχυιτ φορ α µυλτι−χοµπαρτµεντ µοδελ οφ α µψελινατεδ αξον. Ωε χαν χοµπυτε τηε χαπαχιτανχε οφ α µψελιν−χοϖερεδ αξον βψ τρεατινγ τηε µψελιν σηεατη ασ αν εξτρεµελψ τηιχκ χελλ µεµβρανε. Χονσιδερ τηε γεοµ− ετρψ σηοων ιν τηε χροσσ−σεχτιοναλ διαγραµ οφ ⇒γυρε 6.18Β. Τηε µψελιν σηεατη εξτενδσ φροµ τηε ραδιυσ α1 οφ τηε αξον χορε το τηε ουτερ ραδιυσ α2 . Φορ χαλχυλατιοναλ πυρποσεσ, ωε χαν τηινκ οφ τηε µψελιν σηεατη ασ βε− ινγ µαδε οφ α σεριεσ οφ τηιν, χονχεντριχ χψλινδριχαλ σηελλσ. Τηε χαπαχιτανχεσ οφ τηεσε σηελλσ χοµβινε ιν σεριεσ το µακε υπ τηε φυλλ χαπαχιτανχε οφ τηε µψελινατεδ αξον. Ιφ α σινγλε λαψερ οφ χελλ µεµβρανε ηασ τηιχκνεσσ δµ ανδ χαπαχιτανχε περ υνιτ αρεα χµ , τηε χαπαχιτανχε οφ α χψλινδερ οφ µεµβρανε οφ ραδιυσ α, τηιχκνεσσ %α, ανδ λενγτη Λ ισ χµ 2πδµ Λα/%α. Αχχορδινγ το τηε ρυλε φορ χαπαχιτορσ ιν σεριεσ, τηε ινϖερσε οφ τηε τοταλ χαπαχιτανχε ισ οβταινεδ βψ αδδινγ τηε ινϖερσεσ οφ τηε ινδιϖιδυαλ χαπαχιτανχεσ. Τηε χαπαχιτανχε οφ α µψελινατεδ χψλινδερ οφ λενγτη Λ ανδ τηε διµενσιονσ ιν ⇒γυρε 6.18Β ισ τηεν οβταινεδ βψ τακινγ τηε λιµιτ %α → 0 ανδ ιντεγρατινγ, " α2 1 1 δα λν(α2 /α1 ) = = . (6.31) Χµ χ µ 2 π δ µ Λ α1 α χµ 2π δµ Λ

6.4

Μυλτι−χοµπαρτµεντ Μοδελσ

223

B

A

α1 α2 v

ΕΝα ΕΛ

v

ΕΛ

ΕΝα ΕΛ

Φιγυρε 6.18 Α µψελινατεδ αξον. (Α) Τηε εθυιϖαλεντ χιρχυιτ φορ α µυλτι−χοµπαρτµεντ ρεπρεσεντατιον οφ α µψελινατεδ αξον. Τηε µψελινατεδ σεγµεντσ αρε ρεπρεσεντεδ βψ α µεµβρανε χαπαχιτανχε, α λονγιτυδιναλ ρεσιστανχε, ανδ α λεακαγε χονδυχτανχε. Τηε νοδεσ οφ Ρανϖιερ αλσο χονταιν α ϖολταγε−δεπενδεντ Να+ χονδυχτανχε. (Β) Α χροσσ σεχτιον οφ α µψελινατεδ αξον χονσιστινγ οφ α χεντραλ αξον χορε οφ ραδιυσ α1 ανδ α µψελιν σηεατη µακινγ τηε ουτσιδε ραδιυσ α2 .

Α ρε−εϖαλυατιον οφ τηε δεριϖατιον οφ τηε λινεαρ χαβλε εθυατιον εαρλιερ ιν τηισ χηαπτερ ινδιχατεσ τηατ τηε εθυατιον δεσχριβινγ τηε µεµβρανε ποτεντιαλ αλονγ τηε µψελινατεδ σεχτιονσ οφ αν αξον, ιν τηε λιµιτ οφ ιν⇒νιτε ρεσιστανχε φορ τηε µψελινατεδ µεµβρανε ανδ ωιτη ιε = 0, ισ

π α2 ∂2 v Χµ ∂v = 1 2. Λ ∂τ ρΛ ∂ ξ

(6.32)

Τηισ ισ εθυιϖαλεντ το τηε διφφυσιον εθυατιον, ∂v/∂τ = ∆∂2 v/∂ ξ2 , ωιτη διφφυ− σιον χονσταντ ∆ = πα21 Λ/(Χµ ρΛ ) = α21 λν(α2 /α1 )/(2χµ ρΛ δµ ). Ιτ ισ ιντερεστινγ το χοµπυτε τηε ιννερ χορε ραδιυσ, α1 , τηατ µαξιµιζεσ τηισ διφφυσιον χον− σταντ φορ α ⇒ξεδ ουτερ ραδιυσ α2 . Σεττινγ τηε δεριϖατιϖε οφ ∆ ωιτη ρεσπεχτ το α1 το 0 γιϖεσ τηε οπτιµαλ ιννερ ραδιυσ α1 = α2 εξπ(−1/2 ) ορ α1 ≈ 0.6α2 . Αν ιννερ χορε φραχτιον οφ 0.6 ισ τψπιχαλ φορ µψελινατεδ αξονσ. Τηισ ινδι− χατεσ τηατ φορ α γιϖεν ουτερ ραδιυσ, τηε τηιχκνεσσ οφ µψελιν µαξιµιζεσ τηε διφφυσιον χονσταντ αλονγ τηε µψελινατεδ αξον σεγµεντ. Ατ τηε οπτιµαλ ρατιο οφ ραδιι, ∆ = α22 /(4εχµ ρΛ δµ ), ωηιχη ισ προπορτιοναλ το τηε σθυαρε οφ τηε αξον ραδιυσ. Βεχαυσε οφ τηε φορµ οφ τηε διφφυσιον εθυατιον ιτ οβεψσ ωιτη τηισ ϖαλυε οφ ∆, v χαν βε ωριττεν ασ α φυνχτιον οφ ξ/α2 ανδ τ. Τηισ σχαλινγ ιµπλιεσ τηατ τηε προπαγατιον ϖελοχιτψ φορ α µψελινατεδ χαβλε ισ προπορτιοναλ το α2 , τηατ ισ, το τηε αξον ραδιυσ, νοτ ιτσ σθυαρε ροοτ (ασ ιν τηε χασε οφ αν υνµψελινατεδ αξον). Ινχρεασινγ τηε αξον ραδιυσ βψ α φαχτορ οφ 4, φορ εξαµπλε, ινχρεασεσ τηε προπαγατιον σπεεδ οφ αν υνµψελινατεδ χαβλε ονλψ βψ α φαχτορ οφ 2, ωηιλε ιτ ινχρεασεσ τηε σπεεδ φορ α µψελινατεδ χαβλε φουρφολδ.

224

6.5

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

Χηαπτερ Συµµαρψ

Ωε χοντινυεδ τηε δισχυσσιον οφ νευρον µοδελινγ τηατ βεγαν ιν χηαπτερ 5 βψ χονσιδερινγ µοδελσ ωιτη µορε χοµπλετε σετσ οφ χονδυχτανχεσ ανδ τεχη− νιθυεσ φορ ινχορπορατινγ νευροναλ µορπηολογψ. Ωε ιντροδυχεδ Α−τψπε Κ+ , τρανσιεντ Χα2+ , ανδ Χα2+ −δεπενδεντ Κ+ χονδυχτανχεσ, ανδ νοτεδ τηειρ εφ− φεχτ ον νευροναλ αχτιϖιτψ. Τηε χαβλε εθυατιον ανδ ιτσ λινεαριζεδ ϖερσιον ωερε ιντροδυχεδ το εξαµινε τηε εφφεχτσ οφ µορπηολογψ ον µεµβρανε πο− τεντιαλσ. Φιναλλψ, µυλτι−χοµπαρτµεντ µοδελσ ωερε πρεσεντεδ ανδ υσεδ το δισχυσσ προπαγατιον οφ αχτιον ποτεντιαλσ αλονγ υνµψελινατεδ ανδ µψελι− νατεδ αξονσ.

6.6

Αππενδιχεσ

Α: Γατινγ Φυνχτιονσ φορ Χονδυχτανχε−Βασεδ Μοδελσ Χοννορ−Στεϖενσ Μοδελ Τηε ρατε φυνχτιονσ υσεδ φορ τηε γατινγ ϖαριαβλεσ ν, µ, ανδ η οφ τηε Χοννορ− Στεϖενσ µοδελ, ιν υνιτσ οφ 1/µσ ωιτη ς ιν υνιτσ οφ µς, αρε

αµ =

0.38(ς + 29.7 ) 1 − εξπ(−0.1(ς + 29.7 ))

βµ = 15.2 εξπ(−0.0556(ς + 54.7 ))

αη = 0.266 εξπ(−0.05(ς + 48 )) βη = 3.8/(1 + εξπ(−0.1(ς + 18 ))) 0.02(ς + 45.7 ) βν = 0.25 εξπ(−0.0125(ς + 55.7 )) . αν = 1 − εξπ(−0.1(ς + 45.7 )) (6.33) Τηε Α−χυρρεντ ισ δεσχριβεδ διρεχτλψ ιν τερµσ οφ τηε ασψµπτοτιχ ϖαλυεσ ανδ τ φυνχτιονσ φορ ιτσ γατινγ ϖαριαβλεσ (ωιτη τα ανδ τβ ιν υνιτσ οφ µσ ανδ ς ιν υνιτσ οφ µς), α∞ =

%

0.0761 εξπ(0.0314(ς + 94.22 )) 1 + εξπ(0.0346(ς + 1.17 ))

&1/3

τα = 0.3632 + 1.158/(1 + εξπ(0.0497(ς + 55.96 ))) β∞ =

%

1 1 + εξπ(0.0688(ς + 53.3 ))

&4

(6.34)

(6.35)

(6.36)

ανδ

τβ = 1.24 + 2.678/(1 + εξπ(0.0624(ς + 50 ))) .

(6.37)

6.6 Αππενδιχεσ

225

Τρανσιεντ Χα2+ Χονδυχτανχε Τηε γατινγ φυνχτιονσ υσεδ φορ τηε ϖαριαβλεσ Μ ανδ Η ιν τηε τρανσιεντ Χα2+ χονδυχτανχε µοδελ ωε δισχυσσεδ, ωιτη ς ιν υνιτσ οφ µς ανδ τ Μ ανδ τ Η ιν µσ, αρε Μ∞ =

1 1 + εξπ (−(ς + 57 )/6.2 )

(6.38)

1 1 + εξπ ((ς + 81 )/4 )

(6.39)

Η∞ =

) *−1 τ Μ = 0.612 + εξπ (−(ς + 132 )/16.7 ) + εξπ ((ς + 16.8 )/18.2 )) (6.40) ανδ

τΗ =

$

εξπ ((ς + 467 )/66.6 ) ιφ ς < −80 µς 28 + εξπ (−(ς + 22 )/10.5 ) ιφ ς ≥ −80 µς .

(6.41)

Χα2+ −δεπενδεντ Κ+ Χονδυχτανχε Τηε γατινγ φυνχτιονσ υσεδ φορ τηε Χα2+ −δεπενδεντ Κ+ χονδυχτανχε ωε δισ− χυσσεδ, ωιτη ς ιν υνιτσ οφ µς ανδ τχ ιν µσ, αρε & % 1 [Χα2+ ] (6.42) χ∞ = [Χα2+ ] + 3µΜ 1 + εξπ(−(ς + 28.3 )/12.6 ) ανδ

τχ = 90.3 −

75.1 . 1 + εξπ(−(ς + 46 )/22.7 )

(6.43)

Β: Ιντεγρατινγ Μυλτι−χοµπαρτµεντ Μοδελσ Μυλτι−χοµπαρτµεντ µοδελσ αρε δε⇒νεδ βψ α χουπλεδ σετ οφ διφφερεντιαλ εθυατιονσ (εθυατιον 6.29), ονε φορ εαχη χοµπαρτµεντ. Τηερε αρε αλσο γατ− ινγ ϖαριαβλεσ φορ εαχη χοµπαρτµεντ, βυτ τηεσε ινϖολϖε ονλψ τηε µεµβρανε ποτεντιαλ (ανδ ποσσιβλψ Χα2+ χονχεντρατιον) ωιτηιν τηατ χοµπαρτµεντ, ανδ ιντεγρατινγ τηειρ εθυατιονσ χαν βε ηανδλεδ ασ ιν τηε σινγλε−χοµπαρτµεντ χασε υσινγ τηε αππροαχη δισχυσσεδ ιν αππενδιξ Β οφ χηαπτερ 5. Ιντεγρατινγ τηε µεµβρανε ποτεντιαλσ φορ τηε διφφερεντ χοµπαρτµεντσ ισ µορε χοµπλεξ βεχαυσε τηεψ αρε χουπλεδ το εαχη οτηερ. Εθυατιον 6.29, φορ τηε µεµβρανε ποτεντιαλ ωιτηιν χοµπαρτµεντ µ, χαν βε ωριττεν ιν τηε φορµ δςµ = Αµ ςµ−1 + Βµ ςµ + Χµ ςµ+1 + ∆µ , δτ

(6.44)

226

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

ωηερε 1 Α µ = χ− µ γµ,µ−1 ,

1 Βµ = −χ− µ (

1 Χµ = χ− µ γµ,µ+1 ,

1 ∆µ = χ − µ (

! ι

! ι

γιµ + γµ,µ+1 + γµ,µ−1 ) ,

γιµ Ει + Ιεµ / Αµ ) .

(6.45)

Νοτε τηατ τηε γατινγ ϖαριαβλεσ ανδ οτηερ παραµετερσ ηαϖε βεεν αβσορβεδ ιντο τηε ϖαλυεσ οφ Αµ , Βµ , Χµ , ανδ ∆µ ιν τηισ εθυατιον. Εθυατιον 6.44, ωιτη µ ρυννινγ οϖερ αλλ οφ τηε χοµπαρτµεντσ οφ τηε µοδελ, γενερατεσ α σετ οφ χουπλεδ διφφερεντιαλ εθυατιονσ. Βεχαυσε οφ τηε χουπλινγ βετωεεν χοµπαρτ− µεντσ, ωε χαννοτ υσε τηε µετηοδ δισχυσσεδ ιν αππενδιξ Α οφ χηαπτερ 5 το ιντεγρατε τηεσε εθυατιονσ. Ινστεαδ, ωε πρεσεντ ανοτηερ µετηοδ τηατ σηαρεσ σοµε οφ τηε ποσιτιϖε φεατυρεσ οφ τηατ αππροαχη. Τηε Ρυνγε−Κυττα µετηοδ, ωηιχη ισ α στανδαρδ νυµεριχαλ ιντεγρατορ, ισ ποορλψ συιτεδ φορ τηισ αππλι− χατιον ανδ ισ λικελψ το ρυν ορδερσ οφ µαγνιτυδε σλοωερ τηαν τηε µετηοδ δεσχριβεδ βελοω. Τωο οφ τηε µοστ ιµπορταντ φεατυρεσ οφ αν ιντεγρατιον µετηοδ αρε αχχυραχψ ανδ σταβιλιτψ. Αχχυραχψ ρεφερσ το ηοω χλοσελψ νυµεριχαλ ⇒νιτε−διφφερενχε µετηοδσ ρεπροδυχε τηε εξαχτ σολυτιον οφ α διφφερεντιαλ εθυατιον ασ α φυνχ− τιον οφ τηε ιντεγρατιον στεπ σιζε %τ. Σταβιλιτψ ρεφερσ το ωηατ ηαππενσ ωηεν %τ ισ χηοσεν το βε εξχεσσιϖελψ λαργε ανδ τηε µετηοδ σταρτσ το βεχοµε ιν− αχχυρατε. Α σταβλε ιντεγρατιον µετηοδ ωιλλ δεγραδε σµοοτηλψ ασ %τ ισ ιν− χρεασεδ, προδυχινγ ρεσυλτσ οφ στεαδιλψ δεχρεασινγ αχχυραχψ. Αν υνσταβλε µετηοδ, ον τηε οτηερ ηανδ, ωιλλ ατ σοµε ποιντ δισπλαψ α συδδεν τρανσιτιον ανδ γενερατε ωιλδλψ ιναχχυρατε ρεσυλτσ. Γιϖεν τηε τενδενχψ οφ ιµπατιεντ µοδελερσ το πυση τηε λιµιτσ ον %τ, ιτ ισ ηιγηλψ δεσιραβλε το ηαϖε α µετηοδ τηατ ισ σταβλε. ∆ε⇒νινγ ςµ (τ + %τ ) = ςµ (τ ) + %ςµ , τηε ⇒νιτε διφφερενχε φορµ οφ εθυατιον 6.44 γιϖεσ τηε υπδατε ρυλε ) * %ςµ = Αµ ςµ−1 (τ ) + Βµ ςµ (τ ) + Χµ ςµ+1 (τ ) + ∆µ %τ ,

(6.46)

(6.47)

ωηιχη ισ ηοω %ςµ ισ χοµπυτεδ υσινγ τηε σο−χαλλεδ Ευλερ µετηοδ. Τηισ µετηοδ ισ βοτη ιναχχυρατε ανδ υνσταβλε. Τηε σταβιλιτψ οφ τηε µετηοδ χαν βε ιµπροϖεδ δραµατιχαλλψ βψ εϖαλυατινγ τηε µεµβρανε ποτεντιαλσ ον τηε ριγητ σιδε οφ εθυατιον 6.47 νοτ ατ τιµε τ, βυτ ατ α λατερ τιµε τ + ζ%τ, σο τηατ ) * %ςµ = Αµ ςµ−1 (τ + ζ%τ ) + Βµ ςµ (τ + ζ%τ ) + Χµ ςµ+1 (τ + ζ%τ ) + ∆µ %τ . (6.48) Τωο συχη µετηοδσ αρε πρεδοµιναντλψ υσεδ, τηε ρεϖερσε Ευλερ µετηοδ, φορ ωηιχη ζ = 1, ανδ τηε Χρανκ−Νιχηολσον µετηοδ ωιτη ζ = 0.5. Τηε ρεϖερσε Ευλερ µετηοδ ισ τηε µορε σταβλε οφ τηε τωο ανδ τηε Χρανκ−Νιχηολσον ισ τηε µορε αχχυρατε. Ιν ειτηερ χασε, %ςµ ισ δετερµινεδ φροµ εθυατιον 6.48. Τηεσε µετηοδσ αρε χαλλεδ ιµπλιχιτ βεχαυσε εθυατιον 6.48 µυστ βε σολϖεδ

6.6 Αππενδιχεσ

227

το δετερµινε %ςµ . Το δο τηισ, ωε ωριτε ςµ (τ + ζ%τ ) ≈ ςµ (τ ) + ζ%ςµ ανδ λικεωισε φορ ςµ±1 . Συβστιτυτινγ τηισ ιντο εθυατιον 6.48 γιϖεσ

%ςµ = αµ %ςµ−1 + βµ %ςµ + χµ %ςµ+1 + δµ ,

(6.49)

ωηερε αµ = Αµ ζ%τ , βµ = Βµ ζ%τ , χµ = Χµ ζ%τ , δµ = ( ∆µ + Αµ ςµ−1 (τ ) + Βµ ςµ (τ ) + Χµ ςµ+1 (τ ))%τ .

(6.50)

Εθυατιον 6.49 φορ αλλ µ ϖαλυεσ προϖιδεσ α σετ οφ χουπλεδ λινεαρ εθυατιονσ φορ τηε θυαντιτιεσ %ςµ . Αν εφ⇒χιεντ µετηοδ εξιστσ φορ σολϖινγ τηεσε εθυα− τιονσ (Ηινεσ, 1984; Τυχκωελλ, 1988). Ωε ιλλυστρατε τηε µετηοδ φορ α σινγλε, νονβρανχηινγ χαβλε τηατ βεγινσ ατ χοµπαρτµεντ µ = 1, σο τηατ α1 = 0, ανδ ενδσ ατ χοµπαρτµεντ µ = Ν, σο χ Ν = 0. Τηε µετηοδ χονσιστσ οφ σολϖινγ εθυατιον 6.49 φορ %ςµ ιν τερµσ οφ %ςµ+1 σεθυεντιαλλψ, σταρτινγ ατ ονε ενδ οφ τηε χαβλε ανδ προχεεδινγ το τηε οτηερ ενδ. Φορ εξαµπλε, ιφ ωε σταρτ τηε προχεδυρε ατ χοµπαρτµεντ 1, %ς1 χαν βε εξπρεσσεδ ασ

%ς1 =

χ1 %ς2 + δ1 . 1 − β1

(6.51)

Συβστιτυτινγ τηισ ιντο τηε εθυατιον 6.49 φορ µ = 2 γιϖεσ

%ς2 = β2′ %ς2 + χ2 %ς3 + δ2′ ,

(6.52)

ωηερε β2′ = β2 + α2 χ1 /(1 − β1 ) ανδ δ2′ = δ2 + α2 δ1 /(1 − β1 ). Ωε νοω ρεπεατ τηε προχεδυρε γοινγ δοων τηε χαβλε. Ατ εαχη σταγε, ωε σολϖε φορ %ςµ−1 ιν τερµσ οφ %ςµ , ⇒νδινγ

%ςµ−1 =

′ χµ−1 %ςµ + δµ− 1 ′ 1 − βµ− 1

,

(6.53)

ωηερε ′ βµ+ 1 = βµ+1 +

αµ+1 χµ 1 − βµ′

(6.54)

αµ+1 δµ′ . 1 − βµ′

(6.55)

ανδ ′ δµ+ 1 = δµ+1 +

Φιναλλψ, ωηεν ωε γετ το τηε ενδ οφ τηε χαβλε, ωε χαν σολϖε φορ

%ςΝ =

δ′Ν 1 − β′Ν

(6.56)

βεχαυσε χ Ν = 0. Τηε προχεδυρε φορ χοµπυτινγ αλλ τηε %ςµ ισ τηε φολλοωινγ. ∆ε⇒νε β1′ = β1 ανδ δ1′ = δ1 ανδ ιτερατε εθυατιονσ 6.54 ανδ 6.55 δοων τηε λενγτη οφ τηε

228

Μοδελ Νευρονσ ΙΙ: Χονδυχτανχεσ ανδ Μορπηολογψ

χαβλε το δε⇒νε αλλ τηε β′ ανδ δ′ παραµετερσ. Τηεν σολϖε φορ %ςΝ φροµ εθυατιον 6.56 ανδ ιτερατε βαχκ υπ τηε χαβλε, σολϖινγ φορ τηε %ςaσ υσινγ 6.53. Τηισ προχεσσ τακεσ ονλψ 2Ν στεπσ. Ωε λεαϖε τηε εξτενσιον οφ τηισ µετηοδ το τηε χασε οφ α βρανχηεδ χαβλε ασ αν εξερχισε φορ τηε ρεαδερ. Τηε γενεραλ προχεδυρε ισ σιµιλαρ το τηε ονε ωε πρε− σεντεδ φορ α νονβρανχηινγ χαβλε. Τηε εθυατιονσ αρε σολϖεδ βψ σταρτινγ ατ τηε ενδσ οφ τηε βρανχηεσ ανδ µοϖινγ ιν τοωαρδ τηειρ βρανχηινγ νοδε, τηεν χοντινυινγ ον ασ φορ α νονβρανχηινγ χαβλε, ανδ ⇒ναλλψ ρεϖερσινγ διρεχτιον ανδ χοµπλετινγ τηε σολυτιον µοϖινγ ιν τηε οπποσιτε διρεχτιον αλονγ τηε χαβλε ανδ ιτσ βρανχηεσ.

6.7

Αννοτατεδ Βιβλιογραπηψ

Μανψ οφ τηε ρεφερενχεσ φορ χηαπτερ 5 αππλψ το τηισ χηαπτερ ασ ωελλ, ινχλυδ− ινγ ϑαχκ ετ αλ. (1975), Τυχκωελλ (1988), ϑοηνστον & Ωυ (1995), Κοχη & Σεγεϖ (1998), Κοχη (1998), Ηιλλε (1992), ανδ Μασχαγνι & Σηερµαν (1998). Ραλλ (1977) δεσχριβεσ χαβλε τηεορψ, τηε εθυιϖαλεντ χαβλε µοδελ οφ δενδριτιχ τρεεσ, ανδ τηε 3/2 λαω. Τηε σολυτιον οφ εθυατιον 6.21 χαν βε χονστρυχτεδ υσ− ινγ τηε σετ οφ ρυλεσ φορ σολϖινγ τηε λινεαρ χαβλε εθυατιον ον αρβιτραρψ τρεεσ φουνδ ιν Αββοττ (1992; σεε αλσο Αββοττ ετ αλ., 1991). Μαρδερ & Χαλαβρεσε (1996) ρεϖιεωσ νευροµοδυλατιον. Τωο φρεελψ αϖαιλαβλε σοφτωαρε παχκαγεσ φορ δεταιλεδ νευροναλ µοδελινγ αρε ιν ωιδε υσε, Neuron (σεε Ηινεσ & Χαρνεϖαλε, 1997) ανδ Genesis (σεε Βοωερ & Βεεµαν, 1998). Τηεσε αρε αϖαιλαβλε ατ http://www.neuron.yale.edu ανδ http://genesis.bbb.caltech.edu/GENESIS/genesis.html.

7

Νετωορκ Μοδελσ

7.1

Ιντροδυχτιον

Εξτενσιϖε σψναπτιχ χοννεχτιϖιτψ ισ α ηαλλµαρκ οφ νευραλ χιρχυιτρψ. Φορ εξ− αµπλε, α τψπιχαλ νευρον ιν τηε µαµµαλιαν νεοχορτεξ ρεχειϖεσ τηουσανδσ οφ σψναπτιχ ινπυτσ. Νετωορκ µοδελσ αλλοω υσ το εξπλορε τηε χοµπυτατιοναλ ποτεντιαλ οφ συχη χοννεχτιϖιτψ, υσινγ βοτη αναλψσισ ανδ σιµυλατιονσ. Ασ ιλλυστρατιονσ, ωε στυδψ ιν τηισ χηαπτερ ηοω νετωορκσ χαν περφορµ τηε φολ− λοωινγ τασκσ: χοορδινατε τρανσφορµατιονσ νεεδεδ ιν ϖισυαλλψ γυιδεδ ρεαχη− ινγ, σελεχτιϖε αµπλι⇒χατιον λεαδινγ το µοδελσ οφ σιµπλε ανδ χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ, ιντεγρατιον ασ α µοδελ οφ σηορτ−τερµ µεµορψ, νοισε ρεδυχτιον, ινπυτ σελεχτιον, γαιν µοδυλατιον, ανδ ασσοχιατιϖε µεµ− ορψ. Νετωορκσ τηατ υνδεργο οσχιλλατιονσ αρε αλσο αναλψζεδ, ωιτη αππλιχα− τιον το τηε ολφαχτορψ βυλβ. Φιναλλψ, ωε δισχυσσ νετωορκ µοδελσ βασεδ ον στοχηαστιχ ρατηερ τηαν δετερµινιστιχ δψναµιχσ, υσινγ τηε Βολτζµανν µα− χηινε ασ αν εξαµπλε. Νεοχορτιχαλ χιρχυιτσ αρε α µαϕορ φοχυσ οφ ουρ δισχυσσιον. Ιν τηε νεοχορ− τεξ, ωηιχη φορµσ τηε χονϖολυτεδ ουτερ συρφαχε οφ τηε (φορ εξαµπλε) ηυµαν βραιν, νευρονσ λιε ιν σιξ ϖερτιχαλ λαψερσ ηιγηλψ χουπλεδ ωιτηιν χψλινδριχαλ χολυµνσ. Συχη χολυµνσ ηαϖε βεεν συγγεστεδ ασ βασιχ φυνχτιοναλ υνιτσ, ανδ στερεοτψπιχαλ παττερνσ οφ χοννεχτιονσ βοτη ωιτηιν α χολυµν ανδ βε− τωεεν χολυµνσ αρε ρεπεατεδ αχροσσ χορτεξ. Τηερε αρε τηρεε µαιν χλασσεσ οφ ιντερχοννεχτιονσ ωιτηιν χορτεξ, ανδ ιν οτηερ αρεασ οφ τηε βραιν ασ ωελλ. Φεεδφορωαρδ χοννεχτιονσ βρινγ ινπυτ το α γιϖεν ρεγιον φροµ ανοτηερ ρε− γιον λοχατεδ ατ αν εαρλιερ σταγε αλονγ α παρτιχυλαρ προχεσσινγ πατηωαψ. Ρε− χυρρεντ σψναπσεσ ιντερχοννεχτ νευρονσ ωιτηιν α παρτιχυλαρ ρεγιον τηατ αρε χονσιδερεδ το βε ατ τηε σαµε σταγε αλονγ τηε προχεσσινγ πατηωαψ. Τηεσε µαψ ινχλυδε χοννεχτιονσ ωιτηιν α χορτιχαλ χολυµν ασ ωελλ ασ χοννεχτιονσ βετωεεν βοτη νεαρβψ ανδ δισταντ χορτιχαλ χολυµνσ ωιτηιν α ρεγιον. Τοπ− δοων χοννεχτιονσ χαρρψ σιγναλσ βαχκ φροµ αρεασ λοχατεδ ατ λατερ σταγεσ. Τηεσε δε⇒νιτιονσ δεπενδ ον τηε ηοω τηε ρεγιον βεινγ στυδιεδ ισ σπεχι⇒εδ ανδ ον τηε ηιεραρχηιχαλ ασσιγνµεντ οφ ρεγιονσ αλονγ α πατηωαψ. Ιν γεν− εραλ, νευρονσ ωιτηιν α γιϖεν ρεγιον σενδ τοπ−δοων προϕεχτιονσ βαχκ το τηε αρεασ φροµ ωηιχη τηεψ ρεχειϖε φεεδφορωαρδ ινπυτ, ανδ ρεχειϖε τοπ−δοων ινπυτ φροµ τηε αρεασ το ωηιχη τηεψ προϕεχτ φεεδφορωαρδ ουτπυτ. Τηε νυµ− βερσ, τηουγη νοτ νεχεσσαριλψ τηε στρενγτησ, οφ φεεδφορωαρδ ανδ τοπ−δοων

χορτιχαλ χολυµνσ

φεεδφορωαρδ, ρεχυρρεντ, ανδ τοπ−δοων χοννεχτιονσ

230

Νετωορκ Μοδελσ

⇒βερσ βετωεεν χοννεχτεδ ρεγιονσ αρε τψπιχαλλψ χοµπαραβλε, ανδ ρεχυρρεντ σψναπσεσ τψπιχαλλψ ουτνυµβερ φεεδφορωαρδ ορ τοπ−δοων ινπυτσ. Ωε βε− γιν τηισ χηαπτερ βψ στυδψινγ νετωορκσ ωιτη πυρελψ φεεδφορωαρδ ινπυτ ανδ τηεν στυδψ τηε εφφεχτσ οφ ρεχυρρεντ χοννεχτιονσ. Τηε αναλψσισ οφ τοπ−δοων χοννεχτιονσ, φορ ωηιχη ιτ ισ µορε διφ⇒χυλτ το εσταβλιση χλεαρ χοµπυτατιοναλ ρολεσ, ισ λεφτ υντιλ χηαπτερ 10. Τηε µοστ διρεχτ ωαψ το σιµυλατε νευραλ νετωορκσ ισ το υσε τηε µετηοδσ δισ− χυσσεδ ιν χηαπτερσ 5 ανδ 6 το σψναπτιχαλλψ χοννεχτ µοδελ σπικινγ νευρονσ. Τηισ ισ α ωορτηωηιλε ανδ ινστρυχτιϖε εντερπρισε, βυτ ιτ πρεσεντσ σιγνι⇒χαντ χοµπυτατιοναλ, χαλχυλατιοναλ, ανδ ιντερπρετατιοναλ χηαλλενγεσ. Ιν τηισ χηαπ− τερ, ωε φολλοω α σιµπλερ αππροαχη ανδ χονστρυχτ νετωορκσ οφ νευρον−λικε υνιτσ ωιτη ουτπυτσ χονσιστινγ οφ ⇒ρινγ ρατεσ ρατηερ τηαν αχτιον ποτεντιαλσ. Σπικινγ µοδελσ ινϖολϖε δψναµιχσ οϖερ τιµε σχαλεσ ρανγινγ φροµ χηαννελ οπενινγσ τηατ χαν τακε λεσσ τηαν α µιλλισεχονδ, το χολλεχτιϖε νετωορκ προ− χεσσεσ τηατ µαψ βε σεϖεραλ ορδερσ οφ µαγνιτυδε σλοωερ. Φιρινγ−ρατε µοδελσ αϖοιδ τηε σηορτ τιµε σχαλε δψναµιχσ ρεθυιρεδ το σιµυλατε αχτιον ποτεντιαλσ ανδ τηυσ αρε µυχη εασιερ το σιµυλατε ον χοµπυτερσ. Φιρινγ−ρατε µοδελσ αλσο αλλοω υσ το πρεσεντ αναλψτιχ χαλχυλατιονσ οφ σοµε ασπεχτσ οφ νετωορκ δψναµιχσ τηατ χουλδ νοτ βε τρεατεδ ιν τηε χασε οφ σπικινγ νευρονσ. Φιναλλψ, σπικινγ µοδελσ τενδ το ηαϖε µορε φρεε παραµετερσ τηαν ⇒ρινγ−ρατε µοδελσ, ανδ σεττινγ τηεσε αππροπριατελψ χαν βε διφ⇒χυλτ. Τηερε αρε τωο αδδιτιοναλ αργυµεντσ ιν φαϖορ οφ ⇒ρινγ−ρατε µοδελσ. Τηε ⇒ρστ χονχερνσ τηε αππαρεντ στοχηαστιχιτψ οφ σπικινγ. Τηε µοδελσ δισχυσσεδ ιν χηαπτερσ 5 ανδ 6 προδυχε σπικε σεθυενχεσ δετερµινιστιχαλλψ ιν ρεσπονσε το ινϕεχτεδ χυρρεντ ορ σψναπτιχ ινπυτ. ∆ετερµινιστιχ µοδελσ χαν πρεδιχτ σπικε σεθυενχεσ αχχυρατελψ ονλψ ιφ αλλ τηειρ ινπυτσ αρε κνοων. Τηισ ισ υν− λικελψ το βε τηε χασε φορ τηε νευρονσ ιν α χοµπλεξ νετωορκ, ανδ νετωορκ µοδελσ τψπιχαλλψ ινχλυδε ονλψ α συβσετ οφ τηε µανψ διφφερεντ ινπυτσ το ινδι− ϖιδυαλ νευρονσ. Τηερεφορε, τηε γρεατερ αππαρεντ πρεχισιον οφ σπικινγ µοδ− ελσ µαψ νοτ αχτυαλλψ βε ρεαλιζεδ ιν πραχτιχε. Ιφ νεχεσσαρψ, ⇒ρινγ−ρατε µοδελσ χαν βε υσεδ το γενερατε στοχηαστιχ σπικε σεθυενχεσ φροµ α δετερµινιστιχαλλψ χοµπυτεδ ρατε, υσινγ τηε µετηοδσ δισχυσσεδ ιν χηαπτερσ 1 ανδ 2. Τηε σεχονδ αργυµεντ ινϖολϖεσ α χοµπλιχατιον ωιτη σπικινγ µοδελσ τηατ αρισεσ ωηεν τηεψ αρε υσεδ το χονστρυχτ σιµπλι⇒εδ νετωορκσ. Αλτηουγη χορ− τιχαλ νευρονσ ρεχειϖε µανψ ινπυτσ, τηε προβαβιλιτψ οφ ⇒νδινγ α σψναπτιχ χοννεχτιον βετωεεν α ρανδοµλψ χηοσεν παιρ οφ νευρονσ ισ αχτυαλλψ θυιτε λοω. Χαπτυρινγ τηισ φεατυρε, ωηιλε ρεταινινγ α ηιγη δεγρεε οφ χοννεχτιϖ− ιτψ τηρουγη πολψσψναπτιχ πατηωαψσ, ρεθυιρεσ ινχλυδινγ α λαργε νυµβερ οφ νευρονσ ιν α νετωορκ µοδελ. Α στανδαρδ ωαψ οφ δεαλινγ ωιτη τηισ προβλεµ ισ το υσε α σινγλε µοδελ υνιτ το ρεπρεσεντ τηε αϖεραγε ρεσπονσε οφ σεϖεραλ νευρονσ τηατ ηαϖε σιµιλαρ σελεχτιϖιτιεσ. Τηεσε mαϖεραγινγn υνιτσ χαν τηεν βε ιντερχοννεχτεδ µορε δενσελψ τηαν τηε ινδιϖιδυαλ νευρονσ οφ τηε αχτυαλ νετωορκ, σο φεωερ οφ τηεµ αρε νεεδεδ το βυιλδ τηε µοδελ. Ιφ νευραλ ρε− σπονσεσ αρε χηαραχτεριζεδ βψ ⇒ρινγ ρατεσ, τηε ουτπυτ οφ τηε µοδελ υνιτ ισ σιµπλψ τηε αϖεραγε οφ τηε ⇒ρινγ ρατεσ οφ τηε νευρονσ ιτ ρεπρεσεντσ χολλεχ− τιϖελψ. Ηοωεϖερ, ιφ τηε ρεσπονσε ισ α σπικε, ιτ ισ νοτ χλεαρ ηοω τηε σπικεσ οφ τηε ρεπρεσεντεδ νευρονσ χαν βε αϖεραγεδ. Τηε ωαψ σπικινγ µοδελσ αρε

7.2

Φιρινγ−Ρατε Μοδελσ

231

τψπιχαλλψ χονστρυχτεδ, αν αχτιον ποτεντιαλ ⇒ρεδ βψ τηε µοδελ υνιτ δυπλι− χατεσ τηε εφφεχτ οφ αλλ τηε νευρονσ ιτ ρεπρεσεντσ ⇒ρινγ σψνχηρονουσλψ. Νοτ συρπρισινγλψ, συχη µοδελσ τενδ το εξηιβιτ λαργε−σχαλε σψνχηρονιζατιον υν− λικε ανψτηινγ σεεν ιν α ηεαλτηψ βραιν. Φιρινγ−ρατε µοδελσ αλσο ηαϖε τηειρ λιµιτατιονσ. Τηεψ χαννοτ αχχουντ φορ ασπεχτσ οφ σπικε τιµινγ ανδ σπικε χορρελατιονσ τηατ µαψ βε ιµπορταντ φορ υνδερστανδινγ νερϖουσ σψστεµ φυνχτιον. Φιρινγ−ρατε µοδελσ αρε ρεστριχτεδ το χασεσ ωηερε τηε ⇒ρινγ οφ νευρονσ ιν α νετωορκ ισ υνχορρελατεδ, ωιτη λιττλε σψνχηρονουσ ⇒ρινγ, ανδ ωηερε πρεχισε παττερνσ οφ σπικε τιµινγ αρε υνιµ− πορταντ. Ιν συχη χασεσ, χοµπαρισονσ οφ σπικινγ νετωορκ µοδελσ ωιτη µοδ− ελσ τηατ υσε ⇒ρινγ−ρατε δεσχριπτιονσ ηαϖε σηοων τηατ τηεψ προδυχε σιµιλαρ ρεσυλτσ. Νεϖερτηελεσσ, τηε εξπλορατιον οφ νευραλ νετωορκσ υνδουβτεδλψ ρε− θυιρεσ τηε υσε οφ βοτη ⇒ρινγ−ρατε ανδ σπικινγ µοδελσ.

7.2

Φιρινγ−Ρατε Μοδελσ

Ασ δισχυσσεδ ιν χηαπτερ 1, τηε σεθυενχε οφ σπικεσ γενερατεδ βψ α νευρον ισ χοµπλετελψ χηαραχτεριζεδ βψ τηε νευραλ ρεσπονσε φυνχτιον ρ(τ ), ωηιχη χονσιστσ οφ δ φυνχτιον σπικεσ λοχατεδ ατ τιµεσ ωηεν τηε νευρον ⇒ρεδ αχτιον ποτεντιαλσ. Ιν ⇒ρινγ−ρατε µοδελσ, τηε εξαχτ δεσχριπτιον οφ α σπικε σεθυενχε προϖιδεδ βψ τηε νευραλ ρεσπονσε φυνχτιον ρ(τ ) ισ ρεπλαχεδ βψ τηε αππροξι− µατε δεσχριπτιον προϖιδεδ βψ τηε ⇒ρινγ ρατε r (τ ). Ρεχαλλ φροµ χηαπτερ 1 τηατ r (τ ) ισ δε⇒νεδ ασ τηε προβαβιλιτψ δενσιτψ οφ ⇒ρινγ ανδ ισ οβταινεδ φροµ ρ(τ ) βψ αϖεραγινγ οϖερ τριαλσ. Τηε ϖαλιδιτψ οφ α ⇒ρινγ−ρατε µοδελ δεπενδσ ον ηοω ωελλ τηε τριαλ−αϖεραγεδ ⇒ρινγ ρατε οφ νετωορκ υνιτσ αππροξιµατεσ τηε εφφεχτ οφ αχτυαλ σπικε σεθυενχεσ ον τηε δψναµιχ βεηαϖιορ οφ τηε νετωορκ. Τηε ρεπλαχεµεντ οφ τηε νευραλ ρεσπονσε φυνχτιον βψ τηε χορρεσπονδινγ ⇒ρ− ινγ ρατε ισ τψπιχαλλψ ϕυστι⇒εδ βψ τηε φαχτ τηατ εαχη νετωορκ νευρον ηασ α λαργε νυµβερ οφ ινπυτσ. Ρεπλαχινγ ρ(τ ), ωηιχη δεσχριβεσ αν αχτυαλ σπικε τραιν, ωιτη τηε τριαλ−αϖεραγεδ ⇒ρινγ ρατε r (τ ) ισ ϕυστι⇒εδ ιφ τηε θυαντιτιεσ οφ ρελεϖανχε φορ νετωορκ δψναµιχσ αρε ρελατιϖελψ ινσενσιτιϖε το τηε τριαλ−το− τριαλ ⇓υχτυατιονσ ιν τηε σπικε σεθυενχεσ ρεπρεσεντεδ βψ ρ(τ ). Ιν α νετωορκ µοδελ, τηε ρελεϖαντ θυαντιτιεσ τηατ µυστ βε µοδελεδ αχχυρατελψ αρε τηε τοταλ ινπυτσ φορ τηε νευρονσ ωιτηιν τηε νετωορκ. Φορ ανψ σινγλε σψναπτιχ ινπυτ, τηε τριαλ−το−τριαλ ϖαριαβιλιτψ ισ λικελψ το βε λαργε. Ηοωεϖερ, ιφ ωε συµ τηε ινπυτ οϖερ µανψ σψναπσεσ αχτιϖατεδ βψ υνχορρελατεδ πρεσψναπτιχ σπικε τραινσ, τηε µεαν οφ τηε τοταλ ινπυτ τψπιχαλλψ γροωσ λινεαρλψ ωιτη τηε νυµβερ οφ σψναπσεσ, ωηιλε ιτσ στανδαρδ δεϖιατιον γροωσ ονλψ ασ τηε σθυαρε ροοτ οφ τηε νυµβερ οφ σψναπσεσ. Τηυσ, φορ υνχορρελατεδ πρεσψναπτιχ σπικε τραινσ, υσινγ πρεσψναπτιχ ⇒ρινγ ρατεσ ιν πλαχε οφ τηε αχτυαλ πρεσψναπτιχ σπικε τραινσ µαψ νοτ σιγνι⇒χαντλψ µοδιφψ τηε δψναµιχσ οφ τηε νετωορκ. Χονϖερσελψ, α ⇒ρινγ−ρατε µοδελ ωιλλ φαιλ το δεσχριβε α νετωορκ αδεθυατελψ ιφ τηε πρεσψ− ναπτιχ ινπυτσ το α συβσταντιαλ φραχτιον οφ ιτσ νευρονσ αρε χορρελατεδ. Τηισ χαν οχχυρ, φορ εξαµπλε, ιφ τηε πρεσψναπτιχ νευρονσ ⇒ρε σψνχηρονουσλψ. Τηε σψναπτιχ ινπυτ αρισινγ φροµ α πρεσψναπτιχ σπικε τραιν ισ εφφεχτιϖελψ ⇒λ−

232

Νετωορκ Μοδελσ

τερεδ βψ τηε δψναµιχσ οφ τηε χονδυχτανχε χηανγεσ τηατ εαχη πρεσψναπτιχ αχτιον ποτεντιαλ εϖοκεσ ιν τηε ποστσψναπτιχ νευρον (σεε χηαπτερ 5) ανδ τηε δψναµιχσ οφ προπαγατιον οφ τηε χυρρεντ φροµ τηε σψναπσε το τηε σοµα. Τηε τεµποραλ αϖεραγινγ προϖιδεδ βψ σλοω σψναπτιχ ορ µεµβρανε δψναµιχσ χαν ρεδυχε τηε εφφεχτσ οφ σπικε−τραιν ϖαριαβιλιτψ ανδ ηελπ ϕυστιφψ τηε αππροξ− ιµατιον οφ υσινγ ⇒ρινγ ρατεσ ινστεαδ οφ πρεσψναπτιχ σπικε τραινσ. Φιρινγ−ρατε µοδελσ αρε µορε αχχυρατε ιφ τηε νετωορκ βεινγ µοδελεδ ηασ α σιγνι⇒χαντ αµουντ οφ σψναπτιχ τρανσµισσιον τηατ ισ σλοω ρελατιϖε το τψπιχαλ πρεσψναπ− τιχ ιντερσπικε ιντερϖαλσ.

σψναπτιχ χυρρεντ Ισ

Τηε χονστρυχτιον οφ α ⇒ρινγ−ρατε µοδελ προχεεδσ ιν τωο στεπσ. Φιρστ, ωε δετερµινε ηοω τηε τοταλ σψναπτιχ ινπυτ το α νευρον δεπενδσ ον τηε ⇒ρ− ινγ ρατεσ οφ ιτσ πρεσψναπτιχ αφφερεντσ. Τηισ ισ ωηερε ωε υσε ⇒ρινγ ρατεσ το αππροξιµατε νευραλ ρεσπονσε φυνχτιονσ. Σεχονδ, ωε µοδελ ηοω τηε ⇒ρινγ ρατε οφ τηε ποστσψναπτιχ νευρον δεπενδσ ον ιτσ τοταλ σψναπτιχ ινπυτ. Φιρινγ− ρατε ρεσπονσε χυρϖεσ αρε τψπιχαλλψ µεασυρεδ βψ ινϕεχτινγ χυρρεντ ιντο τηε σοµα οφ α νευρον. Ωε τηερεφορε ⇒νδ ιτ µοστ χονϖενιεντ το δε⇒νε τηε τοταλ σψναπτιχ ινπυτ ασ τηε τοταλ χυρρεντ δελιϖερεδ το τηε σοµα ασ α ρεσυλτ οφ αλλ τηε σψναπτιχ χονδυχτανχε χηανγεσ ρεσυλτινγ φροµ πρεσψναπτιχ αχτιον πο− τεντιαλσ. Ωε δενοτε τηισ τοταλ σψναπτιχ χυρρεντ βψ Ισ . Ωε τηεν δετερµινε τηε ποστσψναπτιχ ⇒ρινγ ρατε φροµ Ισ . Ιν γενεραλ, Ισ δεπενδσ ον τηε σπα− τιαλλψ ινηοµογενεουσ µεµβρανε ποτεντιαλ οφ τηε νευρον, βυτ ωε ασσυµε τηατ, οτηερ τηαν δυρινγ αχτιον ποτεντιαλσ ορ τρανσιεντ ηψπερπολαριζατιονσ, τηε µεµβρανε ποτεντιαλ ρεµαινσ χλοσε το, βυτ σλιγητλψ βελοω, τηε τηρεση− ολδ φορ αχτιον ποτεντιαλ γενερατιον. Αν εξαµπλε οφ τηισ τψπε οφ βεηαϖιορ ισ σεεν ιν τηε υππερ πανελσ οφ ⇒γυρε 7.2. Ισ ισ τηεν αππροξιµατελψ εθυαλ το τηε σψναπτιχ χυρρεντ τηατ ωουλδ βε µεασυρεδ φροµ τηε σοµα ιν α ϖολταγε− χλαµπ εξπεριµεντ, εξχεπτ φορ α ρεϖερσαλ οφ σιγν. Ιν τηε νεξτ σεχτιον, ωε µοδελ ηοω Ισ δεπενδσ ον πρεσψναπτιχ ⇒ρινγ ρατεσ.

Ιν τηε νετωορκ µοδελσ ωε χονσιδερ, βοτη τηε ουτπυτ φροµ, ανδ τηε ινπυτ το, α νευρον αρε χηαραχτεριζεδ βψ ⇒ρινγ ρατεσ. Το αϖοιδ α προλιφερατιον οφ συβ− ανδ συπερσχριπτσ ον τηε θυαντιτψ r (τ ), ωε υσε τηε λεττερ υ το δενοτε α ινπυτ ρατε υ πρεσψναπτιχ ⇒ρινγ ρατε, ανδ v το δενοτε α ποστσψναπτιχ ρατε. Νοτε τηατ v ισ ουτπυτ ρατε v υσεδ ηερε το δενοτε α ⇒ρινγ ρατε, νοτ α µεµβρανε ποτεντιαλ. Ιν αδδιτιον, ωε υσε τηεσε τωο λεττερσ το διστινγυιση ινπυτ ανδ ουτπυτ ⇒ρινγ ρατεσ ιν νετωορκ µοδελσ, α χονϖεντιον ωε ρεταιν τηρουγη τηε ρεµαινινγ χηαπτερσ. Ωηεν ωε χονσιδερ µυλτιπλε ινπυτ ορ ουτπυτ νευρονσ, ωε υσε ϖεχτορσ υ ανδ ινπυτ ρατε ϖεχτορ υ ϖ το ρεπρεσεντ τηειρ ⇒ρινγ ρατεσ χολλεχτιϖελψ, ωιτη τηε χοµπονεντσ οφ τηεσε ουτπυτ ρατε ϖεχτορ ϖ ϖεχτορσ ρεπρεσεντινγ τηε ⇒ρινγ ρατεσ οφ τηε ινδιϖιδυαλ ινπυτ ανδ ουτπυτ υνιτσ.

Τηε Τοταλ Σψναπτιχ Χυρρεντ Χονσιδερ α νευρον ρεχειϖινγ Νυ σψναπτιχ ινπυτσ λαβελεδ βψ β = 1, 2, . . . , Νυ (⇒γυρε 7.1). Τηε ⇒ρινγ ρατε οφ ινπυτ β ισ δενοτεδ βψ υβ , ανδ τηε ινπυτ ρατεσ αρε ρεπρεσεντεδ χολλεχτιϖελψ βψ τηε Νυ −χοµπονεντ ϖεχτορ υ. Ωε µοδελ ηοω τηε σψναπτιχ χυρρεντ Ισ δεπενδσ ον πρεσψναπτιχ ⇒ρινγ ρατεσ βψ ⇒ρστ χονσιδ−

7.2

Φιρινγ−Ρατε Μοδελσ

233

ϖ weights ω input υ output

Φιγυρε 7.1 Φεεδφορωαρδ ινπυτσ το α σινγλε νευρον. Ινπυτ ρατεσ υ δριϖε α νευρον ατ αν ουτπυτ ρατε v τηρουγη σψναπτιχ ωειγητσ γιϖεν βψ τηε ϖεχτορ ω.

ερινγ ηοω ιτ δεπενδσ ον πρεσψναπτιχ σπικεσ. Ιφ αν αχτιον ποτεντιαλ αρριϖεσ ατ ινπυτ β ατ τιµε 0, ωε ωριτε τηε σψναπτιχ χυρρεντ γενερατεδ ιν τηε σοµα οφ τηε ποστσψναπτιχ νευρον ατ τιµε τ ασ wβ Κσ (τ ), ωηερε wβ ισ τηε σψναπτιχ ωειγητ ανδ Κσ (τ ) ισ χαλλεδ τηε σψναπτιχ κερνελ. Χολλεχτιϖελψ, τηε σψναπ− τιχ ωειγητσ αρε ρεπρεσεντεδ βψ α σψναπτιχ ωειγητ ϖεχτορ ω, ωηιχη ηασ Νυ σψναπτιχ ωειγητσ ω χοµπονεντσ wβ . Τηε αµπλιτυδε ανδ σιγν οφ τηε σψναπτιχ χυρρεντ γενερατεδ βψ ινπυτ β αρε δετερµινεδ βψ wβ . Φορ εξχιτατορψ σψναπσεσ, wβ > 0, ανδ φορ ινηιβιτορψ σψναπσεσ, wβ < 0. Ιν τηισ φορµυλατιον οφ τηε εφφεχτ οφ πρεσψναπτιχ σπικεσ, τηε προβαβιλιτψ οφ τρανσµιττερ ρελεασε φροµ α πρεσψναπτιχ τερµιναλ ισ αβσορβεδ ιντο τηε σψναπτιχ ωειγητ φαχτορ wβ , ανδ ωε δο νοτ ινχλυδε σηορτ− τερµ πλαστιχιτψ ιν τηε µοδελ (αλτηουγη τηισ χαν βε δονε βψ µακινγ wβ α δψναµιχ ϖαριαβλε). Τηε σψναπτιχ κερνελ, Κσ (τ ) ≥ 0, δεσχριβεσ τηε τιµε χουρσε οφ τηε σψναπτιχ χυρρεντ ιν ρεσπονσε το α πρεσψναπτιχ σπικε αρριϖινγ ατ τιµε τ = 0. Τηισ τιµε χουρσε δεπενδσ ον τηε δψναµιχσ οφ τηε σψναπτιχ χονδυχτανχε αχτιϖατεδ βψ τηε πρεσψναπτιχ σπικε, ανδ αλσο ον βοτη τηε πασσιϖε ανδ τηε αχτιϖε προπ− ερτιεσ οφ τηε δενδριτιχ χαβλεσ τηατ χαρρψ τηε σψναπτιχ χυρρεντ το τηε σοµα. Φορ εξαµπλε, λονγ πασσιϖε χαβλεσ βροαδεν τηε σψναπτιχ κερνελ ανδ σλοω ιτσ ρισε φροµ 0. Χαβλε χαλχυλατιονσ ορ µυλτι−χοµπαρτµεντ σιµυλατιονσ, συχη ασ τηοσε δισχυσσεδ ιν χηαπτερ 6, χαν βε υσεδ το χοµπυτε Κσ (τ ) φορ α σπεχι⇒χ δενδριτιχ στρυχτυρε. Το αϖοιδ αµβιγυιτψ, ωε νορµαλιζε Κσ (τ ) βψ ρεθυιρινγ ιτσ ιντεγραλ οϖερ αλλ ποσιτιϖε τιµεσ το βε 1. Ατ τηισ ποιντ, φορ σιµπλιχιτψ, ωε υσε τηε σαµε φυνχτιον Κσ (τ ) το δεσχριβε αλλ σψναπσεσ. Ασσυµινγ τηατ τηε εφφεχτσ οφ τηε σπικεσ ατ α σινγλε σψναπσε συµ λινεαρλψ, τηε τοταλ σψναπτιχ χυρρεντ ατ τιµε τ αρισινγ φροµ α σεθυενχε οφ πρεσψναπτιχ σπικεσ οχχυρρινγ ατ ινπυτ β ατ τιµεσ τι ισ γιϖεν βψ " τ ! δτ Κσ (τ − τ)ρβ (τ) . (7.1) Κσ (τ − τι ) = wβ wβ −∞

τι < τ

Ιν τηε σεχονδ εξπρεσσιον, ωε ηαϖε υσεδ τηε νευραλ ρεσπονσε φυνχτιον, / ρβ (τ) = ι δ(τ − τι ), το δεσχριβε τηε σεθυενχε οφ σπικεσ ⇒ρεδ βψ πρεσψ− ναπτιχ νευρον β. Τηε εθυαλιτψ φολλοωσ φροµ ιντεγρατινγ οϖερ τηε συµ οφ δ φυνχτιονσ ιν τηε δε⇒νιτιον οφ ρβ (τ). Ιφ τηερε ισ νο νονλινεαρ ιντεραχτιον βε− τωεεν διφφερεντ σψναπτιχ χυρρεντσ, τηε τοταλ σψναπτιχ χυρρεντ χοµινγ φροµ αλλ πρεσψναπτιχ ινπυτσ ισ οβταινεδ σιµπλψ βψ συµµινγ, Ισ =

Νυ ! β=1

wβ

"

τ

δτ Κσ (τ − τ)ρβ (τ) .

−∞

(7.2)

σψναπτιχ κερνελ Κσ (τ )

234

Νετωορκ Μοδελσ

Ασ δισχυσσεδ πρεϖιουσλψ, τηε χριτιχαλ στεπ ιν τηε χονστρυχτιον οφ α ⇒ρινγ−ρατε µοδελ ισ τηε ρεπλαχεµεντ οφ τηε νευραλ ρεσπονσε φυνχτιον ρβ (τ) ιν εθυα− τιον 7.2 ωιτη τηε ⇒ρινγ ρατε οφ νευρον β, υβ (τ), σο τηατ ωε ωριτε Ισ =

Νυ ! β=1

wβ

"

τ

δτ Κσ (τ − τ)υβ (τ) .

(7.3)

−∞

Τηε σψναπτιχ κερνελ µοστ φρεθυεντλψ υσεδ ιν ⇒ρινγ−ρατε µοδελσ ισ αν εξπο− νεντιαλ, Κσ (τ ) = εξπ(−τ/τρ )/τρ . Ωιτη τηισ κερνελ, ωε χαν δεσχριβε Ισ βψ α διφφερεντιαλ εθυατιον ιφ ωε τακε τηε δεριϖατιϖε οφ εθυατιον 7.3 ωιτη ρεσπεχτ το τ, Νυ ! δΙσ = − Ισ + wβ υβ = − Ισ + ω · υ . (7.4) δτ β=1 / Ιν τηε σεχονδ εθυαλιτψ, ωε ηαϖε εξπρεσσεδ τηε συµ wβ υβ ασ τηε δοτ προδ− υχτ οφ τηε ωειγητ ανδ ινπυτ ϖεχτορσ, ω · υ. Ιν τηισ ανδ τηε φολλοωινγ χηαπ− τερσ, ωε πριµαριλψ υσε τηε ϖεχτορ ϖερσιονσ οφ εθυατιονσ συχη ασ 7.4, βυτ ωηεν ωε ⇒ρστ ιντροδυχε αν ιµπορταντ νεω εθυατιον, ωε οφτεν ωριτε ιτ ιν ιτσ συβσχριπτεδ φορµ ασ ωελλ.

τσ

δοτ προδυχτ

Ρεχαλλ τηατ Κ δεσχριβεσ τηε τεµποραλ εϖολυτιον οφ τηε σψναπτιχ χυρρεντ δυε το βοτη σψναπτιχ χονδυχτανχε ανδ δενδριτιχ χαβλε εφφεχτσ. Φορ αν ελεχτρο− τονιχαλλψ χοµπαχτ δενδριτιχ στρυχτυρε, τσ ωιλλ βε χλοσε το τηε τιµε χονσταντ τηατ δεσχριβεσ τηε δεχαψ οφ τηε σψναπτιχ χονδυχτανχε. Φορ φαστ σψναπτιχ χονδυχτανχεσ συχη ασ τηοσε δυε το ΑΜΠΑ γλυταµατε ρεχεπτορσ, τηισ µαψ βε ασ σηορτ ασ α φεω µιλλισεχονδσ. Φορ α λονγ, πασσιϖε δενδριτιχ χαβλε, τσ µαψ βε λαργερ τηαν τηισ, βυτ ιτσ µεασυρεδ ϖαλυε ισ τψπιχαλλψ θυιτε σµαλλ.

Τηε Φιρινγ Ρατε

αχτιϖατιον φυνχτιον Φ ( Ισ )

τηρεσηολδ γ

Εθυατιον 7.4 δετερµινεσ τηε σψναπτιχ χυρρεντ εντερινγ τηε σοµα οφ α ποστ− σψναπτιχ νευρον ιν τερµσ οφ τηε ⇒ρινγ ρατεσ οφ τηε πρεσψναπτιχ νευρονσ. Το ⇒νιση φορµυλατινγ α ⇒ρινγ−ρατε µοδελ, ωε µυστ δετερµινε τηε ποστσψναπ− τιχ ⇒ρινγ ρατε φροµ ουρ κνοωλεδγε οφ Ισ . Φορ χονσταντ σψναπτιχ χυρρεντ, τηε ⇒ρινγ ρατε οφ τηε ποστσψναπτιχ νευρον χαν βε εξπρεσσεδ ασ v = Φ ( Ισ ), ωηερε Φ ισ τηε στεαδψ−στατε ⇒ρινγ ρατε ασ α φυνχτιον οφ σοµατιχ ινπυτ χυρ− ρεντ. Φ ισ αλσο χαλλεδ αν αχτιϖατιον φυνχτιον. Φ ισ σοµετιµεσ τακεν το βε α σατυρατινγ φυνχτιον συχη ασ α σιγµοιδ φυνχτιον. Τηισ ισ υσεφυλ ιν χασεσ ωηερε τηε δεριϖατιϖε οφ Φ ισ νεεδεδ ιν τηε αναλψσισ οφ νετωορκ δψναµιχσ. Ιτ ισ αλσο βουνδεδ φροµ αβοϖε, ωηιχη χαν βε ιµπορταντ ιν σταβιλιζινγ α νετ− ωορκ αγαινστ εξχεσσιϖελψ ηιγη ⇒ρινγ ρατεσ. Μορε οφτεν, ωε υσε α τηρεσηολδ λινεαρ φυνχτιον Φ ( Ισ ) = [Ισ − γ ]+ , ωηερε γ ισ τηε τηρεσηολδ ανδ τηε νοτατιον [ ]+ δενοτεσ ηαλφ−ωαϖε ρεχτι⇒χατιον, ασ ιν πρεϖιουσ χηαπτερσ. Φορ χονϖε− νιενχε, ωε τρεατ Ισ ιν τηισ εξπρεσσιον ασ ιφ ιτ ωερε µεασυρεδ ιν υνιτσ οφ α ⇒ρινγ ρατε (Ηζ), τηατ ισ, ασ ιφ Ισ ισ µυλτιπλιεδ βψ α χονσταντ τηατ χονϖερτσ ιτσ υνιτσ φροµ νΑ το Ηζ. Τηισ µακεσ τηε σψναπτιχ ωειγητσ διµενσιονλεσσ. Τηε τηρεσηολδ γ αλσο ηασ υνιτσ οφ Ηζ.

7.2

Φιρινγ−Ρατε Μοδελσ

235

Φορ τιµε−ινδεπενδεντ ινπυτσ, τηε ρελατιον v = Φ ( Ισ ) ισ αλλ ωε νεεδ το κνοω το χοµπλετε τηε ⇒ρινγ−ρατε µοδελ. Τηε τοταλ στεαδψ−στατε σψναπτιχ χυρρεντ πρεδιχτεδ βψ εθυατιον 7.4 φορ τιµε−ινδεπενδεντ υ ισ Ισ = ω · υ. Τηισ γενερ− ατεσ α στεαδψ−στατε ουτπυτ ⇒ρινγ ρατε v = v∞ γιϖεν βψ

v∞ = Φ (ω · υ ) .

(7.5)

Τηε στεαδψ−στατε ⇒ρινγ ρατε τελλσ υσ ηοω α νευρον ρεσπονδσ το χονσταντ χυρ− ρεντ, βυτ νοτ το α χυρρεντ τηατ χηανγεσ ωιτη τιµε. Το µοδελ τιµε−δεπενδεντ ινπυτσ, ωε νεεδ το κνοω τηε ⇒ρινγ ρατε ιν ρεσπονσε το α τιµε−δεπενδεντ σψναπτιχ χυρρεντ Ισ (τ ). Τηε σιµπλεστ ασσυµπτιον ισ τηατ τηισ ισ στιλλ γιϖεν βψ τηε αχτιϖατιον φυνχτιον, σο v = Φ ( Ισ (τ )) εϖεν ωηεν τηε τοταλ σψναπτιχ χυρρεντ ϖαριεσ ωιτη τιµε. Τηισ λεαδσ το α ⇒ρινγ−ρατε µοδελ ιν ωηιχη τηε δψναµιχσ αρισεσ εξχλυσιϖελψ φροµ εθυατιον 7.4,

τσ

δΙσ = − Ισ + ω · υ ωιτη δτ

v = Φ ( Ισ ) .

(7.6)

Αν αλτερνατιϖε φορµυλατιον οφ α ⇒ρινγ−ρατε µοδελ χαν βε χονστρυχτεδ βψ ασσυµινγ τηατ τηε ⇒ρινγ ρατε δοεσ νοτ φολλοω χηανγεσ ιν τηε τοταλ σψναπτιχ χυρρεντ ινσταντανεουσλψ, ασ ωασ ασσυµεδ φορ τηε µοδελ οφ εθυατιον 7.6. Αχ− τιον ποτεντιαλσ αρε γενερατεδ βψ τηε σψναπτιχ χυρρεντ τηρουγη ιτσ εφφεχτ ον τηε µεµβρανε ποτεντιαλ οφ τηε νευρον. ∆υε το τηε µεµβρανε χαπαχιτανχε ανδ ρεσιστανχε, τηε µεµβρανε ποτεντιαλ ισ, ρουγηλψ σπεακινγ, α λοω−πασσ ⇒λτερεδ ϖερσιον οφ Ισ (σεε τηε Ματηεµατιχαλ Αππενδιξ). Φορ τηισ ρεασον, τηε τιµε−δεπενδεντ ⇒ρινγ ρατε ισ οφτεν µοδελεδ ασ α λοω−πασσ ⇒λτερεδ ϖερσιον οφ τηε στεαδψ−στατε ⇒ρινγ ρατε,

τρ

δv = −v + Φ ( Ισ (τ )) . δτ

(7.7)

Τηε χονσταντ τρ ιν τηισ εθυατιον δετερµινεσ ηοω ραπιδλψ τηε ⇒ρινγ ρατε αππροαχηεσ ιτσ στεαδψ−στατε ϖαλυε φορ χονσταντ Ισ , ανδ ηοω χλοσελψ v χαν φολλοω ραπιδ ⇓υχτυατιονσ φορ α τιµε−δεπενδεντ Ισ (τ ). Εθυιϖαλεντλψ, ιτ µεα− συρεσ τηε τιµε σχαλε οϖερ ωηιχη v αϖεραγεσ Φ ( Ισ (τ )). Τηε λοω−πασσ ⇒λτερινγ εφφεχτ οφ εθυατιον 7.7 ισ δεσχριβεδ ιν τηε Ματηεµατιχαλ Αππενδιξ ιν τηε χοντεξτ οφ ελεχτριχαλ χιρχυιτ τηεορψ. Τηε αργυµεντ ωε ηαϖε υσεδ το µοτι− ϖατε εθυατιον 7.7 ωουλδ συγγεστ τηατ τρ σηουλδ βε αππροξιµατελψ εθυαλ το τηε µεµβρανε τιµε χονσταντ οφ τηε νευρον. Ηοωεϖερ, τηισ αργυµεντ ρεαλλψ αππλιεσ το τηε µεµβρανε ποτεντιαλ, νοτ τηε ⇒ρινγ ρατε, ανδ τηε δψναµιχσ οφ τηε τωο αρε νοτ τηε σαµε. Σοµε νετωορκ µοδελσ υσε α ϖαλυε οφ τρ τηατ ισ χονσιδεραβλψ λεσσ τηαν τηε µεµβρανε τιµε χονσταντ. Ωε ρε−εξαµινε τηισ ισσυε ιν τηε φολλοωινγ σεχτιον. Τηε σεχονδ µοδελ τηατ ωε ηαϖε δεσχριβεδ ινϖολϖεσ τηε παιρ οφ εθυα− τιονσ 7.4 ανδ 7.7. Ιφ ονε οφ τηεσε εθυατιονσ ρελαξεσ το ιτσ εθυιλιβριυµ ποιντ µυχη µορε ραπιδλψ τηαν τηε οτηερ, τηε παιρ χαν βε ρεδυχεδ το α σινγλε εθυατιον. Ωε δισχυσσ χασεσ ιν ωηιχη τηισ οχχυρσ ιν τηε φολλοωινγ σεχτιον. Φορ εξαµπλε, ιφ τρ ≪ τσ , ωε χαν µακε τηε αππροξιµατιον τηατ εθυατιον 7.7 ραπιδλψ σετσ v = Φ ( Ισ (τ )), ανδ τηεν τηε σεχονδ µοδελ ρεδυχεσ το τηε ⇒ρστ

⇒ρινγ−ρατε µοδελ ωιτη χυρρεντ δψναµιχσ

236

Νετωορκ Μοδελσ

µοδελ τηατ ισ δε⇒νεδ βψ εθυατιον 7.6. Ιφ ινστεαδ, τρ ≫ τσ , ωε χαν µακε τηε αππροξιµατιον τηατ εθυατιον 7.4 χοµεσ το εθυιλιβριυµ θυιχκλψ χοµ− παρεδ ωιτη εθυατιον 7.7. Τηεν ωε χαν µακε τηε ρεπλαχεµεντ Ισ = ω · υ ιν ⇒ρινγ−ρατε εθυατιον εθυατιον 7.7 ανδ ωριτε

τρ

δv = −v + Φ (ω · υ ) . δτ

(7.8)

Φορ µοστ οφ τηισ χηαπτερ, ωε αναλψζε νετωορκ µοδελσ δεσχριβεδ βψ τηε ⇒ρινγ−ρατε δψναµιχσ οφ εθυατιον 7.8, αλτηουγη οχχασιοναλλψ ωε χονσιδερ νετωορκσ βασεδ ον εθυατιον 7.6.

Φιρινγ−Ρατε ∆ψναµιχσ Τηε ⇒ρινγ−ρατε µοδελσ δεσχριβεδ βψ εθυατιονσ 7.6 ανδ 7.8 διφφερ ιν τηειρ ασσυµπτιονσ αβουτ ηοω ⇒ρινγ ρατεσ ρεσπονδ το ανδ τραχκ χηανγεσ ιν τηε ινπυτ χυρρεντ το α νευρον. Ιν ονε χασε (εθυατιον 7.6), ιτ ισ ασσυµεδ τηατ ⇒ρινγ ρατεσ φολλοω τιµε−ϖαρψινγ ινπυτ χυρρεντσ ινσταντανεουσλψ, ωιτηουτ αττενυατιον ορ δελαψ. Ιν τηε οτηερ χασε (εθυατιον 7.8), τηε ⇒ρινγ ρατε ισ α λοω−πασσ ⇒λτερεδ ϖερσιον οφ τηε ινπυτ χυρρεντ. Το στυδψ τηε ρελατιονσηιπ βετωεεν ινπυτ χυρρεντ ανδ ⇒ρινγ ρατε, ιτ ισ υσεφυλ το εξαµινε τηε ⇒ρινγ ρατε οφ α σπικινγ µοδελ νευρον ιν ρεσπονσε το α τιµε−ϖαρψινγ ινϕεχτεδ χυρρεντ, Ι (τ ). Τηε µοδελ υσεδ φορ τηισ πυρποσε ιν ⇒γυρε 7.2 ισ αν ιντεγρατε−ανδ−⇒ρε νευρον ρεχειϖινγ βαλανχεδ εξχιτατορψ ανδ ινηιβιτορψ σψναπτιχ ινπυτ αλονγ ωιτη α χυρρεντ ινϕεχτεδ ιντο τηε σοµα τηατ ισ τηε συµ οφ χονσταντ ανδ οσχιλ− λατινγ χοµπονεντσ. Τηισ µοδελ ωασ δισχυσσεδ ιν χηαπτερ 5. Τηε βαλανχεδ σψναπτιχ ινπυτ ισ υσεδ το ρεπρεσεντ βαχκγρουνδ ινπυτ νοτ ινχλυδεδ ιν τηε χοµπυτατιον οφ Ισ , ανδ ιτ αχτσ ασ α σουρχε οφ νοισε. Τηε νοισε πρεϖεντσ εφφεχτσ, συχη ασ λοχκινγ οφ τηε σπικινγ το τηε οσχιλλατιονσ οφ τηε ινϕεχτεδ χυρ− ρεντ, τηατ ωουλδ ινϖαλιδατε α ⇒ρινγ−ρατε δεσχριπτιον. Φιγυρε 7.2 σηοωσ τηε ⇒ρινγ ρατεσ οφ τηε µοδελ ιντεγρατε−ανδ−⇒ρε νευρον ιν ρεσπονσε το αν ινπυτ χυρρεντ Ι (τ ) = Ι0 + Ι1 χοσ(ωτ ). Τηε ⇒ρινγ ρατε ισ πλοττεδ ατ διφφερεντ τιµεσ δυρινγ τηε χψχλε οφ τηε ινπυτ χυρρεντ οσχιλλατιονσ φορ ω χορρεσπονδινγ το φρεθυενχιεσ οφ 1, 50, ανδ 100 Ηζ. Φορ τηε πανελσ ον τηε λεφτ σιδε, τηε χονσταντ χοµπονεντ οφ τηε ινϕεχτεδ χυρρεντ (Ι0 ) ωασ αδϕυστεδ σο τηε νευρον νεϖερ στοππεδ ⇒ρινγ δυρινγ τηε χψχλε. Ιν τηισ χασε, τηε ρελατιον v(τ ) = Φ ( Ι (τ )) (σολιδ χυρϖεσ) προϖιδεσ αν αχχυρατε δεσχριπτιον οφ τηε ⇒ρινγ ρατε φορ αλλ οφ τηε οσχιλλατιον φρεθυενχιεσ σηοων. Ασ λονγ ασ τηε νευρον κεεπσ ⇒ρινγ φαιρλψ ραπιδλψ, τηε λοω−πασσ ⇒λτερινγ προπερτιεσ οφ τηε µεµβρανε ποτεντιαλ αρε νοτ ρελεϖαντ φορ τηε δψναµιχσ οφ τηε ⇒ρινγ ρατε. Λοω−πασσ ⇒λτερινγ ισ ιρρελεϖαντ ιν τηισ χασε, βεχαυσε τηε νευρον ισ χοντινυαλλψ βεινγ σηυττλεδ βετωεεν τηε τηρεσηολδ ανδ ρεσετ ϖαλυεσ, σο ιτ νεϖερ ηασ α χηανχε το σεττλε εξπονεντιαλλψ ανψωηερε νεαρ ιτσ στεαδψ−στατε ϖαλυε. Τηε ριγητ πανελσ ιν ⇒γυρε 7.2 σηοω τηατ τηε σιτυατιον ισ διφφερεντ ιφ τηε ινπυτ χυρρεντ ισ βελοω τηε τηρεσηολδ φορ ⇒ρινγ τηρουγη α σιγνι⇒χαντ παρτ

ς (µς)

7.2

Φιρινγ−Ρατε Μοδελσ

237

0

0

-20

-20

-40

-40 -60

-60

firing rate (Ηζ)

0

600

800

0

1000

200

400

50 40 30 20 10

1 (Ηζ)

30 20 10

600

800

1000

1 (Ηζ)

0

0 200

400

50 40 30 20 10 0

600

800

1000

5

50 40 30 20 10 0

10

0

200

400

50 40 30 20 10 0

50 (Ηζ)

0

firing rate (Ηζ)

400

50 40

0

firing rate (Ηζ)

200

15

20

800

1000

50 (Ηζ)

0

5

50 40

100 (Ηζ)

600

10

15

20

100 (Ηζ)

30 20 10 0 0

2

4

6

time (µσ)

8

10

0

2

4

6

8

10

time (µσ)

Φιγυρε 7.2 Φιρινγ ρατε οφ αν ιντεγρατε−ανδ−⇒ρε νευρον ρεχειϖινγ βαλανχεδ εξχιτατορψ ανδ ινηιβιτορψ σψναπτιχ ινπυτ ανδ αν ινϕεχτεδ χυρρεντ χονσιστινγ οφ α χονσταντ ανδ α σινυσοιδαλλψ ϖαρψινγ τερµ. Φορ τηε λεφτ πανελσ, τηε χονσταντ χοµπονεντ οφ τηε ιν− ϕεχτεδ χυρρεντ ωασ αδϕυστεδ σο τηε ⇒ρινγ νεϖερ στοππεδ δυρινγ τηε οσχιλλατιον οφ τηε ϖαρψινγ παρτ οφ τηε ινϕεχτεδ χυρρεντ. Φορ τηε ριγητ πανελ, τηε χονσταντ χοµπονεντ ωασ λοωερεδ σο τηε ⇒ρινγ στοππεδ δυρινγ παρτ οφ τηε χψχλε. Τηε υππερ πανελσ σηοω τωο ρεπρεσεντατιϖε ϖολταγε τραχεσ οφ τηε µοδελ χελλ. Τηε ηιστογραµσ βενεατη τηεσε τραχεσ ωερε οβταινεδ βψ βιννινγ σπικεσ γενερατεδ οϖερ µυλτιπλε χψχλεσ. Τηεψ σηοω τηε ⇒ρινγ ρατε ασ α φυνχτιον οφ τηε τιµε δυρινγ εαχη χψχλε οφ τηε ινϕεχτεδ χυρρεντ οσ− χιλλατιονσ. Τηε διφφερεντ ροωσ χορρεσπονδ το 1, 50, ανδ 100 Ηζ οσχιλλατιον φρεθυεν− χιεσ φορ τηε ινϕεχτεδ χυρρεντ. Τηε σολιδ χυρϖεσ σηοω τηε ⇒τ οφ α ⇒ρινγ−ρατε µοδελ τηατ ινϖολϖεσ βοτη ινσταντανεουσ ανδ λοω−πασσ ⇒λτερεδ εφφεχτσ οφ τηε ινϕεχτεδ χυρ− ρεντ. Φορ τηε λεφτ πανελ, τηισ ρεδυχεσ το τηε σιµπλε πρεδιχτιον v = Φ ( Ι (τ )). (Αδαπτεδ φροµ Χηανχε, 2000.)

οφ τηε οσχιλλατιον χψχλε. Ιν τηισ χασε, τηε ⇒ρινγ ισ δελαψεδ ανδ αττενυατεδ ατ ηιγη φρεθυενχιεσ, ασ ωουλδ βε πρεδιχτεδ βψ εθυατιον 7.7. Ιν τηισ χασε, τηε µεµβρανε ποτεντιαλ σταψσ βελοω τηρεσηολδ φορ λονγ ενουγη περιοδσ οφ τιµε τηατ ιτσ δψναµιχσ βεχοµε ρελεϖαντ φορ τηε ⇒ρινγ οφ τηε νευρον. Τηε εσσεντιαλ µεσσαγε φροµ ⇒γυρε 7.2 ισ τηατ νειτηερ εθυατιον 7.6 νορ εθυα− τιον 7.8 προϖιδεσ α χοµπλετελψ αχχυρατε πρεδιχτιον οφ τηε δψναµιχσ οφ τηε ⇒ρινγ ρατε ατ αλλ φρεθυενχιεσ ανδ φορ αλλ λεϖελσ οφ ινϕεχτεδ χυρρεντ. Α µορε χοµπλεξ µοδελ χαν βε χονστρυχτεδ τηατ αχχυρατελψ δεσχριβεσ τηε ⇒ρινγ ρατε οϖερ τηε εντιρε ρανγε οφ ινπυτ χυρρεντ αµπλιτυδεσ ανδ φρεθυενχιεσ. Τηε σολιδ χυρϖεσ ιν ⇒γυρε 7.2 ωερε γενερατεδ βψ α µοδελ τηατ εξπρεσσεσ τηε ⇒ρ− ινγ ρατε ασ α φυνχτιον οφ βοτη Ι φροµ εθυατιον 7.6 ανδ v φροµ εθυατιον 7.8. Ιν οτηερ ωορδσ, ιτ ισ α χοµβινατιον οφ τηε τωο µοδελσ δισχυσσεδ ιν τηε πρε−

238

Νετωορκ Μοδελσ

A

B

Μ

output ϖ

Ω input

υ

Φιγυρε 7.3 Φεεδφορωαρδ ανδ ρεχυρρεντ νετωορκσ. (Α) Α φεεδφορωαρδ νετωορκ ωιτη ινπυτ ρατεσ υ, ουτπυτ ρατεσ ϖ, ανδ α φεεδφορωαρδ σψναπτιχ ωειγητ µατριξ Ω. (Β) Α ρεχυρρεντ νετωορκ ωιτη ινπυτ ρατεσ υ, ουτπυτ ρατεσ ϖ, α φεεδφορωαρδ σψναπτιχ ωειγητ µατριξ Ω, ανδ α ρεχυρρεντ σψναπτιχ ωειγητ µατριξ Μ. Αλτηουγη ωε ηαϖε δραων τηε χοννεχτιονσ βετωεεν τηε ουτπυτ νευρονσ ασ βιδιρεχτιοναλ, τηισ δοεσ νοτ νεχεσσαριλψ ιµπλψ χοννεχτιονσ οφ εθυαλ στρενγτη ιν βοτη διρεχτιονσ.

ϖιουσ σεχτιον ωιτη τηε ⇒ρινγ ρατε γιϖεν νειτηερ βψ Φ ( Ι ) νορ βψ v βυτ βψ ανοτηερ φυνχτιον, Γ ( Ι, v). Τηισ χοµπουνδ µοδελ προϖιδεσ θυιτε αν αχχυ− ρατε δεσχριπτιον οφ τηε ⇒ρινγ ρατε οφ τηε ιντεγρατε−ανδ−⇒ρε µοδελ, βυτ ιτ ισ µορε χοµπλεξ τηαν τηε µοδελσ υσεδ ιν τηισ χηαπτερ.

Φεεδφορωαρδ ανδ Ρεχυρρεντ Νετωορκσ

φεεδφορωαρδ µοδελ

Φιγυρε 7.3 σηοωσ εξαµπλεσ οφ νετωορκ µοδελσ ωιτη φεεδφορωαρδ ανδ ρε− χυρρεντ χοννεχτιϖιτψ. Τηε φεεδφορωαρδ νετωορκ οφ ⇒γυρε 7.3Α ηασ Νv ουτ− πυτ υνιτσ ωιτη ρατεσ vα (α = 1, 2, . . . , Νv ), δενοτεδ χολλεχτιϖελψ βψ τηε ϖεχτορ ϖ, δριϖεν βψ Νυ ινπυτ υνιτσ ωιτη ρατεσ υ. Εθυατιονσ 7.8 ανδ 7.6 χαν εασιλψ βε εξτενδεδ το χοϖερ τηισ χασε βψ ρεπλαχινγ τηε ϖεχτορ οφ σψναπτιχ ωειγητσ ω ωιτη α µατριξ Ω, ωιτη τηε µατριξ χοµπονεντ Ωαβ ρεπρεσεντινγ τηε στρενγτη οφ τηε σψναπσε φροµ ινπυτ υνιτ β το ουτπυτ υνιτ α. Υσινγ τηε φορµυλατιον οφ εθυατιον 7.8, τηε ουτπυτ ⇒ρινγ ρατεσ αρε τηεν δετερµινεδ βψ ' ( Νυ ! δϖ δ vα τρ = −ϖ + Φ(Ω · υ ) ορ τρ = −ϖ + Φ Ωαβ υβ . (7.9) δτ δτ β=1 / Ωε υσε τηε νοτατιον Ω · υ το δενοτε τηε ϖεχτορ ωιτη χοµπονεντσ β Ωαβ υβ . Τηε υσε οφ τηε δοτ το ρεπρεσεντ α συµ οφ α προδυχτ οφ τωο θυαντιτιεσ οϖερ α σηαρεδ ινδεξ ισ βορροωεδ φροµ τηε νοτατιον φορ τηε δοτ προδυχτ οφ τωο ϖεχτορσ. Τηε εξπρεσσιον Φ(Ω · υ ) ρεπρεσεντσ τηε ϖεχτορ ωιτη χοµπονεντσ / Φ ( Ωαβ υβ ) φορ α = 1, 2, . . . , Νv .

ρεχυρρεντ µοδελ

Τηε ρεχυρρεντ νετωορκ οφ ⇒γυρε 7.3Β αλσο ηασ τωο λαψερσ οφ νευρονσ ωιτη ρατεσ υ ανδ ϖ, βυτ ιν τηισ χασε τηε νευρονσ οφ τηε ουτπυτ λαψερ αρε ιντερχον− νεχτεδ ωιτη σψναπτιχ ωειγητσ δεσχριβεδ βψ α µατριξ Μ. Ματριξ ελεµεντ Μαα′ δεσχριβεσ τηε στρενγτη οφ τηε σψναπσε φροµ ουτπυτ υνιτ α′ το ουτπυτ υνιτ α. Τηε ουτπυτ ρατεσ ιν τηισ χασε αρε δετερµινεδ βψ

τρ

δϖ = −ϖ + Φ(Ω · υ + Μ · ϖ ) . δτ

(7.10)

7.2

Φιρινγ−Ρατε Μοδελσ

239

Ιτ ισ οφτεν χονϖενιεντ το δε⇒νε τηε τοταλ φεεδφορωαρδ ινπυτ το εαχη νευρον ιν τηε νετωορκ οφ ⇒γυρε 7.3Β ασ η = Ω · υ. Τηεν, τηε ουτπυτ ρατεσ αρε δετερµινεδ βψ τηε εθυατιον

τρ

δϖ = −ϖ + Φ(η + Μ · ϖ ) . δτ

(7.11)

Νευρονσ αρε τψπιχαλλψ χλασσι⇒εδ ασ ειτηερ εξχιτατορψ ορ ινηιβιτορψ, µεανινγ τηατ τηεψ ηαϖε ειτηερ εξχιτατορψ ορ ινηιβιτορψ εφφεχτσ ον αλλ οφ τηειρ ποστσψ− ναπτιχ ταργετσ. Τηισ προπερτψ ισ φορµαλιζεδ ιν ∆αλεaσ λαω, ωηιχη στατεσ τηατ α νευρον χαννοτ εξχιτε σοµε οφ ιτσ ποστσψναπτιχ ταργετσ ανδ ινηιβιτ οτηερσ. Ιν τερµσ οφ τηε ελεµεντσ οφ Μ, τηισ µεανσ τηατ φορ εαχη πρεσψναπτιχ νευρον α′ , Μαα′ µυστ ηαϖε τηε σαµε σιγν φορ αλλ ποστσψναπτιχ νευρονσ α. Το ιµ− ποσε τηισ ρεστριχτιον, ιτ ισ χονϖενιεντ το δεσχριβε εξχιτατορψ ανδ ινηιβιτορψ νευρονσ σεπαρατελψ. Τηε ⇒ρινγ−ρατε ϖεχτορσ ϖΕ ανδ ϖΙ φορ τηε εξχιτατορψ ανδ ινηιβιτορψ νευρονσ αρε τηεν δεσχριβεδ βψ α χουπλεδ σετ οφ εθυατιονσ ιδεν− τιχαλ ιν φορµ το εθυατιον 7.11,

τΕ

δϖΕ = −ϖΕ + ΦΕ (ηΕ + ΜΕΕ · ϖΕ + ΜΕΙ · ϖΙ ) δτ

(7.12)

δϖΙ = −ϖΙ + ΦΙ (ηΙ + ΜΙΕ · ϖΕ + ΜΙΙ · ϖΙ ) . δτ

(7.13)

∆αλε[σ λαω

εξχιτατορψ− ινηιβιτορψ νετωορκ

ανδ

τΙ

Τηερε αρε νοω φουρ σψναπτιχ ωειγητ µατριχεσ δεσχριβινγ τηε φουρ ποσσιβλε τψπεσ οφ νευροναλ ιντεραχτιονσ. Τηε ελεµεντσ οφ ΜΕΕ ανδ ΜΙΕ αρε γρεατερ τηαν ορ εθυαλ το 0, ανδ τηοσε οφ ΜΕΙ ανδ ΜΙΙ αρε λεσσ τηαν ορ εθυαλ το 0. Τηεσε εθυατιονσ αλλοω τηε εξχιτατορψ ανδ ινηιβιτορψ νευρονσ το ηαϖε διφφερεντ τιµε χονσταντσ, αχτιϖατιον φυνχτιονσ, ανδ φεεδφορωαρδ ινπυτσ. Ιν τηισ χηαπτερ, ωε χονσιδερ σεϖεραλ ρεχυρρεντ νετωορκ µοδελσ δεσχριβεδ βψ εθυατιον 7.11 ωιτη α σψµµετριχ ωειγητ µατριξ, Μαα′ = Μα′ α φορ αλλ α ανδ α′ . Ρεθυιρινγ Μ το βε σψµµετριχ σιµπλι⇒εσ τηε µατηεµατιχαλ αναλψσισ, βυτ σψµµετριχ χουπλινγ ιτ ϖιολατεσ ∆αλεaσ λαω. Συπποσε, φορ εξαµπλε, τηατ νευρον α, ωηιχη ισ εξχι− τατορψ, ανδ νευρον α′ , ωηιχη ισ ινηιβιτορψ, αρε µυτυαλλψ χοννεχτεδ. Τηεν, Μαα′ σηουλδ βε νεγατιϖε ανδ Μα′ α ποσιτιϖε, σο τηεψ χαννοτ βε εθυαλ. Εθυα− τιον 7.11 ωιτη σψµµετριχ Μ χαν βε ιντερπρετεδ ασ α σπεχιαλ χασε οφ εθυα− τιονσ 7.12 ανδ 7.13 ιν ωηιχη τηε ινηιβιτορψ δψναµιχσ αρε ινσταντανεουσ (τΙ → 0) ανδ τηε ινηιβιτορψ ρατεσ αρε γιϖεν βψ ϖΙ = ΜΙΕ ϖΕ . Τηισ προδυχεσ αν εφφεχτιϖε ρεχυρρεντ ωειγητ µατριξ Μ = ΜΕΕ + ΜΕΙ · ΜΙΕ , ωηιχη χαν βε µαδε σψµµετριχ βψ τηε αππροπριατε χηοιχε οφ τηε διµενσιον ανδ φορµ οφ τηε µατριχεσ ΜΕΙ ανδ ΜΙΕ . Τηε δψναµιχ βεηαϖιορ οφ εθυατιον 7.11 ισ ρε− στριχτεδ βψ ρεθυιρινγ τηε µατριξ Μ το βε σψµµετριχ. Φορ εξαµπλε σψµµετ− ριχ χουπλινγ τψπιχαλλψ δοεσ νοτ αλλοω φορ νετωορκ οσχιλλατιονσ. Ιν τηε λαττερ παρτ οφ τηισ χηαπτερ, ωε χονσιδερ τηε ριχηερ δψναµιχσ οφ µοδελσ δεσχριβεδ βψ εθυατιονσ 7.12 ανδ 7.13.

240

Νετωορκ Μοδελσ

Χοντινυουσλψ Λαβελεδ Νετωορκσ Ιτ ισ οφτεν χονϖενιεντ το ιδεντιφψ εαχη νευρον ιν α νετωορκ βψ υσινγ α πα− ραµετερ τηατ δεσχριβεσ σοµε ασπεχτ οφ ιτσ σελεχτιϖιτψ ρατηερ τηαν τηε ιντεγερ λαβελ α ορ β. Φορ εξαµπλε, νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ χαν βε χηαραχ− τεριζεδ βψ τηειρ πρεφερρεδ οριεντατιον ανγλεσ, πρεφερρεδ σπατιαλ πηασεσ ανδ φρεθυενχιεσ, ορ οτηερ στιµυλυσ−ρελατεδ παραµετερσ (σεε χηαπτερ 2). Ιν µανψ οφ τηε εξαµπλεσ ιν τηισ χηαπτερ, ωε χονσιδερ στιµυλι χηαραχτεριζεδ βψ α σινγλε ανγλε -, ωηιχη ρεπρεσεντσ, φορ εξαµπλε, τηε οριεντατιον οφ α ϖισυαλ στιµυλυσ. Ινδιϖιδυαλ νευρονσ αρε ιδεντι⇒εδ βψ τηειρ πρεφερρεδ στιµυλυσ ανγλεσ, ωηιχη αρε τψπιχαλλψ τηε ϖαλυεσ οφ - φορ ωηιχη τηεψ ⇒ρε ατ µαξι− µυµ ρατεσ. Τηυσ, νευρον α ισ ιδεντι⇒εδ βψ αν ανγλε θα . Τηε ωειγητ οφ τηε σψναπσε φροµ νευρον β ορ νευρον α′ το νευρον α ισ τηεν εξπρεσσεδ ασ α φυνχτιον οφ τηε πρεφερρεδ στιµυλυσ ανγλεσ θβ , θα′ ανδ θα οφ τηε πρε− ανδ ποστ− σψναπτιχ νευρονσ, Ωαβ = Ω (θα , θβ ) ορ Μαα′ = Μ (θα , θα′ ). Ωε οφτεν χονσιδερ χασεσ ιν ωηιχη τηεσε σψναπτιχ ωειγητ φυνχτιονσ δεπενδ ονλψ ον τηε διφφερ− ενχε βετωεεν τηε πρε− ανδ ποστσψναπτιχ ανγλεσ, σο τηατ Ωαβ = Ω (θα − θβ ) ορ Μαα′ = Μ (θα − θα′ ).

δενσιτψ οφ χοϖεραγε ρθ

χοντινυουσ µοδελ

Ιν λαργε νετωορκσ, τηε πρεφερρεδ στιµυλυσ παραµετερσ φορ διφφερεντ νευρονσ ωιλλ τψπιχαλλψ τακε α ωιδε ρανγε οφ ϖαλυεσ. Ιν τηε µοδελσ ωε χονσιδερ, τηε νυµβερ οφ νευρονσ ισ λαργε ανδ τηε ανγλεσ θα , φορ διφφερεντ ϖαλυεσ οφ α, χοϖερ τηε ρανγε φροµ 0 το 2π δενσελψ. Φορ σιµπλιχιτψ, ωε ασσυµε τηατ τηισ χοϖεραγε ισ υνιφορµ, σο τηατ τηε δενσιτψ οφ χοϖεραγε, τηε νυµβερ οφ νευ− ρονσ ωιτη πρεφερρεδ ανγλεσ φαλλινγ ωιτηιν α υνιτ ρανγε, ωηιχη ωε δενοτε βψ ρθ , ισ χονσταντ. Φορ µατηεµατιχαλ χονϖενιενχε ιν τηεσε χασεσ, ωε αλ− λοω τηε πρεφερρεδ ανγλεσ το τακε χοντινυουσ ϖαλυεσ ρατηερ τηαν ρεστριχτινγ τηεµ το τηε αχτυαλ δισχρετε ϖαλυεσ θα φορ α = 1, 2, . . . , Ν. Τηυσ, ωε λαβελ τηε νευρονσ βψ α χοντινυουσ ανγλε θ ανδ εξπρεσσ τηε ⇒ρινγ ρατε ασ α φυνχ− τιον οφ θ, σο τηατ υ (θ) ανδ v(θ) δεσχριβε τηε ⇒ρινγ ρατεσ οφ νευρονσ ωιτη πρεφερρεδ ανγλεσ θ. Σιµιλαρλψ, τηε σψναπτιχ ωειγητ µατριχεσ Ω ανδ Μ αρε ρεπλαχεδ βψ φυνχτιονσ Ω (θ, θ ′ ) ανδ Μ (θ, θ ′ ) τηατ χηαραχτεριζεσ τηε στρενγτη οφ σψναπσεσ φροµ α πρεσψναπτιχ νευρον ωιτη πρεφερρεδ ανγλε θ ′ το α ποστ− σψναπτιχ νευρον ωιτη πρεφερρεδ ανγλε θ ιν τηε φεεδφορωαρδ ανδ ρεχυρρεντ χασεσ, ρεσπεχτιϖελψ. Ιφ τηε νυµβερ οφ νευρονσ ιν α νετωορκ ισ λαργε ανδ τηε δενσιτψ οφ χοϖερ− αγε οφ πρεφερρεδ στιµυλυσ ϖαλυεσ ισ ηιγη, ωε χαν αππροξιµατε τηε συµσ ιν εθυατιον 7.10 βψ ιντεγραλσ οϖερ θ ′ . Τηε νυµβερ οφ ποστσψναπτιχ νευρονσ ωιτη πρεφερρεδ ανγλεσ ωιτηιν α ρανγε %θ ′ ισ ρθ %θ ′ , σο, ωηεν ωε τακε τηε λιµιτ %θ ′ → 0, τηε ιντεγραλ οϖερ θ ′ ισ µυλτιπλιεδ βψ τηε δενσιτψ φαχτορ ρθ . Τηυσ, ιν τηε χασε οφ χοντινυουσ λαβελινγ οφ νευρονσ, εθυατιον 7.10 βεχοµεσ (φορ χονσταντ ρθ ) % " π & δv(θ) ′ ′ ′ ′ ′ τρ = −v(θ) + Φ ρθ δθ Ω (θ, θ )υ (θ ) + Μ (θ, θ )v(θ ) . (7.14) δτ −π Ασ ωε διδ ιν εθυατιον 7.11, ωε χαν ωριτε τηε ⇒ρστ τερµ ινσιδε τηε ιντεγραλ οφ τηισ εξπρεσσιον ασ αν ινπυτ φυνχτιον η (θ). Ωε µακε φρεθυεντ υσε οφ χοντινυουσ λαβελινγ φορ νετωορκ µοδελσ, ανδ ωε οφτεν αππροξιµατε συµσ οϖερ νευρονσ βψ ιντεγραλσ οϖερ τηειρ πρεφερρεδ στιµυλυσ παραµετερσ.

7.3

Φεεδφορωαρδ Νετωορκσ

A Φ

241

B

Φ

C

σ+γ Φ γ

σ

Φιγυρε 7.4 Χοορδινατε τρανσφορµατιονσ δυρινγ α ρεαχηινγ τασκ. (Α, Β) Τηε λοχατιον οφ τηε ταργετ (τηε γραψ σθυαρε) ρελατιϖε το τηε βοδψ ισ τηε σαµε ιν Α ανδ Β, ανδ τηυσ τηε µοϖεµεντσ ρεθυιρεδ το ρεαχη τοωαρδ ιτ αρε ιδεντιχαλ. Ηοωεϖερ, τηε ιµαγε οφ τηε οβϕεχτ φαλλσ ον διφφερεντ παρτσ οφ τηε ρετινα ιν Α ανδ Β δυε το α σηιφτ ιν τηε γαζε διρεχτιον προδυχεδ βψ αν εψε ροτατιον τηατ σηιφτσ τηε ⇒ξατιον ποιντ Φ. (Χ) Τηε ανγλεσ υσεδ ιν τηε αναλψσισ: σ ισ τηε ανγλε δεσχριβινγ τηε λοχατιον οφ τηε στιµυλυσ (τηε ταργετ) ιν ρετιναλ χοορδινατεσ, τηατ ισ, ρελατιϖε το α λινε διρεχτεδ το τηε ⇒ξατιον ποιντ; γ ισ τηε γαζε ανγλε, ινδιχατινγ τηε διρεχτιον οφ γαζε ρελατιϖε το αν αξισ στραιγητ ουτ φροµ τηε βοδψ. Τηε διρεχτιον οφ τηε ταργετ ρελατιϖε το τηε βοδψ ισ σ + γ.

7.3

Φεεδφορωαρδ Νετωορκσ

Συβσταντιαλ χοµπυτατιονσ χαν βε περφορµεδ βψ φεεδφορωαρδ νετωορκσ ιν τηε αβσενχε οφ ρεχυρρεντ χοννεχτιονσ. Μυχη οφ τηε ωορκ δονε ον φεεδ− φορωαρδ νετωορκσ χεντερσ ον πλαστιχιτψ ανδ λεαρνινγ, ασ δισχυσσεδ ιν τηε φολλοωινγ χηαπτερσ. Ηερε, ωε πρεσεντ αν εξαµπλε οφ τηε χοµπυτατιοναλ ποωερ οφ φεεδφορωαρδ χιρχυιτσ, τηε χαλχυλατιον οφ τηε χοορδινατε τρανσφορ− µατιονσ νεεδεδ ιν ϖισυαλλψ γυιδεδ ρεαχηινγ τασκσ.

Νευραλ Χοορδινατε Τρανσφορµατιονσ Ρεαχηινγ φορ α ϖιεωεδ οβϕεχτ ρεθυιρεσ α νυµβερ οφ χοορδινατε τρανσφορµα− τιονσ τηατ τυρν ινφορµατιον αβουτ ωηερε τηε ιµαγε οφ τηε οβϕεχτ φαλλσ ον τηε ρετινα ιντο µοϖεµεντ χοµµανδσ ιν σηουλδερ−, αρµ−, ορ ηανδ−βασεδ χοορδινατεσ. Το περφορµ α τρανσφορµατιον φροµ ρετιναλ το βοδψ−βασεδ χο− ορδινατεσ, ινφορµατιον αβουτ τηε ρετιναλ λοχατιον οφ αν ιµαγε ανδ αβουτ τηε διρεχτιον οφ γαζε ρελατιϖε το τηε βοδψ µυστ βε χοµβινεδ. Φιγυρε 7.4Α ανδ Β ιλλυστρατε, ιν α ονε−διµενσιοναλ εξαµπλε, ηοω α ροτατιον οφ τηε εψεσ αφφεχτσ τηε ρελατιονσηιπ βετωεεν γαζε διρεχτιον, ρετιναλ λοχατιον, ανδ λοχα− τιον ρελατιϖε το τηε βοδψ. Φιγυρε 7.4Χ ιντροδυχεσ τηε νοτατιον ωε υσε. Τηε ανγλε γ δεσχριβεσ τηε οριεντατιον οφ α λινε εξτενδινγ φροµ τηε ηεαδ το τηε ποιντ οφ ϖισυαλ ⇒ξατιον. Τηε ϖισυαλ στιµυλυσ ιν ρετιναλ χοορδινατεσ ισ γιϖεν βψ τηε ανγλε σ βετωεεν τηισ λινε ανδ α λινε εξτενδινγ ουτ το τηε ταργετ. Τηε ανγλε δεσχριβινγ τηε ρεαχη διρεχτιον, τηε διρεχτιον το τηε ταργετ ρελατιϖε το τηε βοδψ, ισ τηε συµ σ + γ. ςισυαλ νευρονσ ηαϖε ρεχεπτιϖε ⇒ελδσ ⇒ξεδ το σπεχι⇒χ λοχατιονσ ον τηε ρετινα. Νευρονσ ιν µοτορ αρεασ χαν δισπλαψ ϖισυαλλψ εϖοκεδ ρεσπονσεσ τηατ

242

Νετωορκ Μοδελσ

firing rate (% max)

A

B

C

100

100

100

80

80

80

60

60

60

40

40

40

20

20

20

0

-30 -15 0 15 30 45 60

σ + γ (deg)

0

0 -45 -30 -15 0 15 30 45 60

σ (deg)

-40

-20

0

20

40

σ (deg)

Φιγυρε 7.5 Τυνινγ χυρϖεσ οφ α ϖισυαλλψ ρεσπονσιϖε νευρον ιν τηε πρεµοτορ χορτεξ οφ α µονκεψ. Ινχοµινγ οβϕεχτσ αππροαχηινγ ατ ϖαριουσ ανγλεσ προϖιδεδ τηε ϖισυαλ στιµυλατιον. (Α) Ωηεν τηε µονκεψ ⇒ξατεδ ον τηε τηρεε ποιντσ δενοτεδ βψ τηε χροσσ σψµβολσ, τηε ρεσπονσε τυνινγ χυρϖε διδ νοτ σηιφτ ωιτη τηε εψεσ. Ιν τηισ πανελ, υν− λικε Β ανδ Χ, τηε ηοριζονταλ αξισ ρεφερσ το τηε στιµυλυσ λοχατιον ιν βοδψ−βασεδ, νοτ ρετιναλ, χοορδινατεσ (σ + γ, νοτ σ). (Β) Τυρνινγ τηε µονκεψaσ ηεαδ βψ 15◦ προδυχεδ α 15◦ σηιφτ ιν τηε ρεσπονσε τυνινγ χυρϖε ασ α φυνχτιον οφ ρετιναλ λοχατιον, ινδιχατινγ τηατ τηισ νευρον ενχοδεδ τηε στιµυλυσ διρεχτιον ιν α βοδψ−βασεδ σψστεµ. (Χ) Μοδελ τυνινγ χυρϖεσ βασεδ ον εθυατιον 7.15 σηιφτ τηειρ ρετιναλ τυνινγ το ρεµαιν χονσταντ ιν βοδψ−βασεδ χοορδινατεσ. Τηε σολιδ, ηεαϖψ δασηεδ, ανδ λιγητ δασηεδ χυρϖεσ ρεφερ το γ = 0◦ , 10◦ , ανδ −20◦ ρεσπεχτιϖελψ. Τηε σµαλλ χηανγεσ ιν αµπλιτυδε αρισε φροµ τηε λιµιτεδ ρανγε οφ πρεφερρεδ ρετιναλ λοχατιον ανδ γαζε ανγλεσ ιν τηε µοδελ. (Α, Β αδαπτεδ φροµ Γραζιανο ετ αλ., 1997; Χ αδαπτεδ φροµ Σαλινασ ανδ Αββοττ, 1995.)

αρε νοτ τιεδ το σπεχι⇒χ ρετιναλ λοχατιονσ βυτ, ρατηερ, δεπενδ ον τηε ρελατιον− σηιπ οφ α ϖισυαλ ιµαγε το ϖαριουσ παρτσ οφ τηε βοδψ. Φιγυρεσ 7.5Α ανδ Β σηοω τυνινγ χυρϖεσ οφ α νευρον ιν τηε πρεµοτορ χορτεξ οφ α µονκεψ τηατ ρεσπονδεδ το ϖισυαλ ιµαγεσ οφ αππροαχηινγ οβϕεχτσ. Συρπρισινγλψ, ωηεν τηε ηεαδ οφ τηε µονκεψ ωασ ηελδ στατιοναρψ δυρινγ ⇒ξατιον ον τηρεε διφφερεντ ταργετσ, τηε τυνινγ χυρϖεσ διδ νοτ σηιφτ ασ τηε εψεσ ροτατεδ (⇒γυρε 7.5Α). Αλτηουγη τηε ρεχορδεδ νευρονσ ρεσπονδ το ϖισυαλ στιµυλι, τηε ρεσπονσεσ δο νοτ δεπενδ διρεχτλψ ον τηε λοχατιον οφ τηε ιµαγε ον τηε ρετινα. Ωηεν τηε ηεαδ οφ τηε µονκεψ ισ ροτατεδ βυτ τηε ⇒ξατιον ποιντ ρεµαινσ τηε σαµε, τηε τυνινγ χυρϖεσ σηιφτ βψ πρεχισελψ τηε αµουντ οφ τηε ηεαδ ροτατιον (⇒γ− υρε 7.5Β). Τηυσ, τηεσε νευρονσ ενχοδε τηε λοχατιον οφ τηε ιµαγε ιν α βοδψ− βασεδ, νοτ α ρετιναλ, χοορδινατε σψστεµ.

γαιν µοδυλατιον

Το αχχουντ φορ τηεσε δατα, ωε νεεδ το χονστρυχτ α µοδελ νευρον τηατ ισ δριϖεν βψ ϖισυαλ ινπυτ, βυτ τηατ νονετηελεσσ ηασ α τυνινγ χυρϖε φορ ιµαγε λοχατιον τηατ ισ νοτ α φυνχτιον οφ σ, τηε ρετιναλ λοχατιον οφ τηε ιµαγε, βυτ οφ σ + γ, τηε λοχατιον οφ τηε οβϕεχτ ιν βοδψ−βασεδ χοορδινατεσ. Α ποσσιβλε βασισ φορ τηισ χονστρυχτιον ισ προϖιδεδ βψ α χοµβινεδ ρεπρεσεντατιον οφ σ ανδ γ βψ νευρονσ ιν αρεα 7α ιν τηε ποστεριορ παριεταλ χορτεξ οφ τηε µονκεψ. Ρεχορδινγσ µαδε ιν αρεα 7α ρεϖεαλ νευρονσ τηατ ⇒ρε ατ ρατεσ τηατ δεπενδ ον βοτη τηε λοχατιον οφ τηε στιµυλατινγ ιµαγε ον τηε ρετινα ανδ τηε διρεχτιον οφ γαζε (⇒γυρε 7.6Α). Τηε ρεσπονσε τυνινγ χυρϖεσ, εξπρεσσεδ ασ φυνχτιονσ οφ τηε ρετιναλ λοχατιον οφ τηε στιµυλυσ, δο νοτ σηιφτ ωηεν τηε διρεχτιον οφ γαζε ισ ϖαριεδ. Ινστεαδ, σηιφτσ οφ γαζε διρεχτιον αφφεχτ τηε µαγνιτυδε οφ τηε ϖισυαλ ρεσπονσε. Τηυσ, ρεσπονσεσ ιν αρεα 7α εξηιβιτ γαζε−δεπενδεντ γαιν µοδυλατιον οφ α ρετινοτοπιχ ϖισυαλ ρεχεπτιϖε ⇒ελδ.

243

B firing rate

100

80 60

40 20

40 -40 20 0

0 -20

γ( 0

90

180

270

360

stimulus location (δεγ)

εγ)

firing raet (Ηζ)

A

Φεεδφορωαρδ Νετωορκσ

σ (δ

7.3

-20

0

δε

γ)

20 40

-40

-

Φιγυρε 7.6 Γαζε−δεπενδεντ γαιν µοδυλατιον οφ ϖισυαλ ρεσπονσεσ οφ νευρονσ ιν ποσ− τεριορ παριεταλ χορτεξ. (Α) Αϖεραγε ⇒ρινγ−ρατε τυνινγ χυρϖεσ οφ αν αρεα 7α νευρον ασ α φυνχτιον οφ τηε λοχατιον οφ τηε σποτ οφ λιγητ υσεδ το εϖοκε τηε ρεσπονσε. Στιµ− υλυσ λοχατιον ισ µεασυρεδ ασ αν ανγλε αρουνδ α χιρχλε οφ ποσσιβλε λοχατιονσ ον τηε σχρεεν ανδ ισ ρελατεδ το, βυτ νοτ εθυαλ το, ουρ στιµυλυσ ϖαριαβλε σ. Τηε τωο χυρϖεσ χορρεσπονδ το τηε σαµε ϖισυαλ ιµαγεσ βυτ ωιτη τωο διφφερεντ γαζε διρεχτιονσ. (Β) Α τηρεε−διµενσιοναλ πλοτ οφ τηε αχτιϖιτψ οφ α µοδελ νευρον ασ α φυνχτιον οφ βοτη ρετιναλ ποσιτιον ανδ γαζε διρεχτιον. Τηε στριπεδ βανδσ χορρεσπονδ το τυνινγ χυρϖεσ ωιτη διφφερεντ γαινσ σιµιλαρ το τηοσε σηοων ιν Α. (Α αδαπτεδ φροµ Βροτχηιε ετ αλ., 1995; Β αδαπτεδ φροµ Πουγετ ανδ Σεϕνοωσκι, 1995.)

Φιγυρε 7.6Β σηοωσ α µατηεµατιχαλ δεσχριπτιον οφ α γαιν−µοδυλατεδ τυνινγ χυρϖε. Τηε ρεσπονσε τυνινγ χυρϖε ισ εξπρεσσεδ ασ α προδυχτ οφ α Γαυσσιαν φυνχτιον οφ σ −ξ, ωηερε ξ ισ τηε πρεφερρεδ ρετιναλ λοχατιον (ξ = −20◦ ιν ⇒γ− υρε 7.6Β), ανδ α σιγµοιδαλ φυνχτιον οφ γ − γ , ωηερε γ ισ τηε γαζε διρεχτιον προδυχινγ ηαλφ οφ τηε µαξιµυµ γαιν (γ = 20◦ ιν ⇒γυρε 7.6Β). Αλτηουγη ιτ δοεσ νοτ χορρεσπονδ το τηε µαξιµυµ νευραλ ρεσπονσε, ωε ρεφερ το γ ασ τηε mπρεφερρεδn γαζε διρεχτιον. Το µοδελ α νευρον ωιτη α βοδψ−χεντερεδ ρεσπονσε τυνινγ χυρϖε, ωε χον− στρυχτ α φεεδφορωαρδ νετωορκ ωιτη α σινγλε ουτπυτ υνιτ ρεπρεσεντινγ, φορ εξαµπλε, τηε πρεµοτορ χορτεξ νευρον σηοων ιν ⇒γυρε 7.5. Τηε ινπυτ λαψερ οφ τηε νετωορκ χονσιστσ οφ α ποπυλατιον οφ αρεα 7α νευρονσ ωιτη γαιν− µοδυλατεδ ρεσπονσεσ σιµιλαρ το τηοσε σηοων ιν ⇒γυρε 7.6Β. Νευρονσ ωιτη γαινσ τηατ βοτη ινχρεασε ανδ δεχρεασε ασ α φυνχτιον οφ γ αρε ινχλυδεδ ιν τηε µοδελ. Τηε αϖεραγε ⇒ρινγ ρατεσ οφ τηε ινπυτ λαψερ νευρονσ αρε δεσχριβεδ βψ τυνινγ χυρϖεσ υ = φ υ (σ −ξ, γ −γ ), ωιτη τηε διφφερεντ νευρονσ τακινγ διφ− φερεντ ξ ανδ γ ϖαλυεσ. Ωε υσε χοντινυουσ λαβελινγ οφ νευρονσ, ανδ ρεπλαχε τηε συµ οϖερ πρεσψ− ναπτιχ νευρονσ βψ αν ιντεγραλ οϖερ τηειρ ξ ανδ γ ϖαλυεσ, ινσερτινγ τηε απ− προπριατε δενσιτψ φαχτορσ ρξ ανδ ργ , ωηιχη ωε ασσυµε αρε χονσταντ. Τηε στεαδψ−στατε ρεσπονσε οφ τηε σινγλε ουτπυτ νευρον ισ δετερµινεδ βψ τηε χοντινυουσ αναλογ οφ εθυατιον 7.5. Τηε σψναπτιχ ωειγητ φροµ α πρεσψναπ− τιχ νευρον ωιτη πρεφερρεδ στιµυλυσ λοχατιον ξ ανδ πρεφερρεδ γαζε διρεχτιον γ ισ δενοτεδ βψ w(ξ, γ ), σο τηε στεαδψ−στατε ρεσπονσε οφ τηε ουτπυτ νευρον

244

Νετωορκ Μοδελσ

ισ γιϖεν βψ % & " v∞ = Φ ρξ ργ δξδγ w(ξ, γ ) φ υ (σ − ξ, γ − γ ) .

(7.15)

Φορ τηε ουτπυτ νευρον το ρεσπονδ το τηε στιµυλυσ λοχατιον ιν βοδψ−βασεδ χοορδινατεσ, ιτσ ⇒ρινγ ρατε µυστ βε α φυνχτιον οφ σ + γ. Το σεε ιφ τηισ ισ ποσσιβλε, ωε σηιφτ τηε ιντεγρατιον ϖαριαβλεσ ιν 7.15 βψ ξ → ξ− γ ανδ γ → γ+ γ. Ιγνορινγ εφφεχτσ φροµ τηε ενδ ποιντσ οφ τηε ιντεγρατιον (ωηιχη ισ ϖαλιδ ιφ σ ανδ γ αρε νοτ τοο χλοσε το τηεσε λιµιτσ), ωε ⇒νδ % & " v∞ = Φ ρξ ργ δξδγ w(ξ − γ, γ + γ ) φ υ (σ + γ − ξ, −γ ) . (7.16) Τηισ ισ α φυνχτιον οφ σ + γ προϖιδεδ τηατ w(ξ − γ, γ + γ ) = w(ξ, γ ), ωηιχη ηολδσ ιφ w(ξ, γ ) ισ α φυνχτιον οφ τηε συµ ξ + γ . Τηυσ, τηε χοορδινατε τρανσ− φορµατιον χαν βε αχχοµπλισηεδ ιφ τηε σψναπτιχ ωειγητ φροµ α γιϖεν νευρον δεπενδσ ονλψ ον τηε συµ οφ ιτσ πρεφερρεδ ρετιναλ ανδ γαζε ανγλεσ. Ιτ ηασ βεεν συγγεστεδ τηατ ωειγητσ οφ τηισ φορµ χαν αρισε νατυραλλψ φροµ ρανδοµ ηανδ ανδ γαζε µοϖεµεντσ τηρουγη χορρελατιον−βασεδ σψναπτιχ µοδι⇒χα− τιον οφ τηε τψπε δισχυσσεδ ιν χηαπτερ 8. Φιγυρε 7.5Χ σηοωσ ρεσπονσεσ πρεδιχτεδ βψ εθυατιον 7.15 ωηεν τηε σψναπτιχ ωειγητσ αρε γιϖεν βψ α φυνχτιον w(ξ + γ ). Τηε ρετιναλ λοχατιον οφ τηε τυνινγ χυρϖε σηιφτσ ασ α φυνχτιον οφ γαζε διρεχτιον, βυτ ωουλδ ρεµαιν στατιοναρψ ιφ ιτ ωερε πλοττεδ ινστεαδ ασ α φυνχτιον οφ σ + γ. Τηισ χαν βε σεεν βψ νοτινγ τηατ τηε πεακσ οφ αλλ τηρεε χυρϖεσ ιν ⇒γυρε 7.5Χ οχχυρ ατ σ + γ = 0. Γαιν−µοδυλατεδ νευρονσ προϖιδε α γενεραλ βασισ φορ χοµβινινγ τωο διφ− φερεντ ινπυτ σιγναλσ ιν α νονλινεαρ ωαψ. Ιν τηε νετωορκ ωε στυδιεδ, ιτ ισ ποσσιβλε το ⇒νδ αππροπριατε σψναπτιχ ωειγητσ w(ξ, γ ) το γενερατε ουτπυτ νευρον ρεσπονσεσ ωιτη α ωιδε ρανγε οφ διφφερεντ δεπενδενχιεσ ον σ ανδ γ. Τηε µεχηανισµ βψ ωηιχη σενσορψ ανδ µοδυλατορψ ινπυτσ χοµβινε ιν α µυλτιπλιχατιϖε ωαψ ιν γαιν−µοδυλατεδ νευρονσ ισ νοτ κνοων. Λατερ ιν τηισ χηαπτερ, ωε δισχυσσ α ρεχυρρεντ νετωορκ µοδελ φορ γενερατινγ γαιν− µοδυλατεδ ρεσπονσεσ.

7.4

Ρεχυρρεντ Νετωορκσ

Ρεχυρρεντ νετωορκσ ηαϖε ριχηερ δψναµιχσ τηαν φεεδφορωαρδ νετωορκσ, βυτ τηεψ αρε µορε διφ⇒χυλτ το αναλψζε. Το γετ α φεελ φορ ρεχυρρεντ χιρχυιτρψ, ωε βεγιν βψ αναλψζινγ α λινεαρ µοδελ, τηατ ισ, α µοδελ φορ ωηιχη τηε ρελα− τιονσηιπ βετωεεν ⇒ρινγ ρατε ανδ σψναπτιχ χυρρεντ ισ λινεαρ, Φ(η + Μ · ρ ) = η + Μ · ρ. Τηε λινεαρ αππροξιµατιον ισ α δραστιχ ονε τηατ αλλοωσ, αµονγ οτηερ τηινγσ, τηε χοµπονεντσ οφ ϖ το βεχοµε νεγατιϖε, ωηιχη ισ ιµποσσι− βλε φορ ρεαλ ⇒ρινγ ρατεσ. Φυρτηερµορε, σοµε οφ τηε φεατυρεσ ωε δισχυσσ ιν χοννεχτιον ωιτη λινεαρ, ασ οπποσεδ το νονλινεαρ, ρεχυρρεντ νετωορκσ χαν αλσο βε αχηιεϖεδ βψ α φεεδφορωαρδ αρχηιτεχτυρε. Νεϖερτηελεσσ, τηε λινεαρ

7.4 Ρεχυρρεντ Νετωορκσ

245

µοδελ ισ εξτρεµελψ υσεφυλ φορ εξπλορινγ προπερτιεσ οφ ρεχυρρεντ χιρχυιτσ, ανδ τηισ αππροαχη ωιλλ βε υσεδ βοτη ηερε ανδ ιν τηε φολλοωινγ χηαπτερσ. Ιν αδδιτιον, τηε αναλψσισ οφ λινεαρ νετωορκσ φορµσ τηε βασισ φορ στυδψινγ τηε σταβιλιτψ προπερτιεσ οφ νονλινεαρ νετωορκσ. Ωε αυγµεντ τηε δισχυσσιον οφ λινεαρ νετωορκσ ωιτη ρεσυλτσ φροµ σιµυλατιονσ οφ νονλινεαρ νετωορκσ.

Λινεαρ Ρεχυρρεντ Νετωορκσ Υνδερ τηε λινεαρ αππροξιµατιον, τηε ρεχυρρεντ µοδελ οφ εθυατιον 7.11 τακεσ τηε φορµ

τρ

δϖ = −ϖ + η + Μ · ϖ . δτ

(7.17)

Βεχαυσε τηε µοδελ ισ λινεαρ, ωε χαν σολϖε αναλψτιχαλλψ φορ τηε ϖεχτορ οφ ουτπυτ ρατεσ ϖ ιν τερµσ οφ τηε φεεδφορωαρδ ινπυτσ η ανδ τηε ινιτιαλ ϖαλυεσ ϖ(0 ). Τηε αναλψσισ ισ σιµπλεστ ωηεν τηε ρεχυρρεντ σψναπτιχ ωειγητ µατριξ ισ σψµµετριχ, ανδ ωε ασσυµε τηισ το βε τηε χασε. Εθυατιον 7.17 χαν βε σολϖεδ βψ εξπρεσσινγ ϖ ιν τερµσ οφ τηε ειγενϖεχτορσ οφ Μ. Τηε ειγενϖεχτορσ εµ φορ µ = 1, 2, . . . , Νv σατισφψ Μ · εµ = λ µ εµ

Νv !

χµ (τ )εµ ,

(7.19)

µ=1

ωηερε χµ (τ ) φορ µ = 1, 2, . . . , Νv αρε α σετ οφ τιµε−δεπενδεντ χοεφ⇒χιεντσ δεσχριβινγ ϖ(τ ). Ιτ ισ εασιερ το σολϖε εθυατιον 7.17 φορ τηε χοεφ⇒χιεντσ χµ τηαν φορ ϖ διρεχτλψ. Συβστιτυτινγ τηε εξπανσιον 7.19 ιντο εθυατιον 7.17 ανδ υσινγ προπερτψ 7.18, ωε ⇒νδ τηατ

τρ

Νv ! δχµ

µ=1

δτ

εµ = −

Νv !

µ=1

(1 − λµ )χµ (τ )εµ + η .

(7.20)

Τηε συµ οϖερ µ χαν βε ελιµινατεδ βψ τακινγ τηε δοτ προδυχτ οφ εαχη σιδε οφ τηισ εθυατιον ωιτη ονε οφ τηε ειγενϖεχτορσ, εν , ανδ υσινγ τηε ορτηογοναλιτψ προπερτψ εµ · εν = δµν το οβταιν

τρ

δχν = −(1 − λν )χν (τ ) + εν · η . δτ

ειγενϖεχτορ ε

(7.18)

φορ σοµε ϖαλυε οφ τηε χονσταντ λµ , ωηιχη ισ χαλλεδ τηε ειγενϖαλυε. Φορ α σψµµετριχ µατριξ, τηε ειγενϖεχτορσ αρε ορτηογοναλ, ανδ τηεψ χαν βε νορ− µαλιζεδ το υνιτ λενγτη σο τηατ εµ · εν = δµν . Συχη ειγενϖεχτορσ δε⇒νε αν ορτηογοναλ χοορδινατε σψστεµ ορ βασισ τηατ χαν βε υσεδ το ρεπρεσεντ ανψ Νv −διµενσιοναλ ϖεχτορ. Ιν παρτιχυλαρ, ωε χαν ωριτε ϖ(τ ) =

λινεαρ ρεχυρρεντ µοδελ

(7.21)

ειγενϖαλυε λ

ειγενϖεχτορ εξπανσιον

246

Νετωορκ Μοδελσ

Τηε χριτιχαλ φεατυρε οφ τηισ εθυατιον ισ τηατ ιτ ινϖολϖεσ ονλψ ονε οφ τηε χο− εφ⇒χιεντσ, χν . Φορ τιµε−ινδεπενδεντ ινπυτσ η, τηε σολυτιον οφ εθυατιον 7.21 ισ % % && % & εν · η τ (1 − λ ν ) τ (1 − λ ν ) χν (τ ) = 1 − εξπ − + χν (0 ) εξπ − , 1 − λν τρ τρ (7.22) ωηερε χν (0 ) ισ τηε ϖαλυε οφ χν ατ τιµε 0, ωηιχη ισ γιϖεν ιν τερµσ οφ τηε ινιτιαλ ⇒ρινγ−ρατε ϖεχτορ ϖ(0 ) βψ χν (0 ) = εν · ϖ(0 ).

στεαδψ στατε ϖ∞

Εθυατιον 7.22 ηασ σεϖεραλ ιµπορταντ χηαραχτεριστιχσ. Ιφ λν > 1, τηε εξπονεν− τιαλ φυνχτιονσ γροω ωιτηουτ βουνδ ασ τιµε ινχρεασεσ, ρε⇓εχτινγ α φυνδα− µενταλ ινσταβιλιτψ οφ τηε νετωορκ. Ιφ λν < 1, χν αππροαχηεσ τηε στεαδψ−στατε ϖαλυε εν · η/(1 − λν ) εξπονεντιαλλψ ωιτη τιµε χονσταντ τρ /(1 − λν ). Τηισ στεαδψ−στατε ϖαλυε ισ προπορτιοναλ το εν · η, ωηιχη ισ τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο τηε ρελεϖαντ ειγενϖεχτορ. Φορ 0 < λν < 1, τηε στεαδψ−στατε ϖαλυε ισ αµπλι⇒εδ ρελατιϖε το τηισ προϕεχτιον βψ τηε φαχτορ 1/(1 − λν ), ωηιχη ισ γρεατερ τηαν 1. Τηε αππροαχη το εθυιλιβριυµ ισ σλοωεδ ρελατιϖε το τηε βα− σιχ τιµε χονσταντ τρ βψ αν ιδεντιχαλ φαχτορ. Τηε στεαδψ−στατε ϖαλυε οφ ϖ(τ ), ωηιχη ωε χαλλ ϖ∞ , χαν βε δεριϖεδ φροµ εθυατιον 7.19 ασ ϖ∞ =

Νv ! ( εν · η )

ν=1

1 − λν

εν .

(7.23)

Τηισ στεαδψ−στατε ρεσπονσε χαν αλσο αρισε φροµ α πυρελψ φεεδφορωαρδ σχηεµε ιφ τηε φεεδφορωαρδ ωειγητ µατριξ ισ χηοσεν αππροπριατελψ, ασ ωε ινϖιτε τηε ρεαδερ το ϖεριφψ ασ αν εξερχισε.

Σελεχτιϖε Αµπλι⇒χατιον Συπποσε τηατ ονε οφ τηε ειγενϖαλυεσ οφ α ρεχυρρεντ ωειγητ µατριξ, δενοτεδ βψ λ1 , ισ ϖερψ χλοσε το 1, ανδ αλλ τηε οτηερσ αρε σιγνι⇒χαντλψ σµαλλερ τηαν 1. Ιν τηισ χασε, τηε δενοµινατορ οφ τηε ν = 1 τερµ ον τηε ριγητ σιδε οφ εθυα− τιον 7.23 ισ νεαρ 0, ανδ, υνλεσσ ε1 · η ισ εξτρεµελψ σµαλλ, τηισ σινγλε τερµ ωιλλ δοµινατε τηε συµ. Ασ α ρεσυλτ, ωε χαν ωριτε ϖ∞ ≈

(ε1 · η )ε1 . 1 − λ1

(7.24)

Συχη α νετωορκ περφορµσ σελεχτιϖε αµπλι⇒χατιον. Τηε ρεσπονσε ισ δοµι− νατεδ βψ τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ αλονγ τηε αξισ δε⇒νεδ βψ ε1 , ανδ τηε αµπλιτυδε οφ τηε ρεσπονσε ισ αµπλι⇒εδ βψ τηε φαχτορ 1/(1 − λ1 ), ωηιχη µαψ βε θυιτε λαργε ιφ λ1 ισ νεαρ 1. Τηε στεαδψ−στατε ρεσπονσε οφ συχη α νετωορκ, ωηιχη ισ προπορτιοναλ το ε1 , τηερεφορε ενχοδεσ αν αµπλι⇒εδ προ− ϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο ε1 . Φυρτηερ ινφορµατιον χαν βε ενχοδεδ ιφ µορε ειγενϖαλυεσ αρε χλοσε το 1. Συπποσε, φορ εξαµπλε, τηατ τωο ειγενϖεχτορσ, ε1 ανδ ε2 , ηαϖε τηε σαµε

7.4 Ρεχυρρεντ Νετωορκσ

247

ειγενϖαλυε, λ1 =λ2 , χλοσε το βυτ λεσσ τηαν 1. Τηεν, εθυατιον 7.24 ισ ρεπλαχεδ βψ ϖ∞ ≈

(ε1 · η )ε1 + (ε2 · η )ε2 , 1 − λ1

(7.25)

ωηιχη σηοωσ τηατ τηε νετωορκ νοω αµπλι⇒εσ ανδ ενχοδεσ τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο τηε πλανε δε⇒νεδ βψ ε1 ανδ ε2 . Ιν τηισ χασε, τηε αχ− τιϖιτψ παττερν οφ τηε νετωορκ ισ νοτ σιµπλψ σχαλεδ ωηεν τηε ινπυτ χηανγεσ. Ινστεαδ, χηανγεσ ιν τηε ινπυτ σηιφτ βοτη τηε µαγνιτυδε ανδ τηε παττερν οφ νετωορκ αχτιϖιτψ. Ειγενϖεχτορσ τηατ σηαρε τηε σαµε ειγενϖαλυε αρε τερµεδ δεγενερατε, ανδ δεγενεραχψ ισ οφτεν τηε ρεσυλτ οφ α σψµµετρψ. ∆εγενερ− αχψ ισ νοτ λιµιτεδ το ϕυστ τωο ειγενϖεχτορσ. Α ρεχυρρεντ νετωορκ ωιτη ν δεγενερατε ειγενϖαλυεσ νεαρ 1 χαν αµπλιφψ ανδ ενχοδε α προϕεχτιον οφ τηε ινπυτ ϖεχτορ φροµ τηε Ν−διµενσιοναλ σπαχε ιν ωηιχη ιτ ισ δε⇒νεδ οντο τηε ν−διµενσιοναλ συβσπαχε σπαννεδ βψ τηε δεγενερατε ειγενϖεχτορσ. Ινπυτ Ιντεγρατιον Ιφ τηε ρεχυρρεντ ωειγητ µατριξ ηασ αν ειγενϖαλυε εξαχτλψ εθυαλ το 1, λ1 = 1, ανδ αλλ τηε οτηερ ειγενϖαλυεσ σατισφψ λν < 1, α λινεαρ ρεχυρρεντ νετωορκ χαν αχτ ασ αν ιντεγρατορ οφ ιτσ ινπυτ. Ιν τηισ χασε, χ1 σατισ⇒εσ τηε εθυατιον

τρ

δχ1 = ε1 · η , δτ

(7.26)

οβταινεδ βψ σεττινγ λ1 = 1 ιν εθυατιον 7.21. Φορ αρβιτραρψ τιµε−δεπενδεντ ινπυτσ, τηε σολυτιον οφ τηισ εθυατιον ισ " 1 τ ′ χ1 ( τ ) = χ1 (0 ) + δτ ε1 · η(τ′ ) . (7.27) τρ 0 Ιφ η(τ ) ισ χονσταντ, χ1 (τ ) γροωσ λινεαρλψ ωιτη τ. Τηισ εξπλαινσ ωηψ εθυα− τιον 7.24 διϖεργεσ ασ λ1 → 1. Συπποσε, ινστεαδ, τηατ η(τ ) ισ νονζερο φορ α ωηιλε, ανδ τηεν ισ σετ το 0 φορ αν εξτενδεδ περιοδ οφ τιµε. Ωηεν η = 0, εθυατιον 7.22 σηοωσ τηατ χν → 0 φορ αλλ ν ̸= 1, βεχαυσε φορ τηεσε ειγενϖεχ− τορσ λν < 1. Ασσυµινγ τηατ χ1 (0 ) = 0, τηισ µεανσ τηατ αφτερ συχη α περιοδ, τηε ⇒ρινγ−ρατε ϖεχτορ ισ γιϖεν, φροµ εθυατιονσ 7.27 ανδ 7.19, βψ " ε1 τ ′ ϖ(τ ) ≈ δτ ε1 · η(τ′ ) . (7.28) τρ 0 Τηισ σηοωσ τηατ τηε νετωορκ αχτιϖιτψ προϖιδεσ α µεασυρε οφ τηε ρυννινγ ιντεγραλ οφ τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο ε1 . Ονε χονσεθυενχε οφ τηισ ισ τηατ τηε αχτιϖιτψ οφ τηε νετωορκ δοεσ νοτ χεασε ιφ η = 0, προϖιδεδ τηατ τηε ιντεγραλ υπ το τηατ ποιντ ιν τιµε ισ νονζερο. Τηε νετωορκ τηυσ εξηιβιτσ συσταινεδ αχτιϖιτψ ιν τηε αβσενχε οφ ινπυτ, ωηιχη προϖιδεσ α µεµορψ οφ τηε ιντεγραλ οφ πριορ ινπυτ. Νετωορκσ ιν τηε βραιν στεµ οφ ϖερτεβρατεσ ρεσπονσιβλε φορ µαινταινινγ εψε ποσιτιον αππεαρ το αχτ ασ ιντεγρατορσ, ανδ νετωορκσ σιµιλαρ το τηε ονε ωε

νετωορκ ιντεγρατιον

248

Νετωορκ Μοδελσ

eye position ON-direction burst neuron OFF-direction burst neuron

persistent activity integrator neuron

Φιγυρε 7.7 Χαρτοον οφ βυρστ ανδ ιντεγρατορ νευρονσ ινϖολϖεδ ιν ηοριζονταλ εψε πο− σιτιονινγ. Τηε υππερ τραχε ρεπρεσεντσ ηοριζονταλ εψε ποσιτιον δυρινγ τωο σαχχαδιχ εψε µοϖεµεντσ. Μοτιον οφ τηε εψε ισ δριϖεν βψ βυρστ νευρονσ τηατ µοϖε τηε εψεσ ιν οπποσιτε διρεχτιονσ (σεχονδ ανδ τηιρδ τραχεσ φροµ τοπ). Τηε στεαδψ−στατε ⇒ρινγ ρατε (λαβελεδ περσιστεντ αχτιϖιτψ) οφ τηε ιντεγρατορ νευρον ισ προπορτιοναλ το τηε τιµε ιντεγραλ οφ τηε βυρστ ρατεσ, ιντεγρατεδ ποσιτιϖελψ φορ τηε ΟΝ−διρεχτιον βυρστ νευρον ανδ νεγατιϖελψ φορ τηε ΟΦΦ−διρεχτιον βυρστ νευρον, ανδ τηυσ προϖιδεσ α µεµορψ τραχε οφ τηε µαινταινεδ εψε ποσιτιον. (Αδαπτεδ φροµ Σευνγ ετ αλ., 2000.)

ηαϖε βεεν δισχυσσινγ ηαϖε βεεν συγγεστεδ ασ µοδελσ οφ τηισ σψστεµ. Ασ ουτλινεδ ιν ⇒γυρε 7.7, εψε ποσιτιον χηανγεσ ιν ρεσπονσε το βυρστσ οφ αχ− τιϖιτψ ιν οχυλαρ µοτορ νευρονσ λοχατεδ ιν τηε βραιν στεµ. Νευρονσ ιν τηε µεδιαλ ϖεστιβυλαρ νυχλευσ ανδ πρεποσιτυσ ηψπογλοσσι αππεαρ το ιντεγρατε τηεσε µοτορ σιγναλσ το προϖιδε α περσιστεντ µεµορψ οφ εψε ποσιτιον. Τηε συσταινεδ ⇒ρινγ ρατεσ οφ τηεσε νευρονσ αρε αππροξιµατελψ προπορτιοναλ το τηε ανγυλαρ οριεντατιον οφ τηε εψεσ ιν τηε ηοριζονταλ διρεχτιον, ανδ αχτιϖ− ιτψ περσιστσ ατ αν αππροξιµατελψ χονσταντ ρατε ωηεν τηε εψεσ αρε ηελδ ⇒ξεδ (βοττοµ τραχε ιν ⇒γυρε 7.7). Τηε αβιλιτψ οφ α λινεαρ ρεχυρρεντ νετωορκ το ιντεγρατε ανδ δισπλαψ περσισ− τεντ αχτιϖιτψ ρελιεσ ον ονε οφ τηε ειγενϖαλυεσ οφ τηε ρεχυρρεντ ωειγητ µατριξ βεινγ εξαχτλψ 1. Ανψ δεϖιατιον φροµ τηισ ϖαλυε ωιλλ χαυσε τηε περσιστεντ αχ− τιϖιτψ το χηανγε οϖερ τιµε. Εψε ποσιτιον δοεσ ινδεεδ δριφτ, βυτ µατχηινγ τηε περφορµανχε οφ τηε οχυλαρ ποσιτιονινγ σψστεµ ρεθυιρεσ ⇒νε−τυνινγ οφ τηε ειγενϖαλυε το α ϖαλυε εξτρεµελψ χλοσε το 1. Ινχλυδινγ νονλινεαρ ιντερ− αχτιονσ δοεσ νοτ αλλεϖιατε τηε νεεδ φορ α πρεχισελψ τυνεδ ωειγητ µατριξ. Σψναπτιχ µοδι⇒χατιον ρυλεσ χαν βε υσεδ το εσταβλιση τηε νεχεσσαρψ σψναπ− τιχ ωειγητσ, βυτ ιτ ισ νοτ χλεαρ ηοω συχη πρεχισε τυνινγ ισ αχχοµπλισηεδ ιν τηε βιολογιχαλ σψστεµ. Χοντινυουσ Λινεαρ Ρεχυρρεντ Νετωορκσ Φορ α λινεαρ ρεχυρρεντ νετωορκ ωιτη χοντινυουσ λαβελινγ, τηε εθυατιον φορ τηε ⇒ρινγ ρατε v(θ) οφ α νευρον ωιτη πρεφερρεδ στιµυλυσ ανγλε θ ισ α λινεαρ ϖερσιον οφ εθυατιον 7.14, " π δv(θ) = −v(θ) + η (θ) + ρθ δθ ′ Μ (θ − θ ′ )v(θ ′ ) , (7.29) τρ δτ −π

7.4 Ρεχυρρεντ Νετωορκσ

249

ωηερε η (θ) ισ τηε φεεδφορωαρδ ινπυτ το α νευρον ωιτη πρεφερρεδ στιµυλυσ ανγλε θ, ανδ ωε ηαϖε ασσυµεδ α χονσταντ δενσιτψ ρθ . Βεχαυσε θ ισ αν ανγλε, η, Μ, ανδ v µυστ αλλ βε περιοδιχ φυνχτιονσ ωιτη περιοδ 2π. Βψ µακινγ Μ α φυνχτιον οφ θ − θ ′ , ωε αρε ιµποσινγ α σψµµετρψ ωιτη ρεσπεχτ το τρανσλατιονσ ορ σηιφτσ οφ τηε ανγλε ϖαριαβλεσ. Ιν αδδιτιον, ωε ασσυµε τηατ Μ ισ αν εϖεν φυνχτιον, Μ (θ − θ ′ ) = Μ (θ ′ − θ). Τηισ ισ τηε αναλογ, ιν α χοντινυουσλψ λαβελεδ µοδελ, οφ α σψµµετριχ σψναπτιχ ωειγητ µατριξ. Εθυατιον 7.29 χαν βε σολϖεδ βψ µετηοδσ σιµιλαρ το τηοσε υσεδ φορ δισχρετε νετωορκσ. Ωε ιντροδυχε ειγενφυνχτιονσ τηατ σατισφψ " π ρθ δθ ′ Μ (θ − θ ′ )εµ (θ ′ ) = λµ εµ (θ) . (7.30) −π

Ωε λεαϖε ιτ ασ αν εξερχισε το σηοω τηατ τηε ειγενφυνχτιονσ (νορµαλιζεδ σο τηατ ρθ τιµεσ τηε ιντεγραλ φροµ −π το π οφ τηειρ σθυαρε ισ 1) αρε 1/(2πρθ )1/2 , χορρεσπονδινγ το µ = 0, ανδ χοσ(µθ)/(πρθ )1/2 ανδ σιν(µθ)/(πρθ )1/2 φορ µ = 1, 2, . . . . Τηε ειγενϖαλυεσ αρε ιδεντιχαλ φορ τηε σινε ανδ χοσινε ειγεν− φυνχτιονσ ανδ αρε γιϖεν (ινχλυδινγ τηε χασε µ = 0) βψ " π λµ = ρθ δθ ′ Μ (θ ′ ) χοσ(µθ ′ ) . (7.31) −π

Τηε στεαδψ−στατε ⇒ρινγ ρατεσ φορ α χονσταντ ινπυτ αρε γιϖεν βψ τηε χοντινυ− ουσ αναλογ οφ εθυατιον 7.23, " π ′ 1 δθ v∞ (θ) = η (θ ′ ) 1 − λ0 −π 2π " ∞ ! χοσ(µθ) π δθ ′ η (θ ′ ) χοσ(µθ ′ ) + 1 − λ π µ −π µ=1 " π ′ ∞ ! δθ σιν(µθ) η (θ ′ ) σιν(µθ ′ ) . (7.32) + 1 − λ π µ −π µ=1 Τηε ιντεγραλσ ιν τηισ εξπρεσσιον αρε τηε χοεφ⇒χιεντσ ιν α Φουριερ σεριεσ φορ τηε φυνχτιον η ανδ αρε κνοων ασ χοσινε ανδ σινε Φουριερ ιντεγραλσ (σεε τηε Ματηεµατιχαλ Αππενδιξ). Φιγυρε 7.8 σηοωσ αν εξαµπλε οφ σελεχτιϖε αµπλι⇒χατιον βψ α λινεαρ ρεχυρ− ρεντ νετωορκ. Τηε ινπυτ το τηε νετωορκ, σηοων ιν πανελ Α οφ ⇒γυρε 7.8, ισ α χοσινε φυνχτιον τηατ πεακσ ατ 0◦ το ωηιχη ρανδοµ νοισε ηασ βεεν αδδεδ. Φιγυρε 7.8Χ σηοωσ Φουριερ αµπλιτυδεσ φορ τηισ ινπυτ. Τηε Φουριερ αµπλι− τυδε ισ τηε σθυαρε ροοτ οφ τηε συµ οφ τηε σθυαρεσ οφ τηε χοσινε ανδ σινε Φουριερ ιντεγραλσ. Νο παρτιχυλαρ µ ϖαλυε ισ οϖερωηελµινγλψ δοµιναντ. Ιν τηισ ανδ τηε φολλοωινγ εξαµπλεσ, τηε ρεχυρρεντ χοννεχτιονσ οφ τηε νετωορκ αρε γιϖεν βψ Μ (θ − θ ′ ) =

λ1 χοσ(θ − θ ′ ) , πρθ

(7.33)

ωηιχη ηασ αλλ ειγενϖαλυεσ εξχεπτ λ1 εθυαλ το 0. Τηε νετωορκ µοδελ σηοων ιν ⇒γυρε 7.8 ηασ λ1 = 0.9, σο τηατ 1/(1 − λ1 ) = 10. Ινπυτ αµπλι⇒χατιον χαν

Φουριερ σεριεσ

250

Νετωορκ Μοδελσ

A

B

20

5

η

10

ϖ

0

-10

-5 -180

C

0

90

-20 -180

180

0.08 0.06 0.04 0.02 0 1

2 3

4 5

µ

-90

6 7 8

9

0

90

180

θ (deg)

D

0.1

Fourier amplitude

Fourier amplitude

-90

θ (deg)

0

0

1 0.8 0.6 0.4 0.2 0

0 1

2 3

4 5

µ

6 7 8

9

Φιγυρε 7.8 Σελεχτιϖε αµπλι⇒χατιον ιν α λινεαρ νετωορκ. (Α) Τηε ινπυτ το τηε νευ− ρονσ οφ τηε νετωορκ ασ α φυνχτιον οφ τηειρ πρεφερρεδ στιµυλυσ ανγλε. (Β) Τηε αχτιϖιτψ οφ τηε νετωορκ νευρονσ πλοττεδ ασ α φυνχτιον οφ τηειρ πρεφερρεδ στιµυλυσ ανγλε ιν ρεσπονσε το τηε ινπυτ οφ πανελ Α. (Χ) Τηε Φουριερ τρανσφορµ αµπλιτυδεσ οφ τηε ιν− πυτ σηοων ιν πανελ Α. (∆) Τηε Φουριερ τρανσφορµ αµπλιτυδεσ οφ τηε ουτπυτ σηοων ιν πανελ Β. Τηε ρεχυρρεντ χουπλινγ οφ τηισ νετωορκ µοδελ τοοκ τηε φορµ οφ εθυα− τιον 7.33 ωιτη λ1 = 0.9. (Τηισ ⇒γυρε, ανδ ⇒γυρεσ 7.9, 7.12, 7.13, ανδ 7.14, ωερε γενερατεδ υσινγ σοφτωαρε φροµ Χαρανδινι ανδ Ρινγαχη, 1997.)

βε θυαντι⇒εδ βψ χοµπαρινγ τηε Φουριερ αµπλιτυδε οφ v∞ , φορ α γιϖεν µ ϖαλυε, ωιτη τηε αναλογουσ αµπλιτυδε φορ τηε ινπυτ η. Αχχορδινγ το εθυα− τιον 7.32, τηε ρατιο οφ τηεσε θυαντιτιεσ ισ 1/(1 − λµ ), σο, ιν τηισ χασε, τηε µ = 1 αµπλιτυδε σηουλδ βε αµπλι⇒εδ βψ α φαχτορ οφ 10 ωηιλε αλλ οτηερ αµ− πλιτυδεσ αρε υναµπλι⇒εδ. Τηισ φαχτορ οφ 10 αµπλι⇒χατιον χαν βε σεεν βψ χοµπαρινγ τηε µ = 1 Φουριερ αµπλιτυδεσ ιν ⇒γυρεσ 7.8Χ ανδ ∆ (νοτε τηε διφφερεντ σχαλεσ φορ τηε ϖερτιχαλ αξεσ). Αλλ τηε οτηερ χοµπονεντσ αρε υναµ− πλι⇒εδ. Ασ α ρεσυλτ, τηε ουτπυτ οφ τηε νετωορκ ισ πριµαριλψ ιν τηε φορµ οφ α χοσινε φυνχτιον ωιτη µ = 1, ασ σεεν ιν ⇒γυρε 7.8Β.

Νονλινεαρ Ρεχυρρεντ Νετωορκσ

ρεχτι⇒χατιον

Α λινεαρ µοδελ δοεσ νοτ προϖιδε αν αδεθυατε δεσχριπτιον οφ τηε ⇒ρινγ ρατεσ οφ α βιολογιχαλ νευραλ νετωορκ. Τηε µοστ σιγνι⇒χαντ προβλεµ ισ τηατ τηε ⇒ρινγ ρατεσ ιν α λινεαρ νετωορκ χαν τακε νεγατιϖε ϖαλυεσ. Τηισ προβλεµ χαν βε ⇒ξεδ βψ ιντροδυχινγ ρεχτι⇒χατιον ιντο εθυατιον 7.11 βψ χηοοσινγ Φ(η + Μ · ρ ) = [η + Μ · ρ − γ ]+ ,

(7.34)

7.4 Ρεχυρρεντ Νετωορκσ

251

A

B

80

ϖ (Ηζ)

5

η0

60 40 20

-5 -180

-90

90

Fourier amplitude

0.08 0.06 0.04 0.02 0 1

2 3

4 5

µ

6 7 8

-90

9

0

90

180

θ (deg)

D

0.1

0

0 -180

180

θ (deg)

C Fourier amplitude

0

1 0.8 0.6 0.4 0.2 0

0 1

2 3

4 5

µ

6 7 8

9

Φιγυρε 7.9 Σελεχτιϖε αµπλι⇒χατιον ιν α ρεχυρρεντ νετωορκ ωιτη ρεχτι⇒χατιον. (Α) Τηε ινπυτ η (θ) οφ τηε νετωορκ πλοττεδ ασ α φυνχτιον οφ πρεφερρεδ ανγλε. (Β) Τηε στεαδψ−στατε ουτπυτ v(θ) ασ α φυνχτιον οφ πρεφερρεδ ανγλε. (Χ) Φουριερ τρανσφορµ αµπλιτυδεσ οφ τηε ινπυτ η (θ). (∆) Φουριερ τρανσφορµ αµπλιτυδεσ οφ τηε ουτπυτ v(θ). Τηε ρεχυρρεντ χουπλινγ τοοκ τηε φορµ οφ εθυατιον 7.33 ωιτη λ1 = 1.9.

ωηερε γ ισ α ϖεχτορ οφ τηρεσηολδ ϖαλυεσ τηατ ωε οφτεν τακε το βε 0 (ωε υσε τηε νοτατιον 0 το δενοτε α ϖεχτορ ωιτη αλλ ιτσ χοµπονεντσ εθυαλ το ζερο). Ιν τηισ σεχτιον, ωε σηοω σοµε εξαµπλεσ ιλλυστρατινγ τηε εφφεχτ οφ ινχλυδινγ συχη α ρεχτιφψινγ νονλινεαριτψ. Σοµε οφ τηε φεατυρεσ οφ λινεαρ ρεχυρρεντ νετ− ωορκσ ρεµαιν ωηεν ρεχτι⇒χατιον ισ ινχλυδεδ, βυτ σεϖεραλ νεω φεατυρεσ αλσο αππεαρ. Ιν τηε εξαµπλεσ γιϖεν βελοω, ωε χονσιδερ α χοντινυουσ µοδελ, σιµιλαρ το τηατ οφ εθυατιον 7.29, ωιτη ρεχυρρεντ χουπλινγσ γιϖεν βψ εθυατιον 7.33 βυτ νοω ινχλυδινγ α ρεχτι⇒χατιον νονλινεαριτψ, σο τηατ 8 7 " λ1 π ′ δv(θ) ′ ′ δθ χοσ(θ − θ )v(θ ) . (7.35) τρ = −v(θ) + η (θ) + δτ π −π + Ιφ λ1 ισ νοτ τοο λαργε, τηισ νετωορκ χονϖεργεσ το α στεαδψ στατε φορ ανψ χον− σταντ ινπυτ (ωε χονσιδερ χονδιτιονσ φορ στεαδψ−στατε χονϖεργενχε ιν α λατερ σεχτιον), ανδ τηερεφορε ωε οφτεν λιµιτ τηε δισχυσσιον το τηε στεαδψ−στατε αχ− τιϖιτψ οφ τηε νετωορκ. Νονλινεαρ Αµπλι⇒χατιον Φιγυρε 7.9 σηοωσ τηε νονλινεαρ αναλογ οφ τηε σελεχτιϖε αµπλι⇒χατιον σηοων φορ α λινεαρ νετωορκ ιν ⇒γυρε 7.8. Ονχε αγαιν, α νοισψ ινπυτ (⇒γυρε 7.9Α)

ϖεχτορ οφ ζεροσ 0

252

Νετωορκ Μοδελσ

γενερατεσ α µυχη σµοοτηερ ουτπυτ ρεσπονσε προ⇒λε (⇒γυρε 7.9Β). Τηε ουτ− πυτ ρεσπονσε οφ τηε ρεχτι⇒εδ νετωορκ χορρεσπονδσ ρουγηλψ το τηε ποσιτιϖε παρτ οφ τηε σινυσοιδαλ ρεσπονσε προ⇒λε οφ τηε λινεαρ νετωορκ (⇒γυρε 7.8Β). Τηε νεγατιϖε ουτπυτ ηασ βεεν ελιµινατεδ βψ τηε ρεχτι⇒χατιον. Βεχαυσε φεωερ νευρονσ ιν τηε νετωορκ ηαϖε νονζερο ρεσπονσεσ τηαν ιν τηε λινεαρ χασε, τηε ϖαλυε οφ τηε παραµετερ λ1 ιν εθυατιον 7.33 ηασ βεεν ινχρεασεδ το 1.9. Τηισ ϖαλυε, βεινγ λαργερ τηαν 1, ωουλδ λεαδ το αν υνσταβλε νετωορκ ιν τηε λινεαρ χασε. Ωηιλε νονλινεαρ νετωορκσ χαν αλσο βε υνσταβλε, τηε ρεστριχ− τιον το ειγενϖαλυεσ λεσσ τηαν 1 ισ νο λονγερ τηε ρελεϖαντ χονδιτιον. Ιν α νονλινεαρ νετωορκ, τηε Φουριερ αναλψσισ οφ τηε ινπυτ ανδ ουτπυτ ρε− σπονσεσ ισ νο λονγερ ασ ινφορµατιϖε ασ ιτ ισ φορ α λινεαρ νετωορκ. ∆υε το τηε ρεχτι⇒χατιον, τηε ν = 0, 1, ανδ 2 Φουριερ χοµπονεντσ αρε αλλ αµπλι⇒εδ (⇒γυρε 7.9∆) χοµπαρεδ το τηειρ ινπυτ ϖαλυεσ (⇒γυρε 7.9Χ). Νεϖερτηελεσσ, εξχεπτ φορ ρεχτι⇒χατιον, τηε νονλινεαρ ρεχυρρεντ νετωορκ αµπλι⇒εσ τηε ιν− πυτ σιγναλ σελεχτιϖελψ ιν α µαννερ σιµιλαρ το τηε λινεαρ νετωορκ.

Α Ρεχυρρεντ Μοδελ οφ Σιµπλε Χελλσ ιν Πριµαρψ ςισυαλ Χορτεξ Ιν χηαπτερ 2, ωε δισχυσσεδ α φεεδφορωαρδ µοδελ ιν ωηιχη τηε ελονγατεδ ρεχεπτιϖε ⇒ελδσ οφ σιµπλε χελλσ ιν πριµαρψ ϖισυαλ χορτεξ ωερε φορµεδ βψ συµµινγ τηε ινπυτσ φροµ νευρονσ οφ τηε λατεραλ γενιχυλατε νυχλευσ (ΛΓΝ) ωιτη τηειρ ρεχεπτιϖε ⇒ελδσ αρρανγεδ ιν αλτερνατινγ ροωσ οφ ΟΝ ανδ ΟΦΦ χελλσ. Ωηιλε τηισ µοδελ θυιτε συχχεσσφυλλψ αχχουντσ φορ α νυµβερ οφ φεα− τυρεσ οφ σιµπλε χελλσ, συχη ασ οριεντατιον τυνινγ, ιτ ισ διφ⇒χυλτ το ρεχονχιλε ωιτη τηε ανατοµψ ανδ χιρχυιτρψ οφ τηε χερεβραλ χορτεξ. Βψ φαρ τηε µαϕοριτψ οφ τηε σψναπσεσ οντο ανψ χορτιχαλ νευρον αρισε φροµ οτηερ χορτιχαλ νευρονσ, νοτ φροµ τηαλαµιχ αφφερεντσ. Τηερεφορε, φεεδφορωαρδ µοδελσ αχχουντ φορ τηε ρεσπονσε προπερτιεσ οφ χορτιχαλ νευρονσ ωηιλε ιγνορινγ τηε ινπυτσ τηατ αρε νυµεριχαλλψ µοστ προµινεντ. Τηε λαργε νυµβερ οφ ιντραχορτιχαλ χον− νεχτιονσ συγγεστσ, ινστεαδ, τηατ ρεχυρρεντ χιρχυιτρψ µιγητ πλαψ αν ιµπορ− ταντ ρολε ιν σηαπινγ τηε ρεσπονσεσ οφ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ. Βεν−Ψισηαι, Βαρ−Ορ, ανδ Σοµπολινσκψ (1995) δεϖελοπεδ α µοδελ ιν ωηιχη οριεντατιον τυνινγ ισ γενερατεδ πριµαριλψ βψ ρεχυρρεντ ρατηερ τηαν φεεδ− φορωαρδ χοννεχτιονσ. Τηε µοδελ ισ σιµιλαρ ιν στρυχτυρε το τηε µοδελ οφ εθυατιονσ 7.35 ανδ 7.33, εξχεπτ τηατ ιτ ινχλυδεσ α γλοβαλ ινηιβιτορψ ιντερ− αχτιον. Ιν αδδιτιον, βεχαυσε οριεντατιον ανγλεσ αρε δε⇒νεδ οϖερ τηε ρανγε φροµ −π/2 το π/2, ρατηερ τηαν οϖερ τηε φυλλ 2π ρανγε, τηε χοσινε φυνχτιονσ ιν τηε µοδελ ηαϖε εξτρα φαχτορσ οφ 2 ιν τηεµ. Τηε βασιχ εθυατιον οφ τηε µοδελ, ασ ωε ιµπλεµεντ ιτ, ισ @ A " π/2 ′ * δv(θ) δθ ) ′ ′ τρ = −v(θ) + η (θ) + −λ0 + λ1 χοσ(2(θ − θ )) v(θ ) , δτ −π/2 π +

(7.36)

ωηερε v(θ) ισ τηε ⇒ρινγ ρατε οφ α νευρον ωιτη πρεφερρεδ οριεντατιον θ.

7.4 Ρεχυρρεντ Νετωορκσ

253

Τηε ινπυτ το τηε µοδελ ρεπρεσεντσ τηε οριεντατιον−τυνεδ φεεδφορωαρδ ιν− πυτ αρισινγ φροµ ΟΝ−χεντερ ανδ ΟΦΦ−χεντερ ΛΓΝ χελλσ ρεσπονδινγ το αν οριεντεδ ιµαγε. Ασ α φυνχτιον οφ πρεφερρεδ οριεντατιον, τηε ινπυτ φορ αν ιµαγε ωιτη οριεντατιον ανγλε - = 0 ισ η (θ) = Αχ (1 − ϵ + ϵ χοσ(2θ)) ,

(7.37)

ωηερε Α σετσ τηε οϖεραλλ αµπλιτυδε ανδ χ ισ εθυαλ το τηε ιµαγε χοντραστ. Τηε φαχτορ ϵ χοντρολσ ηοω στρονγλψ τηε ινπυτ ισ µοδυλατεδ βψ τηε οριεν− τατιον ανγλε. Φορ ϵ = 0, αλλ νευρονσ ρεχειϖε τηε σαµε ινπυτ, ωηιλε ϵ = 0.5 προδυχεσ τηε µαξιµυµ µοδυλατιον χονσιστεντ ωιτη α ποσιτιϖε ινπυτ. Ωε στυδψ τηισ µοδελ ιν τηε χασε ωηεν ϵ ισ σµαλλ, ωηιχη µεανσ τηατ τηε ινπυτ ισ ονλψ ωεακλψ τυνεδ φορ οριεντατιον ανδ ανψ στρονγ οριεντατιον σελεχτιϖιτψ µυστ αρισε τηρουγη ρεχυρρεντ ιντεραχτιονσ. Το στυδψ οριεντατιον σελεχτιϖιτψ, ωε ωαντ το εξαµινε τηε τυνινγ χυρϖεσ οφ ινδιϖιδυαλ νευρονσ ιν ρεσπονσε το στιµυλι ωιτη διφφερεντ οριεντατιον αν− γλεσ -. Τηε πλοτσ οφ νετωορκ ρεσπονσεσ τηατ ωε ηαϖε βεεν υσινγ σηοω τηε ⇒ρινγ ρατεσ v(θ) οφ αλλ τηε νευρονσ ιν τηε νετωορκ ασ α φυνχτιον οφ τηειρ πρεφερρεδ στιµυλυσ ανγλεσ θ ωηεν τηε ινπυτ στιµυλυσ ηασ α ⇒ξεδ ϖαλυε, τψπιχαλλψ - = 0. Ασ α χονσεθυενχε οφ τηε τρανσλατιον ινϖαριανχε οφ τηε νετ− ωορκ µοδελ, τηε ρεσπονσε φορ οτηερ ϖαλυεσ οφ - χαν βε οβταινεδ σιµπλψ βψ σηιφτινγ τηισ χυρϖε σο τηατ ιτ πλοτσ v(θ − -). Φυρτηερµορε, εξχεπτ φορ τηε ασψµµετριχ εφφεχτσ οφ νοισε ον τηε ινπυτ, v(θ − -) ισ α σψµµετριχ φυνχτιον. Τηεσε φεατυρεσ φολλοω φροµ τηε φαχτ τηατ τηε νετωορκ ωε αρε στυδψινγ ισ ινϖαριαντ ωιτη ρεσπεχτ το τρανσλατιονσ ανδ σιγν χηανγεσ οφ τηε ανγλε ϖαρι− αβλεσ τηατ χηαραχτεριζε τηε στιµυλυσ ανδ ρεσπονσε σελεχτιϖιτιεσ. Αν ιµπορ− ταντ χονσεθυενχε οφ τηισ ρεσυλτ ισ τηατ τηε χυρϖε v(θ), σηοωινγ τηε ρεσπονσε οφ τηε εντιρε ποπυλατιον, χαν αλσο βε ιντερπρετεδ ασ τηε τυνινγ χυρϖε οφ α σινγλε νευρον. Ιφ τηε ρεσπονσε οφ τηε ποπυλατιον το α στιµυλυσ ανγλε - ισ v(θ − -), τηε ρεσπονσε οφ α σινγλε νευρον ωιτη πρεφερρεδ ανγλε θ = 0 ισ v(−-) = v(-) φροµ τηε σψµµετρψ οφ v. Βεχαυσε v(-) ισ τηε τυνινγ χυρϖε οφ α σινγλε νευρον ωιτη θ = 0 το α στιµυλυσ ανγλε -, τηε πλοτσ ωε σηοω οφ v(θ) χαν βε ιντερπρετεδ ασ βοτη ποπυλατιον ρεσπονσεσ ανδ ινδιϖιδυαλ νευροναλ τυνινγ χυρϖεσ. Φιγυρε 7.10Α σηοωσ τηε φεεδφορωαρδ ινπυτ το τηε µοδελ νετωορκ φορ φουρ διφφερεντ λεϖελσ οφ χοντραστ. Βεχαυσε τηε παραµετερ ϵ ωασ χηοσεν το βε 0.1, τηε µοδυλατιον οφ τηε ινπυτ ασ α φυνχτιον οφ οριεντατιον ανγλε ισ σµαλλ. ∆υε το νετωορκ αµπλι⇒χατιον, τηε ρεσπονσε οφ τηε νετωορκ ισ µυχη µορε στρονγλψ τυνεδ το οριεντατιον (⇒γυρε 7.10Β). Τηισ ισ τηε ρεσυλτ οφ τηε σελεχ− τιϖε αµπλι⇒χατιον οφ τηε τυνεδ παρτ οφ τηε ινπυτ βψ τηε ρεχυρρεντ νετωορκ. Τηε µοδυλατιον ανδ οϖεραλλ ηειγητ οφ τηε ινπυτ χυρϖε ιν ⇒γυρε 7.10Α ιν− χρεασε λινεαρλψ ωιτη χοντραστ. Τηε ρεσπονσε σηοων ιν ⇒γυρε 7.10Β, ιντερ− πρετεδ ασ α τυνινγ χυρϖε, ινχρεασεσ ιν αµπλιτυδε φορ ηιγηερ χοντραστ βυτ δοεσ νοτ βροαδεν. Τηισ χαν βε σεεν βψ νοτινγ τηατ αλλ φουρ χυρϖεσ ιν ⇒γ− υρε 7.10Β γο το 0 ατ τηε σαµε τωο ποιντσ. Τηισ εφφεχτ, ωηιχη οχχυρσ βεχαυσε τηε σηαπε ανδ ωιδτη οφ τηε ρεσπονσε τυνινγ χυρϖε αρε δετερµινεδ πριµαρ− ιλψ βψ τηε ρεχυρρεντ ιντεραχτιονσ ωιτηιν τηε νετωορκ, ισ α φεατυρε οφ οριεν− τατιον χυρϖεσ οφ ρεαλ σιµπλε χελλσ, ασ σεεν ιν ⇒γυρε 7.10Χ. Τηε ωιδτη οφ τηε

254

Νετωορκ Μοδελσ

A

B

C

80

firing rate (Ηζ)

30

ϖ (Ηζ)

60 20

η 10

20

0 -40

40

-20

0

20

θ (deg)

40

0 -40

-20

0

20

θ (deg)

40

80

80% 40% 20% 10%

60

40

20

0 180

200

220 240

Θ (deg)

Φιγυρε 7.10 Τηε εφφεχτ οφ χοντραστ ον οριεντατιον τυνινγ. (Α) Τηε φεεδφορωαρδ ιν− πυτ ασ α φυνχτιον οφ πρεφερρεδ οριεντατιον. Τηε φουρ χυρϖεσ, φροµ τοπ το βοττοµ, χορρεσπονδ το χοντραστσ οφ 80%, 40%, 20%, ανδ 10%. (Β) Τηε ουτπυτ ⇒ρινγ ρατεσ ιν ρεσπονσε το διφφερεντ λεϖελσ οφ χοντραστ ασ α φυνχτιον οφ οριεντατιον πρεφερενχε. Τηεσε αρε αλσο τηε ρεσπονσε τυνινγ χυρϖεσ οφ α σινγλε νευρον ωιτη πρεφερρεδ οριεν− τατιον 0. Ασ ιν Α, τηε φουρ χυρϖεσ, φροµ τοπ το βοττοµ, χορρεσπονδ το χοντραστσ οφ 80%, 40%, 20%, ανδ 10%. Τηε ρεχυρρεντ µοδελ ηαδ λ0 = 7.3, λ1 = 11, Α = 40 Ηζ, ανδ ϵ = 0.1. (Χ) Τυνινγ χυρϖεσ µεασυρεδ εξπεριµενταλλψ ατ φουρ χοντραστ λεϖελσ, ασ ινδιχατεδ ιν τηε λεγενδ. (Χ αδαπτεδ φροµ Σοµπολινσκψ ανδ Σηαπλεψ, 1997 βασεδ ον δατα φροµ Σχλαρ ανδ Φρεεµαν, 1982.)

τυνινγ χυρϖε χαν βε ρεδυχεδ βψ ινχλυδινγ α ποσιτιϖε τηρεσηολδ ιν τηε ρε− σπονσε φυνχτιον οφ εθυατιον 7.34, ορ βψ χηανγινγ τηε αµουντ οφ ινηιβιτιον, βυτ ιτ σταψσ ρουγηλψ χονσταντ ασ α φυνχτιον οφ στιµυλυσ στρενγτη.

Α Ρεχυρρεντ Μοδελ οφ Χοµπλεξ Χελλσ ιν Πριµαρψ ςισυαλ Χορτεξ Ιν τηε µοδελ οφ οριεντατιον τυνινγ δισχυσσεδ ιν τηε πρεϖιουσ σεχτιον, ρεχυρ− ρεντ αµπλι⇒χατιον ενηανχεσ σελεχτιϖιτψ. Ιφ τηε παττερν οφ νετωορκ χοννεχ− τιϖιτψ αµπλι⇒εσ νονσελεχτιϖε ρατηερ τηαν σελεχτιϖε ρεσπονσεσ, ρεχυρρεντ ιν− τεραχτιονσ χαν αλσο δεχρεασε σελεχτιϖιτψ. Ρεχαλλ φροµ χηαπτερ 2 τηατ νευρονσ ιν τηε πριµαρψ ϖισυαλ χορτεξ αρε χλασσι⇒εδ ασ σιµπλε ορ χοµπλεξ, δεπενδ− ινγ ον τηειρ σενσιτιϖιτψ το τηε σπατιαλ πηασε οφ α γρατινγ στιµυλυσ. Σιµπλε χελλσ ρεσπονδ µαξιµαλλψ ωηεν τηε σπατιαλ ποσιτιονινγ οφ τηε λιγητ ανδ δαρκ ρεγιονσ οφ α γρατινγ µατχηεσ τηε λοχατιονσ οφ τηε ΟΝ ανδ ΟΦΦ ρεγιονσ οφ τηειρ ρεχεπτιϖε ⇒ελδσ. Χοµπλεξ χελλσ δο νοτ ηαϖε διστινχτ ΟΝ ανδ ΟΦΦ ρε− γιονσ ιν τηειρ ρεχεπτιϖε ⇒ελδσ, ανδ ρεσπονδ το γρατινγσ οφ τηε αππροπριατε οριεντατιον ανδ σπατιαλ φρεθυενχψ ρελατιϖελψ ινδεπενδεντλψ οφ ωηερε τηειρ λιγητ ανδ δαρκ στριπεσ φαλλ. Ιν οτηερ ωορδσ, χοµπλεξ χελλσ αρε ινσενσιτιϖε το σπατιαλ πηασε. Χηανχε, Νελσον, ανδ Αββοττ (1999) σηοωεδ τηατ χοµπλεξ χελλ ρεσπονσεσ χουλδ βε γενερατεδ φροµ σιµπλε χελλ ρεσπονσεσ βψ α ρεχυρρεντ νετωορκ. Ασ ιν χηαπτερ 2, ωε λαβελ σπατιαλ πηασε πρεφερενχεσ βψ τηε ανγλε φ. Τηε φεεδ− φορωαρδ ινπυτ η (φ) ιν τηε µοδελ ισ σετ εθυαλ το τηε ρεχτι⇒εδ ρεσπονσε οφ α σιµπλε χελλ ωιτη πρεφερρεδ σπατιαλ πηασε φ (⇒γυρε 7.11Α). Εαχη νευρον ιν τηε νετωορκ ισ λαβελεδ βψ τηε σπατιαλ πηασε πρεφερενχε οφ ιτσ φεεδφορ−

7.4 Ρεχυρρεντ Νετωορκσ

255

A

B 30

ϖ (Ηζ)

η

80

15

0 -180

-90

0

φ (deg)

90

180

40

0 -180

-90

0

φ (deg)

90

180

Φιγυρε 7.11 Α ρεχυρρεντ µοδελ οφ χοµπλεξ χελλσ. (Α) Τηε ινπυτ το τηε νετωορκ ασ α φυνχτιον οφ σπατιαλ πηασε πρεφερενχε. Τηε ινπυτ η (φ) ισ εθυιϖαλεντ το τηατ οφ α σιµπλε χελλ ωιτη σπατιαλ πηασε πρεφερενχε φ ρεσπονδινγ το α γρατινγ οφ 0 σπατιαλ πηασε. (Β) Νετωορκ ρεσπονσε, ωηιχη χαν αλσο βε ιντερπρετεδ ασ τηε σπατιαλ πηασε τυνινγ χυρϖε οφ α νετωορκ νευρον. Τηε νετωορκ ωασ γιϖεν βψ εθυατιον 7.38 ωιτη λ1 = 0.95. (Αδαπτεδ φροµ Χηανχε ετ αλ., 1999.)

ωαρδ ινπυτ. Τηε νετωορκ νευρονσ αλσο ρεχειϖε ρεχυρρεντ ινπυτ γιϖεν βψ τηε ωειγητ φυνχτιον Μ (φ − φ′ ) = λ1 /(2πρφ ), ωηιχη ισ τηε σαµε φορ αλλ χον− νεχτεδ νευρον παιρσ. Ασ α ρεσυλτ, τηειρ ⇒ρινγ ρατεσ αρε δετερµινεδ βψ 8 7 " δv(φ) λ1 π ′ ′ τρ δφ v(φ ) . (7.38) = −v(φ) + η (φ) + δτ 2π −π + Ιν τηε αβσενχε οφ ρεχυρρεντ χοννεχτιονσ (λ1 = 0), τηε ρεσπονσε οφ α νευ− ρον λαβελεδ βψ φ ισ v(φ) = η (φ), ωηιχη ισ εθυαλ το τηε ρεσπονσε οφ α σιµ− πλε χελλ ωιτη πρεφερρεδ σπατιαλ πηασε φ. Ηοωεϖερ, φορ λ1 συφ⇒χιεντλψ χλοσε το 1, τηε ρεχυρρεντ µοδελ προδυχεσ ρεσπονσεσ τηατ ρεσεµβλε τηοσε οφ χοµ− πλεξ χελλσ. Φιγυρε 7.11Β σηοωσ τηε ποπυλατιον ρεσπονσε, ορ εθυιϖαλεντλψ τηε σινγλε−χελλ ρεσπονσε τυνινγ χυρϖε, οφ τηε µοδελ ιν ρεσπονσε το τηε τυνεδ ιν− πυτ σηοων ιν Φιγυρε 7.11Α. Τηε ινπυτ, βεινγ τηε ρεσπονσε οφ α σιµπλε χελλ, σηοωσ στρονγ τυνινγ φορ σπατιαλ πηασε. Τηε ουτπυτ τυνινγ χυρϖε, ηοωεϖερ, ισ αλµοστ χονσταντ ασ α φυνχτιον οφ σπατιαλ πηασε, λικε τηατ οφ α χοµπλεξ χελλ. Τηε σπατιαλ−πηασε ινσενσιτιϖιτψ οφ τηε νετωορκ ρεσπονσε ισ δυε το τηε φαχτ τηατ τηε νετωορκ αµπλι⇒εσ τηε χοµπονεντ οφ τηε ινπυτ τηατ ισ ινδε− πενδεντ οφ σπατιαλ πηασε, βεχαυσε τηε ειγενφυνχτιον οφ Μ ωιτη τηε λαργεστ ειγενϖαλυε ισ σπατιαλ−πηασε ινϖαριαντ. Τηισ χηανγεσ σιµπλε χελλ ινπυτσ ιντο χοµπλεξ χελλ ουτπυτσ.

Ωιννερ−Τακεσ−Αλλ Ινπυτ Σελεχτιον Φορ α λινεαρ νετωορκ, τηε ρεσπονσε το τωο συπεριµποσεδ ινπυτσ ισ σιµπλψ τηε συµ οφ τηε ρεσπονσεσ το εαχη ινπυτ σεπαρατελψ. Φιγυρε 7.12 σηοωσ ονε ωαψ ιν ωηιχη α ρεχτιφψινγ νονλινεαριτψ µοδι⇒εσ τηισ συπερποσιτιον προπ− ερτψ. Ιν τηισ χασε, τηε ινπυτ το τηε ρεχυρρεντ νετωορκ χονσιστσ οφ αχτιϖιτψ χεντερεδ αρουνδ τωο πρεφερρεδ στιµυλυσ ανγλεσ, ±90◦ . Τηε ουτπυτ οφ τηε νονλινεαρ νετωορκ σηοων ιν ⇒γυρε 7.12Β ισ νοτ οφ τηισ φορµ, βυτ ινστεαδ

256

Νετωορκ Μοδελσ

B

A

η

ϖ (Ηζ)

5

0

80 60 40 20

-5 -180

-90

0

θ (deg)

90

180

0 -180

-90

0

90

180

θ (deg)

Φιγυρε 7.12 Ωιννερ−τακεσ−αλλ ινπυτ σελεχτιον βψ α νονλινεαρ ρεχυρρεντ νετωορκ. (Α) Τηε ινπυτ το τηε νετωορκ χονσιστινγ οφ τωο πεακσ. (Β) Τηε ουτπυτ οφ τηε νετωορκ ηασ α σινγλε πεακ ατ τηε λοχατιον οφ τηε ηιγηερ οφ τηε τωο πεακσ οφ τηε ινπυτ. Τηε µοδελ ισ τηε σαµε ασ τηατ υσεδ ιν ⇒γυρε 7.9.

ηασ α σινγλε πεακ ατ τηε λοχατιον οφ τηε ινπυτ βυµπ ωιτη τηε λαργερ αµ− πλιτυδε (τηε ονε ατ −90◦ ). Τηισ οχχυρσ βεχαυσε τηε νονλινεαρ ρεχυρρεντ νετωορκ συππορτσ τηε στερεοτψπεδ υνιµοδαλ αχτιϖιτψ παττερν σεεν ιν ⇒γ− υρε 7.12Β, σο α µυλτιµοδαλ ινπυτ τενδσ το γενερατε α υνιµοδαλ ουτπυτ. Τηε ηειγητ οφ τηε ινπυτ πεακ ηασ α λαργε εφφεχτ ιν δετερµινινγ ωηερε τηε σινγλε πεακ οφ τηε νετωορκ ουτπυτ ισ λοχατεδ, βυτ ιτ ισ νοτ τηε ονλψ φεατυρε τηατ δετερµινεσ τηε ρεσπονσε. Φορ εξαµπλε, τηε νετωορκ ουτπυτ χαν φαϖορ α βροαδερ, λοωερ πεακ οϖερ α ναρροωερ, ηιγηερ ονε.

Γαιν Μοδυλατιον Α νονλινεαρ ρεχυρρεντ νετωορκ χαν γενερατε αν ουτπυτ τηατ ρεσεµβλεσ τηε γαιν−µοδυλατεδ ρεσπονσεσ οφ ποστεριορ παριεταλ νευρονσ σηοων ιν ⇒γ− υρε 7.6, ασ νοτεδ βψ Σαλινασ ανδ Αββοττ (1996). Το οβταιν τηισ ρεσυλτ, ωε ιντερπρετ τηε ανγλε θ ασ α πρεφερρεδ διρεχτιον ιν τηε ϖισυαλ ⇒ελδ ιν ρετιναλ χοορδινατεσ (τηε ϖαριαβλε ωε χαλλεδ σ εαρλιερ ιν τηε χηαπτερ). Τηε σιγναλ χορ− ρεσπονδινγ το γαζε διρεχτιον (ωηατ ωε χαλλεδ γ βεφορε) ισ ρεπρεσεντεδ ασ α χονσταντ ινπυτ το αλλ νευρονσ ιρρεσπεχτιϖε οφ τηειρ πρεφερρεδ στιµυλυσ ανγλε. Φιγυρε 7.13 σηοωσ τηε εφφεχτ οφ αδδινγ συχη α χονσταντ τερµ το τηε ινπυτ οφ τηε νονλινεαρ νετωορκ. Τηε ινπυτ σηοων ιν ⇒γυρε 7.13Α χορρεσπονδσ το α ϖισυαλ ταργετ λοχατεδ ατ α ρετιναλ ποσιτιον οφ 0◦ . Τηε διφφερεντ λινεσ σηοω διφφερεντ ϖαλυεσ οφ τηε χονσταντ ινπυτ, ρεπρεσεντινγ τηρεε διφφερεντ γαζε δι− ρεχτιονσ. Τηε ρεσπονσεσ σηοων ιν ⇒γυρε 7.13Β αλλ ηαϖε λοχαλιζεδ αχτιϖιτψ χεντερεδ αρουνδ θ = 0◦ , ινδιχατινγ τηατ τηε ινδιϖιδυαλ νευρονσ ηαϖε ⇒ξεδ τυνινγ χυρϖεσ εξπρεσσεδ ιν ρετιναλ χοορδινατεσ. Τηε εφφεχτ οφ τηε χονσταντ ινπυτ, ρεπρεσεντινγ γαζε διρεχτιον, ισ το σχαλε υπ ορ γαιν−µοδυλατε τηεσε τυνινγ χυρϖεσ, προδυχινγ α ρεσυλτ σιµιλαρ το τηατ σηοων ιν ⇒γυρε 7.6. Τηε αδδιτιϖε χονσταντ ιν τηε ινπυτ σηοων ιν ⇒γυρε 7.13Α ηασ α µυλτιπλιχατιϖε εφφεχτ ον τηε ουτπυτ αχτιϖιτψ σηοων ιν 7.13Β. Τηισ ισ πριµαριλψ δυε το τηε φαχτ τηατ τηε ωιδτη οφ τηε αχτιϖιτψ προ⇒λεσ ισ ⇒ξεδ βψ τηε ρεχυρρεντ νετωορκ ιντεραχτιον,

7.4 Ρεχυρρεντ Νετωορκσ

257

B

A

η

ϖ (Ηζ)

5

0

80 60 40 20

-5 -180

-90

0

θ (deg)

90

180

0 -180

-90

0

90

180

θ (deg)

Φιγυρε 7.13 Εφφεχτ οφ αδδινγ α χονσταντ το τηε ινπυτ οφ α νονλινεαρ ρεχυρρεντ νετ− ωορκ. (Α) Τηε ινπυτ το τηε νετωορκ χονσιστσ οφ α σινγλε πεακ το ωηιχη α χονσταντ φαχτορ ηασ βεεν αδδεδ. (Β) Τηε γαιν−µοδυλατεδ ουτπυτ οφ τηε νονλινεαρ νετωορκ. Τηε τηρεε χυρϖεσ χορρεσπονδ το τηε τηρεε ινπυτ χυρϖεσ ιν πανελ Α, ιν τηε σαµε ορδερ. Τηε µοδελ ισ τηε σαµε ασ τηατ υσεδ ιν ⇒γυρεσ 7.9 ανδ 7.12.

σο α χονσταντ ποσιτιϖε ινπυτ ραισεσ (ανδ α νεγατιϖε ινπυτ λοωερσ) τηε πεακ οφ τηε ρεσπονσε χυρϖε ωιτηουτ βροαδενινγ τηε βασε οφ τηε χυρϖε. Συσταινεδ Αχτιϖιτψ Τηε εφφεχτσ ιλλυστρατεδ ιν ⇒γυρεσ 7.12 ανδ 7.13 αρισε βεχαυσε τηε νονλινεαρ ρεχυρρεντ νετωορκ ηασ α στερεοτψπεδ παττερν οφ αχτιϖιτψ τηατ ισ λαργελψ δε− τερµινεδ βψ ιντεραχτιονσ ωιτη οτηερ νευρονσ ιν τηε νετωορκ ρατηερ τηαν βψ τηε φεεδφορωαρδ ινπυτ. Ιφ τηε ρεχυρρεντ χοννεχτιονσ αρε στρονγ ενουγη, τηε παττερν οφ ποπυλατιον αχτιϖιτψ, ονχε εσταβλισηεδ, χαν βεχοµε ινδεπεν− δεντ οφ τηε στρυχτυρε οφ τηε ινπυτ. Φορ εξαµπλε, τηε ρεχυρρεντ νετωορκ ωε ηαϖε βεεν στυδψινγ χαν συππορτ α παττερν οφ αχτιϖιτψ λοχαλιζεδ αρουνδ α γιϖεν πρεφερρεδ στιµυλυσ ϖαλυε, εϖεν ωηεν τηε ινπυτ ισ υνιφορµ. Τηισ ισ σεεν ιν ⇒γυρε 7.14. Τηε νευρονσ οφ τηε νετωορκ ινιτιαλλψ ρεχειϖε ινπυτσ τηατ δεπενδ ον τηειρ πρεφερρεδ ανγλεσ, ασ σεεν ιν ⇒γυρε 7.14Α. Τηισ προδυχεσ α λοχαλιζεδ παττερν οφ νετωορκ αχτιϖιτψ (⇒γυρε 7.14Β). Ωηεν τηε ινπυτ ισ σωιτχηεδ το τηε σαµε χονσταντ ϖαλυε φορ αλλ νευρονσ (⇒γυρε 7.14Χ), τηε νετ− ωορκ αχτιϖιτψ δοεσ νοτ βεχοµε υνιφορµ. Ινστεαδ, ιτ σταψσ λοχαλιζεδ αρουνδ τηε ϖαλυε θ = 0 (⇒γυρε 7.14∆). Τηισ µεανσ τηατ χονσταντ ινπυτ χαν µαιν− ταιν α στατε τηατ προϖιδεσ α µεµορψ οφ πρεϖιουσ λοχαλιζεδ ινπυτ αχτιϖιτψ. Νετωορκσ σιµιλαρ το τηισ ηαϖε βεεν προποσεδ ασ µοδελσ οφ συσταινεδ αχτιϖ− ιτψ ιν τηε ηεαδ−διρεχτιον σψστεµ οφ τηε ρατ ανδ ιν πρεφρονταλ χορτεξ δυρινγ τασκσ ινϖολϖινγ ωορκινγ µεµορψ. Τηισ µεµορψ µεχηανισµ ισ ρελατεδ το τηε ιντεγρατιον σεεν ιν τηε λινεαρ µοδελ οφ εψε ποσιτιον µαιντενανχε δισχυσσεδ πρεϖιουσλψ. Τηε λινεαρ νετ− ωορκ ηασ αν ειγενϖεχτορ ε1 ωιτη ειγενϖαλυε λ1 = 1. Τηισ αλλοωσ ϖ = χ1 ε1 το βε α στατιχ σολυτιον οφ τηε εθυατιονσ οφ τηε νετωορκ (7.17) ιν τηε αβσενχε οφ ινπυτ φορ ανψ ϖαλυε οφ χ1 . Ασ α ρεσυλτ, τηε νετωορκ χαν πρεσερϖε ανψ ινιτιαλ ϖαλυε οφ χ1 ασ α µεµορψ. Ιν τηε χασε οφ ⇒γυρε 7.14, τηε στεαδψ−στατε αχτιϖιτψ ιν τηε αβσενχε οφ τυνεδ ινπυτ ισ α φυνχτιον οφ θ − -, φορ ανψ ϖαλυε οφ τηε ανγλε -. Ασ α ρεσυλτ, τηε νετωορκ χαν πρεσερϖε ανψ ινιτιαλ ϖαλυε οφ

258

Νετωορκ Μοδελσ

B

A

η

ϖ (Ηζ)

5

0

80 60 40 20

-5 -180

-90

0

90

θ (deg)

D

C

ϖ (Ηζ)

5

η

0 -180

180

0

-90

0

90

180

90

180

θ (deg) 80 60 40 20

-5 -180

-90

0

90

180

0 -180

θ (deg)

-90

0

θ (deg)

Φιγυρε 7.14 Συσταινεδ αχτιϖιτψ ιν α ρεχυρρεντ νετωορκ. (Α) Ινπυτ το τηε νευρονσ οφ τηε νετωορκ χονσιστινγ οφ λοχαλιζεδ εξχιτατιον ανδ α χονσταντ βαχκγρουνδ. (Β) Τηε αχτιϖιτψ οφ τηε νετωορκ νευρονσ ιν ρεσπονσε το τηε ινπυτ οφ πανελ Α. (Χ) Χονσταντ νετωορκ ινπυτ. (∆) Ρεσπονσε το τηε χονσταντ ινπυτ οφ πανελ Χ ωηεν ιτ ιµµεδιατελψ φολλοωεδ τηε ινπυτ ιν Α. Τηε µοδελ ισ τηε σαµε ασ τηατ υσεδ ιν ⇒γυρεσ 7.9, 7.12, ανδ 7.13.

- ασ α µεµορψ (- = 0◦ ιν τηε ⇒γυρε). Τηε αχτιϖιτιεσ οφ τηε υνιτσ v(θ) δε− πενδ ον - ιν αν εσσεντιαλλψ νονλινεαρ µαννερ, βυτ ιφ ωε χονσιδερ λινεαρ περτυρβατιονσ αρουνδ τηισ νονλινεαρ σολυτιον, τηερε ισ αν ειγενϖεχτορ ωιτη ειγενϖαλυε λ1 = 1 ασσοχιατεδ ωιτη σηιφτσ ιν τηε ϖαλυε οφ -. Ιν τηισ χασε, ιτ χαν βε σηοων τηατ λ1 = 1 βεχαυσε τηε νετωορκ ωασ χονστρυχτεδ το βε τρανσλατιοναλλψ ινϖαριαντ. Μαξιµυµ Λικελιηοοδ ανδ Νετωορκ Ρεχοδινγ Ρεχυρρεντ νετωορκσ χαν γενερατε χηαραχτεριστιχ παττερνσ οφ αχτιϖιτψ εϖεν ωηεν τηεψ ρεχειϖε χοµπλεξ ινπυτσ (⇒γυρε 7.9), ανδ χαν µαινταιν τηεσε παττερνσ ωηιλε ρεχειϖινγ χονσταντ ινπυτ (⇒γυρε 7.14). Πουγετ ετ αλ. (1998) συγγεστεδ τηατ τηε λοχατιον οφ τηε χηαραχτεριστιχ παττερν (ι.ε., τηε ϖαλυε οφ - ασσοχιατεδ ωιτη τηε πεακ οφ τηε ποπυλατιον αχτιϖιτψ προ⇒λε) χουλδ βε ιν− τερπρετεδ ασ α µατχη οφ α ⇒ξεδ τεµπλατε χυρϖε το τηε ινπυτ αχτιϖιτψ προ⇒λε. Τηισ χυρϖε−⇒ττινγ οπερατιον ισ ατ τηε ηεαρτ οφ τηε µαξιµυµ λικελιηοοδ δε− χοδινγ µετηοδ ωε δεσχριβεδ ιν χηαπτερ 3 φορ εστιµατινγ α στιµυλυσ ϖαρι− αβλε συχη ασ -. Ιν τηε µαξιµυµ λικελιηοοδ µετηοδ, τηε ⇒ττινγ χυρϖε ισ δετερµινεδ βψ τηε τυνινγ φυνχτιονσ οφ τηε νευρονσ, ανδ τηε χυρϖε−⇒ττινγ προχεδυρε ισ δε⇒νεδ βψ τηε χηαραχτεριστιχσ οφ τηε νοισε περτυρβινγ τηε ιν− πυτ αχτιϖιτιεσ. Ιφ τηε προπερτιεσ οφ τηε ρεχυρρεντ νετωορκ µατχη τηεσε οπ−

7.4 Ρεχυρρεντ Νετωορκσ

A

259

B

12

60

10

50

ϖ (Ηζ)

8

η

70

6 4

40 30 20

2

10

0

0 -90

-45

0

θ (deg)

45

90

-90

-45

0

θ (deg)

45

90

Φιγυρε 7.15 Ρεχοδινγ βψ α νετωορκ µοδελ. (Α) Τηε νοισψ ινιτιαλ ινπυτσ η (θ) το 64 νετωορκ νευρονσ αρε σηοων ασ δοτσ. Τηε στανδαρδ δεϖιατιον οφ τηε νοισε ισ 0.25 Ηζ. Αφτερ α σηορτ σεττλινγ τιµε, τηε ινπυτ ισ σετ το α χονσταντ ϖαλυε οφ η (θ) = 10. (Β) Τηε σµοοτη αχτιϖιτψ προ⇒λε τηατ ρεσυλτσ φροµ τηε ρεχυρρεντ ιντεραχτιονσ. Τηε νετωορκ µοδελ ωασ σιµιλαρ το τηατ υσεδ ιν ⇒γυρε 7.9, εξχεπτ τηατ τηε ρεχυρρεντ σψναπτιχ ωειγητσ ωερε ιν τηε φορµ οφ α Γαβορ−λικε φυνχτιον ρατηερ τηαν α χοσινε, ανδ τηε ρεχυρρεντ χοννεχτιονσ ηαδ σηορτ−ρανγε εξχιτατιον ανδ λονγ−ρανγε ινηιβιτιον. (σεε Πουγετ ετ αλ., 1998.)

τιµαλ χηαραχτεριστιχσ, τηε νετωορκ χαν αππροξιµατε µαξιµυµ λικελιηοοδ δεχοδινγ. Ονχε τηε αχτιϖιτψ οφ τηε ποπυλατιον οφ νευρονσ ηασ σταβιλιζεδ το ιτσ στερεοτψπεδ σηαπε, α σιµπλε δεχοδινγ µετηοδ συχη ασ ϖεχτορ δεχοδινγ (σεε χηαπτερ 3) χαν βε αππλιεδ το εξτραχτ τηε εστιµατεδ ϖαλυε οφ -. Τηισ αλλοωσ τηε αχχυραχψ οφ α ϖεχτορ δεχοδινγ µετηοδ το αππροαχη τηατ οφ µορε χοµπλεξ οπτιµαλ µετηοδσ, βεχαυσε τηε χοµπυτατιοναλ ωορκ οφ χυρϖε ⇒τ− τινγ ηασ βεεν περφορµεδ βψ τηε νονλινεαρ ρεχυρρεντ ιντεραχτιονσ. Φιγυρε 7.15 σηοωσ ηοω τηισ ιδεα ωορκσ ιν α νετωορκ οφ 64 νευρονσ ρε− χειϖινγ ινπυτσ τηατ ηαϖε Γαυσσιαν (ρατηερ τηαν χοσινε) τυνινγ χυρϖεσ ασ α φυνχτιον οφ -. ςεχτορ δεχοδινγ αππλιεδ το τηε ρεχονστρυχτιον οφ - φροµ τηε αχτιϖιτψ οφ τηε νετωορκ ορ ιτσ ινπυτσ τυρνσ ουτ το βε αλµοστ υνβιασεδ. Τηε ωαψ το ϕυδγε δεχοδινγ αχχυραχψ ισ τηερεφορε το χοµπυτε τηε στανδαρδ δεϖιατιον οφ τηε δεχοδεδ - ϖαλυεσ (χηαπτερ 3). Τηε νοισψ ινπυτ αχτιϖιτψ ιν ⇒γυρε 7.15Α σηοωσ α σλιγητ βυµπ αρουνδ τηε ϖαλυε θ = 10◦ . ςεχτορ δε− χοδινγ αππλιεδ το ινπυτ αχτιϖιτιεσ ωιτη τηισ λεϖελ οφ νοισε γιϖεσ α στανδαρδ δεϖιατιον ιν τηε δεχοδεδ ανγλε οφ 4.5◦ . Φιγυρε 7.15Β σηοωσ τηε ουτπυτ οφ τηε νετωορκ οβταινεδ βψ σταρτινγ ωιτη ινιτιαλ αχτιϖιτιεσ v(θ) = 0 ανδ ινπυτ η (θ) ασ ιν ⇒γυρε 7.15Α, ανδ τηεν σεττινγ η (θ) το α χονσταντ (θ−ινδεπενδεντ) ϖαλυε το µαινταιν συσταινεδ αχτιϖιτψ. Τηισ γενερατεσ α σµοοτη παττερν οφ συσταινεδ ποπυλατιον αχτιϖιτψ. ςεχτορ δεχοδινγ αππλιεδ το τηε ουτπυτ αχ− τιϖιτιεσ γενερατεδ ιν τηισ ωαψ γιϖεσ α στανδαρδ δεϖιατιον ιν τηε δεχοδεδ ανγλε οφ 1.7◦ . Τηισ ισ νοτ τοο φαρ φροµ τηε Χραµ×ερ−Ραο βουνδ, ωηιχη γιϖεσ τηε µαξιµυµ ποσσιβλε αχχυραχψ φορ ανψ υνβιασεδ δεχοδινγ σχηεµε απ− πλιεδ το τηισ σψστεµ (σεε χηαπτερ 3), ωηιχη ισ 0.88◦ .

260

Νετωορκ Μοδελσ

Νετωορκ Σταβιλιτψ ⇒ξεδ−ποιντ

ρεχυρρεντ µοδελ ωιτη χυρρεντ δψναµιχσ

Λψαπυνοϖ φυνχτιον Λ

Ωηεν α νετωορκ ρεσπονδσ το α χονσταντ ινπυτ βψ ρελαξινγ το α στεαδψ στατε ωιτη δϖ/δτ = 0 , ιτ ισ σαιδ το εξηιβιτ ⇒ξεδ−ποιντ βεηαϖιορ. Αλµοστ αλλ τηε νετ− ωορκ αχτιϖιτψ ωε ηαϖε δισχυσσεδ τηυσ φαρ ινϖολϖεσ συχη ⇒ξεδ ποιντσ. Τηισ ισ βψ νο µεανσ τηε ονλψ τψπε οφ λονγ−τερµ αχτιϖιτψ τηατ α νετωορκ µοδελ χαν δισπλαψ. Ιν α λατερ σεχτιον οφ τηισ χηαπτερ, ωε δισχυσσ νετωορκσ τηατ οσ− χιλλατε, ανδ χηαοτιχ βεηαϖιορ ισ αλσο ποσσιβλε. Βυτ ιφ χερταιν χονδιτιονσ αρε µετ, α νετωορκ ωιλλ ινεϖιταβλψ ρεαχη α ⇒ξεδ ποιντ ιν ρεσπονσε το χονσταντ ινπυτ. Τηε τηεορψ οφ Λψαπυνοϖ φυνχτιονσ, το ωηιχη ωε γιϖε αν ινφορµαλ ιντροδυχτιον, χαν βε υσεδ το προϖε ωηεν τηισ οχχυρσ. Ιτ ισ εασιερ το δισχυσσ τηε Λψαπυνοϖ φυνχτιον φορ α νετωορκ ιφ ωε υσε τηε ⇒ρινγ−ρατε δψναµιχσ οφ εθυατιον 7.6 ρατηερ τηαν εθυατιον 7.8. Φορ α νετ− ωορκ µοδελ, τηισ µεανσ εξπρεσσινγ τηε ϖεχτορ οφ νετωορκ ⇒ρινγ ρατεσ ασ ϖ = Φ(Ι ), ωηερε Ι ισ τηε τοταλ σψναπτιχ χυρρεντ ϖεχτορ (ι.ε., Ια ρεπρεσεντσ τηε τοταλ σψναπτιχ χυρρεντ φορ υνιτ α). Ωε ασσυµε τηατ Φ′ ( Ι ) > 0 φορ αλλ Ι, ωηερε Φ′ ισ τηε δεριϖατιϖε οφ Φ. Ι οβεψσ τηε δψναµιχ εθυατιον δεριϖεδ φροµ γεν− εραλιζινγ εθυατιον 7.6 το α νετωορκ σιτυατιον, δΙ = −Ι + η + Μ · Φ(Ι ) . (7.39) δτ Νοτε τηατ ωε ηαϖε µαδε τηε συβστιτυτιον ϖ = Φ(Ι ) ιν τηε λαστ τερµ οφ τηε ριγητ σιδε οφ τηισ εθυατιον. Εθυατιον 7.39 χαν βε υσεδ ινστεαδ οφ εθυα− τιον 7.11 το προϖιδε α ⇒ρινγ−ρατε µοδελ οφ α ρεχυρρεντ νετωορκ.

τσ

Φορ τηε φορµ οφ ⇒ρινγ−ρατε µοδελ γιϖεν βψ εθυατιον 7.39 ωιτη α σψµµετ− ριχ ρεχυρρεντ ωειγητ µατριξ, Χοηεν ανδ Γροσσβεργ (1983) σηοωεδ τηατ τηε φυνχτιον '" ( Νv Νv Ια ! 1! ′ Λ (Ι ) = δζα ζα Φ ( ζα ) − ηα Φ ( Ια ) − Φ ( Ια ) Μαα′ Φ ( Ια′ ) (7.40) 2 α′ =1 0 α=1

ηασ δΛ/δτ < 0 ωηενεϖερ δΙ/δτ ̸= 0. Το σεε τηισ, τακε τηε τιµε δεριϖατιϖε οφ εθυατιον 7.40 ανδ υσε 7.39 το οβταιν % &2 Νv 1 ! δΙα δΛ (Ι ) =− Φ′ ( Ια ) . (7.41) δτ τσ α=1 δτ

Βεχαυσε Φ′ > 0, Λ δεχρεασεσ υνλεσσ δΙ/δτ = 0 . Ιφ Λ ισ βουνδεδ φροµ βελοω, ιτ χαννοτ δεχρεασε ινδε⇒νιτελψ, σο Ι = η + Μ · ϖ µυστ χονϖεργε το α ⇒ξεδ ποιντ. Τηισ ιµπλιεσ τηατ ϖ µυστ χονϖεργε το α ⇒ξεδ ποιντ ασ ωελλ.

Ωε ηαϖε ρεθυιρεδ τηατ Φ′ ( Ι ) > 0 φορ αλλ ϖαλυεσ οφ ιτσ αργυµεντ Ι. Ηοωεϖερ, ωιτη σοµε τεχηνιχαλ χοµπλιχατιονσ, ιτ χαν βε σηοων τηατ τηε Λψαπυνοϖ φυνχτιον ωε ηαϖε πρεσεντεδ αλσο αππλιεσ το τηε χασε οφ τηε ρεχτιφψινγ αχ− τιϖατιον φυνχτιον Φ ( Ι ) = [Ι]+ , εϖεν τηουγη ιτ ισ νοτ διφφερεντιαβλε ατ Ι = 0 ανδ Φ′ ( Ι ) = 0 φορ Ι < 0. Χονϖεργενχε το α ⇒ξεδ ποιντ, ορ ονε οφ α σετ οφ ⇒ξεδ ποιντσ, ρεθυιρεσ τηε Λψαπυνοϖ φυνχτιον το βε βουνδεδ φροµ βελοω. Ονε ωαψ το ενσυρε τηισ ισ το υσε α σατυρατινγ αχτιϖατιον φυνχτιον, σο τηατ Φ ( Ι ) ισ βουνδεδ ασ Ι → ∞. Ανοτηερ ωαψ ισ το κεεπ τηε ειγενϖαλυεσ οφ Μ συφ⇒χιεντλψ σµαλλ.

7.4 Ρεχυρρεντ Νετωορκσ

261

Ασσοχιατιϖε Μεµορψ Τηε µοδελσ οφ µεµορψ δισχυσσεδ πρεϖιουσλψ ιν τηισ χηαπτερ στορε ινφορµα− τιον βψ µεανσ οφ περσιστεντ αχτιϖιτψ. Τηισ ισ χαλλεδ ωορκινγ ορ σηορτ−τερµ µεµορψ. Ιν βιολογιχαλ σψστεµσ, περσιστεντ αχτιϖιτψ αππεαρσ το πλαψ α ρολε ιν ρεταινινγ ινφορµατιον οϖερ περιοδσ οφ σεχονδσ το µινυτεσ. Ρετεντιον οφ λονγ−τερµ µεµοριεσ, οϖερ περιοδσ οφ ηουρσ το ψεαρσ, ισ τηουγητ το ινϖολϖε στοραγε βψ µεανσ οφ σψναπτιχ στρενγτησ ρατηερ τηαν περσιστεντ αχτιϖιτψ. Ονε γενεραλ ιδεα ισ τηατ σψναπτιχ ωειγητσ ιν α ρεχυρρεντλψ χοννεχτεδ νετωορκ αρε σετ ωηεν α µεµορψ ισ στορεδ σο τηατ τηε νετωορκ χαν, ατ α λατερ τιµε, ιν− τερναλλψ ρεχρεατε τηε παττερν οφ αχτιϖιτψ τηατ ρεπρεσεντσ τηε στορεδ µεµορψ. Ιν συχη νετωορκσ, περσιστεντ αχτιϖιτψ ισ υσεδ το σιγναλ µεµορψ ρεχαλλ ανδ το ρεγιστερ τηε ιδεντιτψ οφ τηε ρετριεϖεδ ιτεµ, βυτ τηε σψναπτιχ ωειγητσ προ− ϖιδε τηε λονγ−τερµ στοραγε οφ τηε ποσσιβλε µεµορψ παττερνσ. Τηε παττερν οφ αχτιϖιτψ οφ τηε υνιτσ ιν τηε νετωορκ ατ τηε σταρτ οφ µεµορψ ρετριεϖαλ δετερ− µινεσ ωηιχη µεµορψ ισ ρεχαλλεδ τηρουγη ιτσ ρελατιονσηιπ το, ορ ασσοχιατιον ωιτη, τηε παττερν οφ αχτιϖιτψ ρεπρεσεντινγ τηατ µεµορψ. Συχη ασσοχιατιϖε νετωορκσ ηαϖε βεεν υσεδ το µοδελ ρεγιονσ οφ τηε µαµµαλιαν βραιν ιµπλι− χατεδ ιν ϖαριουσ φορµσ οφ µεµορψ, ινχλυδινγ αρεα ΧΑ3 οφ τηε ηιπποχαµπυσ ανδ παρτσ οφ τηε πρεφρονταλ χορτεξ. Ιν αν ασσοχιατιϖε (ορ µορε στριχτλψ, αυτοασσοχιατιϖε) µεµορψ, α παρτιαλ ορ αππροξιµατε ρεπρεσεντατιον οφ α στορεδ ιτεµ ισ υσεδ το ρεχαλλ τηε φυλλ ιτεµ. Υνλικε α στανδαρδ χοµπυτερ µεµορψ, ρεχαλλ ιν αν ασσοχιατιϖε µεµορψ ισ βασεδ ον χοντεντ ρατηερ τηαν ον αν αδδρεσσ. Αν εξαµπλε ωουλδ βε ρε− χαλλινγ εϖερψ διγιτ οφ α φαµιλιαρ πηονε νυµβερ, γιϖεν α φεω οφ ιτσ διγιτσ ασ αν ινιτιαλ χλυε. Ιν α νετωορκ ασσοχιατιϖε µεµορψ, ρεχυρρεντ ωειγητσ αρε αδϕυστεδ σο τηατ τηε νετωορκ ηασ α σετ οφ δισχρετε ⇒ξεδ ποιντσ ιδεντιχαλ (ορ ϖερψ σιµιλαρ) το τηε παττερνσ οφ αχτιϖιτψ τηατ ρεπρεσεντ τηε στορεδ µεµοριεσ. Ιν µανψ χασεσ, τηε δψναµιχσ οφ τηε νετωορκ αρε γοϖερνεδ βψ α Λψαπυνοϖ φυνχτιον (εθυατιον 7.40), ενσυρινγ τηε εξιστενχε οφ ⇒ξεδ ποιντσ. Προϖιδεδ τηατ νοτ τοο µανψ µεµοριεσ αρε στορεδ, τηεσε ⇒ξεδ ποιντσ χαν περφεχτλψ, ορ ατ λεαστ χλοσελψ, µατχη τηε µεµορψ παττερνσ. ∆υρινγ ρεχαλλ, αν ασσοχιατιϖε µεµορψ νετωορκ περφορµσ τηε χοµπυτατιοναλ οπερατιον οφ παττερν µατχη− ινγ βψ ⇒νδινγ τηε ⇒ξεδ−ποιντ τηατ µοστ χλοσελψ µατχηεσ τηε ινιτιαλ στατε οφ τηε νετωορκ. Εαχη µεµορψ παττερν ηασ α βασιν οφ αττραχτιον, δε⇒νεδ ασ τηε σετ οφ ινιτιαλ αχτιϖιτιεσ φροµ ωηιχη τηε νετωορκ εϖολϖεσ το τηατ παρτιχ− υλαρ ⇒ξεδ ποιντ. Τηεσε βασινσ οφ αττραχτιον δε⇒νε τηε παττερν−µατχηινγ προπερτιεσ οφ τηε νετωορκ. Ασσοχιατιϖε µεµορψ νετωορκσ χαν βε χονστρυχτεδ φροµ υνιτσ ωιτη ειτηερ χοντινυουσ−ϖαλυεδ ορ βιναρψ (τψπιχαλλψ ον ορ οφφ) αχτιϖιτιεσ. Ωε χονσιδερ α νετωορκ οφ χοντινυουσ−ϖαλυεδ υνιτσ δεσχριβεδ βψ εθυατιον 7.11 ωιτη η = 0. Το υσε τηισ µοδελ φορ µεµορψ στοραγε, ωε δε⇒νε α σετ οφ µεµορψ παττερνσ, δενοτεδ βψ ϖµ ωιτη µ = 1, 2, . . . , Νµεµ , τηατ ωε ωιση το στορε ανδ ρεχαλλ. Νοτε τηατ ϖµ δοεσ νοτ σιγνιφψ α χοµπονεντ οφ α ϖεχτορ, βυτ ρατηερ αν εντιρε ϖεχτορ ιδεντι⇒εδ βψ τηε συπερσχριπτ µ. Ασσοχιατιϖε ρεχαλλ ισ αχηιεϖεδ βψ σταρτινγ τηε νετωορκ ιν αν ινιτιαλ στατε τηατ ισ σιµιλαρ το ονε οφ τηε µεµορψ παττερνσ. Τηατ ισ, ϖ(0 ) ≈ ϖµ φορ ονε οφ τηε µ ϖαλυεσ, ωηερε mαππροξιµατελψ

µεµορψ παττερνσ ϖµ νυµβερ οφ µεµοριεσ Νµεµ

262

Νετωορκ Μοδελσ

εθυαλn µεανσ τηατ α σιγνι⇒χαντ νυµβερ, βυτ νοτ νεχεσσαριλψ αλλ, οφ τηε ελε− µεντσ οφ ϖ(0 ) αρε χλοσε το τηε χορρεσπονδινγ ελεµεντσ οφ ϖµ . Τηε νετωορκ τηεν εϖολϖεσ αχχορδινγ το εθυατιον 7.11. Ιφ ρεχαλλ ισ συχχεσσφυλ, τηε δψ− ναµιχσ χονϖεργε το α ⇒ξεδ ποιντ εθυαλ (ορ ατ λεαστ σιγνι⇒χαντλψ µορε σιµ− ιλαρ τηαν ϖ(0 )) το τηε µεµορψ παττερν ασσοχιατεδ ωιτη τηε ινιτιαλ στατε (ι.ε., ϖ(τ ) → ϖµ φορ λαργε τ). Φαιλυρε οφ ρεχαλλ οχχυρσ ιφ τηε ⇒ξεδ ποιντ ρεαχηεδ βψ τηε νετωορκ ισ νοτ σιµιλαρ το ϖµ , ορ ιφ α ⇒ξεδ ποιντ ισ νοτ ρεαχηεδ ατ αλλ. Φορ εξαχτ ρεχαλλ το οχχυρ, ϖµ µυστ βε α ⇒ξεδ ποιντ οφ τηε νετωορκ δψναµιχσ, ωηιχη µεανσ ιτ µυστ σατισφψ τηε εθυατιον ϖµ = Φ ( Μ · ϖµ ) .

µεµορψ χαπαχιτψ

σπαρσενεσσ α

(7.42)

Τηερεφορε, ωε εξαµινε χονδιτιονσ υνδερ ωηιχη συχη σολυτιονσ εξιστ φορ αλλ τηε µεµορψ παττερνσ. Τηε χαπαχιτψ οφ α νετωορκ ισ δετερµινεδ ιν παρτ βψ τηε νυµβερ οφ διφφερεντ πρε−σπεχι⇒εδ ϖεχτορσ τηατ χαν σιµυλτανεουσλψ σατισφψ εθυατιον 7.42 φορ αν αππροπριατε χηοιχε οφ Μ. Ιν τηε λιµιτ οφ λαργε Νv , τηε χαπαχιτψ ισ τψπιχαλλψ προπορτιοναλ το Νv . Χαπαχιτψ ισ νοτ τηε ονλψ ρελεϖαντ µεασυρε οφ τηε περφορµανχε οφ αν ασσοχιατιϖε µεµορψ. Μεµορψ φυνχτιον χαν βε δεγραδεδ ιφ τηερε αρε σπυριουσ ⇒ξεδ ποιντσ οφ τηε νετωορκ δψναµιχσ ιν αδδιτιον το τηε ⇒ξεδ ποιντσ τηατ ρεπρεσεντ τηε µεµορψ πατ− τερνσ. Φιναλλψ, υσεφυλ παττερν µατχηινγ ρεθυιρεσ εαχη ⇒ξεδ ποιντ το ηαϖε α συφ⇒χιεντλψ λαργε βασιν οφ αττραχτιον. Αναλψζινγ σπυριουσ ⇒ξεδ ποιντσ ανδ τηε σιζεσ οφ βασινσ οφ αττραχτιον ισ βεψονδ τηε σχοπε οφ τηισ τεξτ. Αλτηουγη τηε υνιτσ ιν τηε νετωορκ ηαϖε χοντινυουσ−ϖαλυεδ αχτιϖιτιεσ, ωε χονσιδερ τηε σιµπλε χασε ιν ωηιχη τηε υνιτσ αρε ειτηερ ιναχτιϖε ορ αχτιϖε ιν τηε µεµορψ παττερνσ τηεµσελϖεσ. Ιναχτιϖε υνιτσ χορρεσπονδ το χοµπο− νεντσ οφ ϖµ τηατ αρε εθυαλ το 0, ανδ αχτιϖε υνιτσ, το χοµπονεντσ τηατ αρε εθυαλ το σοµε χονσταντ ϖαλυε χ. Το σιµπλιφψ τηε δισχυσσιον, ωε ασσυµε τηατ εαχη οφ τηε µεµορψ παττερνσ ηασ εξαχτλψ α Νv αχτιϖε ανδ (1 − α) Νv ιναχτιϖε υνιτσ. Τηε χηοιχε οφ ωηιχη υνιτσ αρε αχτιϖε ιν εαχη παττερν ισ ραν− δοµ, ανδ ινδεπενδεντ οφ τηε οτηερ παττερνσ. Τηε παραµετερ α ισ κνοων ασ τηε σπαρσενεσσ οφ τηε µεµορψ παττερνσ. Ασ α δεχρεασεσ, µακινγ τηε παττερνσ µορε σπαρσε, µορε οφ τηεµ χαν βε στορεδ βυτ εαχη χονταινσ λεσσ ινφορµατιον. Το βυιλδ αν ασσοχιατιϖε µεµορψ νετωορκ, ωε νεεδ το χονστρυχτ α µατριξ τηατ αλλοωσ αλλ τηε µεµορψ παττερνσ το σατισφψ εθυατιον 7.42. Το βεγιν, συπποσε τηατ ωε κνεω οφ α µατριξ Κ φορ ωηιχη αλλ τηε µεµορψ παττερνσ ωερε δεγενερατε ειγενϖεχτορσ ωιτη ειγενϖαλυε λ, Κ · ϖµ = λϖµ

(7.43)

φορ αλλ µ. Τηεν, χονσιδερ τηε µατριξ Μ=Κ− ϖεχτορ οφ ονεσ ν

νν α Νv

ορ

Μαα′ = Καα′ −

1 . α Νv

(7.44)

Ηερε ν ισ α ϖεχτορ τηατ ηασ εαχη οφ ιτσ Νv χοµπονεντσ εθυαλ το 1. Τηε τερµ νν ιν τηε µατριξ ρεπρεσεντσ υνιφορµ ινηιβιτιον βετωεεν νετωορκ υνιτσ. Μ σατισ⇒εσ Μ · ϖµ = λϖµ − χν

(7.45)

7.4 Ρεχυρρεντ Νετωορκσ

263

φορ ανψ µεµορψ παττερν ϖµ . Τηε σεχονδ τερµ ον τηε ριγητ σιδε φολλοωσ φροµ τηε φαχτ τηατ ν · ϖµ = χα Νv . Τρεατεδ χοµπονεντ βψ χοµπονεντ, εθυα− τιον 7.42 φορ τηισ µατριξ σεπαρατεσ ιντο τωο χονδιτιονσ: ονε φορ τηε χοµπο− νεντσ οφ ϖµ τηατ αρε 0 ανδ ανοτηερ φορ τηε χοµπονεντσ οφ ϖµ εθυαλ το χ, Φ (−χ ) = 0

ανδ

χ = Φ (χ (λ − 1 )) .

(7.46)

Ιτ ισ ρελατιϖελψ εασψ το ⇒νδ χονδιτιονσ φορ ωηιχη τηεσε εθυατιονσ ηαϖε α σολυτιον. Φορ ποσιτιϖε χ, τηε ⇒ρστ χονδιτιον ισ αυτοµατιχαλλψ σατισ⇒εδ φορ α ρεχτιφψινγ αχτιϖατιον φυνχτιον, Φ ( Ι ) = 0 φορ Ι ≤ 0. Φορ συχη α φυνχτιον σατισφψινγ Φ′ ( Ι ) > 0 φορ αλλ ποσιτιϖε Ι, τηε σεχονδ εθυατιον ωιλλ βε σατισ⇒εδ ανδ εθυατιον 7.11 ωιλλ ηαϖε α σταβλε ⇒ξεδ−ποιντ σολυτιον ωιτη χ > 0 ιφ, φορ εξαµπλε, λ > 1, (λ − 1 ) Φ′ (0 ) > 1, ανδ Φ (χ (λ − 1 )) γροωσ µορε σλοωλψ τηαν χ φορ λαργε χ. Τηε εξιστενχε οφ σπυριουσ ⇒ξεδ ποιντσ δεχρεασεσ τηε υσεφυλνεσσ οφ α νετ− ωορκ ασσοχιατιϖε µεµορψ. Τηισ µιγητ σεεµ το βε α προβλεµ ιν τηε εξαµπλε ωε αρε δισχυσσινγ βεχαυσε τηε δεγενεραχψ οφ τηε ειγενϖαλυεσ µεανσ τηατ ανψ λινεαρ χοµβινατιον οφ µεµορψ παττερνσ αλσο σατισ⇒εσ εθυατιον 7.43. Ηοωεϖερ, τηε νονλινεαριτψ ιν τηε νετωορκ χαν πρεϖεντ λινεαρ χοµβινα− τιονσ οφ µεµορψ παττερνσ φροµ σατισφψινγ εθυατιον 7.42, εϖεν ιφ τηεψ σατ− ισφψ εθυατιον 7.43, τηερεβψ ελιµινατινγ ατ λεαστ σοµε οφ τηε σπυριουσ ⇒ξεδ ποιντσ. Τηε προβλεµ οφ χονστρυχτινγ αν ασσοχιατιϖε µεµορψ νετωορκ τηυσ ρεδυχεσ το ⇒νδινγ τηε µατριξ Κ οφ εθυατιον 7.43, ορ ατ λεαστ χονστρυχτινγ α µατριξ ωιτη σιµιλαρ προπερτιεσ. Βεχαυσε τηε χηοιχε οφ αχτιϖε υνιτσ ιν εαχη µεµορψ παττερν ισ ινδεπενδεντ, τηε προβαβιλιτψ τηατ α γιϖεν υνιτ ισ αχτιϖε ιν τωο διφφερεντ µεµορψ παττερνσ ισ α2 . Τηυσ, ϖν · ϖµ ≈ α2 χ2 Νv ιφ µ ̸= ν. Χονσιδερ τηε δοτ προδυχτ οφ ονε οφ τηε µεµορψ παττερνσ, ϖµ , ωιτη τηε ϖεχτορ ϖν − αχν, φορ σοµε ϖαλυε οφ ν. Ιφ µ = ν, (ϖν − αχν ) · ϖµ = χ2 α Νv (1 − α), ωηερεασ ιφ µ ̸= ν, (ϖν − αχν ) · ϖµ ≈ χ2 Νv (α2 − α2 ) = 0. Ιτ φολλοωσ φροµ τηεσε ρεσυλτσ τηατ τηε µατριξ Κ=

Ν! µεµ λ ϖν (ϖν − αχν ) 2 χ α Νv (1 − α) ν=1

(7.47)

ηασ προπερτιεσ σιµιλαρ το τηοσε οφ τηε µατριξ ιν εθυατιον 7.43, τηατ ισ, Κ · ϖµ ≈ λϖµ φορ αλλ µ. Ρεχαλλ τηατ τηε Λψαπυνοϖ φυνχτιον ιν εθυατιον 7.40 γυαραντεεσ τηατ τηε νετ− ωορκ ηασ ⇒ξεδ ποιντσ ονλψ ιφ ιτ ισ βουνδεδ φροµ βελοω ανδ τηε µατριξ Μ ισ σψµµετριχ. Βουνδινγ οφ τηε Λψαπυνοϖ φυνχτιον χαν βε αχηιεϖεδ ιφ τηε αχτιϖατιον φυνχτιον σατυρατεσ. Ηοωεϖερ, τηε ρεχυρρεντ ωειγητ µατριξ οβ− ταινεδ βψ συβστιτυτινγ εξπρεσσιον 7.47 ιντο εθυατιον 7.44 ισ νοτ λικελψ το βε σψµµετριχ. Α σψµµετριχ φορµ οφ τηε ρεχυρρεντ ωειγητ µατριξ χαν βε χονστρυχτεδ βψ ωριτινγ Μ=

Ν! µεµ λ νν . (ϖν − αχν )(ϖν − αχν ) − χ2 α Νv (1 − α) ν=1 α Νv

(7.48)

264

Νετωορκ Μοδελσ

Τηε ρεαδερ ισ υργεδ το ϖεριφψ τηατ, δυε το τηε αδδιτιοναλ τερµσ ιν τηε συµ οϖερ µεµορψ παττερνσ, τηε χονδιτιονσ τηατ µυστ βε σατισ⇒εδ ωηεν υσινγ 7.48 αρε σλιγητλψ µοδι⇒εδ φροµ 7.46 το Φ (−χ (1 + αλ)) = 0

ανδ

χ = Φ (χ (λ − 1 − αλ)) .

(7.49)

Ονε ωαψ οφ λοοκινγ ατ τηε ρεχυρρεντ ωειγητσ ιν εθυατιον 7.48 ισ ιν τερµσ οφ α λεαρνινγ ρυλε υσεδ το χονστρυχτ τηε µατριξ. Ιν τηισ λεαρνινγ ρυλε, αν εξχι− τατορψ χοντριβυτιον το τηε χουπλινγ βετωεεν τωο υνιτσ ισ αδδεδ ωηενεϖερ βοτη οφ τηεµ αρε ειτηερ αχτιϖε ορ ιναχτιϖε φορ α παρτιχυλαρ µεµορψ παττερν. Αν ινηιβιτορψ τερµ ισ αδδεδ ωηενεϖερ ονε υνιτ ισ αχτιϖε ανδ τηε οτηερ ισ νοτ. Τηε λεαρνινγ ρυλε ασσοχιατεδ ωιτη εθυατιον 7.48 ισ χαλλεδ α χοϖαριανχε ρυλε βεχαυσε οφ ιτσ ρελατιονσηιπ το τηε χοϖαριανχε µατριξ οφ τηε µεµορψ πατ− τερνσ. Λεαρνινγ ρυλεσ φορ χονστρυχτινγ νετωορκσ τηατ περφορµ ασσοχιατιϖε µεµορψ ανδ οτηερ τασκσ αρε δισχυσσεδ ιν χηαπτερ 8. Φιγυρε 7.16 σηοωσ αν ασσοχιατιϖε µεµορψ νετωορκ οφ Νv = 50 υνιτσ τηατ στορεσ φουρ παττερνσ, υσινγ τηε µατριξ φροµ εθυατιον 7.48. Τωο οφ τηεσε παττερνσ ωερε γενερατεδ ρανδοµλψ ασ δισχυσσεδ αβοϖε. Τηε οτηερ τωο πατ− τερνσ ωερε ασσιγνεδ νονρανδοµλψ το µακε τηεµ εασψ το ιδεντιφψ ιν τηε ⇒γυρε. Ρεχαλλ οφ τηεσε τωο νονρανδοµ παττερνσ ισ σηοων ιν ⇒γυρεσ 7.16Β ανδ 7.16Χ. Φροµ αν ινιτιαλ παττερν οφ αχτιϖιτψ ονλψ ϖαγυελψ ρεσεµβλινγ ονε οφ τηε στορεδ παττερνσ, τηε νετωορκ ατταινσ α ⇒ξεδ ποιντ ϖερψ σιµιλαρ το τηε βεστ µατχηινγ µεµορψ παττερν. Τηε σαµε ρεσυλτσ αππλψ φορ τηε οτηερ τωο µεµορψ παττερνσ στορεδ βψ τηε νετωορκ, βυτ τηεψ αρε µορε διφ⇒χυλτ το ιδεντιφψ ιν α ⇒γυρε βεχαυσε τηεψ αρε ρανδοµ. Τηε µατριξ 7.48 τηατ ωε υσε ασ α βασισ φορ χονστρυχτινγ αν ασσοχιατιϖε µεµ− ορψ νετωορκ σατισ⇒εσ τηε χονδιτιονσ ρεθυιρεδ φορ εξαχτ στοραγε ανδ ρεχαλλ οφ τηε µεµορψ παττερνσ ονλψ αππροξιµατελψ. Τηισ ιντροδυχεσ σοµε ερρορσ ιν ρεχαλλ. Ασ τηε νυµβερ οφ µεµορψ παττερνσ ινχρεασεσ, τηε αππροξιµα− τιον βεχοµεσ ωορσε ανδ τηε περφορµανχε οφ τηε ασσοχιατιϖε µεµορψ δε− τεριορατεσ, ωηιχη λιµιτσ τηε νυµβερ οφ µεµοριεσ τηατ χαν βε στορεδ. Τηε σιµπλε χοϖαριανχε πρεσχριπτιον φορ τηε ωειγητσ ιν εθυατιον 7.48 ισ φαρ φροµ οπτιµαλ. Οτηερ πρεσχριπτιονσ φορ χονστρυχτινγ Μ χαν αχηιεϖε σιγνι⇒χαντλψ ηιγηερ στοραγε χαπαχιτιεσ. Τηε βασιχ χονχλυσιονσ φροµ στυδιεσ οφ ασσοχιατιϖε µεµορψ µοδελσ ισ τηατ λαργε νετωορκσ χαν στορε λαργε νυµβερσ οφ παττερνσ, παρτιχυλαρλψ ιφ τηεψ αρε σπαρσε (α ισ σµαλλ) ανδ ιφ α φεω ερρορσ ιν ρεχαλλ χαν βε τολερατεδ. Τηε χαπαχ− ιτψ οφ χερταιν ασσοχιατιϖε µεµορψ νετωορκσ χαν βε χαλχυλατεδ αναλψτιχαλλψ. Τηε νυµβερ οφ µεµορψ παττερνσ τηατ χαν βε στορεδ ισ ον τηε ορδερ οφ, βυτ τψπιχαλλψ λεσσ τηαν, τηε νυµβερ οφ νευρονσ ιν τηε νετωορκ, Νv , ανδ δε− πενδσ ον τηε σπαρσενεσσ, α, ασ 1/(α λογ(1/α)). Τηε αµουντ οφ ινφορµατιον τηατ χαν βε στορεδ ισ προπορτιοναλ το Νv2 , ωηιχη ισ ρουγηλψ τηε νυµβερ οφ σψναπσεσ ιν τηε νετωορκ, βυτ τηε ινφορµατιον στορεδ περ σψναπσε (ι.ε., τηε χονσταντ οφ προπορτιοναλιτψ) ισ τψπιχαλλψ θυιτε σµαλλ.

Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

A

B

C

20 15 10

unit

5

20

ϖ (Ηζ)

265

unit

ϖ (Ηζ)

7.5

15 10 5 50

150

τ (µσ)

50

150

τ (µσ)

50

150

τ (µσ)

Φιγυρε 7.16 Ασσοχιατιϖε ρεχαλλ οφ µεµορψ παττερνσ ιν α νετωορκ µοδελ. Πανελ Α σηοωσ τωο ρεπρεσεντατιϖε υνιτσ, ανδ πανελσ Β ανδ Χ σηοω τηε ⇒ρινγ ρατεσ οφ αλλ 50 υνιτσ πλοττεδ αγαινστ τιµε. Τηε τηιχκνεσσ οφ τηε ηοριζονταλ λινεσ ιν τηεσε πλοτσ ισ προπορτιοναλ το τηε ⇒ρινγ ρατε οφ τηε χορρεσπονδινγ νευρον. (Α) Φιρινγ ρατεσ οφ ρεπρεσεντατιϖε νευρονσ. Τηε υππερ πανελ σηοωσ τηε ⇒ρινγ ρατε οφ ονε οφ τηε νευ− ρονσ χορρεσπονδινγ το α νονζερο χοµπονεντ οφ τηε ρεχαλλεδ µεµορψ παττερν. Τηε ⇒ρινγ ρατε αχηιεϖεσ α νονζερο (ανδ νονσατυρατεδ) στεαδψ−στατε ϖαλυε. Τηε λοωερ πανελ σηοωσ τηε ⇒ρινγ ρατε οφ α νευρον χορρεσπονδινγ το α ζερο χοµπονεντ οφ τηε ρεχαλλεδ µεµορψ παττερν. Τηισ γοεσ το 0. (Β) Ρεχαλλ οφ ονε οφ τηε στορεδ µεµ− ορψ παττερνσ. Τηε στορεδ παττερν ηαδ νονζερο ϖαλυεσ φορ υνιτσ 18 τηρουγη 31. Τηε ινιτιαλ στατε οφ τηε νετωορκ ωασ ρανδοµ, βυτ ωιτη α βιασ τοωαρδ τηισ παρτιχυλαρ πατ− τερν. Τηε ⇒ναλ στατε ισ σιµιλαρ το τηε µεµορψ παττερν. (Χ) Ρεχαλλ οφ ανοτηερ οφ τηε στορεδ µεµορψ παττερνσ. Τηε στορεδ παττερν ηαδ νονζερο ϖαλυεσ φορ εϖερψ φουρτη υνιτ. Τηε ινιτιαλ στατε οφ τηε νετωορκ ωασ αγαιν ρανδοµ, βυτ βιασεδ τοωαρδ τηισ παττερν. Τηε ⇒ναλ στατε ισ σιµιλαρ το τηε µεµορψ παττερν. Τηισ µοδελ υσεσ τηε µατριξ οφ εθυατιον 7.48 ωιτη α = 0.25 ανδ λ = 1.25, ανδ τηε αχτιϖατιον φυνχτιον Φ ( Ι ) = 150 Ηζ[τανη(( Ι + 20 Ηζ )/(150 Ηζ ))]+ .

7.5

Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

Ιν τηισ σεχτιον, ωε δισχυσσ µοδελσ ιν ωηιχη εξχιτατορψ ανδ ινηιβιτορψ νευ− ρονσ αρε δεσχριβεδ σεπαρατελψ βψ εθυατιονσ 7.12 ανδ 7.13. Τηεσε µοδελσ εξηιβιτ ριχηερ δψναµιχσ τηαν τηε σινγλε ποπυλατιον µοδελσ ωιτη σψµµετ− ριχ χουπλινγ µατριχεσ ωε ηαϖε αναλψζεδ υπ το τηισ ποιντ. Ιν µοδελσ ωιτη εξχιτατορψ ανδ ινηιβιτορψ συβποπυλατιονσ, τηε φυλλ σψναπτιχ ωειγητ µατριξ ισ νοτ σψµµετριχ, ανδ νετωορκ οσχιλλατιονσ χαν αρισε. Ωε βεγιν βψ αναλψζ− ινγ α µοδελ οφ ηοµογενεουσ χουπλεδ εξχιτατορψ ανδ ινηιβιτορψ ποπυλα− τιονσ. Ωε ιντροδυχε µετηοδσ φορ δετερµινινγ ωηετηερ τηισ µοδελ εξηιβιτσ χονσταντ ορ οσχιλλατορψ αχτιϖιτψ. Ωε τηεν πρεσεντ τωο νετωορκ µοδελσ ιν ωηιχη οσχιλλατιονσ αππεαρ. Τηε ⇒ρστ ισ α µοδελ οφ τηε ολφαχτορψ βυλβ, ανδ τηε σεχονδ δισπλαψσ σελεχτιϖε αµπλι⇒χατιον ιν αν οσχιλλατορψ µοδε.

266

Νετωορκ Μοδελσ

Ηοµογενεουσ Εξχιτατορψ ανδ Ινηιβιτορψ Ποπυλατιονσ Ασ αν ιλλυστρατιον οφ τηε δψναµιχσ οφ εξχιτατορψ−ινηιβιτορψ νετωορκ µοδ− ελσ, ωε αναλψζε α σιµπλε µοδελ ιν ωηιχη αλλ οφ τηε εξχιτατορψ νευρονσ αρε δεσχριβεδ βψ α σινγλε ⇒ρινγ ρατε, vΕ , ανδ αλλ οφ τηε ινηιβιτορψ νευρονσ αρε δεσχριβεδ βψ α σεχονδ ρατε, vΙ . Αλτηουγη ωε τηινκ οφ τηισ εξαµπλε ασ α µοδελ οφ ιντεραχτινγ νευροναλ ποπυλατιονσ, ιτ ισ χονστρυχτεδ ασ ιφ ιτ χον− σιστσ οφ ϕυστ τωο νευρονσ. Εθυατιονσ 7.12 ανδ 7.13, ωιτη τηρεσηολδ λινεαρ ρεσπονσε φυνχτιονσ, αρε υσεδ το δεσχριβε τηε τωο ⇒ρινγ ρατεσ, σο τηατ

τΕ

δv Ε = −vΕ + [ΜΕΕ vΕ + ΜΕΙ vΙ − γΕ ]+ δτ

(7.50)

τΙ

δv Ι = −vΙ + [ΜΙΙ vΙ + ΜΙΕ vΕ − γΙ ]+ . δτ

(7.51)

ανδ

Τηε σψναπτιχ ωειγητσ ΜΕΕ , ΜΙΕ , ΜΕΙ , ανδ ΜΙΙ αρε νυµβερσ ρατηερ τηαν µατριχεσ ιν τηισ µοδελ. Ιν τηε εξαµπλε ωε χονσιδερ, ωε σετ ΜΕΕ = 1.25, ΜΙΕ = 1, ΜΙΙ = 0, ΜΕΙ = −1, γΕ = −10 Ηζ, γΙ = 10 Ηζ, τΕ = 10 µσ, ανδ ωε ϖαρψ τηε ϖαλυε οφ τΙ . Τηε νεγατιϖε ϖαλυε οφ γΕ µεανσ τηατ τηισ παραµ− ετερ σερϖεσ ασ α σουρχε οφ χονσταντ βαχκγρουνδ αχτιϖιτψ ρατηερ τηαν ασ α τηρεσηολδ. Πηασε−Πλανε Μετηοδσ ανδ Σταβιλιτψ Αναλψσισ Τηε µοδελ οφ ιντεραχτινγ εξχιτατορψ ανδ ινηιβιτορψ ποπυλατιονσ γιϖεν βψ εθυατιονσ 7.50 ανδ 7.51 προϖιδεσ αν οππορτυνιτψ φορ υσ το ιλλυστρατε σοµε οφ τηε τεχηνιθυεσ υσεδ το στυδψ τηε δψναµιχσ οφ νονλινεαρ σψστεµσ. Τηισ µοδελ εξηιβιτσ βοτη ⇒ξεδ−ποιντ (χονσταντ vΕ ανδ vΙ ) ανδ οσχιλλατορψ αχτιϖ− ιτψ, δεπενδινγ ον τηε ϖαλυεσ οφ ιτσ παραµετερσ. Σταβιλιτψ αναλψσισ χαν βε υσεδ το δετερµινε τηε παραµετερ ϖαλυεσ ωηερε τρανσιτιονσ βετωεεν τηεσε τωο τψπεσ οφ αχτιϖιτψ τακε πλαχε.

πηασε πλανε

νυλλχλινε

Τηε ⇒ρινγ ρατεσ vΕ (τ ) ανδ vΙ (τ ) αρισινγ φροµ εθυατιονσ 7.50 ανδ 7.51 χαν βε δισπλαψεδ βψ πλοττινγ τηεµ ασ φυνχτιονσ οφ τιµε, ασ ιν ⇒γυρεσ 7.18Α ανδ 7.19Α. Ανοτηερ υσεφυλ ωαψ οφ δεπιχτινγ τηεσε ρεσυλτσ, ιλλυστρατεδ ιν ⇒γυρεσ 7.18Β ανδ 7.19Β, ισ το πλοτ παιρσ οφ ποιντσ (vΕ (τ ), vΙ (τ )) φορ α ρανγε οφ τ ϖαλυεσ. Ασ τηε ⇒ρινγ ρατεσ χηανγε, τηεσε ποιντσ τραχε ουτ α χυρϖε ορ τραϕεχτορψ ιν τηε vΕ −vΙ πλανε, ωηιχη ισ χαλλεδ τηε πηασε πλανε οφ τηε µοδελ. Πηασε−πλανε πλοτσ χαν βε υσεδ το γιϖε α γεοµετριχ πιχτυρε οφ τηε δψναµιχσ οφ α µοδελ. ςαλυεσ οφ vΕ ανδ vΙ φορ ωηιχη τηε ριγητ σιδε οφ ειτηερ εθυατιον 7.50 ορ εθυα− τιον 7.51 ϖανισηεσ αρε οφ παρτιχυλαρ ιντερεστ ιν πηασε−πλανε αναλψσισ. Σετσ οφ συχη ϖαλυεσ φορµ τωο χυρϖεσ ιν τηε πηασε πλανε κνοων ασ νυλλχλινεσ. Τηε νυλλχλινεσ φορ εθυατιονσ 7.50 ανδ 7.51 αρε τηε στραιγητ λινεσ δραων ιν ⇒γυρε 7.17Α. Τηε νυλλχλινεσ αρε ιµπορταντ βεχαυσε τηεψ διϖιδε τηε πηασε πλανε ιντο ρεγιονσ ωιτη οπποσιτε ⇓οω παττερνσ. Τηισ ισ βεχαυσε δvΕ /δτ ανδ

7.5

Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

A

267 B

ϖΙ (Ηζ)

20

δϖΕ /δτ = 0

15 10 5 0 0

10

20

30

40

ϖΕ (Ηζ)

50

60

20

40

60

80

100

τΙ (µσ)

-20 -40

Ιµ{λ}/2π (Ηζ)

δϖΙ /δτ = 0

25

Ρε{λ} (σ −1)

20

30

12 8 4 0 0

20

40

60

80

100

τΙ (µσ)

Φιγυρε 7.17 (Α) Νυλλχλινεσ, ⇓οω διρεχτιονσ, ανδ ⇒ξεδ ποιντ φορ τηε ⇒ρινγ−ρατε µοδελ οφ ιντεραχτινγ εξχιτατορψ ανδ ινηιβιτορψ νευρονσ. Τηε τωο στραιγητ λινεσ αρε τηε νυλλ− χλινεσ αλονγ ωηιχη δvΕ /δτ = 0 ορ δvΙ /δτ = 0. Τηε ⇒λλεδ χιρχλε ισ τηε ⇒ξεδ ποιντ οφ τηε µοδελ. Τηε ηοριζονταλ ανδ ϖερτιχαλ αρροωσ ινδιχατε τηε διρεχτιονσ τηατ vΕ (ηορι− ζονταλ αρροωσ) ανδ vΙ (ϖερτιχαλ αρροωσ) ⇓οω ιν διφφερεντ ρεγιονσ οφ τηε πηασε πλανε ρελατιϖε το τηε νυλλχλινεσ. (Β) Ρεαλ (υππερ πανελ) ανδ ιµαγιναρψ (λοωερ πανελ) παρτσ οφ τηε ειγενϖαλυε δετερµινινγ τηε σταβιλιτψ οφ τηε ⇒ξεδ ποιντ. Το τηε λεφτ οφ τηε ποιντ ωηερε τηε ιµαγιναρψ παρτ οφ τηε ειγενϖαλυε γοεσ το 0, βοτη ειγενϖαλυεσ αρε ρεαλ. Τηε ιµαγιναρψ παρτ ηασ βεεν διϖιδεδ βψ 2π το γιϖε τηε φρεθυενχψ οφ οσχιλλα− τιονσ νεαρ τηε ⇒ξεδ ποιντ.

δvΙ /δτ αρε ποσιτιϖε ον ονε σιδε οφ τηειρ νυλλχλινεσ ανδ νεγατιϖε ον τηε οτηερ, ασ τηε ρεαδερ χαν ϖεριφψ φροµ εθυατιονσ 7.50 ανδ 7.51 Αβοϖε τηε νυλλχλινε αλονγ ωηιχη δvΕ /δτ = 0, δvΕ /δτ < 0, ανδ βελοω ιτ δvΕ /δτ > 0. Σιµιλαρλψ, δvΙ /δτ > 0 το τηε ριγητ οφ τηε νυλλχλινε ωηερε δvΙ /δτ = 0, ανδ δvΙ /δτ < 0 το τηε λεφτ οφ ιτ. Τηισ δετερµινεσ τηε διρεχτιον οφ ⇓οω ιν τηε πηασε πλανε, ασ δε− νοτεδ βψ τηε ηοριζονταλ ανδ ϖερτιχαλ αρροωσ ιν ⇒γυρε 7.17Α. Φυρτηερµορε, τηε ρατε οφ ⇓οω τψπιχαλλψ σλοωσ ιφ τηε πηασε−πλανε τραϕεχτορψ αππροαχηεσ α νυλλχλινε. Ατ α ⇒ξεδ ποιντ οφ α δψναµιχ σψστεµ, τηε δψναµιχ ϖαριαβλεσ ρεµαιν ατ χον− σταντ ϖαλυεσ. Ιν τηε µοδελ βεινγ χονσιδερεδ, α ⇒ξεδ ποιντ οχχυρσ ωηεν τηε ⇒ρινγ ρατεσ vΕ ανδ vΙ τακε ϖαλυεσ τηατ µακε δvΕ /δτ = δvΙ /δτ = 0. Βεχαυσε α ⇒ξεδ ποιντ ρεθυιρεσ βοτη δεριϖατιϖεσ το ϖανιση, ιτ χαν οχχυρ ονλψ ατ αν ιντερσεχτιον οφ νυλλχλινεσ. Τηε µοδελ ωε αρε χονσιδερινγ ηασ α σινγλε ⇒ξεδ ποιντ (ατ vΕ = 26.67, vΙ = 16.67) δενοτεδ βψ τηε ⇒λλεδ χιρχλε ιν ⇒γυρε 7.17Α. Α ⇒ξεδ ποιντ προϖιδεσ α ποτεντιαλ στατιχ χον⇒γυρατιον φορ τηε σψστεµ, βυτ ιτ ισ χριτιχαλλψ ιµπορταντ ωηετηερ τηε ⇒ξεδ ποιντ ισ σταβλε ορ υνσταβλε. Ιφ α ⇒ξεδ ποιντ ισ σταβλε, ινιτιαλ ϖαλυεσ οφ vΕ ανδ vΙ νεαρ τηε ⇒ξεδ ποιντ ωιλλ βε δραων τοωαρδ ιτ οϖερ τιµε. Ιφ τηε ⇒ξεδ ποιντ ισ υνσταβλε, νεαρβψ χον⇒γυ− ρατιονσ αρε πυσηεδ αωαψ φροµ τηε ⇒ξεδ ποιντ, ανδ τηε σψστεµ ωιλλ ρεµαιν ατ τηε ⇒ξεδ ποιντ ινδε⇒νιτελψ ονλψ ιφ τηε ρατεσ αρε σετ ινιτιαλλψ το τηε ⇒ξεδ− ποιντ ϖαλυεσ ωιτη ιν⇒νιτε πρεχισιον. Λινεαρ σταβιλιτψ αναλψσισ χαν βε υσεδ το δετερµινε ωηετηερ α ⇒ξεδ ποιντ ισ σταβλε ορ υνσταβλε. Το δο τηισ ωε τακε δεριϖατιϖεσ οφ τηε εξπρεσσιονσ φορ δvΕ /δτ ανδ δvΙ /δτ οβταινεδ βψ διϖιδινγ τηε ριγητ σιδεσ οφ εθυατιονσ 7.50

268

Νετωορκ Μοδελσ

A

B 60 40 20 0

ϖΕ (Ηζ)

30

δϖΙ /δτ = 0

0

200

400

600

800

1000

τ (µσ)

ϖΙ (Ηζ)

25 20

δϖΕ /δτ = 0

15

40 30 20 10 0

ϖΙ (Ηζ)

10 5 0 0

200

400

600

τ (µσ)

800

1000

0

10

20

30

40

ϖΕ (Ηζ)

50

60

Φιγυρε 7.18 Αχτιϖιτψ οφ τηε εξχιτατορψ−ινηιβιτορψ ⇒ρινγ−ρατε µοδελ ωηεν τηε ⇒ξεδ ποιντ ισ σταβλε. (Α) Τηε εξχιτατορψ ανδ ινηιβιτορψ ⇒ρινγ ρατεσ σεττλε το τηε ⇒ξεδ ποιντ οϖερ τιµε. (Β) Τηε πηασε−πλανε τραϕεχτορψ ισ α χουντερχλοχκωισε σπιραλ χολλαπσινγ το τηε ⇒ξεδ ποιντ. Τηε οπεν χιρχλε µαρκσ τηε ινιτιαλ ϖαλυεσ vΕ (0 ) ανδ vΙ (0 ). Φορ τηισ εξαµπλε, τΙ = 30 µσ.

σταβιλιτψ µατριξ

ανδ 7.51 βψ τΕ ανδ τΙ ρεσπεχτιϖελψ. Ωε τηεν εϖαλυατεδ τηεσε δεριϖατιϖεσ ατ τηε ϖαλυεσ οφ vΕ ανδ vΙ τηατ χορρεσπονδ το τηε ⇒ξεδ ποιντ. Τηε φουρ χοµβινατιονσ οφ δεριϖατιϖεσ χοµπυτεδ ιν τηισ ωαψ χαν βε αρρανγεδ ιντο α µατριξ & % ( ΜΕΕ − 1 )/τΕ ΜΕΙ /τΕ . (7.52) ΜΙΕ /τΙ ( ΜΙΙ − 1 )/τΙ Ασ δισχυσσεδ ιν τηε Ματηεµατιχαλ Αππενδιξ, τηε σταβιλιτψ οφ τηε ⇒ξεδ ποιντ ισ δετερµινεδ βψ τηε ρεαλ παρτσ οφ τηε ειγενϖαλυεσ οφ τηισ µατριξ. Τηε ειγεν− ϖαλυεσ αρε γιϖεν βψ ⎞ ⎛ E % &2 1 ⎝ ΜΕΕ − 1 ΜΙΙ − 1 ΜΕΕ − 1 ΜΙΙ − 1 4ΜΕΙ ΜΙΕ ⎠ λ= + ± − + . 2 τΕ τΙ τΕ τΙ τΕ τΙ (7.53)

Ιφ τηε ρεαλ παρτσ οφ βοτη ειγενϖαλυεσ αρε λεσσ τηαν 0, τηε ⇒ξεδ ποιντ ισ στα− βλε, ωηερεασ ιφ ειτηερ ισ γρεατερ τηαν 0, τηε ⇒ξεδ ποιντ ισ υνσταβλε. Ιφ τηε φαχτορ υνδερ τηε ραδιχαλ σιγν ιν εθυατιον 7.53 ισ ποσιτιϖε, βοτη ειγενϖαλυεσ αρε ρεαλ, ανδ τηε βεηαϖιορ νεαρ τηε ⇒ξεδ ποιντ ισ εξπονεντιαλ. Τηισ µεανσ τηατ τηερε ισ εξπονεντιαλ µοϖεµεντ τοωαρδ τηε ⇒ξεδ ποιντ ιφ βοτη ειγεν− ϖαλυεσ αρε νεγατιϖε, ορ αωαψ φροµ τηε ⇒ξεδ ποιντ ιφ ειτηερ ειγενϖαλυε ισ ποσιτιϖε. Ωε φοχυσ ον τηε χασε ωηεν τηε φαχτορ υνδερ τηε ραδιχαλ σιγν ισ νεγατιϖε, σο τηατ τηε σθυαρε ροοτ ισ ιµαγιναρψ ανδ τηε ειγενϖαλυεσ φορµ α χοµπλεξ χονϕυγατε παιρ. Ιν τηισ χασε, τηε βεηαϖιορ νεαρ τηε ⇒ξεδ ποιντ ισ οσχιλλατορψ ανδ τηε τραϕεχτορψ ειτηερ σπιραλσ ιντο τηε ⇒ξεδ ποιντ, ιφ τηε ρεαλ παρτ οφ τηε ειγενϖαλυεσ ισ νεγατιϖε, ορ ουτ φροµ τηε ⇒ξεδ ποιντ ιφ τηε ρεαλ παρτ οφ τηε ειγενϖαλυεσ ισ ποσιτιϖε. Τηε ιµαγιναρψ παρτ οφ τηε ειγενϖαλυε δετερµινεσ τηε φρεθυενχψ οφ οσχιλλατιονσ νεαρ τηε ⇒ξεδ ποιντ. Τηε ρεαλ ανδ ιµαγιναρψ παρτσ οφ ονε οφ τηεσε ειγενϖαλυεσ αρε πλοττεδ ασ α φυνχτιον οφ τΙ

7.5

Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

A

269

B

ϖΕ (Ηζ)

60 40 20 0

30

0

200

400

600

800

1000

τ (µσ)

ϖΙ (Ηζ)

25 20 15

40 30 20 10 0

ϖΙ (Ηζ)

10

δϖΕ /δτ = 0

5

δϖΙ /δτ = 0

0 0

200

400

600

τ (µσ)

800

1000

0

10

20

30

40

ϖΕ (Ηζ)

50

60

Φιγυρε 7.19 Αχτιϖιτψ οφ τηε εξχιτατορψ−ινηιβιτορψ ⇒ρινγ−ρατε µοδελ ωηεν τηε ⇒ξεδ ποιντ ισ υνσταβλε. (Α) Τηε εξχιτατορψ ανδ ινηιβιτορψ ⇒ρινγ ρατεσ σεττλε ιντο περιοδιχ οσχιλλατιονσ. (Β) Τηε πηασε−πλανε τραϕεχτορψ ισ α χουντερχλοχκωισε σπιραλ τηατ ϕοινσ τηε λιµιτ χψχλε, ωηιχη ισ τηε χλοσεδ ορβιτ. Τηε οπεν χιρχλε µαρκσ τηε ινιτιαλ ϖαλυεσ vΕ (0 ) ανδ vΙ (0 ). Φορ τηισ εξαµπλε, τΙ = 50 µσ.

ιν ⇒γυρε 7.17Β. Τηισ ⇒γυρε ινδιχατεσ τηατ τηε ⇒ξεδ ποιντ ισ σταβλε ιφ τΙ < 40 µσ ανδ υνσταβλε φορ λαργερ ϖαλυεσ οφ τΙ . Φιγυρεσ 7.18 ανδ 7.19 σηοω εξαµπλεσ ιν ωηιχη τηε ⇒ξεδ ποιντ ισ σταβλε ανδ υνσταβλε, ρεσπεχτιϖελψ. Ιν ⇒γυρε 7.18Α, τηε οσχιλλατιονσ ιν vΕ ανδ vΙ αρε δαµπεδ, ανδ τηε ⇒ρινγ ρατεσ σεττλε δοων το τηε σταβλε ⇒ξεδ ποιντ. Τηε χορρεσπονδινγ πηασε−πλανε τραϕεχτορψ ισ α χολλαπσινγ σπιραλ (⇒γυρε 7.18Β). Ιν ⇒γυρε 7.19Α τηε οσχιλλατιονσ γροω, ανδ ιν ⇒γυρε 7.19Β τηε τραϕεχτορψ ισ α σπιραλ τηατ εξπανδσ ουτωαρδ υντιλ τηε σψστεµ εντερσ α λιµιτ χψχλε. Α λιµιτ χψχλε ισ α χλοσεδ ορβιτ ιν τηε πηασε πλανε ινδιχατινγ περιοδιχ βεηαϖιορ. Τηε ⇒ξεδ ποιντ ισ υνσταβλε ιν τηισ χασε, βυτ τηε λιµιτ χψχλε ισ σταβλε. Ωιτηουτ ρεχτι⇒χατιον, τηε πηασε−πλανε τραϕεχτορψ ωουλδ σπιραλ ουτ φροµ τηε υνσταβλε ⇒ξεδ ποιντ ινδε⇒νιτελψ. Τηε ρεχτι⇒χατιον νονλινεαριτψ πρεϖεντσ τηε σπιραλ τραϕεχτορψ φροµ εξπανδινγ παστ 0 ανδ τηερεβψ σταβιλιζεσ τηε λιµιτ χψχλε. Τηερε αρε α νυµβερ οφ ωαψσ τηατ α νονλινεαρ σψστεµ χαν µακε α τρανσι− τιον φροµ α σταβλε ⇒ξεδ ποιντ το α λιµιτ χψχλε. Συχη τρανσιτιονσ αρε χαλλεδ βιφυρχατιονσ. Τηε τρανσιτιον σεεν βετωεεν ⇒γυρεσ 7.18 ανδ 7.19 ισ α Ηοπφ βιφυρχατιον. Ιν τηισ χασε, α ⇒ξεδ ποιντ βεχοµεσ υνσταβλε ασ α παραµετερ ισ χηανγεδ (ιν τηισ χασε τΙ ) ωηεν τηε ρεαλ παρτ οφ α χοµπλεξ ειγενϖαλυε χηανγεσ σιγν. Ιν α Ηοπφ βιφυρχατιον, τηε λιµιτ χψχλε εµεργεσ ατ α ⇒νιτε φρε− θυενχψ, ωηιχη ισ σιµιλαρ το τηε βεηαϖιορ οφ α τψπε ΙΙ νευρον ωηεν ιτ σταρτσ ⇒ρινγ αχτιον ποτεντιαλσ, ασ δισχυσσεδ ιν χηαπτερ 6. Οτηερ τψπεσ οφ βιφυρχα− τιονσ προδυχε τψπε Ι βεηαϖιορ ωιτη οσχιλλατιονσ εµεργινγ ατ 0 φρεθυενχψ (χηαπτερ 6). Ονε εξαµπλε οφ τηισ ισ α σαδδλε−νοδε βιφυρχατιον, ωηιχη οχ− χυρσ ωηεν παραµετερσ αρε χηανγεδ συχη τηατ τωο ⇒ξεδ ποιντσ, ονε σταβλε ανδ ονε υνσταβλε, µεετ ατ τηε σαµε ποιντ ιν τηε πηασε πλανε.

λιµιτ χψχλε

Ηοπφ βιφυρχατιον

σαδδλε−νοδε βιφυρχατιον

270

Νετωορκ Μοδελσ

B

A

100 µσ

ϖΙ

granule cells

ϖΕ

mitral cells

ηΕ

receptor inputs

Φιγυρε 7.20 (Α) Εξτραχελλυλαρ ⇒ελδ ποτεντιαλ ρεχορδεδ ιν τηε ολφαχτορψ βυλβ δυρ− ινγ ρεσπιρατορψ ωαϖεσ ρεπρεσεντινγ τηρεε συχχεσσιϖε σνιφφσ. (Β) Σχηεµατιχ διαγραµ οφ τηε ολφαχτορψ βυλβ µοδελ. (Α αδαπτεδ φροµ Φρεεµαν ανδ Σχηνειδερ, 1982; Β αδαπτεδ φροµ Λι, 1995.)

Τηε Ολφαχτορψ Βυλβ

µιτραλ χελλσ τυφτεδ χελλσ γρανυλε χελλσ

Τηε ολφαχτορψ βυλβ, ανδ αναλογουσ ολφαχτορψ αρεασ ιν ινσεχτσ, προϖιδε εξ− αµπλεσ οφ σενσορψ προχεσσινγ ινϖολϖινγ οσχιλλατορψ αχτιϖιτψ. Τηε ολφαχτορψ βυλβ ρεπρεσεντσ τηε ⇒ρστ σταγε οφ προχεσσινγ βεψονδ τηε ολφαχτορψ ρεχεπτορσ ιν τηε ϖερτεβρατε ολφαχτορψ σψστεµ. Ολφαχτορψ ρεχεπτορ νευρονσ ρεσπονδ το οδορ µολεχυλεσ ανδ σενδ τηειρ αξονσ το τηε ολφαχτορψ βυλβ. Τηεσε αξονσ τερµινατε ιν γλοµερυλι ωηερε τηεψ σψναπσε οντο µιτραλ ανδ τυφτεδ χελλσ, ασ ωελλ ασ λοχαλ ιντερνευρονσ. Τηε µιτραλ ανδ τυφτεδ χελλσ προϖιδε τηε ουτπυτ οφ τηε ολφαχτορψ βυλβ βψ σενδινγ προϕεχτιονσ το τηε πριµαρψ ολφαχτορψ χορ− τεξ. Τηεψ αλσο σψναπσε οντο τηε λαργερ ποπυλατιον οφ ινηιβιτορψ γρανυλε χελλσ. Τηε γρανυλε χελλσ ιν τυρν ινηιβιτ τηε µιτραλ ανδ τυφτεδ χελλσ. Τηε αχτιϖιτψ ιν τηε ολφαχτορψ βυλβ οφ µανψ ϖερτεβρατεσ ισ στρονγλψ ιν⇓υ− ενχεδ βψ α σνιφφ χψχλε ιν ωηιχη α φεω θυιχκ σνιφφσ βρινγ οδορσ παστ τηε ολ− φαχτορψ ρεχεπτορσ. Φιγυρε 7.20Α σηοωσ αν εξτραχελλυλαρ ποτεντιαλ ρεχορδεδ δυρινγ τηρεε συχχεσσιϖε σνιφφσ. Τηε τηρεε λαργε οσχιλλατιονσ ιν τηε ⇒γυρε αρε δυε το τηε σνιφφσ. Τηε οσχιλλατιονσ ωε δισχυσσ ιν τηισ σεχτιον αρε τηε σµαλλερ, ηιγηερ−φρεθυενχψ οσχιλλατιονσ σεεν αρουνδ τηε πεακ οφ εαχη σνιφφ χψχλε. Τηεσε αρισε φροµ οσχιλλατορψ νευραλ αχτιϖιτψ. Ινδιϖιδυαλ µιτραλ χελλσ ηαϖε θυιτε λοω ⇒ρινγ ρατεσ, ανδ δο νοτ ⇒ρε ον εαχη χψχλε οφ τηε οσχιλλατιονσ. Τηε οσχιλλατιονσ αρε πηασε−λοχκεδ αχροσσ τηε βυλβ, ιν τηατ διφφερεντ νευρονσ ⇒ρε ατ ⇒ξεδ πηασε λαγσ φροµ εαχη οτηερ, βυτ διφφερεντ οδορσ ινδυχε οσχιλλα− τιονσ οφ διφφερεντ αµπλιτυδεσ ανδ πηασεσ. Λι ανδ Ηοπ⇒ελδ (1989) µοδελεδ τηε µιτραλ ανδ γρανυλε χελλσ οφ τηε ολ− φαχτορψ βυλβ ασ α νονλινεαρ ινπυτ−δριϖεν νετωορκ οσχιλλατορ. Φιγυρε 7.20Β σηοωσ τηε αρχηιτεχτυρε οφ τηε µοδελ, ωηιχη υσεσ εθυατιονσ 7.12 ανδ 7.13 ωιτη ΜΕΕ = ΜΙΙ = 0. Τηε αβσενχε οφ τηεσε χουπλινγσ ιν τηε µοδελ ισ ιν αχ− χορδ ωιτη τηε ανατοµψ οφ τηε βυλβ. Τηε ρατεσ ϖΕ ανδ ϖΙ ρεφερ το τηε µιτραλ ανδ γρανυλε χελλσ, ρεσπεχτιϖελψ. Φιγυρε 7.21Α σηοωσ τηε αχτιϖατιον φυνχ− τιονσ οφ τηε µοδελ. Τηε τιµε χονσταντσ φορ τηε τωο ποπυλατιονσ οφ χελλσ αρε τηε σαµε, τΕ = τΙ = 6.7 µσ. ηΕ ισ τηε ινπυτ φροµ τηε ρεχεπτορσ το τηε µιτραλ

Εξχιτατορψ−Ινηιβιτορψ Νετωορκσ

A

B granule 150 100

mitral

100

1.2

Ρε{λ} (σ −1)

Φ (Ηζ)

200

271

1

50

50 0

0

2

4

input

6

8

0.8 0

200

Ιµ{λ} /2π (Ηζ)

7.5

0 400

τ (µσ)

Φιγυρε 7.21 Αχτιϖατιον φυνχτιονσ ανδ ειγενϖαλυεσ φορ τηε ολφαχτορψ βυλβ µοδελ. (Α) Τηε αχτιϖατιον φυνχτιονσ ΦΕ (σολιδ χυρϖε) φορ τηε µιτραλ χελλσ, ανδ ΦΙ (δασηεδ χυρϖε) φορ τηε γρανυλε χελλσ. (Β) Τηε ρεαλ (σολιδ λινε, λεφτ αξισ) ανδ ιµαγιναρψ (δασηεδ λινε, ριγητ αξισ) παρτσ οφ τηε ειγενϖαλυε τηατ δετερµινεσ ωηετηερ τηε νετωορκ µοδελ εξηιβιτσ ⇒ξεδ−ποιντ ορ οσχιλλατορψ βεηαϖιορ. Τηεσε αρε πλοττεδ ασ α φυνχτιον οφ τιµε δυρινγ α σνιφφ χψχλε. Ωηεν τηε ρεαλ παρτ οφ τηε ειγενϖαλυε βεχοµεσ γρεατερ τηαν 1, ιτ δετερµινεσ τηε γροωτη ρατε αωαψ φροµ τηε ⇒ξεδ ποιντ, ανδ τηε ιµαγιναρψ παρτ διϖιδεδ βψ 2π δετερµινεσ τηε ινιτιαλ φρεθυενχψ οφ τηε ρεσυλτινγ οσχιλλατιονσ. (Αδαπτεδ φροµ Λι, 1995.)

χελλσ, ανδ ηΙ ισ α χονσταντ ρεπρεσεντινγ τοπ−δοων ινπυτ τηατ εξιστσ φροµ τηε ολφαχτορψ χορτεξ το τηε γρανυλε χελλσ. Τηε ⇒ελδ ποτεντιαλ ιν ⇒γυρε 7.20Α σηοωσ οσχιλλατιονσ δυρινγ εαχη σνιφφ, βυτ νοτ βετωεεν σνιφφσ. Φορ τηε µοδελ το µατχη τηισ παττερν οφ αχτιϖιτψ, τηε ινπυτ φροµ τηε ολφαχτορψ ρεχεπτορσ, ηΕ , µυστ ινδυχε α τρανσιτιον βετωεεν ⇒ξεδ−ποιντ ανδ οσχιλλατορψ αχτιϖιτψ. Βεφορε α σνιφφ, τηε νετωορκ µυστ ηαϖε α σταβλε ⇒ξεδ ποιντ ωιτη λοω αχτιϖιτιεσ. Ασ ηΕ ινχρεασεσ δυρινγ α σνιφφ, τηισ στεαδψ−στατε χον⇒γυρατιον µυστ βεχοµε υνσταβλε, λεαδινγ το οσχιλλατορψ αχ− τιϖιτψ. Τηε αναλψσισ οφ τηε σταβιλιτψ οφ τηε ⇒ξεδ ποιντ ανδ τηε ονσετ οφ οσχιλ− λατιονσ ισ χλοσελψ ρελατεδ το ουρ πρεϖιουσ σταβιλιτψ αναλψσισ οφ τηε µοδελ οφ ηοµογενεουσ ποπυλατιονσ οφ χουπλεδ εξχιτατορψ ανδ ινηιβιτορψ νευρονσ. Ιτ ισ βασεδ ον προπερτιεσ οφ τηε ειγενϖαλυεσ οφ τηε λινεαρ σταβιλιτψ µατριξ (σεε τηε Ματηεµατιχαλ Αππενδιξ). Ιν τηισ χασε, τηε σταβιλιτψ µατριξ ινχλυδεσ χοντριβυτιονσ φροµ τηε δεριϖατιϖεσ οφ τηε αχτιϖατιον φυνχτιονσ εϖαλυατεδ ατ τηε ⇒ξεδ ποιντ. Φορ τηε ⇒ξεδ ποιντ το βεχοµε υνσταβλε, τηε ρεαλ παρτ οφ ατ λεαστ ονε οφ τηε ειγενϖαλυεσ τηατ αρισε ιν τηισ αναλψσισ µυστ βεχοµε λαργερ τηαν 1. Το ενσυρε οσχιλλατιονσ, ατ λεαστ ονε οφ τηεσε δεσταβιλιζινγ ειγενϖαλ− υεσ σηουλδ ηαϖε α νονζερο ιµαγιναρψ παρτ. Τηεσε ρεθυιρεµεντσ ιµποσε χονστραιντσ ον τηε χοννεχτιονσ βετωεεν τηε µιτραλ ανδ γρανυλε χελλσ ανδ ον τηε ινπυτσ. Φιγυρε 7.21Β σηοωσ τηε ρεαλ ανδ ιµαγιναρψ παρτσ οφ τηε ρελεϖαντ ειγεν− ϖαλυε, λαβελεδ λ, δυρινγ ονε σνιφφ χψχλε. Αβουτ 100 µσ ιντο τηε χψχλε τηε ρεαλ παρτ οφ λ γετσ βιγγερ τηαν 1. Ρεαδινγ οφφ τηε ιµαγιναρψ παρτ οφ λ ατ τηισ ποιντ, ωε ⇒νδ τηατ τηισ σετσ οφφ ρουγηλψ 40 Ηζ οσχιλλατιονσ ιν τηε νετ− ωορκ. Τηεσε οσχιλλατιονσ στοπ αβουτ 300 µσ ιντο τηε σνιφφ χψχλε ωηεν τηε ρεαλ παρτ οφ λ δροπσ βελοω 1. Τηε ινπυτ ηΕ φροµ τηε ρεχεπτορσ πλαψσ τωο χριτιχαλ ρολεσ ιν τηισ προχεσσ. Φιρστ, ιτ µακεσ τηε ειγενϖαλυε γρεατερ τηαν 1 βψ

272

Νετωορκ Μοδελσ odor 2

odor 1 5 Ηζ

mitral cells

15 Ηζ

400 µσ

granule cells

Φιγυρε 7.22 Αχτιϖιτιεσ οφ φουρ οφ τεν µιτραλ (υππερ) ανδ γρανυλε (λοωερ) χελλσ δυρινγ α σινγλε σνιφφ χψχλε φορ τωο διφφερεντ οδορσ. (Αδαπτεδ φροµ Λι ανδ Ηοπ⇒ελδ, 1989.)

µοδιφψινγ ωηερε τηε ⇒ξεδ ποιντ λιεσ ον τηε αχτιϖατιον φυνχτιον χυρϖεσ ιν ⇒γυρε 7.21Α. Σεχονδ, ιτ αφφεχτσ ωηιχη παρτιχυλαρ νευρονσ αρε δεσταβιλιζεδ, ανδ τηυσ ωηιχη βεγιν το οσχιλλατε. Τηε υλτιµατε παττερν οφ οσχιλλατορψ αχ− τιϖιτψ ισ δετερµινεδ βοτη βψ τηε ινπυτ ηΕ ανδ βψ τηε ρεχυρρεντ χουπλινγσ οφ τηε νετωορκ. Φιγυρε 7.22 σηοωσ τηε βεηαϖιορ οφ τηε νετωορκ δυρινγ α σινγλε σνιφφ χψχλε ιν τηε πρεσενχε οφ τωο διφφερεντ οδορσ, ρεπρεσεντεδ βψ τωο διφφερεντ ϖαλυεσ οφ ηΕ . Τηε τοπ ροωσ σηοω τηε αχτιϖιτψ οφ φουρ µιτραλ χελλσ, ανδ τηε βοττοµ ροωσ οφ φουρ γρανυλε χελλσ. Τηε αµπλιτυδεσ ανδ πηασεσ οφ τηε οσχιλλατιονσ σεεν ιν τηεσε τραχεσ, αλονγ ωιτη τηε ιδεντιτιεσ οφ τηε µιτραλ χελλσ τακινγ παρτ ιν τηεµ, προϖιδε α σιγνατυρε οφ τηε ιδεντιτψ οφ τηε οδορ τηατ ωασ πρεσεντεδ.

Οσχιλλατορψ Αµπλι⇒χατιον Ασ α ⇒ναλ εξαµπλε οφ νετωορκ οσχιλλατιονσ, ωε ρετυρν το αµπλι⇒χατιον οφ ινπυτ σιγναλσ βψ α ρεχυρρεντλψ χοννεχτεδ νετωορκ. Τωο φαχτορσ χοντρολ τηε αµουντ οφ σελεχτιϖε αµπλι⇒χατιον τηατ ισ ϖιαβλε ιν νετωορκσ συχη ασ τηατ σηοων ιν ⇒γυρε 7.9. Τηε µοστ ιµπορταντ χονστραιντ ον τηε ρεχυρρεντ ωειγητσ ισ τηατ τηε νετωορκ µυστ βε σταβλε, σο τηε αχτιϖιτψ δοεσ νοτ ινχρεασε ωιτηουτ βουνδ. Ανοτηερ ποσσιβλε χονστραιντ ισ συγγεστεδ βψ ⇒γυρε 7.14∆, ωηερε τηε ουτπυτ σηοωσ α τυνεδ ρεσπονσε εϖεν τηουγη τηε ινπυτ το τηε νετ− ωορκ ισ χονσταντ ασ α φυνχτιον οφ θ. Τυνεδ ουτπυτ ιν τηε αβσενχε οφ τυνεδ ινπυτ χαν σερϖε ασ α µεµορψ µεχηανισµ, βυτ ιτ ωιλλ προδυχε περσιστεντ περχεπτιονσ ιφ ιτ οχχυρσ ιν α πριµαρψ σενσορψ αρεα, φορ εξαµπλε. Αϖοιδινγ τηισ ιν τηε νετωορκ λιµιτσ τηε ρεχυρρεντ ωειγητσ ανδ τηε αµουντ οφ αµπλι− ⇒χατιον τηατ χαν βε συππορτεδ. Λι ανδ ∆αψαν (1999) σηοωεδ τηατ τηισ ρεστριχτιον χαν βε σιγνι⇒χαντλψ εασεδ υσινγ τηε ριχηερ δψναµιχσ οφ νετωορκσ οφ χουπλεδ ινηιβιτορψ ανδ εξχιτα− τορψ νευρονσ. Φιγυρε 7.23 σηοωσ αν εξαµπλε ωιτη χοντινυουσ νευρον λα− βελινγ βασεδ ον α χοντινυουσ ϖερσιον οφ εθυατιονσ 7.12 ανδ 7.13. Τηε ινπυτ ισ ηΕ (θ) = 8 + 5 χοσ(2θ) ιν τηε µοδυλατεδ χασε (⇒γυρε 7.23Β) ορ ηΕ (θ) = 8 ιν τηε υνµοδυλατεδ χασε (⇒γυρε 7.23Χ). Νοισε ωιτη στανδαρδ δεϖιατιον 0.4 χορρυπτσ τηισ ινπυτ. Τηε ινπυτ το τηε νετωορκ ισ χονσταντ ιν τιµε.

7.6

Στοχηαστιχ Νετωορκσ

273 B

A average ϖ (Ηζ)

200

100 50 0 -90

1000

800

800

600

600

400

400

200

200

ϖ (Ηζ)

150

C 1000

-45

0

θ (δεγ)

45

90

0 0

250

time (µσ)

500

0

0

250

time (µσ)

500

Φιγυρε 7.23 Σελεχτιϖε αµπλι⇒χατιον ιν αν εξχιτατορψ−ινηιβιτορψ νετωορκ. (Α) Τιµε− αϖεραγεδ ρεσπονσε οφ τηε νετωορκ το α τυνεδ ινπυτ ωιτη - = 0◦ (σολιδ χυρϖε) ανδ το αν υντυνεδ ινπυτ (δασηεδ χυρϖε). Σψµβολσ mοn ανδ mξn µαρκ τηε 0◦ ανδ −37◦ ποιντσ σεεν ιν Β ανδ Χ. (Β) Αχτιϖιτιεσ οϖερ τιµε οφ νευρονσ ωιτη πρεφερρεδ ανγλεσ οφ θ = 0◦ (σολιδ χυρϖε) ανδ θ = −37◦ (δασηεδ χυρϖε) ιν ρεσπονσε το α µοδυλατεδ ινπυτ ωιτη - = 0◦ . (Χ) Αχτιϖιτιεσ οφ τηε σαµε υνιτσ σηοων ιν Β το α χονσταντ ινπυτ. Τηε λινεσ λιε ον τοπ οφ εαχη οτηερ, σηοωινγ τηατ τηε τωο υνιτσ ρεσπονδ ιδεντιχαλλψ. Τηε παραµετερσ αρε τΕ = τΙ = 10 µσ, ηΙ = 0, ΜΕΙ = −δ(θ − θ ′ )/ρθ , ΜΕΕ = (1/πρθ )[5.9 + 7.8 χοσ(2(θ − θ ′ ))]+ , ΜΙΕ = 13.3/πρθ , ανδ ΜΙΙ = 0. (Αφτερ Λι ανδ ∆αψαν, 1999.)

Τηε νετωορκ οσχιλλατεσ ιν ρεσπονσε το ειτηερ χονσταντ ορ τυνεδ ινπυτ. Φιγ− υρε 7.23Α σηοωσ τηε τιµε αϖεραγε οφ τηε οσχιλλατινγ αχτιϖιτιεσ οφ τηε νευρονσ ιν τηε νετωορκ ασ α φυνχτιον οφ τηειρ πρεφερρεδ ανγλεσ φορ νοισψ τυνεδ (σολιδ χυρϖε) ανδ υντυνεδ (δασηεδ χυρϖε) ινπυτσ. Νευρονσ ρεσπονδ το τηε τυνεδ ινπυτ ιν α ηιγηλψ τυνεδ ανδ αµπλι⇒εδ µαννερ. ∆εσπιτε τηε ηιγη δεγρεε οφ αµπλι⇒χατιον, τηε αϖεραγε ρεσπονσε οφ τηε νευρονσ το υντυνεδ ινπυτ ισ αλµοστ ινδεπενδεντ οφ θ. Φιγυρεσ 7.23Β ανδ 7.23Χ σηοω τηε αχτιϖιτιεσ οφ ινδιϖιδυαλ νευρονσ ωιτη θ = 0◦ (mοn) ανδ θ = −37◦ (mξn) οϖερ τιµε φορ τηε τυνεδ ανδ υντυνεδ ινπυτσ ρεσπεχτιϖελψ. Τηε νετωορκ δοεσ νοτ προδυχε περσιστεντ περχεπτιον, βεχαυσε τηε ουτπυτ το αν υντυνεδ ινπυτ ισ ιτσελφ υν− τυνεδ. Ιν χοντραστ, α νονοσχιλλατορψ ϖερσιον οφ τηισ νετωορκ, ωιτη τΙ = 0, εξηιβιτσ τυνεδ συσταινεδ αχτιϖιτψ ιν ρεσπονσε το αν υντυνεδ ινπυτ φορ ρε− χυρρεντ ωειγητσ τηισ στρονγ. Τηε οσχιλλατορψ νετωορκ χαν τηυσ οπερατε ιν α ρεγιµε οφ ηιγη σελεχτιϖε αµπλι⇒χατιον ωιτηουτ γενερατινγ σπυριουσ τυνεδ αχτιϖιτψ.

7.6

Στοχηαστιχ Νετωορκσ

Υπ το τηισ ποιντ, ωε ηαϖε χονσιδερεδ µοδελσ ιν ωηιχη τηε ουτπυτ οφ α χελλ ισ α δετερµινιστιχ φυνχτιον οφ ιτσ ινπυτ. Ιν τηισ σεχτιον, ωε ιντροδυχε α νετ− ωορκ µοδελ χαλλεδ τηε Βολτζµανν µαχηινε, φορ ωηιχη τηε ινπυτ−ουτπυτ ρελατιονσηιπ ισ στοχηαστιχ. Βολτζµανν µαχηινεσ αρε ιντερεστινγ φροµ τηε περσπεχτιϖε οφ λεαρνινγ, ανδ αλσο βεχαυσε τηεψ οφφερ αν αλτερνατιϖε ιντερ− πρετατιον οφ τηε δψναµιχσ οφ νετωορκ µοδελσ. Ιν τηε σιµπλεστ φορµ οφ Βολτζµανν µαχηινε, τηε νευρονσ αρε τρεατεδ ασ βιναρψ, σο vα (τ ) = 1 ιφ υνιτ α ισ αχτιϖε ατ τιµε τ (ε.γ., ιτ ⇒ρεσ α σπικε βετωεεν τιµεσ τ ανδ τ + %τ φορ σοµε σµαλλ ϖαλυε οφ %τ), ανδ vα (τ ) = 0 ιφ ιτ ισ ιναχτιϖε.

Βολτζµανν µαχηινε

274

Νετωορκ Μοδελσ

Τηε στατε οφ υνιτ α ισ δετερµινεδ βψ ιτσ τοταλ ινπυτ χυρρεντ, Ια (τ ) = ηα (τ ) +

Νv !

Μαα′ vα′ (τ ) ,

(7.54)

α′ =1

ωηερε Μαα′ = Μα′ α ανδ Μαα = 0 φορ αλλ α ανδ α′ , ανδ ηα ισ τηε τοταλ φεεδφορ− ωαρδ ινπυτ ιντο υνιτ α. Ιν τηε µοδελ, υνιτσ αρε περµιττεδ το χηανγε στατε ονλψ ατ ιντεγραλ µυλτιπλεσ οφ %τ. Ατ εαχη τιµε στεπ, α σινγλε υνιτ ισ σελεχτεδ, υσυαλλψ ατ ρανδοµ, το βε υπδατεδ. Τηισ υπδατε ισ βασεδ ον α προβαβιλιστιχ ρατηερ τηαν α δετερµινιστιχ ρυλε. Ιφ υνιτ α ισ σελεχτεδ, ιτσ στατε ατ τηε νεξτ τιµε στεπ ισ σετ στοχηαστιχαλλψ το 1 ωιτη προβαβιλιτψ Π[vα (τ + %τ ) = 1] = Φ ( Ια (τ )) ,

ωιτη

Φ ( Ια ) =

1 . 1 + εξπ(− Ια )

(7.55)

Ιτ φολλοωσ τηατ Π[vα (τ + %τ ) = 0] = 1 − Φ ( Ια (τ )). Φ ισ α σιγµοιδαλ φυνχτιον, ωηιχη ηασ τηε προπερτψ τηατ τηε λαργερ τηε ϖαλυε οφ Ια , τηε µορε λικελψ υνιτ α ισ το τακε τηε ϖαλυε 1.

Γλαυβερ δψναµιχσ

Υνδερ εθυατιον 7.55, τηε στατε οφ αχτιϖιτψ οφ τηε νετωορκ εϖολϖεσ ασ α Μαρκοϖ χηαιν. Τηισ µεανσ τηατ τηε χοµπονεντσ οφ ϖ ατ διφφερεντ τιµεσ αρε σεθυενχεσ οφ ρανδοµ ϖαριαβλεσ ωιτη τηε προπερτψ τηατ ϖ(τ + %τ ) δεπενδσ ονλψ ον ϖ(τ ), ανδ νοτ ον τηε πρεϖιουσ ηιστορψ οφ τηε νετωορκ. Εθυατιον 7.55 ιµπλεµεντσ ωηατ ισ κνοων ασ Γλαυβερ δψναµιχσ.

ενεργψ φυνχτιον

Αν αδϖανταγε οφ υσινγ Γλαυβερ δψναµιχσ το δε⇒νε τηε εϖολυτιον οφ α νετ− ωορκ µοδελ ισ τηατ γενεραλ ρεσυλτσ φροµ στατιστιχαλ µεχηανιχσ χαν βε υσεδ το δετερµινε τηε εθυιλιβριυµ διστριβυτιον οφ αχτιϖιτιεσ. Υνδερ Γλαυβερ δψ− ναµιχσ, ϖ δοεσ νοτ χονϖεργε το α ⇒ξεδ ποιντ, βυτ χαν βε δεσχριβεδ βψ α προβαβιλιτψ διστριβυτιον ασσοχιατεδ ωιτη αν ενεργψ φυνχτιον

Μαρκοϖ χηαιν

1 Ε (ϖ ) = −η · ϖ − ϖ · Μ · ϖ . 2

(7.56)

Τηε προβαβιλιτψ διστριβυτιον χηαραχτεριζινγ ϖ, ονχε τηε νετωορκ ηασ χον− ϖεργεδ το αν εθυιλιβριυµ στατε, ισ Π[ϖ] =

εξπ(− Ε (ϖ )) Ζ

ωηερε

Ζ=

!

εξπ(− Ε (ϖ )) .

(7.57)

ϖ

Γιββσ σαµπλινγ

Τηε νοτιον οφ χονϖεργενχε ασ τ → ∞ χαν βε φορµαλιζεδ πρεχισελψ, βυτ ιν− φορµαλλψ ιτ µεανσ τηατ αφτερ ρεπεατεδ υπδατινγ αχχορδινγ το εθυατιον 7.55, τηε στατεσ οφ τηε νετωορκ αρε δεσχριβεδ στατιστιχαλλψ βψ εθυατιον 7.57. Ζ ισ χαλλεδ τηε παρτιτιον φυνχτιον ανδ Π[ϖ], τηε Βολτζµανν διστριβυτιον. Υν− δερ τηε Βολτζµανν διστριβυτιον, στατεσ ωιτη λοωερ ενεργιεσ αρε µορε λικελψ. Ιν τηισ χασε, Γλαυβερ δψναµιχσ ιµπλεµεντσ α στατιστιχαλ οπερατιον χαλλεδ Γιββσ σαµπλινγ φορ τηε διστριβυτιον γιϖεν ιν εθυατιον 7.57. Φροµ νοω ον, ωε ρεφερ το τηε υπδατε προχεδυρε δεσχριβεδ βψ εθυατιον 7.55 ασ Γιββσ σαµ− πλινγ.

µεαν−⇒ελδ αππροξιµατιον

Τηε Βολτζµανν µαχηινε ισ ινηερεντλψ στοχηαστιχ. Ηοωεϖερ, αν αππροξιµα− τιον το τηε Βολτζµανν µαχηινε, κνοων ασ τηε µεαν−⇒ελδ αππροξιµατιον,

παρτιτιον φυνχτιον Βολτζµανν διστριβυτιον

7.6

Στοχηαστιχ Νετωορκσ

275

χαν βε χονστρυχτεδ ον τηε βασισ οφ τηε δετερµινιστιχ σψναπτιχ χυρρεντ δψ− ναµιχσ οφ α ⇒ρινγ−ρατε µοδελ. Ιν τηισ χασε, Ι ισ δετερµινεδ βψ τηε δψναµιχ εθυατιον 7.39 ρατηερ τηαν βψ εθυατιον 7.54, ωιτη τηε φυνχτιον Φ ιν εθυα− τιον 7.39 σετ το τηε σαµε σιγµοιδαλ φυνχτιον ασ ιν εθυατιον 7.55. Τηε ουτ− πυτ vα ισ δετερµινεδ φροµ Ια ατ δισχρετε τιµεσ (ιντεγερ µυλτιπλεσ οφ %τ). Τηε ρυλε υσεδ φορ τηισ ισ νοτ τηε δετερµινιστιχ ρελατιονσηιπ vα = Φ ( Ια ) υσεδ ιν τηε ⇒ρινγ−ρατε ϖερσιον οφ τηε µοδελ. Ινστεαδ, vα ισ δετερµινεδ φροµ Ια στοχηαστιχαλλψ, βεινγ σετ το ειτηερ 1 ορ 0 ωιτη προβαβιλιτψ Φ ( Ια ) ορ 1 − Φ ( Ια ) ρεσπεχτιϖελψ. Τηυσ, αλτηουγη τηε µεαν−⇒ελδ φορµυλατιον φορ Ι ισ δετερµιν− ιστιχ, Ι ισ υσεδ το γενερατε α προβαβιλιτψ διστριβυτιον οϖερ α βιναρψ ουτπυτ ϖεχτορ ϖ. Βεχαυσε vα = 1 ηασ προβαβιλιτψ Φ ( Ια ) ανδ vα = 0 ηασ προβαβιλιτψ 1 − Φ ( Ια ), ανδ τηε υνιτσ αρε ινδεπενδεντ, τηε προβαβιλιτψ διστριβυτιον φορ τηε εντιρε ϖεχτορ ϖ ισ Θ[ϖ] =

Νv α=1

Φ ( Ια )vα (1 − Φ ( Ια ))1−vα .

(7.58)

Τηισ ισ χαλλεδ τηε µεαν−⇒ελδ διστριβυτιον φορ τηε Βολτζµανν µαχηινε. Νοτε τηατ τηισ διστριβυτιον (ανδ ινδεεδ ϖ ιτσελφ) πλαψσ νο ρολε ιν τηε δψναµιχσ οφ τηε µεαν−⇒ελδ φορµυλατιον οφ τηε Βολτζµανν µαχηινε. Ιτ ισ, ρατηερ, α ωαψ οφ ιντερπρετινγ τηε ουτπυτσ. Ωε ηαϖε πρεσεντεδ τωο φορµυλατιονσ οφ τηε Βολτζµανν µαχηινε, Γιββσ σαµπλινγ ανδ τηε µεαν−⇒ελδ αππροαχη, τηατ λεαδ το τηε τωο διστριβυτιονσ Π[ϖ] ανδ Θ[ϖ] (εθυατιονσ 7.57 ανδ 7.58). Τηε Λψαπυνοϖ φυνχτιον οφ εθυα− τιον 7.40, ωηιχη δεχρεασεσ στεαδιλψ υνδερ τηε δψναµιχσ οφ εθυατιον 7.39 υντιλ α ⇒ξεδ ποιντ ισ ρεαχηεδ, προϖιδεσ α κεψ ινσιγητ ιντο τηε ρελατιονσηιπ βετωεεν τηεσε τωο διστριβυτιονσ. Ιν τηε αππενδιξ το τηισ χηαπτερ, ωε σηοω τηατ τηισ Λψαπυνοϖ φυνχτιον χαν βε εξπρεσσεδ ασ Λ (Ι ) = ∆ΚΛ ( Θ, Π ) + Κ ,

(7.59)

ωηερε Κ ισ α χονσταντ, ανδ ∆ΚΛ ισ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε (σεε χηαπτερ 4). ∆ΚΛ ( Θ, Π ) ισ α µεασυρε οφ ηοω διφφερεντ τηε τωο διστριβυτιονσ Θ ανδ Π αρε φροµ εαχη οτηερ. Τηε φαχτ τηατ τηε δψναµιχσ οφ εθυατιον 7.39 ρεδυχεσ τηε Λψαπυνοϖ φυνχτιον το α µινιµυµ ϖαλυε µεανσ τηατ ιτ αλσο ρεδυχεσ τηε διφφερενχε βετωεεν Θ ανδ Π, ασ µεασυρεδ βψ τηε Κυλλβαχκ− Λειβλερ διϖεργενχε. Τηισ οφφερσ αν ιντερεστινγ ιντερπρετατιον οφ τηε µεαν− ⇒ελδ δψναµιχσ; ιτ µοδι⇒εσ τηε χυρρεντ ϖαλυε οφ τηε ϖεχτορ Ι υντιλ τηε διστρι− βυτιον οφ βιναρψ ουτπυτ ϖαλυεσ γενερατεδ βψ τηε µεαν−⇒ελδ φορµυλατιον οφ τηε Βολτζµανν µαχηινε µατχηεσ ασ χλοσελψ ασ ποσσιβλε (⇒νδινγ ατ λεαστ α λο− χαλ µινιµυµ οφ ∆ΚΛ ( Θ, Π )) τηε διστριβυτιον γενερατεδ βψ Γιββσ σαµπλινγ. Ιν τηισ ωαψ, τηε µεαν−⇒ελδ προχεδυρε χαν βε ϖιεωεδ ασ αν αππροξιµατιον οφ Γιββσ σαµπλινγ. Τηε ποωερ οφ τηε Βολτζµανν µαχηινε λιεσ ιν τηε ρελατιονσηιπ βετωεεν τηε διστριβυτιον οφ ουτπυτ ϖαλυεσ, εθυατιον 7.57, ανδ τηε θυαδρατιχ ενεργψ φυνχτιον οφ εθυατιον 7.56. Τηισ µακεσ ιτ ισ ποσσιβλε το δετερµινε ηοω χηανγινγ τηε ωειγητσ Μ αφφεχτσ τηε διστριβυτιον οφ ουτπυτ στατεσ. Ιν χηαπ− τερ 8, ωε πρεσεντ α λεαρνινγ ρυλε φορ τηε ωειγητσ οφ τηε Βολτζµανν µαχηινε τηατ αλλοωσ Π[ϖ] το αππροξιµατε α προβαβιλιτψ διστριβυτιον εξτραχτεδ φροµ

µεαν−⇒ελδ διστριβυτιον

276

Νετωορκ Μοδελσ

α σετ οφ ινπυτσ. Ιν χηαπτερ 10, ωε στυδψ οτηερ µοδελσ τηατ χονστρυχτ ουτπυτ διστριβυτιονσ ιν τηισ ωαψ. Νοτε τηατ τηε µεαν−⇒ελδ διστριβυτιον Θ[ϖ] ισ σιµπλερ τηαν τηε φυλλ Βολτζ− µανν διστριβυτιον Π[ϖ] βεχαυσε τηε υνιτσ αρε στατιστιχαλλψ ινδεπενδεντ. Τηισ πρεϖεντσ Θ[ϖ] φροµ προϖιδινγ α γοοδ αππροξιµατιον ιν σοµε χασεσ, παρτιχυλαρλψ ιφ τηερε αρε νεγατιϖε ωειγητσ βετωεεν υνιτσ τηατ τενδ το µακε τηειρ αχτιϖιτιεσ µυτυαλλψ εξχλυσιϖε. Τηε µεαν−⇒ελδ αναλψσισ οφ τηε Βολτζ− µανν µαχηινε ιλλυστρατεσ τηε λιµιτατιονσ οφ ρατε−βασεδ δεσχριπτιονσ ιν χαπ− τυρινγ τηε φυλλ εξτεντ οφ τηε χορρελατιονσ τηατ χαν εξιστ βετωεεν σπικινγ νευρονσ.

7.7

Χηαπτερ Συµµαρψ

Τηε µοδελσ ιν τηισ χηαπτερ µαρκ τηε σταρτ οφ ουρ δισχυσσιον οφ χοµπυτα− τιον, ασ οπποσεδ το χοδινγ. Υσινγ α δεσχριπτιον οφ τηε ⇒ρινγ ρατεσ οφ νετ− ωορκ νευρονσ, ωε σηοωεδ ηοω το χονστρυχτ λινεαρ ανδ νονλινεαρ φεεδφορ− ωαρδ ανδ ρεχυρρεντ νετωορκσ τηατ τρανσφορµ ινφορµατιον φροµ ονε χοορδι− νατε σψστεµ το ανοτηερ, σελεχτιϖελψ αµπλιφψ ινπυτ σιγναλσ, ιντεγρατε ινπυτσ οϖερ εξτενδεδ περιοδσ οφ τιµε, σελεχτ βετωεεν χοµπετινγ ινπυτσ, συσταιν αχτιϖιτψ ιν τηε αβσενχε οφ ινπυτ, εξηιβιτ γαιν µοδυλατιον, αλλοω σιµπλε δε− χοδινγ ωιτη περφορµανχε νεαρ τηε Χραµ×ερ−Ραο βουνδ, ανδ αχτ ασ χοντεντ− αδδρεσσαβλε µεµοριεσ. Ωε υσεδ νετωορκ ρεσπονσεσ το α χοντινυουσ στιµ− υλυσ ϖαριαβλε ασ αν εξτενδεδ εξαµπλε. Τηισ λεδ το µοδελσ οφ σιµπλε ανδ χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ. Ωε δεσχριβεδ α µοδελ οφ τηε ολ− φαχτορψ βυλβ ασ αν εξαµπλε οφ α σψστεµ φορ ωηιχη χοµπυτατιον ινϖολϖεσ οσχιλλατιονσ αρισινγ φροµ ασψµµετριχ χουπλινγσ βετωεεν εξχιτατορψ ανδ ιν− ηιβιτορψ νευρονσ. Λινεαρ σταβιλιτψ αναλψσισ ωασ αππλιεδ το α σιµπλι⇒εδ ϖερ− σιον οφ τηισ µοδελ. Ωε αλσο χονσιδερεδ α στοχηαστιχ νετωορκ µοδελ χαλλεδ τηε Βολτζµανν µαχηινε.

7.8

Αππενδιξ

Λψαπυνοϖ Φυνχτιον φορ τηε Βολτζµανν Μαχηινε Ηερε, ωε σηοω τηατ τηε Λψαπυνοϖ φυνχτιον οφ εθυατιον 7.40 χαν βε ρεδυχεδ το εθυατιον 7.59 ωηεν αππλιεδ το τηε µεαν−⇒ελδ ϖερσιον οφ τηε Βολτζµανν µαχηινε. Ρεχαλλ, φροµ εθυατιον 7.40, τηατ '" ( Νv Νv Ια ! 1! ′ Λ (Ι ) = δζα ζα Φ ( ζα ) − ηα Φ ( Ια ) − Φ ( Ια ) Μαα′ Φ ( Ια′ ) . (7.60) 2 α′ =1 0 α=1

Ωηεν Φ ισ γιϖεν βψ τηε σιγµοιδαλ φυνχτιον οφ εθυατιον 7.55, " Ια δζα ζα Φ′ ( ζα ) = Φ ( Ια ) λν Φ ( Ια ) + (1 − Φ ( Ια )) λν(1 − Φ ( Ια )) + κ , 0

(7.61)

7.9

Αννοτατεδ Βιβλιογραπηψ

277

ωηερε κ ισ α χονσταντ, ασ χαν βε ϖερι⇒εδ βψ διφφερεντιατινγ τηε ριγητ σιδε. Τηε νονχονσταντ παρτ οφ τηε ριγητ σιδε οφ τηισ εθυατιον ισ ϕυστ (µινυσ) τηε εντροπψ ασσοχιατεδ ωιτη τηε βιναρψ ϖαριαβλε vα . Ιν φαχτ, Νv " ! α=1

Ια 0

δζα ζα Φ′ ( ζα ) = ⟨λν Θ[ϖ]⟩ Θ + Νv κ ,

(7.62)

ωηερε τηε αϖεραγε ισ οϖερ αλλ ϖαλυεσ οφ ϖ ωειγητεδ βψ τηειρ προβαβιλιτιεσ Θ[ϖ]. Το εϖαλυατε τηε ρεµαινινγ τερµσ ιν εθυατιον 7.60, ωε νοτε τηατ βεχαυσε τηε χοµπονεντσ οφ ϖ αρε βιναρψ ανδ ινδεπενδεντ φορ τηε Βολτζµανν µαχηινε, ρελατιονσ συχη ασ ⟨vα ⟩ Θ = Φ ( Ια ) ανδ ⟨vα vβ ⟩ Θ = Φ ( Ια ) Φ ( Ιβ ) (φορ α ̸= β) αρε ϖαλιδ. Τηεν, υσινγ εθυατιον 7.56, ωε ⇒νδ ' ( Νv Νv ! 1! −ηα Φ ( Ια ) − Φ ( Ια ) Μαα′ Φ ( Ια′ ) = ⟨ Ε (ϖ )⟩ Θ . (7.63) 2 α′ =1 α=1 Σιµιλαρλψ, φροµ εθυατιον 7.57, ωε χαν σηοω τηατ

⟨λν Π[ϖ]⟩Θ = ⟨− Ε (ϖ )⟩Θ − λν Ζ .

(7.64)

Χοµβινινγ τηε ρεσυλτσ οφ εθυατιονσ 7.62, 7.63, ανδ 7.64, ωε οβταιν Λ (Ι ) = ⟨λν Θ[ϖ] − λν Π[ϖ]⟩ Θ + Νv κ − λν Ζ .

(7.65)

ωηιχη γιϖεσ εθυατιον 7.59 ωιτη Κ = Νv κ − λογ Ζ βεχαυσε ⟨λν Θ[ϖ] − λν Π[ϖ]⟩ Θ ισ, βψ δε⇒νιτιον, τηε Κυλλβαχκ−Λειβλερ διϖεργενχε ∆ΚΛ ( Θ, Π ). Νοτε τηατ ιν τηισ (ανδ συβσεθυεντ) χηαπτερσ, ωε δε⇒νε τηε Κυλλβαχκ− Λειβλερ διϖεργενχε υσινγ α νατυραλ λογαριτηµ, ρατηερ τηαν τηε βασε 2 λογ− αριτηµ υσεδ ιν χηαπτερ 4. Τηε τωο δε⇒νιτιονσ διφφερ ονλψ βψ αν οϖεραλλ µυλτιπλιχατιϖε χονσταντ.

7.9

Αννοτατεδ Βιβλιογραπηψ

Ωιλσον & Χοωαν (1972, 1973) προϖιδεσ πιονεερινγ αναλψσεσ οφ ⇒ρινγ−ρατε µοδελσ. Συβσεθυεντ τρεατµεντσ ρελατεδ το τηε δισχυσσιον ιν τηισ χηαπτερ αρε πρεσεντεδ ιν Αββοττ (1994), Ερµεντρουτ (1998), Γερστνερ (1998), Αµιτ & Τσοδψκσ (1991α, 1991β), ανδ Βρεσσλοφφ & Χοοµβεσ (2000). Τηε νοτιον οφ α ρεγυλαρ ρεπεατινγ υνιτ οφ χορτιχαλ χοµπυτατιον δατεσ βαχκ το τηε εαρλιεστ ινϖεστιγατιονσ οφ χορτεξ ανδ ισ δισχυσσεδ βψ ∆ουγλασ & Μαρτιν (1998). Ουρ δισχυσσιον οφ τηε φεεδφορωαρδ χοορδινατε τρανσφορµατιον µοδελ ισ βασεδ ον Πουγετ & Σεϕνοωσκι (1995, 1997) ανδ Σαλινασ & Αββοττ (1995), ωηιχη βυιλτ ον τηεορετιχαλ ωορκ βψ Ζιπσερ & Ανδερσεν (1988) χονχερνινγ παριεταλ γαιν ⇒ελδσ (σεε Ανδερσεν, 1989). Αµπλι⇒χατιον βψ ρεχυρρεντ χιρ− χυιτσ ισ δισχυσσεδ ιν ∆ουγλασ ετ αλ. (1995) ανδ Αββοττ (1994). Ωε φολλοωεδ

278

Νετωορκ Μοδελσ

Σευνγaσ (1996) αναλψσισ οφ νευραλ ιντεγρατιον φορ εψε ποσιτιον (σεε αλσο Σε− υνγ ετ αλ., 2001), ωηιχη βυιλδσ ον Ροβινσον (1989). Ιν γενεραλ, ωε φολλοωεδ Σευνγ (1996) ανδ Ζηανγ (1996) ιν αδοπτινγ τηε τηεορετιχαλ χοντεξτ οφ χον− τινυουσ λινε ορ συρφαχε αττραχτορσ. Σοµπολινσκψ & Σηαπλεψ 1997 (σεε αλσο Σοµερσ, Νελσον & Συρ, 1995; Χαρανδινι & Ρινγαχη, 1997) ρεϖιεωσ τηε δεβατε αβουτ τηε ρελατιϖε ρολεσ οφ φεεδφορωαρδ ανδ ρεχυρρεντ ινπυτ ασ τηε σουρχε οφ οριεντατιον σελεχτιϖ− ιτψ ιν πριµαρψ ϖισυαλ χορτεξ. Ωε πρεσεντεδ α µοδελ οφ α ηψπερχολυµν; αν εξτενσιον το µυλτιπλε ηψπερχολυµνσ ισ υσεδ βψ Λι (1998, 1999) το λινκ πσψχηοπηψσιχαλ ανδ πηψσιολογιχαλ δατα ον χοντουρ ιντεγρατιον ανδ τεξτυρε σεγµεντατιον. Περσιστεντ αχτιϖιτψ ιν πρεφρονταλ χορτεξ δυρινγ σηορτ−τερµ µεµορψ τασκσ ισ ρεϖιεωεδ βψ Γολδµαν−Ρακιχ (1994) ανδ Φυστερ (1995) ανδ ισ µοδελεδ βψ Χοµπτε ετ αλ. (2000). Νετωορκ ασσοχιατιϖε µεµοριεσ ωερε δεσχριβεδ ανδ αναλψζεδ ιν Ηοπ⇒ελδ (1982; 1984) ανδ Χοηεν & Γροσσβεργ (1983), ωηερε α γενεραλ Λψαπυνοϖ φυνχτιον ισ ιντροδυχεδ. Γροσσβεργ (1988), Αµιτ (1989), ανδ Ηερτζ, ετ αλ. (1991) πρεσεντ τηεορετιχαλ ρεσυλτσ χονχερνινγ ασσοχιατιϖε νετωορκσ, ιν παρ− τιχυλαρ τηειρ χαπαχιτψ το στορε ινφορµατιον. Ασσοχιατιϖε µεµορψ ιν νον− βιναρψ ρεχυρρεντ νετωορκσ ηασ βεεν στυδιεδ ιν παρτιχυλαρ βψ Τρεϖεσ ανδ χολλαβορατορσ (σεε Ρολλσ & Τρεϖεσ, 1998) ανδ, ιν τηε χοντεξτ οφ λινε αττραχτορ νετωορκσ, ιν Σαµσονοϖιχη & ΜχΝαυγητον (1997) ανδ Βατταγλια & Τρεϖεσ (1998). Ρινζελ ανδ Ερµεντρουτ (1998) δισχυσσεσ πηασε−πλανε µετηοδσ, ανδ XPP (σεε http://www.pitt.edu/ ˜ phase) προϖιδεσ α χοµπυτερ ενϖιρονµεντ φορ περφορµινγ πηασε−πλανε ανδ οτηερ φορµσ οφ µατηεµατιχαλ αναλψσισ ον νευ− ρον ανδ νετωορκ µοδελσ. Ωε φολλοωεδ Λιaσ (1995) πρεσεντατιον οφ Λι & Ηοπ⇒ελδaσ (1989) οσχιλλατορψ µοδελ οφ τηε ολφαχτορψ βυλβ. Τηε Βολτζµανν µαχηινε ωασ ιντροδυχεδ βψ Ηιντον & Σεϕνοωσκι (1986) ασ α στοχηαστιχ γενεραλιζατιον οφ τηε Ηοπ⇒ελδ νετωορκ (Ηοπ⇒ελδ, 1982). Τηε µεαν−⇒ελδ µοδελ ισ δυε το Ηοπ⇒ελδ (1984), ανδ ωε φολλοωεδ τηε προβα− βιλιστιχ δισχυσσιον γιϖεν ιν ϑορδαν ετ αλ. (1998). Μαρκοϖ χηαιν µετηοδσ φορ περφορµινγ προβαβιλιστιχ ινφερενχε αρε δισχυσσεδ ιν Νεαλ (1993).

ΙΙΙ

Αδαπτατιον ανδ Λεαρνινγ

This page intentionally left blank

8

Πλαστιχιτψ ανδ Λεαρνινγ

8.1

Ιντροδυχτιον

Αχτιϖιτψ−δεπενδεντ σψναπτιχ πλαστιχιτψ ισ ωιδελψ βελιεϖεδ το βε τηε βασιχ πηενοµενον υνδερλψινγ λεαρνινγ ανδ µεµορψ, ανδ ιτ ισ αλσο τηουγητ το πλαψ α χρυχιαλ ρολε ιν τηε δεϖελοπµεντ οφ νευραλ χιρχυιτσ. Το υνδερστανδ τηε φυνχτιοναλ ανδ βεηαϖιοραλ σιγνι⇒χανχε οφ σψναπτιχ πλαστιχιτψ, ωε µυστ στυδψ ηοω εξπεριενχε ανδ τραινινγ µοδιφψ σψναπσεσ, ανδ ηοω τηεσε µοδ− ι⇒χατιονσ χηανγε παττερνσ οφ νευροναλ ⇒ρινγ το αφφεχτ βεηαϖιορ. Εξπεριµεν− ταλ ωορκ ηασ ρεϖεαλεδ ωαψσ ιν ωηιχη νευροναλ αχτιϖιτψ χαν αφφεχτ σψναπτιχ στρενγτη, ανδ εξπεριµενταλλψ ινσπιρεδ σψναπτιχ πλαστιχιτψ ρυλεσ ηαϖε βεεν αππλιεδ το α ωιδε ϖαριετψ οφ τασκσ ινχλυδινγ αυτο− ανδ ηετεροασσοχιατιϖε µεµορψ, παττερν ρεχογνιτιον, στοραγε ανδ ρεχαλλ οφ τεµποραλ σεθυενχεσ, ανδ φυνχτιον αππροξιµατιον. Ιν 1949, ∆οναλδ Ηεββ χονϕεχτυρεδ τηατ ιφ ινπυτ φροµ νευρον Α οφτεν χον− τριβυτεσ το τηε ⇒ρινγ οφ νευρον Β, τηεν τηε σψναπσε φροµ Α το Β σηουλδ βε στρενγτηενεδ. Ηεββ συγγεστεδ τηατ συχη σψναπτιχ µοδι⇒χατιον χουλδ προ− δυχε νευροναλ ασσεµβλιεσ τηατ ρε⇓εχτ τηε ρελατιονσηιπσ εξπεριενχεδ δυρ− ινγ τραινινγ. Τηε Ηεββ ρυλε φορµσ τηε βασισ οφ µυχη οφ τηε ρεσεαρχη δονε ον τηε ρολε οφ σψναπτιχ πλαστιχιτψ ιν λεαρνινγ ανδ µεµορψ. Φορ εξαµπλε, χονσιδερ αππλψινγ τηισ ρυλε το νευρονσ τηατ ⇒ρε τογετηερ δυρινγ τραινινγ δυε το αν ασσοχιατιον βετωεεν α στιµυλυσ ανδ α ρεσπονσε. Τηεσε νευ− ρονσ ωουλδ δεϖελοπ στρονγ ιντερχοννεχτιονσ, ανδ συβσεθυεντ αχτιϖατιον οφ σοµε οφ τηεµ βψ τηε στιµυλυσ χουλδ προδυχε τηε σψναπτιχ δριϖε νεεδεδ το αχτιϖατε τηε ρεµαινινγ νευρονσ ανδ γενερατε τηε ασσοχιατεδ ρεσπονσε. Ηεββaσ οριγιναλ συγγεστιον χονχερνεδ ινχρεασεσ ιν σψναπτιχ στρενγτη, βυτ ιτ ηασ βεεν γενεραλιζεδ το ινχλυδε δεχρεασεσ ιν στρενγτη αρισινγ φροµ τηε ρεπεατεδ φαιλυρε οφ νευρον Α το βε ινϖολϖεδ ιν τηε αχτιϖατιον οφ νευρον Β. Γενεραλ φορµσ οφ τηε Ηεββ ρυλε στατε τηατ σψναπσεσ χηανγε ιν προπορτιον το τηε χορρελατιον ορ χοϖαριανχε οφ τηε αχτιϖιτιεσ οφ τηε πρε− ανδ ποστσψναπτιχ νευρονσ. Εξπεριµενταλ ωορκ ιν α νυµβερ οφ βραιν ρεγιονσ, ινχλυδινγ ηιπποχαµπυσ, νεοχορτεξ, ανδ χερεβελλυµ, ηασ ρεϖεαλεδ αχτιϖιτψ−δεπενδεντ προχεσσεσ τηατ χαν προδυχε χηανγεσ ιν τηε εφ⇒χαχιεσ οφ σψναπσεσ τηατ περσιστ φορ ϖαρψινγ αµουντσ οφ τιµε. Φιγυρε 8.1 σηοωσ αν εξαµπλε ιν ωηιχη τηε δατα ποιντσ

Ηεββ ρυλε

field potential amplitude (µς)

282

Πλαστιχιτψ ανδ Λεαρνινγ

0.4 LTP LTD

0.3

potentiated level depressed, partially depotentiated level control level

0.2 0.1 0

1σ 100 Ηζ

0

10

10 µιν 2 Ηζ

20

30

40

time (µιν) Φιγυρε 8.1 ΛΤΠ ανδ ΛΤ∆ ατ τηε Σχηαφφερ χολλατεραλ ινπυτσ το τηε ΧΑ1 ρεγιον οφ α ρατ ηιπποχαµπαλ σλιχε. Τηε ποιντσ σηοω τηε αµπλιτυδεσ οφ ⇒ελδ ποτεντιαλσ εϖοκεδ βψ χονσταντ αµπλιτυδε στιµυλατιον. Ατ τηε τιµε µαρκεδ βψ τηε αρροω (ατ τιµε 5 µιν− υτεσ), στιµυλατιον ατ 100 Ηζ φορ 1 σ χαυσεδ α σιγνι⇒χαντ ινχρεασε ιν τηε ρεσπονσε αµπλιτυδε. Σοµε οφ τηισ ινχρεασε δεχαψεδ αωαψ φολλοωινγ τηε στιµυλατιον, βυτ µοστ οφ ιτ ρεµαινεδ οϖερ τηε φολλοωινγ 15 µιν τεστ περιοδ, ινδιχατινγ ΛΤΠ. Νεξτ, στιµυλατιον ατ 2 Ηζ ωασ αππλιεδ φορ 10 µιν (βετωεεν τιµεσ 20 ανδ 30 µινυτεσ). Τηισ ρεδυχεδ τηε αµπλιτυδε οφ τηε ρεσπονσε. Αφτερ α τρανσιεντ διπ, τηε ρεσπονσε αµπλιτυδε ρεµαινεδ ατ α ρεδυχεδ λεϖελ αππροξιµατελψ µιδωαψ βετωεεν τηε οριγι− ναλ ανδ ποστ−ΛΤΠ ϖαλυεσ, ινδιχατινγ ΛΤ∆. Τηε αρροωσ ατ τηε ριγητ σηοω τηε λεϖελσ ινιτιαλλψ (χοντρολ), αφτερ ΛΤΠ (ποτεντιατεδ), ανδ αφτερ ΛΤ∆ (δεπρεσσεδ, παρτιαλλψ δε− ποτεντιατεδ). (Υνπυβλισηεδ δατα οφ ϑ. Φιτζπατριχκ ανδ ϑ. Λισµαν.)

ποτεντιατιον δεπρεσσιον

ΛΤΠ ανδ ΛΤ∆

ινδιχατε αµπλιτυδεσ οφ ⇒ελδ ποτεντιαλσ εϖοκεδ ιν τηε ΧΑ1 ρεγιον οφ α σλιχε οφ ρατ ηιπποχαµπυσ βψ στιµυλατιον οφ τηε Σχηαφφερ χολλατεραλ αφφερεντσ. Ιν εξπεριµεντσ συχη ασ τηισ, ⇒ελδ ποτεντιαλ αµπλιτυδεσ (ορ µορε οφτεν σλοπεσ) αρε υσεδ ασ α µεασυρε οφ σψναπτιχ στρενγτη. Ιν ⇒γυρε 8.1, ηιγη−φρεθυενχψ στιµυλατιον ινδυχεδ σψναπτιχ ποτεντιατιον (αν ινχρεασε ιν στρενγτη), ανδ τηεν λονγ−λαστινγ, λοω−φρεθυενχψ στιµυλατιον ρεσυλτεδ ιν σψναπτιχ δεπρεσ− σιον (α δεχρεασε ιν στρενγτη) τηατ παρτιαλλψ ρεµοϖεδ τηε εφφεχτσ οφ τηε πρε− ϖιουσ ποτεντιατιον. Τηισ ισ ιν αχχορδ ωιτη α γενεραλιζεδ Ηεββ ρυλε βε− χαυσε ηιγη−φρεθυενχψ πρεσψναπτιχ στιµυλατιον εϖοκεσ α ποστσψναπτιχ ρε− σπονσε, ωηερεασ λοω−φρεθυενχψ στιµυλατιον δοεσ νοτ. Χηανγεσ ιν σψναπ− τιχ στρενγτη ινϖολϖε βοτη τρανσιεντ ανδ λονγ−λαστινγ εφφεχτσ, ασ σεεν ιν ⇒γ− υρε 8.1. Χηανγεσ τηατ περσιστ φορ τενσ οφ µινυτεσ ορ λονγερ αρε γενεραλλψ χαλλεδ λονγ−τερµ ποτεντιατιον (ΛΤΠ) ανδ λονγ−τερµ δεπρεσσιον (ΛΤ∆). Τηε λονγεστ−λαστινγ φορµσ αππεαρ το ρεθυιρε προτειν σψντηεσισ. Α ωεαλτη οφ δατα ισ αϖαιλαβλε ον τηε υνδερλψινγ χελλυλαρ βασισ οφ αχτιϖιτψ− δεπενδεντ σψναπτιχ πλαστιχιτψ. Φορ ινστανχε, τηε ποστσψναπτιχ χονχεντρα− τιον οφ χαλχιυµ ιονσ αππεαρσ το πλαψ α χριτιχαλ ρολε ιν τηε ινδυχτιον οφ βοτη ΛΤΠ ανδ ΛΤ∆. Ηοωεϖερ, ωε ωιλλ νοτ χονσιδερ µεχηανιστιχ µοδελσ. Ρατηερ, ωε στυδψ σψναπτιχ πλαστιχιτψ ατ α φυνχτιοναλ λεϖελ, αττεµπτινγ το ρελατε τηε ιµπαχτ οφ σψναπτιχ πλαστιχιτψ ον νευρονσ ανδ νετωορκσ το τηε βασιχ ρυλεσ γοϖερνινγ ιτσ ινδυχτιον.

8.1

Ιντροδυχτιον

283

Στυδιεσ οφ πλαστιχιτψ ανδ λεαρνινγ ινϖολϖε αναλψζινγ ηοω σψναπσεσ αρε αφ− φεχτεδ βψ αχτιϖιτψ οϖερ τηε χουρσε οφ α τραινινγ περιοδ. Ιν τηισ ανδ τηε φολλοωινγ χηαπτερσ, ωε χονσιδερ τηρεε τψπεσ οφ τραινινγ προχεδυρεσ. Ιν υν− συπερϖισεδ (αλσο χαλλεδ σελφ−συπερϖισεδ) λεαρνινγ, α νετωορκ ρεσπονδσ το α σεριεσ οφ ινπυτσ δυρινγ τραινινγ σολελψ ον τηε βασισ οφ ιτσ ιντρινσιχ χον− νεχτιονσ ανδ δψναµιχσ. Τηε νετωορκ τηεν σελφ−οργανιζεσ ιν α µαννερ τηατ δεπενδσ ον τηε σψναπτιχ πλαστιχιτψ ρυλε βεινγ αππλιεδ ανδ ον τηε νατυρε οφ τηε ινπυτσ πρεσεντεδ δυρινγ τραινινγ. Ωε χονσιδερ υνσυπερϖισεδ λεαρνινγ ιν α µορε γενεραλ σεττινγ χαλλεδ δενσιτψ εστιµατιον ιν χηαπτερ 10. Ιν συπερϖισεδ λεαρνινγ, ωηιχη ωε χονσιδερ ιν τηε λαστ σεχτιον οφ τηισ χηαπ− τερ, α δεσιρεδ σετ οφ ινπυτ−ουτπυτ ρελατιονσηιπσ ισ ιµποσεδ ον τηε νετωορκ βψ α mτεαχηερn δυρινγ τραινινγ. Νετωορκσ τηατ περφορµ παρτιχυλαρ τασκσ χαν βε χονστρυχτεδ ιν τηισ ωαψ βψ λεττινγ α µοδι⇒χατιον ρυλε αδϕυστ τηειρ σψναπσεσ υντιλ τηε δεσιρεδ χοµπυτατιον εµεργεσ ασ α χονσεθυενχε οφ τηε τραινινγ προχεσσ. Τηισ ισ αν αλτερνατιϖε το εξπλιχιτλψ σπεχιφψινγ τηε σψναπ− τιχ ωειγητσ, ασ ωασ δονε ιν χηαπτερ 7. Ιν τηισ χασε, ⇒νδινγ α βιολογιχαλλψ πλαυσιβλε τεαχηινγ µεχηανισµ µαψ νοτ βε α χονχερν ιφ τηε θυεστιον βεινγ αδδρεσσεδ ισ ωηετηερ ανψ ωειγητσ χαν βε φουνδ τηατ αλλοω α νετωορκ το ιµπλεµεντ α παρτιχυλαρ φυνχτιον. Ιν µορε βιολογιχαλλψ πλαυσιβλε εξαµπλεσ οφ συπερϖισεδ λεαρνινγ, ονε νετωορκ αχτσ ασ τηε τεαχηερ φορ ανοτηερ νετ− ωορκ. Ιν χηαπτερ 9, ωε δισχυσσ α τηιρδ φορµ οφ λεαρνινγ, ρεινφορχεµεντ λεαρνινγ, τηατ ισ ιντερµεδιατε βετωεεν τηεσε χασεσ. Ιν ρεινφορχεµεντ λεαρνινγ, τηε νετωορκ ουτπυτ ισ νοτ χονστραινεδ βψ α τεαχηερ, βυτ εϖαλυατιϖε φεεδβαχκ αβουτ νετωορκ περφορµανχε ισ προϖιδεδ ιν τηε φορµ οφ ρεωαρδ ορ πυνιση− µεντ. Τηισ χαν βε υσεδ το χοντρολ τηε σψναπτιχ µοδι⇒χατιον προχεσσ. Ιν τηισ χηαπτερ ωε λαργελψ φοχυσ ον αχτιϖιτψ−δεπενδεντ σψναπτιχ πλαστιχιτψ οφ τηε Ηεββιαν τψπε, µεανινγ πλαστιχιτψ βασεδ ον χορρελατιονσ οφ πρε− ανδ ποστσψναπτιχ ⇒ρινγ. Το ενσυρε σταβιλιτψ ανδ το οβταιν ιντερεστινγ ρεσυλτσ, ωε οφτεν µυστ αυγµεντ Ηεββιαν πλαστιχιτψ ωιτη µορε γλοβαλ φορµσ οφ σψναπτιχ µοδι⇒χατιον τηατ, φορ εξαµπλε, σχαλε τηε στρενγτησ οφ αλλ τηε σψναπσεσ οντο α γιϖεν νευρον. Τηεσε χαν ηαϖε α µαϕορ ιµπαχτ ον τηε ουτχοµε οφ δεϖελοπ− µεντ ορ λεαρνινγ. Νον−Ηεββιαν φορµσ οφ σψναπτιχ πλαστιχιτψ, συχη ασ τηοσε τηατ µοδιφψ σψναπτιχ στρενγτησ σολελψ ον τηε βασισ οφ πρε− ορ ποστσψναπτιχ ⇒ρινγ, αρε λικελψ το πλαψ ιµπορταντ ρολεσ ιν ηοµεοστατιχ, δεϖελοπµενταλ, ανδ λεαρνινγ προχεσσεσ. Αχτιϖιτψ χαν αλσο µοδιφψ τηε ιντρινσιχ εξχιταβιλ− ιτψ ανδ ρεσπονσε προπερτιεσ οφ νευρονσ. Μοδελσ οφ συχη ιντρινσιχ πλαστιχιτψ σηοω τηατ νευρονσ χαν βε ρεµαρκαβλψ ροβυστ το εξτερναλ περτυρβατιονσ ιφ τηεψ αδϕυστ τηειρ χονδυχτανχεσ το µαινταιν σπεχι⇒εδ φυνχτιοναλ χηαραχτερ− ιστιχσ. Ιντρινσιχ ανδ σψναπτιχ πλαστιχιτψ χαν ιντεραχτ ιν ιντερεστινγ ωαψσ. Φορ εξαµπλε, σηιφτσ ιν ιντρινσιχ εξχιταβιλιτψ χαν χοµπενσατε φορ χηανγεσ ιν τηε λεϖελ οφ ινπυτ το α νευρον χαυσεδ βψ σψναπτιχ πλαστιχιτψ. Ιτ ισ λικελψ τηατ αλλ οφ τηεσε φορµσ οφ πλαστιχιτψ, ανδ µανψ οτηερσ, αρε ιµπορταντ ελεµεντσ οφ βοτη τηε σταβιλιτψ ανδ τηε αδαπταβιλιτψ οφ νερϖουσ σψστεµσ. Ιν τηισ χηαπτερ, ωε δεσχριβε ανδ αναλψζε βασιχ χορρελατιον− ανδ χοϖαριανχε− βασεδ σψναπτιχ πλαστιχιτψ ρυλεσ ιν τηε χοντεξτ οφ υνσυπερϖισεδ λεαρνινγ, ανδ

υνσυπερϖισεδ λεαρνινγ

συπερϖισεδ λεαρνινγ

ρεινφορχεµεντ λεαρνινγ

νον−Ηεββιαν πλαστιχιτψ

284

Πλαστιχιτψ ανδ Λεαρνινγ

δισχυσσ τηειρ εξτενσιον το συπερϖισεδ λεαρνινγ. Ασ αν εξαµπλε, ωε δισχυσσ τηε δεϖελοπµεντ οφ οχυλαρ δοµινανχε ιν χελλσ οφ τηε πριµαρψ ϖισυαλ χορτεξ, ανδ τηε φορµατιον οφ τηε µαπ οφ οχυλαρ δοµινανχε πρεφερενχεσ αχροσσ τηε χορτιχαλ συρφαχε. Ιν τηε µοδελσ ωε δισχυσσ, σψναπτιχ στρενγτησ αρε χηαραχ− τεριζεδ βψ σψναπτιχ ωειγητσ, δε⇒νεδ ασ ιν χηαπτερ 7.

Σταβιλιτψ ανδ Χοµπετιτιον Ινχρεασινγ σψναπτιχ στρενγτη ιν ρεσπονσε το αχτιϖιτψ ισ α ποσιτιϖε φεεδβαχκ προχεσσ. Τηε αχτιϖιτψ τηατ µοδι⇒εσ σψναπσεσ ισ ρεινφορχεδ βψ Ηεββιαν πλασ− τιχιτψ, ωηιχη λεαδσ το µορε αχτιϖιτψ ανδ φυρτηερ µοδι⇒χατιον. Ωιτηουτ απ− προπριατε αδϕυστµεντσ οφ τηε σψναπτιχ πλαστιχιτψ ρυλεσ ορ τηε ιµποσιτιον οφ χονστραιντσ, Ηεββιαν µοδι⇒χατιον τενδσ το προδυχε υνχοντρολλεδ γροωτη οφ σψναπτιχ στρενγτησ. Τηε εασιεστ ωαψ το χοντρολ σψναπτιχ στρενγτηενινγ ισ το ιµποσε αν υππερ λιµιτ ον τηε ϖαλυε τηατ α σψναπτιχ ωειγητ χαν τακε. Συχη αν υππερ λιµιτ ισ συππορτεδ βψ ΛΤΠ εξπεριµεντσ. Ιτ αλσο µακεσ σενσε το πρεϖεντ ωειγητσ φροµ χηανγινγ σιγν, βεχαυσε τηε πλαστιχιτψ προχεσσεσ ωε αρε µοδελινγ χαν− νοτ χηανγε αν εξχιτατορψ σψναπσε ιντο αν ινηιβιτορψ σψναπσε ορ ϖιχε ϖερσα. Ωε τηερεφορε ιµποσε τηε χονστραιντ, ωηιχη ωε χαλλ α σατυρατιον χονστραιντ, σψναπτιχ σατυρατιον τηατ αλλ εξχιτατορψ σψναπτιχ ωειγητσ µυστ λιε βετωεεν 0 ανδ α µαξιµυµ ϖαλυε wµαξ , ωηιχη ισ α χονσταντ. Τηε σιµπλεστ ιµπλεµεντατιον οφ σατυ− ρατιον ισ το σετ ανψ ωειγητ τηατ ωουλδ χροσσ α σατυρατιον βουνδ δυε το αππλιχατιον οφ α πλαστιχιτψ ρυλε το τηε λιµιτινγ ϖαλυε.

σψναπτιχ χοµπετιτιον

Υνχοντρολλεδ γροωτη ισ νοτ τηε ονλψ προβλεµ ασσοχιατεδ ωιτη Ηεββιαν πλαστιχιτψ. Σψναπσεσ αρε µοδι⇒εδ ινδεπενδεντλψ υνδερ α Ηεββιαν ρυλε, ωηιχη χαν ηαϖε δελετεριουσ χονσεθυενχεσ. Φορ εξαµπλε, αλλ οφ τηε σψναπτιχ ωειγητσ µαψ βε δριϖεν το τηειρ µαξιµυµ αλλοωεδ ϖαλυεσ wµαξ , χαυσινγ τηε ποστσψναπτιχ νευρον το λοσε σελεχτιϖιτψ το διφφερεντ παττερνσ οφ ινπυτ. Τηε δεϖελοπµεντ οφ ινπυτ σελεχτιϖιτψ τψπιχαλλψ ρεθυιρεσ χοµπετιτιον βε− τωεεν διφφερεντ σψναπσεσ, σο τηατ σοµε αρε φορχεδ το ωεακεν ωηεν οτηερσ βεχοµε στρονγ. Ωε δισχυσσ α ϖαριετψ οφ σψναπτιχ πλαστιχιτψ ρυλεσ τηατ ιντρο− δυχε χοµπετιτιον βετωεεν σψναπσεσ. Ιν σοµε χασεσ, τηε σαµε µεχηανισµ τηατ λεαδσ το χοµπετιτιον αλσο σταβιλιζεσ γροωτη οφ τηε σψναπτιχ ωειγητσ. Ιν οτηερ χασεσ, ιτ δοεσ νοτ, ανδ σατυρατιον χονστραιντσ µυστ αλσο βε ιµποσεδ.

8.2

Σψναπτιχ Πλαστιχιτψ Ρυλεσ

Ρυλεσ φορ σψναπτιχ µοδι⇒χατιον τακε τηε φορµ οφ διφφερεντιαλ εθυατιονσ δε− σχριβινγ τηε ρατε οφ χηανγε οφ σψναπτιχ ωειγητσ ασ α φυνχτιον οφ τηε πρε− ανδ ποστσψναπτιχ αχτιϖιτψ ανδ οτηερ ποσσιβλε φαχτορσ. Ιν τηισ σεχτιον, ωε γιϖε εξαµπλεσ οφ συχη ρυλεσ. Ιν λατερ σεχτιονσ, ωε δισχυσσ τηειρ χοµπυτα− τιοναλ ιµπλιχατιονσ.

8.2

Σψναπτιχ Πλαστιχιτψ Ρυλεσ

285

Ιν τηε µοδελσ οφ πλαστιχιτψ τηατ ωε στυδψ, τηε αχτιϖιτψ οφ εαχη νευρον ισ δεσχριβεδ βψ α χοντινυουσ ϖαριαβλε, νοτ βψ α σπικε τραιν. Ασ ιν χηαπτερ 7, ωε υσε τηε λεττερ υ το δενοτε τηε πρεσψναπτιχ λεϖελ οφ αχτιϖιτψ ανδ v το δε− νοτε τηε ποστσψναπτιχ αχτιϖιτψ. Νορµαλλψ, υ ανδ v ρεπρεσεντ τηε ⇒ρινγ ρατεσ οφ τηε πρε− ανδ ποστσψναπτιχ νευρονσ, ιν ωηιχη χασε τηεψ σηουλδ βε ρε− στριχτεδ το νοννεγατιϖε ϖαλυεσ. Σοµετιµεσ, το σιµπλιφψ τηε αναλψσισ, ωε ιγνορε τηισ χονστραιντ. Αν αχτιϖιτψ ϖαριαβλε τηατ τακεσ βοτη ποσιτιϖε ανδ νεγατιϖε ϖαλυεσ χαν βε ιντερπρετεδ ασ τηε διφφερενχε βετωεεν α ⇒ρινγ ρατε ανδ α ⇒ξεδ βαχκγρουνδ ρατε, ορ βετωεεν τηε ⇒ρινγ ρατεσ οφ τωο νευρονσ βεινγ τρεατεδ ασ α σινγλε υνιτ. Φιναλλψ, το αϖοιδ εξτρανεουσ χονϖερσιον φαχ− τορσ ιν ουρ εθυατιονσ, ωε τακε υ ανδ v το βε διµενσιονλεσσ µεασυρεσ οφ τηε χορρεσπονδινγ νευροναλ ⇒ρινγ ρατεσ ορ αχτιϖιτιεσ. Φορ εξαµπλε, υ ανδ v χουλδ βε τηε ⇒ρινγ ρατεσ οφ τηε πρε− ανδ ποστσψναπτιχ νευρονσ διϖιδεδ βψ τηειρ µαξιµυµ ορ αϖεραγε ϖαλυεσ. Ιν τηε ⇒ρστ παρτ οφ τηισ χηαπτερ, ωε χονσιδερ υνσυπερϖισεδ λεαρνινγ ασ απ− πλιεδ το α σινγλε ποστσψναπτιχ νευρον δριϖεν βψ Νυ πρεσψναπτιχ ινπυτσ ωιτη αχτιϖιτιεσ ρεπρεσεντεδ βψ υβ φορ β = 1, 2, . . . , Νυ , ορ χολλεχτιϖελψ βψ τηε ϖεχ− τορ υ. Ιν υνσυπερϖισεδ λεαρνινγ, τηε ποστσψναπτιχ αχτιϖιτψ v ισ εϖοκεδ δι− ρεχτλψ βψ τηε πρεσψναπτιχ αχτιϖιτψ υ. Ωε δεσχριβε v υσινγ α λινεαρ ϖερσιον οφ τηε ⇒ρινγ−ρατε µοδελ δισχυσσεδ ιν χηαπτερ 7,

τρ

Νυ ! δv = −v + ω · υ = −v + wβ υβ , δτ β=1

(8.1)

ωηερε τρ ισ α τιµε χονσταντ τηατ χοντρολσ τηε ⇒ρινγ−ρατε ρεσπονσε δψναµ− ιχσ. Ρεχαλλ τηατ wβ ισ τηε σψναπτιχ ωειγητ τηατ δεσχριβεσ τηε στρενγτη οφ τηε σψναπσε φροµ πρεσψναπτιχ νευρον β το τηε ποστσψναπτιχ νευρον, ανδ ω ισ τηε ϖεχτορ φορµεδ βψ αλλ Νυ σψναπτιχ ωειγητσ. Τηε ινδιϖιδυαλ σψναπτιχ ωειγητσ χαν βε ειτηερ ποσιτιϖε, ρεπρεσεντινγ εξχιτατιον, ορ νεγατιϖε, ρεπ− ρεσεντινγ ινηιβιτιον. Εθυατιον 8.1 δοεσ νοτ ινχλυδε ανψ νονλινεαρ δεπεν− δενχε οφ τηε ⇒ρινγ ρατε ον τηε τοταλ σψναπτιχ ινπυτ, νοτ εϖεν ρεχτι⇒χατιον. Υσινγ συχη α λινεαρ ⇒ρινγ−ρατε µοδελ χονσιδεραβλψ σιµπλι⇒εσ τηε αναλψσισ οφ σψναπτιχ πλαστιχιτψ. Τηε ρεστριχτιον το νοννεγατιϖε v ειτηερ ωιλλ βε ιµ− ποσεδ βψ ηανδ ορ, σοµετιµεσ, ωιλλ βε ιγνορεδ το σιµπλιφψ τηε αναλψσισ. Τηε προχεσσεσ οφ σψναπτιχ πλαστιχιτψ αρε τψπιχαλλψ µυχη σλοωερ τηαν τηε δψναµιχσ χηαραχτεριζεδ βψ εθυατιον 8.1. Ιφ, ιν αδδιτιον, τηε στιµυλι αρε πρεσεντεδ σλοωλψ ενουγη το αλλοω τηε νετωορκ το ατταιν ιτσ στεαδψ−στατε αχτιϖιτψ δυρινγ τραινινγ, ωε χαν ρεπλαχε τηε δψναµιχ εθυατιον 8.1 βψ

v = ω · υ,

(8.2)

ωηιχη ινσταντανεουσλψ σετσ v το τηε ασψµπτοτιχ στεαδψ−στατε ϖαλυε δετερ− µινεδ βψ εθυατιον 8.1. Τηισ ισ τηε εθυατιον ωε πριµαριλψ υσε ιν ουρ αναλ− ψσισ οφ σψναπτιχ πλαστιχιτψ ιν υνσυπερϖισεδ λεαρνινγ. Σψναπτιχ µοδι⇒χα− τιον ισ ινχλυδεδ ιν τηε µοδελ βψ σπεχιφψινγ ηοω τηε ϖεχτορ ω χηανγεσ ασ α φυνχτιον οφ τηε πρε− ανδ ποστσψναπτιχ λεϖελσ οφ αχτιϖιτψ. Τηε χοµπλεξ τιµε χουρσε οφ πλαστιχιτψ σεεν ιν ⇒γυρε 8.1 ισ σιµπλι⇒εδ βψ µοδελινγ ονλψ τηε λονγερ−λαστινγ χηανγεσ.

ωειγητ ϖεχτορ ω

286

Πλαστιχιτψ ανδ Λεαρνινγ

Τηε Βασιχ Ηεββ Ρυλε Τηε σιµπλεστ πλαστιχιτψ ρυλε τηατ φολλοωσ τηε σπιριτ οφ Ηεββaσ χονϕεχτυρε τακεσ τηε φορµ

τw βασιχ Ηεββ ρυλε

δω = vυ , δτ

(8.3)

ωηερε τw ισ α τιµε χονσταντ τηατ χοντρολσ τηε ρατε ατ ωηιχη τηε ωειγητσ χηανγε. Τηισ εθυατιον, ωηιχη ωε χαλλ τηε βασιχ Ηεββ ρυλε, ιµπλιεσ τηατ σι− µυλτανεουσ πρε− ανδ ποστσψναπτιχ αχτιϖιτψ ινχρεασεσ σψναπτιχ στρενγτη. Ιφ τηε αχτιϖιτψ ϖαριαβλεσ ρεπρεσεντ ⇒ρινγ ρατεσ, τηε ριγητ σιδε οφ τηισ εθυατιον χαν βε ιντερπρετεδ ασ α µεασυρε οφ τηε προβαβιλιτψ τηατ τηε πρε− ανδ ποστ− σψναπτιχ νευρονσ βοτη ⇒ρε σπικεσ δυρινγ α σµαλλ τιµε ιντερϖαλ. Σψναπτιχ πλαστιχιτψ ισ γενεραλλψ µοδελεδ ασ α σλοω προχεσσ τηατ γραδυαλλψ µοδι⇒εσ σψναπτιχ ωειγητσ οϖερ α τιµε περιοδ δυρινγ ωηιχη τηε χοµπο− νεντσ οφ υ τακε α ϖαριετψ οφ διφφερεντ ϖαλυεσ. Εαχη διφφερεντ σετ οφ υ ϖαλυεσ ισ χαλλεδ αν ινπυτ παττερν. Τηε διρεχτ ωαψ το χοµπυτε τηε ωειγητ χηανγεσ ινδυχεδ βψ α σεριεσ οφ ινπυτ παττερνσ ισ το συµ τηε σµαλλ χηανγεσ χαυσεδ βψ εαχη οφ τηεµ σεπαρατελψ. Α χονϖενιεντ αλτερνατιϖε ισ το αϖεραγε οϖερ αλλ οφ τηε διφφερεντ ινπυτ παττερνσ ανδ χοµπυτε τηε ωειγητ χηανγεσ ινδυχεδ βψ τηισ αϖεραγε. Ασ λονγ ασ τηε σψναπτιχ ωειγητσ χηανγε σλοωλψ ενουγη, τηε αϖεραγινγ µετηοδ προϖιδεσ α γοοδ αππροξιµατιον οφ τηε ωειγητ χηανγεσ προδυχεδ βψ τηε σετ οφ ινπυτ παττερνσ.

Ιν τηισ χηαπτερ, ωε υσε ανγλε βραχκετσ ⟨ ⟩ το δενοτε αϖεραγεσ οϖερ τηε εν− σεµβλε οφ ινπυτ παττερνσ πρεσεντεδ δυρινγ τραινινγ (ωηιχη ισ α σλιγητλψ διφ− φερεντ υσαγε φροµ εαρλιερ χηαπτερσ). Τηε Ηεββ ρυλε οφ εθυατιον 8.3, ωηεν αϖεραγεδ Ηεββ ρυλε αϖεραγεδ οϖερ τηε ινπυτσ υσεδ δυρινγ τραινινγ, βεχοµεσ

τw

χορρελατιον−βασεδ ρυλε

(8.4)

Ιν υνσυπερϖισεδ λεαρνινγ, v ισ δετερµινεδ βψ εθυατιον 8.2, ανδ ιφ ωε ρεπλαχε v ωιτη ω · υ, ωε χαν ρεωριτε τηε αϖεραγεδ πλαστιχιτψ ρυλε (εθυα− τιον 8.4) ασ

τw ινπυτ χορρελατιον µατριξ Θ

δω = ⟨vυ⟩ . δτ

δω = Θ · ω ορ δτ

τw

Νυ ! δwβ = Θββ′ wβ′ , δτ β′ =1

(8.5)

ωηερε Θ ισ τηε ινπυτ χορρελατιον µατριξ γιϖεν βψ Θ = ⟨υυ⟩ ορ

Θββ′ = ⟨υβ υβ′ ⟩ .

(8.6)

Εθυατιον 8.5 ισ χαλλεδ α χορρελατιον−βασεδ πλαστιχιτψ ρυλε βεχαυσε οφ τηε πρεσενχε οφ τηε ινπυτ χορρελατιον µατριξ. Ωηετηερ ορ νοτ τηε πρε− ανδ ποστσψναπτιχ αχτιϖιτψ ϖαριαβλεσ αρε ρεστριχτεδ το νοννεγατιϖε ϖαλυεσ, τηε βασιχ Ηεββ ρυλε ισ υνσταβλε. Το σηοω τηισ, ωε / χον− σιδερ τηε σθυαρε οφ τηε λενγτη οφ τηε ωειγητ ϖεχτορ, |ω|2 = ω · ω = β w2β . Τακινγ τηε δοτ προδυχτ οφ εθυατιον 8.3 ωιτη ω, ανδ νοτινγ τηατ δ|ω|2 /δτ =

8.2

Σψναπτιχ Πλαστιχιτψ Ρυλεσ

287

2ω · δω/δτ ανδ τηατ ω · υ = v, ωε ⇒νδ τηατ τw δ|ω|2 /δτ = 2v2 , ωηιχη ισ αλ− ωαψσ ποσιτιϖε (εξχεπτ ιν τηε τριϖιαλ χασε v = 0). Τηυσ, τηε λενγτη οφ τηε ωειγητ ϖεχτορ γροωσ χοντινυουσλψ ωηεν τηε ρυλε 8.3 ισ αππλιεδ. Το αϖοιδ υνβουνδεδ γροωτη, ωε µυστ ιµποσε αν υππερ σατυρατιον χονστραιντ. Α λοωερ λιµιτ ισ αλσο ρεθυιρεδ ιφ τηε αχτιϖιτψ ϖαριαβλεσ αρε αλλοωεδ το βε νεγα− τιϖε. Εϖεν ωιτη σατυρατιον, τηε βασιχ Ηεββ ρυλε φαιλσ το ινδυχε χοµπετιτιον βετωεεν διφφερεντ σψναπσεσ. Σοµετιµεσ, σψναπτιχ µοδι⇒χατιον ισ µοδελεδ ασ α δισχρετε ρατηερ τηαν χον− τινυουσ προχεσσ, παρτιχυλαρλψ ιφ τηε λεαρνινγ προχεδυρε ινϖολϖεσ τηε σε− θυεντιαλ πρεσεντατιον οφ ινπυτσ. Ιν τηισ χασε, εθυατιον 8.5 ισ ρεπλαχεδ βψ α δισχρετε υπδατινγ ρυλε ω → ω + ϵΘ · ω

(8.7)

ωηερε ϵ ισ α παραµετερ, αναλογουσ το τηε λεαρνινγ ρατε 1/τw ιν τηε χοντιν− υουσ ρυλε, τηατ δετερµινεσ τηε αµουντ οφ µοδι⇒χατιον περ αππλιχατιον οφ τηε ρυλε.

Τηε Χοϖαριανχε Ρυλε Ιφ, ασ ιν Ηεββaσ οριγιναλ χονϕεχτυρε, υ ανδ v αρε ιντερπρετεδ ασ ρεπρεσεντ− ινγ ⇒ρινγ ρατεσ (ωηιχη µυστ βε ποσιτιϖε), τηε βασιχ Ηεββ ρυλε δεσχριβεσ ονλψ ΛΤΠ. Εξπεριµεντσ, συχη ασ τηε ονε σηοων ιν ⇒γυρε 8.1, ινδιχατε τηατ σψναπσεσ χαν δεπρεσσ ιν στρενγτη ιφ πρεσψναπτιχ αχτιϖιτψ ισ αχχοµπανιεδ βψ α λοω λεϖελ οφ ποστσψναπτιχ αχτιϖιτψ. Ηιγη λεϖελσ οφ ποστσψναπτιχ αχτιϖιτψ, ον τηε οτηερ ηανδ, προδυχε ποτεντιατιον. Τηεσε ρεσυλτσ χαν βε µοδελεδ βψ α σψναπτιχ πλαστιχιτψ ρυλε οφ τηε φορµ

τw

δω = (v − θv )υ , δτ

(8.8)

ωηερε θv ισ α τηρεσηολδ τηατ δετερµινεσ τηε λεϖελ οφ ποστσψναπτιχ αχτιϖ− ιτψ αβοϖε ωηιχη ΛΤ∆ σωιτχηεσ το ΛΤΠ. Ασ αν αλτερνατιϖε το εθυατιον 8.8, ωε χαν ιµποσε τηε τηρεσηολδ ον τηε ινπυτ ρατηερ τηαν ουτπυτ αχτιϖιτψ, ανδ ωριτε

τw

δω = v(υ − θ υ ) . δτ

ποστσψναπτιχ τηρεσηολδ θv

(8.9)

Ηερε, θ υ ισ α ϖεχτορ οφ τηρεσηολδσ τηατ δετερµινεσ τηε λεϖελσ οφ πρεσψναπτιχ αχτιϖιτιεσ αβοϖε ωηιχη ΛΤ∆ σωιτχηεσ το ΛΤΠ. Ιτ ισ αλσο ποσσιβλε το χοµβινε τηεσε τωο ρυλεσ βψ συβτραχτινγ τηρεσηολδσ φροµ βοτη τηε υ ανδ v τερµσ, βυτ τηισ ηασ τηε υνδεσιραβλε φεατυρε οφ πρεδιχτινγ ΛΤΠ ωηεν πρε− ανδ ποστσψ− ναπτιχ αχτιϖιτψ λεϖελσ αρε βοτη λοω. Α χονϖενιεντ χηοιχε φορ τηε τηρεσηολδσ ισ τηε αϖεραγε ϖαλυε οφ τηε χορρε− σπονδινγ ϖαριαβλε οϖερ τηε τραινινγ περιοδ. Ιν οτηερ ωορδσ, ωε σετ τηε τηρεσηολδ ιν εθυατιον 8.8 το τηε αϖεραγε ποστσψναπτιχ αχτιϖιτψ, θv = ⟨v⟩, ορ τηε τηρεσηολδ ϖεχτορ ιν εθυατιον 8.9 το τηε αϖεραγε πρεσψναπτιχ αχτιϖιτψ ϖεχ− τορ, θ υ = ⟨υ⟩. Ασ ωε διδ φορ εθυατιον 8.5, ωε υσε τηε ρελατιον v = ω · υ ανδ

πρεσψναπτιχ τηρεσηολδ θ υ

288

ινπυτ χοϖαριανχε µατριξ Χ

Πλαστιχιτψ ανδ Λεαρνινγ

αϖεραγε οϖερ τραινινγ ινπυτσ το οβταιν αν αϖεραγεδ φορµ οφ τηε πλαστιχιτψ ρυλε. Ωηεν τηε τηρεσηολδσ αρε σετ το τηειρ χορρεσπονδινγ αχτιϖιτψ αϖεραγεσ, εθυατιονσ 8.8 ανδ 8.9 βοτη προδυχε τηε σαµε αϖεραγεδ ρυλε,

τw

δω = Χ · ω, δτ

(8.10)

ωηερε Χ ισ τηε ινπυτ χοϖαριανχε µατριξ, Χ = ⟨(υ − ⟨υ⟩)(υ − ⟨υ⟩)⟩ = ⟨υυ⟩ − ⟨υ⟩2 = ⟨(υ − ⟨υ⟩)υ⟩ . χοϖαριανχε ρυλεσ

ηοµοσψναπτιχ ανδ ηετεροσψναπτιχ δεπρεσσιον

(8.11)

Βεχαυσε οφ τηε πρεσενχε οφ τηε χοϖαριανχε µατριξ ιν εθυατιον 8.10, εθυα− τιονσ 8.8 ανδ 8.9 αρε κνοων ασ χοϖαριανχε ρυλεσ. Αλτηουγη τηεψ βοτη αϖεραγε το γιϖε εθυατιον 8.10, τηε ρυλεσ ιν εθυα− τιονσ 8.8 ανδ 8.9 ηαϖε τηειρ διφφερενχεσ. Εθυατιον 8.8 µοδι⇒εσ σψναπσεσ ονλψ ιφ τηεψ ηαϖε νονζερο πρεσψναπτιχ αχτιϖιτιεσ. Ωηεν v < θv , τηισ προ− δυχεσ αν εφφεχτ χαλλεδ ηοµοσψναπτιχ δεπρεσσιον. Ιν χοντραστ, εθυατιον 8.9 ρεδυχεσ τηε στρενγτησ οφ ιναχτιϖε σψναπσεσ ιφ v > 0. Τηισ ισ χαλλεδ ηετεροσψ− ναπτιχ δεπρεσσιον. Νοτε τηατ µαινταινινγ θv = ⟨v⟩ ιν εθυατιον 8.8 ρεθυιρεσ χηανγινγ θv ασ τηε ωειγητσ αρε µοδι⇒εδ. Ιν χοντραστ, τηε τηρεσηολδ ιν εθυα− τιον 8.9 ισ ινδεπενδεντ οφ τηε ωειγητσ ανδ δοεσ νοτ νεεδ το βε χηανγεδ δυρινγ τηε τραινινγ περιοδ το κεεπ θ υ = ⟨υ⟩. Εϖεν τηουγη χοϖαριανχε ρυλεσ ινχλυδε ΛΤ∆ ανδ τηυσ αλλοω ωειγητσ το δε− χρεασε, τηεψ αρε υνσταβλε βεχαυσε οφ τηε σαµε ποσιτιϖε φεεδβαχκ τηατ µακεσ τηε βασιχ Ηεββ ρυλε υνσταβλε. Φορ ειτηερ ρυλε 8.8 ωιτη θv = ⟨v⟩ ορ ρυλε 8.9 ωιτη θ υ = ⟨υ⟩, δ|ω|2 /δτ = 2v(v − ⟨v⟩). Τηε τιµε αϖεραγε οφ τηε ριγητ σιδε οφ τηισ εθυατιον ισ προπορτιοναλ το τηε ϖαριανχε οφ τηε ουτπυτ, ⟨v2 ⟩ − ⟨v⟩2 , ωηιχη ισ ποσιτιϖε εξχεπτ ιν τηε τριϖιαλ χασε ωηεν v ισ χονσταντ. Αλσο σιµιλαρ το τηε χασε οφ τηε Ηεββ ρυλε ισ τηε φαχτ τηατ τηε χοϖαριανχε ρυλεσ αρε νον− χοµπετιτιϖε, βυτ χοµπετιτιον χαν βε ιντροδυχεδ βψ αλλοωινγ τηε τηρεσηολδσ το σλιδε, ασ δεσχριβεδ βελοω.

Τηε ΒΧΜ Ρυλε

ΒΧΜ ρυλε

Τηε χοϖαριανχε−βασεδ ρυλε οφ εθυατιον 8.8 δοεσ νοτ ρεθυιρε ανψ ποστσψ− ναπτιχ αχτιϖιτψ το προδυχε ΛΤ∆, ανδ ρυλε 8.9 χαν προδυχε ΛΤ∆ ωιτηουτ πρεσψναπτιχ αχτιϖιτψ. Βιενενστοχκ, Χοοπερ, ανδ Μυνρο (1982) συγγεστεδ αν αλτερνατιϖε πλαστιχιτψ ρυλε, φορ ωηιχη τηερε ισ εξπεριµενταλ εϖιδενχε, τηατ ρεθυιρεσ βοτη πρε− ανδ ποστσψναπτιχ αχτιϖιτψ το χηανγε α σψναπτιχ ωειγητ. Τηισ ρυλε, ωηιχη ισ χαλλεδ τηε ΒΧΜ ρυλε, τακεσ τηε φορµ

τw

δω = vυ (v − θv ) . δτ

(8.12)

Ασ ιν εθυατιον 8.8, θv αχτσ ασ α τηρεσηολδ ον τηε ποστσψναπτιχ αχτιϖιτψ τηατ δετερµινεσ ωηετηερ σψναπσεσ αρε στρενγτηενεδ ορ ωεακενεδ. Ιφ τηε τηρεσηολδ θv ισ ηελδ ⇒ξεδ, τηε ΒΧΜ ρυλε, λικε τηε βασιχ Ηεββιαν ρυλε, ισ υνσταβλε. Σψναπτιχ µοδι⇒χατιον χαν βε σταβιλιζεδ αγαινστ υνβουνδεδ

8.2

Σψναπτιχ Πλαστιχιτψ Ρυλεσ

289

γροωτη βψ αλλοωινγ τηε τηρεσηολδ το ϖαρψ. Τηε χριτιχαλ χονδιτιον φορ σταβιλ− ιτψ ισ τηατ θv µυστ γροω µορε ραπιδλψ τηαν v ασ τηε ουτπυτ αχτιϖιτψ γροωσ λαργε. Ιν ονε ινσταντιατιον οφ τηε ΒΧΜ ρυλε ωιτη α σλιδινγ τηρεσηολδ, θv αχτσ ασ α λοω−πασσ ⇒λτερεδ ϖερσιον οφ v2 , ασ δετερµινεδ βψ τηε εθυατιον

τθ

δθv = v2 − θ v . δτ

(8.13)

Ηερε τθ σετσ τηε τιµε σχαλε φορ µοδι⇒χατιον οφ τηε τηρεσηολδ. Τηισ ισ υσυαλλψ σλοωερ τηαν τηε πρεσεντατιον οφ ινδιϖιδυαλ πρεσψναπτιχ παττερνσ, βυτ φαστερ τηαν τηε ρατε ατ ωηιχη τηε ωειγητσ χηανγε, ωηιχη ισ δετερµινεδ βψ τw . Ωιτη α σλιδινγ τηρεσηολδ, τηε ΒΧΜ ρυλε ιµπλεµεντσ χοµπετιτιον βετωεεν σψναπσεσ βεχαυσε στρενγτηενινγ σοµε σψναπσεσ ινχρεασεσ τηε ποστσψναπτιχ ⇒ρινγ ρατε, ωηιχη ραισεσ τηε τηρεσηολδ ανδ µακεσ ιτ µορε διφ⇒χυλτ φορ οτηερ σψναπσεσ το βε στρενγτηενεδ ορ εϖεν το ρεµαιν ατ τηειρ χυρρεντ στρενγτησ.

Σψναπτιχ Νορµαλιζατιον Τηε ΒΧΜ ρυλε σταβιλιζεσ Ηεββιαν πλαστιχιτψ βψ µεανσ οφ α σλιδινγ τηρεση− ολδ τηατ ρεδυχεσ σψναπτιχ ωειγητσ ιφ τηε ποστσψναπτιχ νευρον βεχοµεσ τοο αχτιϖε. Τηισ αµουντσ το υσινγ τηε ποστσψναπτιχ αχτιϖιτψ ασ αν ινδιχατορ οφ τηε στρενγτησ οφ σψναπτιχ ωειγητσ. Α µορε διρεχτ ωαψ το σταβιλιζε α Ηεβ− βιαν πλαστιχιτψ ρυλε ισ το αδδ τερµσ τηατ δεπενδ εξπλιχιτλψ ον τηε ωειγητσ. Τηισ τψπιχαλλψ λεαδσ το σοµε φορµ οφ ωειγητ νορµαλιζατιον, ωηιχη χορρε− σπονδσ το τηε ιδεα τηατ ποστσψναπτιχ νευρονσ χαν συππορτ ονλψ α ⇒ξεδ το− ταλ σψναπτιχ ωειγητ, σο ινχρεασεσ ιν σοµε ωειγητσ µυστ βε αχχοµπανιεδ βψ δεχρεασεσ ιν οτηερσ. Νορµαλιζατιον οφ σψναπτιχ ωειγητσ ινϖολϖεσ ιµποσινγ σοµε σορτ οφ γλοβαλ χονστραιντ. Τωο τψπεσ οφ χονστραιντσ αρε τψπιχαλλψ υσεδ. Ιφ τηε σψναπτιχ ωειγητσ αρε νοννεγατιϖε, τηειρ γροωτη χαν βε λιµιτεδ βψ ηολδινγ τηε συµ οφ αλλ τηε ωειγητσ οφ τηε σψναπσεσ οντο α γιϖεν ποστσψναπτιχ νευρον το α χονσταντ ϖαλυε. Αν αλτερνατιϖε, ωηιχη αλσο ωορκσ φορ ωειγητσ τηατ χαν βε ειτηερ ποσιτιϖε ορ νεγατιϖε, ισ το χονστραιν τηε συµ οφ τηε σθυαρεσ οφ τηε ωειγητσ ινστεαδ οφ τηειρ λινεαρ συµ. Ιν ειτηερ χασε, τηε χονστραιντ χαν βε ιµποσεδ ειτηερ ριγιδλψ, ρεθυιρινγ τηατ ιτ βε σατισ⇒εδ ατ αλλ τιµεσ δυρινγ τηε τραινινγ προχεσσ, ορ δψναµιχαλλψ, ρεθυιρινγ ονλψ τηατ ιτ βε σατισ⇒εδ ασψµπ− τοτιχαλλψ ατ τηε ενδ οφ τραινινγ. Ωε δισχυσσ ονε εξαµπλε οφ εαχη τψπε: α ριγιδ σχηεµε φορ ιµποσινγ α χονστραιντ ον τηε συµ οφ σψναπτιχ ωειγητσ, ανδ α δψναµιχ σχηεµε φορ χονστραινινγ τηε συµ οϖερ τηειρ σθυαρεσ. ∆ψ− ναµιχ χονστραιντσ χαν βε αππλιεδ ιν τηε φορµερ χασε ανδ ριγιδ χονστραιντσ ιν τηε λαττερ, βυτ ωε ρεστριχτ ουρ δισχυσσιον το τωο ωιδελψ υσεδ σχηεµεσ. Ωε δισχυσσ σψναπτιχ νορµαλιζατιον ιν χοννεχτιον ωιτη τηε βασιχ Ηεββ ρυλε, βυτ τηε ρεσυλτσ ωε πρεσεντ χαν βε αππλιεδ το χοϖαριανχε ρυλεσ ασ ωελλ. Ωειγητ νορµαλιζατιον χαν δραστιχαλλψ αλτερ τηε ουτχοµε οφ α τραινινγ προχεδυρε, ανδ διφφερεντ νορµαλιζατιον µετηοδσ µαψ λεαδ το διφφερεντ ουτχοµεσ.

σλιδινγ τηρεσηολδ

290

Πλαστιχιτψ ανδ Λεαρνινγ

Συβτραχτιϖε Νορµαλιζατιον

Ηεββ ρυλε ωιτη συβτραχτιϖε νορµαλιζατιον

Τηε συµ οϖερ σψναπτιχ ωειγητσ / τηατ ισ χονστραινεδ βψ συβτραχτιϖε νορµ− αλιζατιον χαν βε ωριττεν ασ wβ = ν · ω ωηερε ν ισ αν Νυ −διµενσιοναλ ϖεχτορ ωιτη αλλ ιτσ χοµπονεντσ εθυαλ το 1 (ασ ιντροδυχεδ ιν χηαπτερ 7). Τηισ συµ χαν βε χονστραινεδ βψ ρεπλαχινγ εθυατιον 8.3 ωιτη

τw

δω v(ν · υ )ν = vυ − . δτ Νυ

(8.14)

Νοτε τηατ ν · υ ισ σιµπλψ τηε συµ οφ αλλ τηε ινπυτσ. Τηισ ρυλε ιµποσεσ ωηατ ισ χαλλεδ συβτραχτιϖε νορµαλιζατιον βεχαυσε τηε σαµε θυαντιτψ ισ συβτραχτεδ φροµ τηε χηανγε το εαχη ωειγητ, ωηετηερ τηατ ωειγητ ισ λαργε ορ σµαλλ. Συβτραχτιϖε νορµαλιζατιον ιµποσεσ τηε χονστραιντ ον τηε συµ οφ ωειγητσ ριγιδλψ βεχαυσε ιτ δοεσ νοτ αλλοω τηε Ηεββιαν τερµ το χηανγε ν · ω. Το σεε τηισ, ωε τακε τηε δοτ προδυχτ οφ εθυατιον 8.14 ωιτη ν το οβταιν % & δν · ω ν·ν τw = vν · υ 1 − = 0. (8.15) δτ Νυ Τηε λαστ εθυαλιτψ φολλοωσ βεχαυσε ν · ν = Νυ . Ηεββιαν µοδι⇒χατιον ωιτη συβτραχτιϖε νορµαλιζατιον ισ νονλοχαλ ιν τηατ ιτ ρεθυιρεσ τηε συµ οφ αλλ τηε ινπυτ αχτιϖιτιεσ, ν · υ, το βε αϖαιλαβλε το τηε µεχηανισµ τηατ µοδι⇒εσ εαχη σψναπσε. Ιτ ισ νοτ οβϖιουσ ηοω συχη α ρυλε χουλδ βε ιµπλεµεντεδ βιοπηψσ− ιχαλλψ. Συβτραχτιϖε νορµαλιζατιον µυστ βε αυγµεντεδ βψ α σατυρατιον χονστραιντ τηατ πρεϖεντσ ωειγητσ φροµ βεχοµινγ νεγατιϖε. Ιφ τηε ρυλε 8.14 αττεµπτσ το δριϖε ανψ οφ τηε ωειγητσ βελοω 0, τηε σατυρατιον χονστραιντ πρεϖεντσ τηισ χηανγε. Ατ τηισ ποιντ, τηε ρυλε ισ νοτ αππλιεδ το ανψ σατυρατεδ ωειγητσ, ανδ ιτσ εφφεχτ ον τηε οτηερ ωειγητσ ισ µοδι⇒εδ. Βοτη µοδι⇒χατιονσ χαν βε αχηιεϖεδ βψ σεττινγ τηε χοµπονεντσ οφ τηε ϖεχτορ ν χορρεσπονδινγ το ανψ σατυρατεδ ωειγητσ το 0 ανδ τηε φαχτορ οφ Νυ ιν εθυατιον 8.14 εθυαλ το τηε συµ οφ τηε χοµπονεντσ οφ τηισ µοδι⇒εδ ν ϖεχτορ (ι.ε., τηε νυµβερ οφ υνσατ− υρατεδ χοµπονεντσ). Ωιτηουτ ανψ υππερ σατυρατιον λιµιτ, τηισ προχεδυρε οφτεν ρεσυλτσ ιν α ⇒ναλ ουτχοµε ιν ωηιχη αλλ τηε ωειγητσ βυτ ονε ηαϖε βεεν σετ το 0. Το αϖοιδ τηισ, αν υππερ σατυρατιον λιµιτ ισ αλσο τψπιχαλλψ ιµποσεδ. Ηεββιαν πλαστιχιτψ ωιτη συβτραχτιϖε νορµαλιζατιον ισ ηιγηλψ χοµπετιτιϖε βεχαυσε σµαλλ ωειγητσ αρε ρεδυχεδ βψ α λαργερ προπορτιον οφ τηειρ σιζεσ τηαν αρε λαργε ωειγητσ.

Μυλτιπλιχατιϖε Νορµαλιζατιον ανδ τηε Οϕα Ρυλε

Οϕα ρυλε

Α χονστραιντ ον τηε συµ οφ τηε σθυαρεσ οφ τηε σψναπτιχ ωειγητσ χαν βε ιµ− ποσεδ δψναµιχαλλψ βψ υσινγ α µοδι⇒χατιον οφ τηε βασιχ Ηεββ ρυλε κνοων ασ τηε Οϕα ρυλε (Οϕα, 1982),

τw

δω = vυ − αv2 ω , δτ

(8.16)

8.2

Σψναπτιχ Πλαστιχιτψ Ρυλεσ

291

ωηερε α ισ α ποσιτιϖε χονσταντ. Τηισ ρυλε ινϖολϖεσ ονλψ ινφορµατιον τηατ ισ λοχαλ το τηε σψναπσε βεινγ µοδι⇒εδ (ναµελψ, τηε πρε− ανδ ποστσψναπ− τιχ αχτιϖιτιεσ ανδ τηε λοχαλ σψναπτιχ ωειγητ), βυτ ιτσ φορµ ισ βασεδ µορε ον τηεορετιχαλ αργυµεντσ τηαν ον εξπεριµενταλ δατα. Τηε νορµαλιζατιον ιτ ιµ− ποσεσ ισ χαλλεδ µυλτιπλιχατιϖε βεχαυσε τηε αµουντ οφ µοδι⇒χατιον ινδυχεδ βψ τηε σεχονδ τερµ ιν εθυατιον 8.16 ισ προπορτιοναλ το ω. Τηε σταβιλιτψ οφ τηε Οϕα ρυλε χαν βε εσταβλισηεδ βψ τακινγ τηε δοτ προδυχτ οφ εθυατιον 8.16 ωιτη τηε ωειγητ ϖεχτορ ω το οβταιν

τw

δ|ω|2 = 2v2 (1 − α|ω|2 ) . δτ

(8.17)

Τηισ ινδιχατεσ τηατ |ω|2 ωιλλ ρελαξ οϖερ τιµε το τηε ϖαλυε 1/α, ωηιχη οβ− ϖιουσλψ πρεϖεντσ τηε ωειγητσ φροµ γροωινγ ωιτηουτ βουνδ, προϖινγ στα− βιλιτψ. Ιτ αλσο ινδυχεσ χοµπετιτιον βετωεεν τηε διφφερεντ ωειγητσ, βεχαυσε ωηεν ονε ωειγητ ινχρεασεσ, τηε µαιντενανχε οφ α χονσταντ λενγτη φορ τηε ωειγητ ϖεχτορ φορχεσ οτηερ ωειγητσ το δεχρεασε.

Τιµινγ−Βασεδ Ρυλεσ Εξπεριµεντσ ηαϖε σηοων τηατ τηε ρελατιϖε τιµινγ οφ πρε− ανδ ποστσψναπτιχ αχτιον ποτεντιαλσ πλαψσ α χριτιχαλ ρολε ιν δετερµινινγ τηε σιγν ανδ αµπλι− τυδε οφ τηε χηανγεσ ιν σψναπτιχ εφ⇒χαχψ προδυχεδ βψ αχτιϖιτψ. Φιγυρε 8.2 σηοωσ εξαµπλεσ φροµ αν ιντραχελλυλαρ ρεχορδινγ οφ α παιρ οφ χορτιχαλ πψρα− µιδαλ χελλσ ιν α σλιχε εξπεριµεντ, ανδ φροµ αν ιν ϖιϖο εξπεριµεντ ον ρετινο− τεχταλ σψναπσεσ ιν α Ξενοπυσ ταδπολε. Βοτη εξπεριµεντσ ινϖολϖε ρεπεατεδ παιρινγ οφ πρε− ανδ ποστσψναπτιχ αχτιον ποτεντιαλσ, ανδ βοτη σηοω τηατ τηε ρελατιϖε τιµινγ οφ τηεσε σπικεσ ισ χριτιχαλ ιν δετερµινινγ τηε αµουντ ανδ τψπε οφ σψναπτιχ µοδι⇒χατιον τηατ τακεσ πλαχε. Σψναπτιχ πλαστιχιτψ οχχυρσ ονλψ ιφ τηε διφφερενχε ιν τηε πρε− ανδ ποστσψναπτιχ σπικε τιµεσ φαλλσ ωιτηιν α ωινδοω οφ ρουγηλψ ±50 µσ. Ωιτηιν τηισ ωινδοω, τηε σιγν οφ τηε σψναπτιχ µοδι⇒χατιον δεπενδσ ον τηε ορδερ οφ στιµυλατιον. Πρεσψναπτιχ σπικεσ τηατ πρεχεδε ποστσψναπτιχ αχτιον ποτεντιαλσ προδυχε ΛΤΠ. Πρεσψναπτιχ σπικεσ τηατ φολλοω ποστσψναπτιχ αχτιον ποτεντιαλσ προδυχε ΛΤ∆. Τηισ ισ ιν αχχορδ ωιτη Ηεββaσ οριγιναλ χονϕεχτυρε, βεχαυσε α σψναπσε ισ στρενγτηενεδ ονλψ ωηεν α πρεσψναπτιχ αχτιον ποτεντιαλ πρεχεδεσ α ποστσψναπτιχ αχτιον ποτεν− τιαλ ανδ τηερεφορε χαν βε ιντερπρετεδ ασ ηαϖινγ χοντριβυτεδ το ιτ. Ωηεν τηε ορδερ ισ ρεϖερσεδ ανδ τηε πρεσψναπτιχ αχτιον ποτεντιαλ χουλδ νοτ ηαϖε χον− τριβυτεδ το τηε ποστσψναπτιχ ρεσπονσε, τηε σψναπσε ισ ωεακενεδ. Τηε µαξ− ιµυµ αµουντ οφ σψναπτιχ µοδι⇒χατιον οχχυρσ ωηεν τηε παιρεδ σπικεσ αρε σεπαρατεδ βψ ονλψ α φεω µιλλισεχονδσ, ανδ τηε εϖοκεδ πλαστιχιτψ δεχρεασεσ το 0 ασ τηισ σεπαρατιον ινχρεασεσ. Σιµυλατινγ τηε σπικε−τιµινγ δεπενδενχε οφ σψναπτιχ πλαστιχιτψ ρεθυιρεσ α σπικινγ µοδελ. Ηοωεϖερ, αν αππροξιµατε µοδελ χαν βε χονστρυχτεδ ον τηε βασισ οφ ⇒ρινγ ρατεσ. Τηε εφφεχτ οφ πρε− ανδ ποστσψναπτιχ τιµινγ χαν βε ιν− χλυδεδ ιν α σψναπτιχ µοδι⇒χατιον ρυλε βψ ινχλυδινγ α τεµποραλ διφφερενχε

292

Πλαστιχιτψ ανδ Λεαρνινγ

A

B 90

130 (+10 µσ)

120 110 100

(±100 µσ)

90 (-10 µσ)

80 70 0

25

time (µιν)

50

percent potentiation

EPSP amplitude (% of control)

140

60 30 0 -30 -60 -100

-50

0

50

100

τποστ − τπρε (µσ)

Φιγυρε 8.2 ΛΤΠ ανδ ΛΤ∆ προδυχεδ βψ 50 το 75 παιρσ οφ πρε− ανδ ποστσψναπτιχ αχτιον ποτεντιαλ ωιτη ϖαριουσ τιµινγσ. (Α) Τηε αµπλιτυδε οφ τηε εξχιτατορψ ποστσψναπτιχ ποτεντιαλ (ΕΠΣΠ) εϖοκεδ βψ στιµυλατιον οφ τηε πρεσψναπτιχ νευρον πλοττεδ ατ ϖαρι− ουσ τιµεσ ασ α περχενταγε οφ τηε αµπλιτυδε πριορ το παιρεδ στιµυλατιον. Ατ τηε τιµε ινδιχατεδ βψ τηε αρροω, παιρεδ στιµυλατιονσ οφ τηε πρεσψναπτιχ ανδ ποστσψναπτιχ νευρονσ ωερε περφορµεδ. Φορ τηε τραχεσ µαρκεδ βψ οπεν σψµβολσ, τηε πρεσψναπ− τιχ σπικε οχχυρρεδ ειτηερ 10 ορ 100 µσ βεφορε τηε ποστσψναπτιχ νευρον ⇒ρεδ αν αχ− τιον ποτεντιαλ. Τηε τραχεσ µαρκεδ βψ σολιδ σψµβολσ δενοτε τηε ρεϖερσε ορδερινγ ιν ωηιχη τηε πρεσψναπτιχ σπικε οχχυρρεδ ειτηερ 10 ορ 100 µσ αφτερ τηε ποστσψναπτιχ σπικε. Σεπαρατιονσ οφ 100 µσ ηαδ νο λονγ−λαστινγ εφφεχτ. Ιν χοντραστ, τηε 10 µσ δε− λαψσ προδυχεδ εφφεχτσ τηατ βυιλτ υπ το α µαξιµυµ οϖερ α 5−το−10−µινυτε περιοδ ανδ λαστεδ φορ τηε δυρατιον οφ τηε εξπεριµεντ. Παιρινγ α πρεσψναπτιχ αχτιον ποτεντιαλ ωιτη α ποστσψναπτιχ αχτιον ποτεντιαλ 10 µσ λατερ προδυχεδ ΛΤΠ, ωηερεασ τηε ρεϖερσε ορδερινγ γενερατεδ ΛΤ∆. (Β) ΛΤΠ ανδ ΛΤ∆ οφ ρετινοτεχταλ σψναπσεσ ρεχορδεδ ιν ϖιϖο ιν Ξενοπυσ ταδπολεσ. Τηε περχεντ χηανγε ιν σψναπτιχ στρενγτη προδυχεδ βψ µυλτι− πλε παιρσ οφ αχτιον ποτεντιαλσ ισ πλοττεδ ασ α φυνχτιον οφ τηειρ τιµε διφφερενχε. Τηε ⇒λλεδ σψµβολσ χορρεσπονδ το εξτραχελλυλαρ στιµυλατιον οφ τηε ποστσψναπτιχ νευρον, ανδ τηε οπεν σψµβολσ, το ιντραχελλυλαρ στιµυλατιον. Τηε Η φυνχτιον ιν εθυατιον 8.18 ισ προπορτιοναλ το τηε σολιδ χυρϖε. (Α αδαπτεδ φροµ Μαρκραµ ετ αλ., 1997; Β αδαπτεδ φροµ Ζηανγ ετ αλ., 1998.)

τιµινγ−βασεδ ρυλε

τ βετωεεν τηε τιµεσ ωηεν τηε ⇒ρινγ ρατεσ οφ τηε πρε− ανδ ποστσψναπτιχ νευ− ρονσ αρε εϖαλυατεδ. Α φυνχτιον Η (τ) δετερµινεσ τηε ρατε οφ σψναπτιχ µοδ− ι⇒χατιον τηατ οχχυρσ δυε το ποστσψναπτιχ αχτιϖιτψ σεπαρατεδ ιν τιµε φροµ πρεσψναπτιχ αχτιϖιτψ βψ αν ιντερϖαλ τ . Τηε τοταλ ρατε οφ σψναπτιχ µοδι⇒χα− τιον ισ δετερµινεδ βψ ιντεγρατινγ οϖερ αλλ τιµε διφφερενχεσ τ . Ιφ ωε ασσυµε τηατ τηε ρατε οφ σψναπτιχ µοδι⇒χατιον ισ προπορτιοναλ το τηε προδυχτ οφ τηε πρε− ανδ ποστσψναπτιχ ρατεσ, ασ ιτ ισ φορ α Ηεββιαν ρυλε, τηε ρατε οφ χηανγε οφ τηε σψναπτιχ ωειγητσ ατ τιµε τ ισ γιϖεν βψ " ∞ δω τw = δτ ( Η (τ)v(τ )υ(τ − τ) + Η (−τ)v(τ − τ)υ(τ )) . (8.18) δτ 0 Ιφ Η (τ) ισ ποσιτιϖε φορ ποσιτιϖε τ ανδ νεγατιϖε φορ νεγατιϖε τ , τηε ⇒ρστ τερµ ον τηε ριγητ σιδε οφ τηισ εθυατιον ρεπρεσεντσ ΛΤΠ, ανδ τηε σεχονδ, ΛΤ∆. Τηε σολιδ χυρϖε ιν ⇒γυρε 8.2Β ισ αν εξαµπλε οφ συχη αν Η φυνχτιον. Τηε τεµ− ποραλ ασψµµετρψ οφ Η ηασ α δραµατιχ εφφεχτ ον σψναπτιχ ωειγητ χηανγεσ βεχαυσε ιτ χαυσεσ τηεµ το δεπενδ ον τηε τεµποραλ ορδερ οφ τηε πρε− ανδ

8.3 Υνσυπερϖισεδ Λεαρνινγ

293

ποστσψναπτιχ αχτιϖιτψ δυρινγ τραινινγ. Αµονγ οτηερ τηινγσ, τηισ αλλοωσ σψναπτιχ ωειγητσ το στορε ινφορµατιον αβουτ τεµποραλ σεθυενχεσ. Ρυλεσ ιν ωηιχη σψναπτιχ πλαστιχιτψ ισ βασεδ ον τηε ρελατιϖε τιµινγ οφ πρε− ανδ ποστσψναπτιχ αχτιον ποτεντιαλσ στιλλ ρεθυιρε σατυρατιον χονστραιντσ φορ σταβιλιτψ, βυτ, ιν σπικινγ µοδελσ, τηεψ χαν γενερατε χοµπετιτιον βετωεεν σψναπσεσ ωιτηουτ φυρτηερ χονστραιντσ ορ µοδι⇒χατιονσ. Τηισ ισ βεχαυσε διφφερεντ σψναπσεσ χοµπετε το χοντρολ τηε τιµινγ οφ ποστσψναπτιχ σπικεσ. Σψναπσεσ τηατ αρε αβλε το εϖοκε ποστσψναπτιχ σπικεσ ραπιδλψ γετ στρενγτη− ενεδ. Τηεσε σψναπσεσ τηεν εξερτ α µορε ποωερφυλ ιν⇓υενχε ον τηε τιµ− ινγ οφ ποστσψναπτιχ σπικεσ, ανδ τηεψ τενδ το γενερατε σπικεσ ατ τιµεσ τηατ λεαδ το τηε ωεακενινγ οφ οτηερ σψναπσεσ τηατ αρε λεσσ χαπαβλε οφ χοντρολλινγ ποστσψναπτιχ σπικε τιµινγ.

8.3

Υνσυπερϖισεδ Λεαρνινγ

Ωε νοω χονσιδερ τηε χοµπυτατιοναλ προπερτιεσ οφ τηε διφφερεντ σψναπτιχ µοδι⇒χατιον ρυλεσ ωε ηαϖε ιντροδυχεδ ιν τηε χοντεξτ οφ υνσυπερϖισεδ λεαρνινγ. Υνσυπερϖισεδ λεαρνινγ προϖιδεσ α µοδελ φορ τηε εφφεχτσ οφ αχ− τιϖιτψ ον δεϖελοπινγ νευραλ χιρχυιτσ ανδ τηε εφφεχτσ οφ εξπεριενχε ον µα− τυρε νετωορκσ. Ωε σεπαρατε τηε δισχυσσιον οφ υνσυπερϖισεδ λεαρνινγ ιντο χασεσ ινϖολϖινγ α σινγλε ποστσψναπτιχ νευρον ανδ χασεσ ιν ωηιχη τηερε αρε µυλτιπλε ποστσψναπτιχ νευρονσ. Α µαϕορ αρεα οφ ρεσεαρχη ιν υνσυπερϖισεδ λεαρνινγ χονχερνσ τηε δεϖελοπ− µεντ οφ νευροναλ σελεχτιϖιτψ ανδ τηε φορµατιον οφ χορτιχαλ µαπσ. Χηαπ− τερσ 1 ανδ 2 προϖιδεδ εξαµπλεσ οφ τηε σελεχτιϖιτιεσ οφ νευρονσ ιν ϖαριουσ χορτιχαλ αρεασ το φεατυρεσ οφ τηε στιµυλι το ωηιχη τηεψ ρεσπονδ. Ιν µανψ χασεσ, νευροναλ σελεχτιϖιτιεσ αρε αρρανγεδ αχροσσ τηε χορτιχαλ συρφαχε ιν αν ορδερλψ ανδ ρεγυλαρ παττερν κνοων ασ α χορτιχαλ µαπ. Τηε παττερνσ οφ χον− νεχτιον τηατ γιϖε ρισε το νευροναλ σελεχτιϖιτιεσ ανδ χορτιχαλ µαπσ αρε εσ− ταβλισηεδ δυρινγ δεϖελοπµεντ βψ βοτη αχτιϖιτψ−ινδεπενδεντ ανδ αχτιϖιτψ− δεπενδεντ προχεσσεσ. Α χονϖεντιοναλ ϖιεω ισ τηατ αχτιϖιτψ−ινδεπενδεντ µεχηανισµσ χοντρολ τηε ινιτιαλ ταργετινγ οφ αξονσ, δετερµινε τηε αππροπρι− ατε λαψερ φορ τηεµ το ιννερϖατε, ανδ εσταβλιση α χοαρσε ορδερ ορ παττερνινγ ιν τηειρ προϕεχτιονσ. Οτηερ αχτιϖιτψ−ινδεπενδεντ ανδ αχτιϖιτψ−δεπενδεντ µεχηανισµσ τηεν ρε⇒νε τηισ ορδερ ανδ ηελπ το χρεατε ανδ πρεσερϖε νευ− ροναλ σελεχτιϖιτιεσ ανδ χορτιχαλ µαπσ. Αλτηουγη τηε ρελατιϖε ρολεσ οφ αχτιϖιτψ−ινδεπενδεντ ανδ αχτιϖιτψ−δεπεν− δεντ προχεσσεσ ιν χορτιχαλ δεϖελοπµεντ αρε τηε συβϕεχτ οφ εξτενσιϖε δεβατε, δεϖελοπµενταλ µοδελσ βασεδ ον αχτιϖιτψ−δεπενδεντ πλαστιχιτψ ηαϖε πλαψεδ αν ιµπορταντ ρολε ιν συγγεστινγ κεψ εξπεριµεντσ ανδ συχχεσσφυλλψ πρε− διχτινγ τηειρ ουτχοµεσ. Α δεταιλεδ αναλψσισ οφ τηε µορε χοµπλεξ παττερν− φορµινγ µοδελσ τηατ ηαϖε βεεν προποσεδ ισ βεψονδ τηε σχοπε οφ τηισ βοοκ. Ινστεαδ, ιν τηισ ανδ λατερ σεχτιονσ, ωε γιϖε α βριεφ οϖερϖιεω οφ σοµε διφφερ− εντ αππροαχηεσ ανδ τηε ρεσυλτσ τηατ ηαϖε βεεν οβταινεδ. Ιν τηισ σεχτιον, ωε χονσιδερ τηε χασε οφ οχυλαρ δοµινανχε.

χορτιχαλ µαπ

294 οχυλαρ δοµινανχε

οχυλαρ δοµινανχε στριπεσ

Πλαστιχιτψ ανδ Λεαρνινγ

Οχυλαρ δοµινανχε ρεφερσ το τηε τενδενχψ οφ ινπυτ το νευρονσ ιν τηε αδυλτ πριµαρψ ϖισυαλ χορτεξ οφ µανψ µαµµαλιαν σπεχιεσ το φαϖορ ονε εψε οϖερ τηε οτηερ. Τηισ ισ εσπεχιαλλψ τρυε φορ νευρονσ ιν λαψερ 4, ωηιχη ρεχειϖε εξ− τενσιϖε ιννερϖατιον φροµ τηε ΛΓΝ. Νευρονσ δοµινατεδ βψ ονε εψε ορ τηε οτηερ οχχυπψ διφφερεντ πατχηεσ οφ χορτεξ, ανδ αρεασ ωιτη λεφτ− ορ ριγητ−εψε οχυλαρ δοµινανχε αλτερνατε αχροσσ τηε χορτεξ ιν φαιρλψ ρεγυλαρ βανδσ κνοων ασ οχυλαρ δοµινανχε στριπεσ. Ιν α λατερ σεχτιον, ωε δισχυσσ ηοω τηισ χορτιχαλ µαπ χαν αρισε φροµ Ηεββιαν πλαστιχιτψ.

Σινγλε Ποστσψναπτιχ Νευρον Εθυατιον 8.5, ωηιχη σηοωσ τηε χονσεθυενχε οφ αϖεραγινγ τηε βασιχ Ηεββ ρυλε οϖερ αλλ τηε πρεσψναπτιχ τραινινγ παττερνσ, ισ α λινεαρ εθυατιον φορ ω. Προϖιδεδ τηατ ωε ιγνορε ανψ χονστραιντσ ον ω, ιτ χαν βε αναλψζεδ υσινγ στανδαρδ τεχηνιθυεσ φορ σολϖινγ διφφερεντιαλ εθυατιονσ (σεε χηαπτερ 7 ανδ τηε Ματηεµατιχαλ Αππενδιξ). Ιν παρτιχυλαρ, ωε υσε τηε µετηοδ οφ µατριξ διαγοναλιζατιον, ωηιχη ινϖολϖεσ εξπρεσσινγ ω ιν τερµσ οφ τηε ειγενϖεχτορσ οφ Θ. Τηεσε αρε δενοτεδ βψ εµ ωιτη µ = 1, 2, · · · , Νυ , ανδ τηεψ σατισφψ Θ · εµ = λµ εµ . Φορ χορρελατιον ορ χοϖαριανχε µατριχεσ, αλλ τηε ειγενϖαλυεσ, λµ φορ αλλ µ, αρε ρεαλ ανδ νοννεγατιϖε, ανδ φορ χονϖενιενχε ωε ορδερ τηεµ σο τηατ λ1 ≥ λ2 ≥ . . . ≥ λ Νυ . Ανψ Νυ −διµενσιοναλ ϖεχτορ χαν βε ρεπρεσεντεδ υσινγ τηε ειγενϖεχτορσ ασ α βασισ, σο ωε χαν ωριτε ω(τ ) =

Νυ !

χµ (τ )εµ ,

(8.19)

µ=1

ωηερε τηε χοεφ⇒χιεντσ αρε εθυαλ το τηε δοτ προδυχτσ οφ ω ωιτη τηε χορρε− σπονδινγ ειγενϖεχτορσ. Φορ εξαµπλε, ατ τιµε 0, χµ (0 ) = ω(0 ) · εµ . Ωριτ− ινγ ω ασ α συµ οφ ειγενϖεχτορσ τυρνσ µατριξ µυλτιπλιχατιον ιντο ορδι− ναρψ µυλτιπλιχατιον, µακινγ χαλχυλατιονσ εασιερ. Συβστιτυτινγ τηε εξπαν− σιον 8.19 ιντο 8.5 ανδ φολλοωινγ τηε προχεδυρε πρεσεντεδ ιν χηαπτερ 7 φορ ισολατινγ υνχουπλεδ εθυατιονσ φορ τηε χοεφ⇒χιεντσ, ωε ⇒νδ τηατ χµ (τ ) = χµ (0 ) εξπ(λµ τ/τw ). Γοινγ βαχκ το εθυατιον 8.19, τηισ µεανσ τηατ % & Νυ ! * λµ τ ) ω(τ ) = εξπ ω ( 0 ) · εµ εµ . (8.20) τ w µ=1

πρινχιπαλ ειγενϖεχτορ

Τηε εξπονεντιαλ φαχτορσ ιν 8.20 αλλ γροω οϖερ τιµε, βεχαυσε τηε ειγενϖαλυεσ λµ αρε ποσιτιϖε φορ αλλ µ ϖαλυεσ. Φορ λαργε τ, τηε τερµ ωιτη τηε λαργεστ ϖαλυε οφ λµ (ασσυµινγ ιτ ισ υνιθυε) βεχοµεσ µυχη λαργερ τηαν ανψ οφ τηε οτηερ τερµσ ανδ δοµινατεσ τηε συµ φορ ω. Τηισ λαργεστ ειγενϖαλυε ηασ τηε λαβελ µ = 1, ανδ ιτσ χορρεσπονδινγ ειγενϖεχτορ ε1 ισ χαλλεδ τηε πρινχιπαλ ειγεν− ϖεχτορ. Τηυσ, φορ λαργε τ, ω ∝ ε1 το α γοοδ αππροξιµατιον, προϖιδεδ τηατ ω(0 ) · ε1 ̸= 0. Αφτερ τραινινγ, τηε ρεσπονσε το αν αρβιτραρψ ινπυτ ϖεχτορ υ ισ ωελλ αππροξιµατεδ βψ

v ∝ ε1 · υ .

(8.21)

8.3 Υνσυπερϖισεδ Λεαρνινγ

295

1

ω2/ωµαξ

0.8

0.6

0.4

0.2

0

0

0.2

0.4

0.6

ω 1/ωµαξ

0.8

1

Φιγυρε 8.3 Ηεββιαν ωειγητ δψναµιχσ ωιτη σατυρατιον. Τηε χορρελατιον µατριξ οφ τηε ινπυτ ϖεχτορσ ηαδ διαγοναλ ελεµεντσ εθυαλ το 1 ανδ οφφ−διαγοναλ ελεµεντσ οφ −0.4. Τηε πρινχιπαλ ειγενϖεχτορ, ε1 = (1, −1 )/21/2 , δοµινατεσ τηε δψναµιχσ ιφ τηε ινιτιαλ ϖαλυεσ οφ τηε ωειγητσ αρε σµαλλ ενουγη (βελοω ορ το τηε λεφτ οφ τηε δασηεδ λινεσ). Τηισ µακεσ τηε ωειγητ ϖεχτορ µοϖε το τηε χορνερσ (wµαξ , 0 ) ορ (0, wµαξ ). Ηοωεϖερ, σταρτινγ τηε ωειγητσ ωιτη λαργερ ϖαλυεσ (βετωεεν τηε δασηεδ λινεσ) αλλοωσ σατυρατιον το οχχυρ ατ τηε χορνερ (wµαξ , wµαξ ). (Αδαπτεδ φροµ ΜαχΚαψ & Μιλλερ, 1990.)

Βεχαυσε τηε δοτ προδυχτ χορρεσπονδσ το α προϕεχτιον οφ ονε ϖεχτορ οντο αν− οτηερ, Ηεββιαν πλαστιχιτψ χαν βε ιντερπρετεδ ασ προδυχινγ αν ουτπυτ προ− πορτιοναλ το τηε προϕεχτιον οφ τηε ινπυτ ϖεχτορ οντο τηε πρινχιπαλ ειγενϖεχ− τορ οφ τηε χορρελατιον µατριξ οφ τηε ινπυτσ υσεδ δυρινγ τραινινγ. Ωε δισχυσσ τηε σιγνι⇒χανχε οφ τηισ ρεσυλτ ιν τηε νεξτ σεχτιον. Τηε προπορτιοναλιτψ σιγν ιν εθυατιον 8.21 ηιδεσ τηε λαργε µυλτιπλιχατιϖε φαχτορ εξπ(λ1 τ/τw ) τηατ ισ α χονσεθυενχε οφ τηε ποσιτιϖε φεεδβαχκ ινηερεντ ιν Ηεββιαν πλαστιχιτψ. Ονε ωαψ το λιµιτ γροωτη οφ τηε ωειγητ ϖεχτορ ιν εθυατιον 8.5 ισ το ιµποσε α σατυρατιον χονστραιντ. Τηισ χαν ηαϖε σιγνι⇒χαντ εφφεχτσ ον τηε ουτχοµε οφ Ηεββιαν µοδι⇒χατιον, ινχλυδινγ, ιν σοµε χασεσ, πρεϖεντινγ τηε ωειγητ ϖεχτορ φροµ ενδινγ υπ προπορτιοναλ το τηε πρινχιπαλ ειγενϖεχτορ. Φιγυρε 8.3 σηοωσ εξαµπλεσ οφ τηε Ηεββιαν δεϖελοπµεντ οφ τηε ωειγητσ ιν α χασε ωιτη ϕυστ τωο ινπυτσ. Φορ τηε χορρελατιον µατριξ υσεδ ιν τηισ εξαµπλε, τηε πρινχιπαλ ειγενϖεχτορ ισ ε1 = (1, −1 )/21/2 , σο αν αναλ− ψσισ τηατ ιγνορεδ σατυρατιον ωουλδ πρεδιχτ τηατ ονε ωειγητ ωουλδ ινχρεασε ωηιλε τηε οτηερ δεχρεασεδ. Ωηιχη ωειγητ µοϖεσ ιν ωηιχη διρεχτιον ισ χον− τρολλεδ βψ τηε ινιτιαλ χονδιτιονσ. Γιϖεν τηε χονστραιντσ, τηισ ωουλδ συγγεστ τηατ (wµαξ , 0 ) ανδ (0, wµαξ ) αρε τηε µοστ λικελψ ⇒ναλ χον⇒γυρατιονσ. Τηισ αναλψσισ γιϖεσ τηε χορρεχτ ανσωερ ονλψ φορ τηε ρεγιονσ ιν ⇒γυρε 8.3 βελοω ορ το τηε λεφτ οφ τηε δασηεδ λινεσ. Βετωεεν τηε δασηεδ λινεσ, τηε ⇒ναλ στατε ισ ω = (wµαξ , wµαξ ) βεχαυσε τηε ωειγητσ ηιτ τηε σατυρατιον βουνδαρψ βεφορε τηε εξπονεντιαλ γροωτη ισ λαργε ενουγη το αλλοω τηε πρινχιπαλ ειγενϖεχτορ το δοµινατε. Ανοτηερ ωαψ το ελιµινατε τηε λαργε εξπονεντιαλ φαχτορ ιν τηε ωειγητσ ισ το

296

Πλαστιχιτψ ανδ Λεαρνινγ

υσε τηε Οϕα ρυλε, 8.16, ινστεαδ οφ τηε βασιχ Ηεββ ρυλε. Τηε ωειγητ ϖεχτορ γενερατεδ βψ τηε Οϕα ρυλε, ιν τηε εξαµπλε ωε ηαϖε δισχυσσεδ, αππροαχηεσ ω = ε1 /α1/2 ασ τ → ∞. Ιν οτηερ ωορδσ, τηε Οϕα ρυλε γιϖεσ α ωειγητ ϖεχτορ τηατ ισ παραλλελ το τηε πρινχιπαλ ειγενϖεχτορ, βυτ νορµαλιζεδ το α λενγτη οφ 1/α1/2 ρατηερ τηαν γροωινγ ωιτηουτ βουνδ. Φιναλλψ, ωε εξαµινε τηε εφφεχτ οφ ινχλυδινγ α συβτραχτιϖε χονστραιντ, ασ ιν αϖεραγεδ Ηεββ ρυλε εθυατιον 8.14. Αϖεραγινγ εθυατιον 8.14 οϖερ τηε τραινινγ ινπυτσ, ωε ⇒νδ ωιτη συβτραχτιϖε δω (ω · Θ · ν )ν χονστραιντ τw =Θ·ω− . (8.22) δτ Νυ Ιφ ωε ονχε αγαιν εξπρεσσ ω ασ α συµ οφ ειγενϖεχτορσ οφ Θ, ωε ⇒νδ τηατ τηε γροωτη οφ εαχη χοεφ⇒χιεντ ιν τηισ συµ ισ υναφφεχτεδ βψ τηε εξτρα τερµ ιν εθυατιον 8.22, προϖιδεδ τηατ εµ · ν = 0. Ηοωεϖερ, ιφ εµ · ν ̸= 0, τηε εξτρα τερµ µοδι⇒εσ τηε γροωτη. Ιν ουρ δισχυσσιον οφ οχυλαρ δοµινανχε, ωε χον− σιδερ α χασε ιν ωηιχη τηε πρινχιπαλ ειγενϖεχτορ οφ τηε χορρελατιον µατριξ ισ προπορτιοναλ το ν. Ιν τηισ χασε, Θ · ε1 − (ε1 · Θ · ν )ν/ Ν = 0, σο τηε προϕεχτιον ιν τηε διρεχτιον οφ τηε πρινχιπαλ ειγενϖεχτορ ισ υναφφεχτεδ βψ τηε σψναπτιχ πλαστιχιτψ ρυλε. Φυρτηερµορε, εµ · ν = 0 φορ µ ≥ 2 βεχαυσε τηε ειγενϖεχτορσ οφ τηε χορρελατιον µατριξ αρε µυτυαλλψ ορτηογοναλ, ωηιχη ιµπλιεσ τηατ τηε εϖολυτιον οφ τηε ρεµαινινγ ειγενϖεχτορσ ισ υναφφεχτεδ βψ τηε χονστραιντ. Ασ α ρεσυλτ, & % Νυ ! * λµ τ ) ω ( 0 ) · εµ εµ . (8.23) ω(τ ) = (ω(0 ) · ε1 ) ε1 + εξπ τ w µ=2 Τηυσ, ιγνορινγ τηε εφφεχτσ οφ ανψ ποσσιβλε σατυρατιον χονστραιντσ, τηε σψναπ− τιχ ωειγητ µατριξ τενδσ το βεχοµε παραλλελ το τηε ειγενϖεχτορ ωιτη τηε σεχ− ονδ λαργεστ ειγενϖαλυε ασ τ → ∞.

Ιν συµµαρψ, ιφ ωειγητ γροωτη ισ λιµιτεδ βψ σοµε φορµ οφ µυλτιπλιχατιϖε νορµαλιζατιον, ασ ιν τηε Οϕα ρυλε, τηε χον⇒γυρατιον οφ σψναπτιχ ωειγητσ προδυχεδ βψ Ηεββιαν µοδι⇒χατιον τψπιχαλλψ ωιλλ βε προπορτιοναλ το τηε πρινχιπαλ ειγενϖεχτορ οφ τηε ινπυτ χορρελατιον µατριξ. Ωηεν συβτραχτιϖε νορµαλιζατιον ισ υσεδ ανδ τηε πρινχιπαλ ειγενϖεχτορ ισ προπορτιοναλ το ν, τηε ειγενϖεχτορ ωιτη τηε νεξτ λαργεστ ειγενϖαλυε προϖιδεσ αν εστιµατε οφ τηε χον⇒γυρατιον οφ ⇒ναλ ωειγητσ, αγαιν υπ το α προπορτιοναλιτψ φαχτορ. Ιφ, ηοωεϖερ, σατυρατιον χονστραιντσ αρε υσεδ, ασ τηεψ µυστ βε ιν α συβτραχ− τιϖε σχηεµε, τηισ χαν ινϖαλιδατε τηε ρεσυλτσ οφ α σιµπλι⇒εδ αναλψσισ βασεδ σολελψ ον τηεσε ειγενϖεχτορσ (ασ ιν ⇒γυρε 8.3). Νεϖερτηελεσσ, ωε βασε ουρ δισχυσσιον οφ τηε Ηεββιαν δεϖελοπµεντ οφ οχυλαρ δοµινανχε ανδ χορτιχαλ µαπσ ον αν αναλψσισ οφ τηε ειγενϖεχτορσ οφ τηε ινπυτ χορρελατιον µατριξ. Ωε πρεσεντ σιµυλατιον ρεσυλτσ το ϖεριφψ τηατ τηισ αναλψσισ ισ νοτ ινϖαλιδατεδ βψ τηε χονστραιντσ ιµποσεδ ιν τηε φυλλ µοδελσ. Πρινχιπαλ Χοµπονεντ Προϕεχτιον Ιφ αππλιεδ φορ α λονγ ενουγη τιµε, βοτη τηε βασιχ Ηεββ ρυλε (εθυατιον 8.3) ανδ τηε Οϕα ρυλε (εθυατιον 8.16) γενερατε ωειγητ ϖεχτορσ τηατ αρε παραλλελ

8.3 Υνσυπερϖισεδ Λεαρνινγ B

υ2,ω2 υ1,ω1

-2

C 4

2

4

3

υ2,ω2

2

υ2,ω2

A

297

2 1

-2

0

3

2 1

0

1

2

υ1,ω1

3

4

0

0

1

2

υ1,ω1

3

4

Φιγυρε 8.4 Υνσυπερϖισεδ Ηεββιαν λεαρνινγ ανδ πρινχιπαλ χοµπονεντ αναλψσισ. Τηε αξεσ ιν τηεσε ⇒γυρεσ αρε υσεδ το ρεπρεσεντ τηε χοµπονεντσ οφ βοτη υ ανδ ω. (Α) Τηε ⇒λλεδ χιρχλεσ σηοω τηε ινπυτσ υ = (υ1 , υ2 ) υσεδ δυρινγ α τραινινγ περιοδ ωηιλε α Ηεββιαν πλαστιχιτψ ρυλε ωασ αππλιεδ. Αφτερ τραινινγ, τηε ϖεχτορ οφ σψναπτιχ ωειγητσ ωασ αλιγνεδ παραλλελ το τηε σολιδ λινε. (Β) Χορρελατιον−βασεδ µοδι⇒χατιον ωιτη νονζερο µεαν ινπυτ. Ινπυτ ϖεχτορσ ωερε γενερατεδ ασ ιν Α εξχεπτ τηατ τηε διστριβυ− τιον ωασ σηιφτεδ το προδυχε αν αϖεραγε ϖαλυε ⟨υ⟩ = (2, 2 ). Αφτερ α τραινινγ περιοδ δυρινγ ωηιχη α Ηεββιαν πλαστιχιτψ ρυλε ωασ αππλιεδ, τηε σψναπτιχ ωειγητ ϖεχτορ ωασ αλιγνεδ παραλλελ το τηε σολιδ λινε. (Χ) Χοϖαριανχε−βασεδ µοδι⇒χατιον. Ποιντσ φροµ τηε σαµε διστριβυτιον ασ ιν Β ωερε υσεδ ωηιλε α χοϖαριανχε−βασεδ Ηεββιαν ρυλε ωασ αππλιεδ. Τηε ωειγητ ϖεχτορ βεχοµεσ αλιγνεδ παραλλελ το τηε σολιδ λινε.

το τηε πρινχιπαλ ειγενϖεχτορ οφ τηε χορρελατιον µατριξ οφ τηε ινπυτσ υσεδ δυρινγ τραινινγ. Φιγυρε 8.4Α προϖιδεσ α γεοµετριχ πιχτυρε οφ τηε σιγνι⇒− χανχε οφ τηισ ρεσυλτ. Ιν τηισ εξαµπλε, τηε βασιχ Ηεββ ρυλε ωασ αππλιεδ το α υνιτ δεσχριβεδ βψ εθυατιον 8.2 ωιτη τωο ινπυτσ (Νυ = 2). Τηισ µοδελ ισ νοτ χονστραινεδ το ηαϖε ποσιτιϖε υ ανδ v. Τηε ινπυτσ υσεδ δυρινγ τηε τραινινγ περιοδ ωερε χηοσεν φροµ α τωο−διµενσιοναλ Γαυσσιαν διστριβυτιον ωιτη υνεθυαλ ϖαριανχεσ, ρεσυλτινγ ιν τηε ελλιπτιχαλ διστριβυτιον οφ ποιντσ σεεν ιν τηε ⇒γυρε. Τηε ινιτιαλ ωειγητ ϖεχτορ ω(0 ) ωασ χηοσεν ρανδοµλψ. Τηε τωο− διµενσιοναλ ωειγητ ϖεχτορ προδυχεδ βψ α Ηεββιαν ρυλε ισ προπορτιοναλ το τηε πρινχιπαλ ειγενϖεχτορ οφ τηε ινπυτ χορρελατιον µατριξ. Τηε λινε ιν ⇒γ− υρε 8.4Α ινδιχατεσ τηε διρεχτιον αλονγ ωηιχη τηε ⇒ναλ ω λιεσ, ωιτη τηε υ1 ανδ υ2 αξεσ υσεδ το ρεπρεσεντ w1 ανδ w2 ασ ωελλ. Τηε ωειγητ ϖεχτορ ποιντσ ιν τηε διρεχτιον αλονγ ωηιχη τηε χλουδ οφ ινπυτ ποιντσ ηασ τηε λαργεστ ϖαρι− ανχε, α ρεσυλτ ωιτη ιντερεστινγ ιµπλιχατιονσ. Ανψ υνιτ τηατ οβεψσ εθυατιον 8.2 χηαραχτεριζεσ τηε στατε οφ ιτσ Νυ ινπυτσ βψ α σινγλε νυµβερ v, ωηιχη ισ εθυαλ το τηε προϕεχτιον οφ υ οντο τηε ωειγητ ϖεχτορ ω. Ιντυιτιον συγγεστσ, ανδ α τεχηνιθυε κνοων ασ πρινχιπαλ χοµ− πονεντ αναλψσισ (ΠΧΑ) φορµαλιζεσ, τηατ σεττινγ τηε προϕεχτιον διρεχτιον ω προπορτιοναλ το τηε πρινχιπαλ ειγενϖεχτορ ε1 ισ οφτεν τηε οπτιµαλ χηοιχε ιφ α σετ οφ ϖεχτορσ ισ το βε ρεπρεσεντεδ βψ, ανδ ρεχονστρυχτεδ φροµ, α σετ οφ σινγλε νυµβερσ τηρουγη α λινεαρ ρελατιον. Φορ εξαµπλε, ιφ ε1 ισ νορµαλιζεδ σο τηατ |ε1 | = 1, τηε ϖεχτορσ vω ωιτη v = ω · υ ανδ ω = ε1 προϖιδε τηε βεστ εστιµατεσ τηατ χαν βε γενερατεδ φροµ σινγλε νυµβερσ (v) οφ τηε σετ οφ ιν− πυτ ϖεχτορσ υ υσεδ το χονστρυχτ Θ. Φυρτηερµορε, τηε φαχτ τηατ προϕεχτιον αλονγ τηισ διρεχτιον µαξιµιζεσ τηε ϖαριανχε οφ τηε ρεσυλτινγ ουτπυτσ χαν βε ιντερπρετεδ υσινγ ινφορµατιον τηεορψ. Τηε εντροπψ οφ α Γαυσσιαν δισ− τριβυτεδ ρανδοµ ϖαριαβλε ωιτη ϖαριανχε σ 2 γροωσ ωιτη ινχρεασινγ ϖαριανχε ασ λογ2 σ . Ιφ τηε ινπυτ στατιστιχσ αρε Γαυσσιαν, ανδ τηε ουτπυτ ισ χορρυπτεδ

πρινχιπαλ χοµπονεντσ αναλψσισ ΠΧΑ

298

Πλαστιχιτψ ανδ Λεαρνινγ

βψ νοισε τηατ ισ αλσο Γαυσσιαν, µαξιµιζινγ τηε ϖαριανχε οφ v βψ α Ηεββιαν ρυλε µαξιµιζεσ νοτ ονλψ τηε ουτπυτ εντροπψ βυτ αλσο τηε αµουντ οφ ινφορ− µατιον v χαρριεσ αβουτ υ. Ιν χηαπτερ 10, ωε φυρτηερ χονσιδερ τηε χοµπυ− τατιοναλ σιγνι⇒χανχε οφ ⇒νδινγ τηε διρεχτιον οφ µαξιµυµ ϖαριανχε ιν τηε ινπυτ δατα σετ, ανδ ωε δισχυσσ τηε ρελατιονσηιπ βετωεεν τηισ ανδ γενεραλ τεχηνιθυεσ φορ εξτραχτινγ στρυχτυρε φροµ ινπυτ στατιστιχσ. Φιγυρε 8.4Β σηοωσ τηε χονσεθυενχε οφ αππλψινγ χορρελατιον−βασεδ Ηεββιαν πλαστιχιτψ ωηεν τηε αϖεραγε αχτιϖιτιεσ οφ τηε ινπυτσ αρε νοτ 0, ασ ισ ινεϖιταβλε ιφ ρεαλ ⇒ρινγ ρατεσ αρε εµπλοψεδ. Ιν τηισ εξαµπλε, χορρελατιον−βασεδ Ηεβ− βιαν µοδι⇒χατιον αλιγνσ τηε ωειγητ ϖεχτορ παραλλελ το α λινε φροµ τηε οριγιν το τηε ποιντ ⟨υ⟩. Τηισ χλεαρλψ φαιλσ το χαπτυρε τηε εσσενχε οφ τηε διστριβυ− τιον οφ ινπυτσ. Φιγυρε 8.4Χ σηοωσ τηε ρεσυλτ οφ αππλψινγ χοϖαριανχε−βασεδ Ηεββιαν µοδι⇒χατιον ινστεαδ. Νοω τηε ωειγητ ϖεχτορ ισ αλιγνεδ ωιτη τηε χλουδ οφ δατα ποιντσ βεχαυσε τηισ ρυλε ⇒νδσ τηε διρεχτιον οφ τηε πρινχιπαλ ειγενϖεχτορ οφ τηε χοϖαριανχε µατριξ Χ οφ εθυατιον 8.11 ρατηερ τηε χορρελα− τιον µατριξ Θ.

Ηεββιαν ∆εϖελοπµεντ οφ Οχυλαρ ∆οµινανχε Ασ αν εξαµπλε οφ α δεϖελοπµενταλ µοδελ οφ οχυλαρ δοµινανχε ατ τηε σιν− γλε νευρον λεϖελ, ωε χονσιδερ τηε ηιγηλψ σιµπλι⇒εδ χασε οφ α σινγλε λαψερ 4 χελλ τηατ ρεχειϖεσ ινπυτ φροµ ϕυστ τωο ΛΓΝ αφφερεντσ. Ονε αφφερεντ ισ ασσο− χιατεδ ωιτη τηε ριγητ εψε ανδ ηασ αχτιϖιτψ υΡ , ανδ τηε οτηερ ισ φροµ τηε λεφτ εψε ανδ ηασ αχτιϖιτψ υΛ . Τωο σψναπτιχ ωειγητσ ω = (wΡ , wΛ ) δεσχριβε τηε στρενγτησ οφ τηεσε προϕεχτιονσ, ανδ τηε ουτπυτ αχτιϖιτψ v ισ δετερµινεδ βψ εθυατιον 8.2,

v = wΡ υΡ + wΛ υΛ .

(8.24)

Τηε ωειγητσ ιν τηισ µοδελ αρε χονστραινεδ το νοννεγατιϖε ϖαλυεσ. Ινιτιαλλψ, τηε ωειγητσ φορ τηε ριγητ− ανδ λεφτ−εψε ινπυτσ αρε τακεν το βε αππροξιµατελψ εθυαλ. Οχυλαρ δοµινανχε αρισεσ ωηεν ονε οφ τηε ωειγητσ ισ πυσηεδ το 0 ωηιλε τηε οτηερ ρεµαινσ ποσιτιϖε. Ωε χαν εστιµατε τηε ρεσυλτσ οφ α Ηεββιαν δεϖελοπµενταλ προχεσσ βψ χον− σιδερινγ τηε ινπυτ χορρελατιον µατριξ. Ωε ασσυµε τηατ τηε τωο εψεσ αρε στατιστιχαλλψ εθυιϖαλεντ, σο τηε χορρελατιον µατριξ οφ τηε ριγητ− ανδ λεφτ−εψε ινπυτσ τακεσ τηε φορµ % & % & θΣ θ∆ ⟨υ Ρ υ Ρ ⟩ ⟨υ Ρ υ Λ ⟩ Θ = ⟨υυ⟩ = = . (8.25) ⟨υ Λ υ Ρ ⟩ ⟨υ Λ υ Λ ⟩ θ∆ θΣ Τηε συβσχριπτσ Σ ανδ ∆ δενοτε σαµε− ανδ διφφερεντ−εψε χορρελατιονσ. Τηε ειγενϖεχτορσ αρε ε1 = (1, 1 )/21/2 ανδ ε2 = (1, −1 )/21/2 φορ τηισ χορρελατιον µατριξ, ανδ τηειρ ειγενϖαλυεσ αρε λ1 = θΣ + θ∆ ανδ λ2 = θΣ − θ∆ . Ιφ τηε ριγητ− ανδ λεφτ−εψε ωειγητσ εϖολϖε αχχορδινγ το εθυατιον 8.5, ιτ ισ στραιγητφορωαρδ το σηοω τηατ τηε ειγενϖεχτορ χοµβινατιονσ w+ = wΡ + wΛ

8.3 Υνσυπερϖισεδ Λεαρνινγ

299

ανδ w− = wΡ − wΛ οβεψ τηε υνχουπλεδ εθυατιονσ

τw

δ w+ = (θΣ + θ∆ )w+ δτ

ανδ

τw

δ w− = (θΣ − θ∆ )w− . δτ

(8.26)

Ποσιτιϖε χορρελατιονσ βετωεεν τηε τωο εψεσ αρε λικελψ το εξιστ (θ∆ > 0) αφ− τερ εψε οπενινγ ηασ οχχυρρεδ. Τηισ µεανσ τηατ θΣ + θ∆ > θΣ − θ∆ , σο, αχ− χορδινγ το εθυατιονσ 8.26, w+ γροωσ µορε ραπιδλψ τηαν w− . Εθυιϖαλεντλψ, ε1 = (1, 1 )/21/2 ισ τηε πρινχιπαλ ειγενϖεχτορ. Τηε βασιχ Ηεββιαν ρυλε τηυσ πρεδιχτσ α ⇒ναλ ωειγητ ϖεχτορ προπορτιοναλ το ε1 , ωηιχη ιµπλιεσ εθυαλ ιν− νερϖατιον φροµ βοτη εψεσ. Τηισ ισ νοτ τηε οβσερϖεδ ουτχοµε οφ χορτιχαλ δεϖελοπµεντ. Φιγυρε 8.3 σηοωσ, ιν α διφφερεντ εξαµπλε, τηατ ιν τηε πρεσενχε οφ χονστραιντσ χερταιν ινιτιαλ χονδιτιονσ χαν λεαδ το ⇒ναλ χον⇒γυρατιονσ τηατ αρε νοτ προ− πορτιοναλ το τηε πρινχιπαλ ειγενϖεχτορ. Ηοωεϖερ, ιν τηε πρεσεντ χασε ινιτιαλ χονδιτιονσ ωιτη wΡ > 0 ανδ wΛ > 0 ιµπλψ τηατ w+ > w− , ανδ τηισ χουπλεδ ωιτη τηε φαστερ γροωτη οφ w+ µεανσ τηατ w+ ωιλλ αλωαψσ δοµινατε οϖερ w− ατ σατυρατιον. Μυλτιπλιχατιϖε νορµαλιζατιον δοεσ νοτ χηανγε τηισ σιτυατιον. Το οβταιν οχυλαρ δοµινανχε ιν α Ηεββιαν µοδελ, ωε µυστ ιµποσε α χον− στραιντ τηε πρεϖεντσ w+ φροµ δοµινατινγ τηε ⇒ναλ χον⇒γυρατιον. Ονε ωαψ οφ δοινγ τηισ ισ το υσε εθυατιον 8.14, τηε Ηεββιαν ρυλε ωιτη συβτραχτιϖε νορµαλιζατιον. Τηισ χοµπλετελψ ελιµινατεσ τηε γροωτη οφ τηε ωειγητ ϖεχ− τορ ιν τηε διρεχτιον οφ ε1 (ι.ε., τηε ινχρεασε οφ w+ ) βεχαυσε, ιν τηισ χασε, ε1 ισ προπορτιοναλ το ν. Ον τηε οτηερ ηανδ, ιτ ηασ νο εφφεχτ ον γροωτη ιν τηε διρεχτιον ε2 (ι.ε., τηε γροωτη οφ w− ) βεχαυσε ε2 · ν = 0. Τηυσ, ωιτη συβτραχ− τιϖε νορµαλιζατιον, τηε ωειγητ ϖεχτορ γροωσ παραλλελ (ορ αντι−παραλλελ) το τηε διρεχτιον ε2 = (1, −1 )/21/2 . Τηε διρεχτιον οφ τηισ γροωτη δεπενδσ ον ινιτιαλ χονδιτιονσ τηρουγη τηε ϖαλυε οφ ω(0 ) · ε2 = (wΡ (0 ) − wΛ (0 ))/21/2 . Ιφ τηισ ισ ποσιτιϖε, wΡ ινχρεασεσ ανδ wΛ δεχρεασεσ; ιφ ιτ ισ νεγατιϖε, wΛ ιν− χρεασεσ ανδ wΡ δεχρεασεσ. Εϖεντυαλλψ, τηε δεχρεασινγ ωειγητ ωιλλ ηιτ τηε σατυρατιον λιµιτ οφ 0, ανδ τηε οτηερ ωειγητ ωιλλ στοπ ινχρεασινγ δυε το τηε νορµαλιζατιον χονστραιντ. Ατ τηισ ποιντ, τοταλ δοµινανχε βψ ονε εψε ορ τηε οτηερ ηασ βεεν αχηιεϖεδ. Τηισ σιµπλε µοδελ σηοωσ τηατ οχυλαρ δοµινανχε χαν αρισε φροµ Ηεββιαν πλαστιχιτψ ιφ τηερε ισ συφ⇒χιεντ χοµπετιτιον βετωεεν τηε γροωτη οφ τηε λεφτ− ανδ ριγητ−εψε ωειγητσ.

Ηεββιαν ∆εϖελοπµεντ οφ Οριεντατιον Σελεχτιϖιτψ Ηεββιαν µοδελσ χαν αλσο αχχουντ φορ τηε δεϖελοπµεντ οφ τηε οριεντατιον σελεχτιϖιτψ δισπλαψεδ βψ νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ. Τηε µοδελ οφ Ηυβελ ανδ Ωιεσελ φορ γενερατινγ αν οριεντατιον−σελεχτιϖε σιµπλε χελλ ρε− σπονσε βψ συµµινγ λινεαρ αρραψσ οφ αλτερνατινγ ΟΝ ανδ ΟΦΦ ΛΓΝ ινπυτσ ωασ πρεσεντεδ ιν χηαπτερ 2. Τηε νεχεσσαρψ παττερν οφ ΛΓΝ ινπυτσ χαν αρισε φροµ Ηεββιαν πλαστιχιτψ ον τηε βασισ οφ χορρελατιονσ βετωεεν τηε ρεσπονσεσ οφ διφφερεντ ΛΓΝ χελλσ ανδ χοµπετιτιον βετωεεν ΟΝ ανδ ΟΦΦ υνιτσ. Συχη α µοδελ χαν βε χονστρυχτεδ βψ χονσιδερινγ α σιµπλε χελλ ρεχειϖινγ ινπυτ φροµ ΟΝ−χεντερ ανδ ΟΦΦ−χεντερ χελλσ οφ τηε ΛΓΝ, ανδ αππλψινγ Ηεββιαν

300

Πλαστιχιτψ ανδ Λεαρνινγ

Φιγυρε 8.5 ∆ιφφερεντ χορτιχαλ ρεχεπτιϖε ⇒ελδσ αρισινγ φροµ α χορρελατιον−βασεδ δεϖελ− οπµενταλ µοδελ. Ωηιτε ανδ βλαχκ ρεγιονσ χορρεσπονδ το αρεασ ιν τηε ϖισυαλ ⇒ελδ ωηερε ΟΝ−χεντερ (ωηιτε ρεγιονσ) ορ ΟΦΦ−χεντερ (βλαχκ ρεγιονσ) ΛΓΝ χελλσ εξχιτε τηε χορτιχαλ νευρον βεινγ µοδελεδ. (Αδαπτεδ φροµ Μιλλερ, 1994.)

πλαστιχιτψ, συβϕεχτ το αππροπριατε χονστραιντσ, το τηε φεεδφορωαρδ ωειγητσ οφ τηε µοδελ. Ασ ιν τηε χασε οφ οχυλαρ δοµινανχε, τηε δεϖελοπµεντ οφ οριεντατιον σελεχ− τιϖιτψ χαν βε παρτιαλλψ αναλψζεδ ον τηε βασισ οφ προπερτιεσ οφ τηε χορρελα− τιον µατριξ δριϖινγ Ηεββιαν δεϖελοπµεντ. Τηε χριτιχαλ φεατυρε ρεθυιρεδ το προδυχε οριεντατιον−σελεχτιϖε ρεχεπτιϖε ⇒ελδσ ισ τηε γροωτη οφ χοµπο− νεντσ προπορτιοναλ το ειγενϖεχτορσ τηατ αρε νοτ σπατιαλλψ υνιφορµ ορ ρο− τατιοναλλψ ινϖαριαντ. Αππλιχατιον οφ α Ηεββιαν ρυλε ωιτηουτ χονστραιντσ λεαδσ το γροωτη οφ α υνιφορµ χοµπονεντ ρεσυλτινγ ιν αν υνστρυχτυρεδ ρε− χεπτιϖε ⇒ελδ. Αππροπριατε χονστραιντσ χαν ελιµινατε γροωτη οφ τηισ χοµ− πονεντ, προδυχινγ σπατιαλ στρυχτυρεδ ρεχεπτιϖε ⇒ελδσ. Τηε δεϖελοπµεντ οφ ρεχεπτιϖε ⇒ελδσ τηατ αρε νοτ ροτατιοναλλψ ινϖαριαντ, ανδ τηατ τηερεφορε εξ− ηιβιτ οριεντατιον σελεχτιϖιτψ, ρελιεσ ον νονλινεαρ ασπεχτσ οφ τηε µοδελ ανδ ισ τηερεφορε διφ⇒χυλτ το στυδψ αναλψτιχαλλψ. Φορ τηισ ρεασον, ωε σιµπλψ πρεσεντ σιµυλατιον ρεσυλτσ.

αρβορ φυνχτιον

Νευρονσ ιν πριµαρψ ϖισυαλ χορτεξ ρεχειϖε αφφερεντσ φροµ ΛΓΝ χελλσ χεν− τερεδ οϖερ α ⇒νιτε ρεγιον οφ τηε ϖισυαλ ⇒ελδ. Τηισ ανατοµιχαλ χονστραιντ χαν βε ινχλυδεδ ιν δεϖελοπµενταλ µοδελσ βψ ιντροδυχινγ ωηατ ισ χαλλεδ αν αρβορ φυνχτιον. Τηε αρβορ φυνχτιον, ωηιχη ισ οφτεν τακεν το βε Γαυσ− σιαν, χηαραχτεριζεσ τηε δενσιτψ οφ ιννερϖατιον φροµ διφφερεντ ϖισυαλ λοχα− τιονσ το τηε χελλ βεινγ µοδελεδ. Ασ α σιµπλι⇒χατιον, τηισ δενσιτψ ισ νοτ αλτερεδ δυρινγ τηε Ηεββιαν δεϖελοπµενταλ προχεσσ, βυτ τηε στρενγτησ οφ σψναπσεσ ωιτηιν τηε αρβορ αρε µοδι⇒εδ βψ τηε Ηεββιαν ρυλε. Τηε ουτχοµε ισ οριεντεδ ρεχεπτιϖε ⇒ελδσ οφ α λιµιτεδ σπατιαλ εξτεντ. Φιγυρε 8.5 σηοωσ τηε ωειγητσ ρεσυλτινγ φροµ α σιµυλατιον οφ ρεχεπτιϖε−⇒ελδ δεϖελοπµεντ υσινγ α λαργε αρραψ οφ ΟΝ− ανδ ΟΦΦ−χεντερ ΛΓΝ αφφερεντσ. Τηισ ιλλυστρατεσ τηε ϖα− ριετψ οφ οριεντεδ ρεχεπτιϖε ⇒ελδ στρυχτυρεσ τηατ χαν αρισε τηρουγη α Ηεββιαν δεϖελοπµενταλ ρυλε. Τεµποραλ Ηεββιαν Ρυλεσ ανδ Τραχε Λεαρνινγ Υνλικε χορρελατιον− ορ χοϖαριανχε−βασεδ ρυλεσ, τεµποραλ Ηεββιαν ρυλεσ αλ− λοω χηανγεσ οφ σψναπτιχ στρενγτη το δεπενδ ον τηε τεµποραλ σεθυενχε οφ

8.3 Υνσυπερϖισεδ Λεαρνινγ

301

αχτιϖιτψ αχροσσ τηε σψναπσε. Τηισ αλλοωσ τεµποραλ Ηεββιαν ρυλεσ το εξηιβιτ α πηενοµενον χαλλεδ τραχε λεαρνινγ, ωηερε τηε τερµ τραχε ρεφερσ το τηε ηισ− τορψ οφ σψναπτιχ αχτιϖιτψ.

τραχε λεαρνινγ

Ωε χαν αππροξιµατε τηε ⇒ναλ ρεσυλτ οφ αππλψινγ α τεµποραλ πλαστιχιτψ ρυλε βψ ιντεγρατινγ εθυατιον 8.18 φροµ τ = 0 το α λαργε ⇒ναλ τιµε τ = Τ, ασσυµινγ τηατ w = 0 ινιτιαλλψ, ανδ σηιφτινγ τηε ιντεγρατιον ϖαριαβλε το οβταιν ω=

1 τw

"

0

Τ

δτ v(τ )

"

∞

δτ Η (τ)υ(τ − τ) .

(8.27)

−∞

Τηε αππροξιµατιον χοµεσ φροµ ιγνορινγ βοτη σµαλλ χοντριβυτιονσ ασσο− χιατεδ ωιτη τηε ενδ ποιντσ οφ τηε ιντεγραλ ανδ τηε χηανγε ιν ϖ προδυχεδ δυρινγ τραινινγ βψ τηε µοδι⇒χατιον οφ ω. Εθυατιον 8.27 σηοωσ τηατ τεµ− ποραλλψ δεπενδεντ Ηεββιαν πλαστιχιτψ δεπενδσ ον τηε χορρελατιον βετωεεν τηε ποστσψναπτιχ αχτιϖιτψ ανδ τηε πρεσψναπτιχ αχτιϖιτψ τεµποραλλψ ⇒λτερεδ βψ τηε φυνχτιον Η. Εθυατιον 8.27 (ωιτη α συιταβλψ χηοσεν Η) χαν βε υσεδ το µοδελ τηε δε− ϖελοπµεντ οφ ινϖαριαντ ρεσπονσεσ. Νευρονσ ιν ινφεροτεµποραλ χορτεξ, φορ εξαµπλε, χαν ρεσπονδ σελεχτιϖελψ το παρτιχυλαρ οβϕεχτσ ινδεπενδεντ οφ τηειρ λοχατιον ωιτηιν α ωιδε ρεχεπτιϖε ⇒ελδ. Τηε ιδεα υνδερλψινγ τηε αππλιχατιον οφ εθυατιον 8.27 ισ τηατ οβϕεχτσ περσιστ ιν τηε ϖισυαλ ενϖιρονµεντ φορ χηαρ− αχτεριστιχ λενγτησ οφ τιµε ασ τηειρ ιµαγεσ µοϖε αχροσσ τηε ρετινα. Ιφ τηε πλαστιχιτψ ρυλε ιν εθυατιον 8.27 ⇒λτερσ πρεσψναπτιχ αχτιϖιτψ οϖερ τηισ περσισ− τενχε τιµε, ιτ στρενγτηενσ σψναπσεσ φροµ αλλ τηε πρεσψναπτιχ υνιτσ τηατ αρε αχτιϖατεδ βψ τηε ιµαγε οφ τηε οβϕεχτ ωηιλε ιτ περσιστσ ανδ µοϖεσ. Ασ α ρε− συλτ, τηε ρεσπονσε οφ τηε ποστσψναπτιχ χελλ χοµεσ το βε ινδεπενδεντ οφ τηε ποσιτιον οφ τηε οβϕεχτ, ανδ ποσιτιον−ινϖαριαντ ρεσπονσεσ χαν βε γενερατεδ.

Μυλτιπλε Ποστσψναπτιχ Νευρονσ Το στυδψ τηε εφφεχτ οφ πλαστιχιτψ ον µυλτιπλε νευρονσ, ωε ιντροδυχε τηε νετ− ωορκ οφ ⇒γυρε 8.6, ιν ωηιχη Νv ουτπυτ νευρονσ ρεχειϖε ινπυτ τηρουγη Νυ φεεδφορωαρδ χοννεχτιονσ ανδ φροµ ρεχυρρεντ ιντερχοννεχτιονσ. Α ϖεχτορ ϖ ρεπρεσεντσ τηε αχτιϖιτιεσ οφ τηε µυλτιπλε ουτπυτ υνιτσ, ανδ τηε φεεδφορωαρδ σψναπτιχ χοννεχτιονσ αρε δεσχριβεδ βψ α µατριξ Ω, ωιτη τηε ελεµεντ Ωαβ γιϖινγ τηε στρενγτη ανδ σιγν οφ τηε σψναπσε φροµ ινπυτ υνιτ β το ουτπυτ υνιτ α. Τηε στρενγτη οφ τηε ρεχυρρεντ χοννεχτιον φροµ ουτπυτ υνιτ α′ το ουτπυτ υνιτ α ισ δεσχριβεδ βψ ελεµεντ Μαα′ οφ τηε ρεχυρρεντ ωειγητ µατριξ Μ. Τηε αχτιϖιτψ ϖεχτορ φορ τηε ουτπυτ υνιτσ οφ τηε νετωορκ ιν ⇒γυρε 8.6 ισ δε− τερµινεδ βψ α λινεαρ ϖερσιον οφ τηε ρεχυρρεντ µοδελ οφ χηαπτερ 7,

τρ

δϖ = −ϖ + Ω · υ + Μ · ϖ . δτ

(8.28)

Προϖιδεδ τηατ τηε ρεαλ παρτσ οφ τηε ειγενϖαλυεσ οφ Μ αρε λεσσ τηαν 1, τηισ εθυατιον ηασ α σταβλε ⇒ξεδ ποιντ ωιτη α στεαδψ−στατε ουτπυτ αχτιϖιτψ ϖεχτορ

φεεδφορωαρδ ωειγητ µατριξ Ω ρεχυρρεντ ωειγητ µατριξ Μ

302

Πλαστιχιτψ ανδ Λεαρνινγ

Μ output ϖ

Ω input υ

υ1

υ2

υ3

υΝυ

Φιγυρε 8.6 Α νετωορκ ωιτη µυλτιπλε ουτπυτ υνιτσ δριϖεν βψ φεεδφορωαρδ σψναπσεσ ωιτη ωειγητσ Ω, ανδ ιντερχοννεχτεδ βψ ρεχυρρεντ σψναπσεσ ωιτη ωειγητσ Μ.

δετερµινεδ βψ ϖ = Ω · υ + Μ · ϖ. Κ = (Ι − Μ )−1

(8.29)

Εθυατιον 8.29 χαν βε σολϖεδ βψ δε⇒νινγ τηε µατριξ ινϖερσε Κ = (Ι − Μ )−1 , ωηερε Ι ισ τηε ιδεντιτψ µατριξ, το οβταιν ϖ = Κ · Ω · υ ορ

vα =

Νv ! Νυ !

Καα′ Ωα′ β υβ .

(8.30)

α′ =1 β=1

Ιτ ισ ιµπορταντ φορ διφφερεντ ουτπυτ νευρονσ ιν α µυλτι−υνιτ νετωορκ το βε σελεχτιϖε φορ διφφερεντ ασπεχτσ οφ τηε ινπυτ, ορ ελσε τηειρ ρεσπονσεσ ωιλλ βε ρεδυνδαντ. Φορ τηε χασε οφ α σινγλε χελλ, χοµπετιτιον βετωεεν διφφερεντ σψναπσεσ χουλδ βε υσεδ το ενσυρε τηατ σψναπσε−σπεχι⇒χ πλαστιχιτψ ρυλεσ δο νοτ µοδιφψ αλλ οφ τηε σψναπσεσ οντο α ποστσψναπτιχ νευρον ιν τηε σαµε ωαψ. Φορ µυλτιπλε ουτπυτ νετωορκσ, ⇒ξεδ ορ πλαστιχ λινεαρ ορ νονλινεαρ ρεχυρρεντ ιντεραχτιονσ χαν βε υσεδ το ενσυρε τηατ τηε υνιτσ δο νοτ αλλ δε− ϖελοπ τηε σαµε σελεχτιϖιτψ. Ιν τηε φολλοωινγ σεχτιονσ, ωε χονσιδερ τηρεε διφφερεντ παττερνσ οφ πλαστιχιτψ: πλαστιχ φεεδφορωαρδ ανδ ⇒ξεδ ρεχυρρεντ σψναπσεσ, πλαστιχ φεεδφορωαρδ ανδ ρεχυρρεντ σψναπσεσ, ανδ, ⇒ναλλψ, ⇒ξεδ φεεδφορωαρδ ανδ πλαστιχ ρεχυρρεντ σψναπσεσ. Ηεββιαν ∆εϖελοπµεντ οφ Οχυλαρ ∆οµινανχε Στριπεσ Οχυλαρ δοµινανχε στριπεσ χαν αρισε ιν α Ηεββιαν µοδελ ωιτη πλαστιχ φεεδ− φορωαρδ βυτ ⇒ξεδ ρεχυρρεντ σψναπσεσ. Ιν τηε σινγλε−χελλ µοδελ οφ οχυλαρ δοµινανχε χονσιδερεδ πρεϖιουσλψ, τηε υλτιµατε οχυλαρ πρεφερενχε οφ τηε ουτπυτ χελλ δεπενδσ ον τηε ινιτιαλ χονδιτιονσ οφ ιτσ σψναπτιχ ωειγητσ. Α µυλτιπλε−ουτπυτ ϖερσιον οφ τηε µοδελ ωιτηουτ ανψ ρεχυρρεντ χοννεχτιονσ ωουλδ τηερεφορε γενερατε α ρανδοµ παττερν οφ σελεχτιϖιτιεσ αχροσσ τηε χορ− τεξ ιφ ιτ σταρτεδ ωιτη ρανδοµ ωειγητσ. Φιγυρε 8.7Β σηοωσ τηατ οχυλαρ δοµ− ινανχε ισ αχτυαλλψ οργανιζεδ ιν α ηιγηλψ στρυχτυρεδ χορτιχαλ µαπ. ∆οµ− ινανχε βψ τηε λεφτ ανδ ριγητ εψε αλτερνατεσ αχροσσ τηε χορτεξ, φορµινγ α στριπεδ παττερν. Συχη α µαπ χαν αρισε ιν τηε χοντεξτ οφ Ηεββιαν δεϖελοπ− µεντ οφ φεεδφορωαρδ ωειγητσ ιφ ωε ινχλυδε α ⇒ξεδ ιντραχορτιχαλ χοννεχτιον µατριξ Μ.

8.3 Υνσυπερϖισεδ Λεαρνινγ

A

303

B

υΛ

υΡ

Φιγυρε 8.7 Τηε δεϖελοπµεντ οφ οχυλαρ δοµινανχε ιν α Ηεββιαν µοδελ. (Α) Τηε σιµπλι⇒εδ µοδελ ιν ωηιχη ριγητ− ανδ λεφτ− εψε ινπυτσ φροµ α σινγλε ρετιναλ λοχατιον δριϖε αν αρραψ οφ χορτιχαλ νευρονσ. (Β) Οχυλαρ δοµινανχε µαπσ. Τηε υππερ πανελ σηοωσ αν αρεα οφ χατ πριµαρψ ϖισυαλ χορτεξ ραδιοαχτιϖελψ λαβελεδ το διστινγυιση ρε− γιονσ αχτιϖατεδ βψ ονε εψε ορ τηε οτηερ. Τηε λιγητ ανδ δαρκ αρεασ αλονγ τηε χορτιχαλ ρεγιονσ ατ τηε τοπ ανδ βοττοµ ινδιχατε αλτερνατινγ ριγητ− ανδ λεφτ−εψε ιννερϖατιον. Τηε χεντραλ ρεγιον ισ ωηιτε µαττερ ωηερε ⇒βερσ αρε νοτ σεγρεγατεδ βψ οχυλαρ δοµι− νανχε. Τηε λοωερ πανελ σηοωσ τηε παττερν οφ ιννερϖατιον φορ α 512 υνιτ µοδελ αφτερ Ηεββιαν δεϖελοπµεντ. Ωηιτε ανδ βλαχκ ρεγιονσ δενοτε υνιτσ δοµινατεδ βψ ριγητ− ανδ λεφτ−εψε προϕεχτιονσ ρεσπεχτιϖελψ. (Β δατα οφ Σ. Λεςαψ, αδαπτεδ φροµ Νιχηολλσ ετ αλ., 1992.)

Ωιτη ⇒ξεδ ρεχυρρεντ ωειγητσ Μ ανδ πλαστιχ φεεδφορωαρδ ωειγητσ Ω, τηε εφφεχτ οφ αϖεραγινγ Ηεββιαν µοδι⇒χατιονσ οϖερ τηε τραινινγ ινπυτσ ισ

τw

δΩ = ⟨ϖυ⟩ = Κ · Ω · Θ , δτ

(8.31)

ωηερε Θ = ⟨υυ⟩ ισ τηε ινπυτ αυτοχορρελατιον µατριξ. Εθυατιον 8.31 ηασ τηε σαµε φορµ ασ τηε σινγλε υνιτ εθυατιον 8.5, εξχεπτ τηατ βοτη Κ ανδ Θ αφφεχτ τηε γροωτη οφ Ω. Ωε χονσιδερ α ηιγηλψ σιµπλι⇒εδ µοδελ οφ τηε δεϖελοπµεντ οφ οχυλαρ δοµ− ινανχε µαπσ τηατ χονσιδερσ ονλψ α σινγλε διρεχτιον αχροσσ τηε χορτεξ ανδ α σινγλε ποιντ ιν τηε ϖισυαλ ⇒ελδ. Φιγυρε 8.7Α σηοωσ τηε σιµπλι⇒εδ µοδελ, ωηιχη ηασ ονλψ τωο ινπυτ αχτιϖιτιεσ, υ Ρ ανδ υ Λ , τηατ ηαϖε τηε χορρελατιον µατριξ οφ εθυατιον 8.25. Τηεσε αρε χοννεχτεδ το µυλτιπλε ουτπυτ υνιτσ τηρουγη ωειγητ ϖεχτορσ ωΡ ανδ ωΛ . Τηε ουτπυτ υνιτσ αρε χοννεχτεδ το εαχη οτηερ τηρουγη ωειγητσ Μ, σο ϖ = ωΡ υΡ + ωΛ υΛ + Μ · ϖ. Τηε ινδεξ α δενοτινγ τηε ιδεντιτψ οφ α γιϖεν ουτπυτ υνιτ αλσο ρεπρεσεντσ τηε λοχατιον οφ τηατ υνιτ ον τηε χορτεξ. Τηισ λινκινγ οφ α το λοχατιονσ ον τηε χορτιχαλ συρφαχε αλλοωσ υσ το ιντερπρετ τηε ρεσυλτσ οφ τηε µοδελ ιν τερµσ οφ α χορτιχαλ µαπ. Ωριτινγ ω+ = ωΡ + ωΛ ανδ ω− = ωΡ − ωΛ , τηε εθυιϖαλεντ οφ εθυατιον 8.26 φορ τηεσε συµ ανδ διφφερενχε ϖεχτορσ ισ

τw

δω+ = (θΣ + θ∆ )Κ · ω+ δτ

τw

δω− = (θΣ − θ∆ )Κ · ω− . δτ

(8.32)

Ασ ιν τηε σινγλε−χελλ µοδελ οφ οχυλαρ δοµινανχε, συβτραχτιϖε νορµαλιζα− τιον, ωηιχη ηολδσ τηε ϖαλυε οφ ω+ ⇒ξεδ ωηιλε λεαϖινγ τηε γροωτη οφ ω− υναφφεχτεδ, ελιµινατεσ τηε τενδενχψ φορ τηε χορτιχαλ χελλσ το βεχοµε βινοχ− υλαρ. Τηεν ονλψ τηε εθυατιον φορ ω− ισ ρελεϖαντ, ανδ τηε γροωτη οφ ω− ισ

304

Πλαστιχιτψ ανδ Λεαρνινγ

δοµινατεδ βψ τηε πρινχιπαλ ειγενϖεχτορ οφ Κ. Τηε σιγν οφ τηε χοµπονεντ [ω− ]α δετερµινεσ ωηετηερ τηε νευρον ιν τηε ρεγιον οφ τηε χορτεξ χορρε− σπονδινγ το τηε λαβελ α ισ δοµινατεδ βψ τηε ριγητ εψε (ιφ ιτ ισ ποσιτιϖε) ορ τηε λεφτ εψε (ιφ ιτ ισ νεγατιϖε). Οσχιλλατιονσ ιν τηε σιγνσ οφ τηε χοµπονεντσ οφ ω− τρανσλατε ιντο οχυλαρ δοµινανχε στριπεσ. Ωε ασσυµε τηατ τηε χοννεχτιονσ βετωεεν τηε ουτπυτ νευρονσ αρε τρανσλα− τιον ινϖαριαντ, σο τηατ Καα′ = Κ (|α − α′ |) δεπενδσ ονλψ ον τηε σεπαρατιον βετωεεν τηε χορτιχαλ χελλσ α ανδ α′ . Νοτε τηατ ιτ ισ µορε χονϖενιεντ το χον− σιδερ τηε φορµ οφ τηε φυνχτιον Κ τηαν το δισχυσσ τηε χοννεχτιονσ βετωεεν ουτπυτ νευρονσ (Μ) διρεχτλψ. Ωε υσε α χονϖενιεντ τριχκ το ρεµοϖε εδγε εφφεχτσ, ωηιχη ισ το ιµποσε περιοδιχ βουνδαρψ χονδιτιονσ τηατ ρεθυιρε τηε αχτιϖιτιεσ οφ τηε υνιτσ ωιτη α = 0 ανδ α = Νv το βε ιδεντιχαλ. Τηισ προϖιδεσ α ρεασοναβλε µοδελ οφ α πατχη οφ τηε χορτεξ αωαψ φροµ ρεγιοναλ βουνδ− αριεσ. Ιν σοµε χασεσ, εδγε εφφεχτσ χαν ιµποσε ιµπορταντ χονστραιντσ ον τηε οϖεραλλ στρυχτυρε οφ µαπσ, βυτ ωε δο νοτ αναλψζε τηισ ηερε. Ιν τηε χασε οφ περιοδιχ βουνδαρψ χονδιτιονσ, τηε ειγενϖεχτορσ οφ Κ ηαϖε τηε φορµ % & 2πµα µ εα = χοσ −φ (8.33) Νv φορ µ = 0, 1, 2, . . . , Νv /2, ανδ ωιτη α πηασε παραµετερ φ τηατ χαν τακεν ανψ ϖαλυε φροµ 0 το 2π. Τηε ειγενϖαλυεσ αρε γιϖεν βψ τηε δισχρετε Φουριερ τρανσφορµ Κ˜ (µ) οφ Κ (|α − α′ |), ωηιχη ισ ρεαλ ιν τηε χασε ωε χονσιδερ (σεε τηε Ματηεµατιχαλ Αππενδιξ). Τηε πρινχιπαλ ειγενϖεχτορ ισ τηε ειγενφυνχτιον φροµ εθυατιον 8.33 ωιτη µ ϖαλυε χορρεσπονδινγ το τηε µαξιµυµ οφ Κ˜ (µ). Τηε φυνχτιονσ Κ ανδ Κ˜ ιν ⇒γυρε 8.8 αρε εαχη τηε διφφερενχε οφ τωο Γαυσσιαν φυνχτιονσ. Κ˜ ηασ βεεν πλοττεδ ασ α φυνχτιον οφ τηε σπατιαλ φρεθυενχψ κ = 2πµ/( Νv δ ), ωηερε δ ισ τηε χορτιχαλ διστανχε βετωεεν λοχατιονσ α ανδ α + 1. Τηε ϖαλυε οφ µ χορρεσπονδινγ το τηε πρινχιπαλ ειγενϖεχτορ ισ δετερµινεδ βψ τηε κ ϖαλυε χορρεσπονδινγ το τηε µαξιµυµ οφ τηε χυρϖε ιν ⇒γυρε 8.8Β. Τηε οσχιλλατιονσ ιν σιγν οφ τηε πρινχιπαλ ειγενϖεχτορ, ωηιχη ισ ινδιχατεδ βψ τηε δοττεδ λινε ιν ⇒γυρε 8.8Α, γενερατε αν αλτερνατινγ παττερν οφ λεφτ− ανδ ριγητ−εψε ιννερϖατιον ρεσεµβλινγ τηε οχυλαρ δοµινανχε στριπεσ σεεν ιν πριµαρψ ϖισυαλ χορτεξ (υππερ πανελ ⇒γυρε 8.7Β). Τηε λοωερ πανελ οφ ⇒γ− υρε 8.7Β σηοωσ τηε ρεσυλτ οφ α σιµυλατιον οφ Ηεββιαν δεϖελοπµεντ οφ αν οχυλαρ δοµινανχε µαπ φορ α ονε−διµενσιοναλ λινε αχροσσ χορτεξ χονσιστ− ινγ οφ 512 υνιτσ. Ιν τηισ σιµυλατιον, χονστραιντσ τηατ λιµιτ τηε γροωτη οφ σψναπτιχ ωειγητσ ηαϖε βεεν ινχλυδεδ, βυτ τηεσε δο νοτ δραµατιχαλλψ αλτερ τηε χονχλυσιονσ οφ ουρ αναλψσισ. Χοµπετιτιϖε Ηεββ Ρυλε Ιν τηισ σεχτιον ανδ τηε νεξτ, ωε χονσιδερ µοδελσ τηατ δεαλ ωιτη Ηεββιαν λεαρνινγ ανδ δεϖελοπµεντ ον α µορε αβστραχτ λεϖελ. Αλτηουγη ινσπιρεδ βψ φεατυρεσ οφ νευραλ χιρχυιτρψ, τηεσε µοδελσ αρε λεσσ διρεχτλψ λινκεδ το νευρονσ ανδ σψναπσεσ. Φορ εξαµπλε, τηε µοδελ δισχυσσεδ ιν τηισ σεχτιον χονσιδερσ

8.3 Υνσυπερϖισεδ Λεαρνινγ

A

305

B

1 0.5

Κ, ε

∼ Κ

0

0.6

0.4

0.2 -0.5 -1 -0.6 -0.4

-0.2

0

0.2

0.4

cortical distance (µµ)

0.6

0

0

20

40

60

κ (1/µµ)

Φιγυρε 8.8 Ηψποτηετιχαλ Κ φυνχτιον. (Α) Τηε σολιδ λινε ισ Κ (|α − α′ |) γιϖεν βψ τηε διφφερενχε οφ τωο Γαυσσιαν φυνχτιονσ. Ωε ηαϖε πλοττεδ τηισ ασ α φυνχτιον οφ τηε διστανχε βετωεεν τηε χορτιχαλ λοχατιονσ χορρεσπονδινγ το τηε ινδιχεσ α ανδ α′ , ρατηερ τηαν οφ |α − α′ |. Τηε δοττεδ λινε ισ τηε πρινχιπαλ ειγενϖεχτορ πλοττεδ ον τηε σαµε ˜ τηε Φουριερ τρανσφορµ οφ Κ. Τηισ ισ αλσο γιϖεν βψ τηε διφφερενχε οφ τωο σχαλε. (Β) Κ, Γαυσσιανσ. Ασ ιν Α, ωε υσε χορτιχαλ διστανχε υνιτσ ανδ πλοτ Κ˜ ιν τερµσ οφ τηε σπατιαλ φρεθυενχψ κ ρατηερ τηαν τηε ιντεγερ ινδεξ µ.

τηε εφφεχτσ οφ εξχιτατιον ανδ ινηιβιτιον βψ µοδελινγ χοµπετιτιϖε ανδ χο− οπερατιϖε ασπεχτσ οφ ηοω αχτιϖιτψ ισ γενερατεδ ιν, ανδ σπρεαδ αχροσσ, τηε χορτεξ. Τηε αδϖανταγε οφ τηισ αππροαχη ισ τηατ ιτ αλλοωσ υσ το δεαλ ωιτη χοµπλεξ, νονλινεαρ φεατυρεσ οφ Ηεββιαν µοδελσ ιν α µορε χοντρολλεδ ανδ µαναγεαβλε ωαψ. Ασ ωε ηαϖε σεεν, χοµπετιτιον βετωεεν νευρονσ ισ αν ιµ− πορταντ ελεµεντ ιν τηε δεϖελοπµεντ οφ ρεαλιστιχ παττερνσ οφ σελεχτιϖιτψ. Λιν− εαρ ρεχυρρεντ χοννεχτιονσ χαν προδυχε ονλψ α λιµιτεδ αµουντ οφ διφφερεντι− ατιον αµονγ νετωορκ νευρονσ, βεχαυσε τηεψ ινδυχε φαιρλψ ωεακ χοµπετι− τιον βετωεεν ουτπυτ υνιτσ. Ασ δεταιλεδ ιν χηαπτερ 7, ρεχυρρεντ χοννεχτιονσ χαν λεαδ το µυχη στρονγερ χοµπετιτιον ιφ τηε ιντεραχτιονσ αρε νονλινεαρ. Τηε µοδελ δισχυσσεδ ιν τηισ σεχτιον αλλοωσ στρονγλψ νονλινεαρ χοµπετιτιον το αρισε ιν α Ηεββιαν σεττινγ. Ασ µεντιονεδ ιν τηε πρεϖιουσ παραγραπη, τηε µοδελ ωε δισχυσσ ρεπρεσεντσ τηε εφφεχτ οφ χορτιχαλ προχεσσινγ ιν τωο σοµεωηατ αβστραχτ σταγεσ. Ονε σταγε, µοδελινγ τηε εφφεχτσ οφ λονγ−ρανγε ινηιβιτιον, ινϖολϖεσ χοµπετιτιον αµονγ αλλ τηε χορτιχαλ χελλσ φορ φεεδφορωαρδ ινπυτ ιν α σχηεµε ρελατεδ το τηατ υσεδ ιν χηαπτερ 2 φορ χοντραστ σατυρατιον. Τηε σεχονδ σταγε, µοδελ− ινγ σηορτερ−ρανγε εξχιτατιον, ινϖολϖεσ χοοπερατιον ιν ωηιχη νευρονσ τηατ ρεχειϖε φεεδφορωαρδ ινπυτ εξχιτε τηειρ νειγηβορσ. Ιν τηε ⇒ρστ σταγε, τηε φεεδφορωαρδ ινπυτ φορ υνιτ α, ανδ τηατ φορ αλλ τηε οτηερ υνιτσ, ισ φεδ τηρουγη α νονλινεαρ φυνχτιον το γενερατε α χοµπετιτιϖε µεα− συρε οφ τηε λοχαλ εξχιτατιον γενερατεδ ατ λοχατιον α, )/ *δ β Ωαβ υβ ζα = / )/ (8.34) *δ . ′ β υβ Ω ′ α α β

Τηε αχτιϖιτιεσ ανδ ωειγητσ αρε αλλ ασσυµεδ το βε ποσιτιϖε. Τηε παραµετερ δ χοντρολσ τηε δεγρεε οφ χοµπετιτιον. Φορ λαργε δ, ονλψ τηε λαργεστ φεεδφορ− ωαρδ ινπυτ συρϖιϖεσ. Τηε χασε δ = 1 ισ θυιτε σιµιλαρ το τηε λινεαρ ρεχυρρεντ χοννεχτιονσ οφ τηε πρεϖιουσ σεχτιον.

νονλινεαρ χοµπετιτιον

306

Ρ

Λ

left input β

right input β

C output α

B

Ρ

output α

Λ

output α

A

Πλαστιχιτψ ανδ Λεαρνινγ

input β

L

R

Φιγυρε 8.9 Οχυλαρ δοµινανχε παττερνσ φροµ α χοµπετιτιϖε Ηεββ ρυλε. (Α) Φιναλ σταβλε ωειγητσ Ωαβ πλοττεδ ασ α φυνχτιον οφ α ανδ β, σηοωινγ τηε ρελατιϖε στρενγτησ οφ τηε χοννεχτιονσ φροµ λεφτ− ανδ ριγητ−εψε ινπυτσ χεντερεδ ατ ϖαριουσ ρετιναλ λοχατιονσ. Ωηιτε ρεπρεσεντσ α λαργε ποσιτιϖε ϖαλυε ανδ βλαχκ ρεπρεσεντσ 0. (Β) Τηε διφφερενχε ιν τηε χοννεχτιονσ βετωεεν ριγητ− ανδ λεφτ−εψε ινπυτσ. Ωηιτε ινδιχατεσ α ποσιτιϖε ϖαλυε ανδ βλαχκ, α νεγατιϖε ϖαλυε. (Χ) ∆ιφφερενχε ιν τηε χοννεχτιονσ συµµεδ αχροσσ αλλ τηε ινπυτσ β το εαχη χορτιχαλ χελλ α, σηοωινγ τηε νετ οχυλαριτψ φορ εαχη χελλ. Τηε µοδελ υσεδ ηερε ηασ 100 ινπυτ υνιτσ φορ εαχη εψε ανδ φορ τηε ουτπυτ λαψερ, ανδ α χοαρσε ινιτιαλ τοπογραπηψ ωασ ασσυµεδ. Χιρχυλαρ (τοροιδαλ) βουνδαρψ χονδιτιονσ ωερε ιµποσεδ το αϖοιδ εδγε εφφεχτσ. Τηε ινπυτ αχτιϖιτψ παττερνσ δυρινγ τραινινγ ρεπρεσεντεδ σινγλε Γαυσσιαν ιλλυµινατιονσ ιν βοτη εψεσ χεντερεδ ον α ρανδοµλψ χηοσεν ινπυτ υνιτ β, ωιτη α λαργερ µαγνιτυδε φορ ονε εψε (χηοσεν ρανδοµλψ) τηαν φορ τηε οτηερ. Τηε ρεχυρρεντ ωειγητσ Μ τοοκ τηε φορµ οφ α Γαυσσιαν.

Ιν τηε χοοπερατιϖε σταγε, τηε λοχαλ εξχιτατιον οφ εθυατιον 8.34 ισ διστριβυτεδ αχροσσ τηε χορτεξ βψ ρεχυρρεντ χοννεχτιονσ, προδυχινγ α λεϖελ οφ αχτιϖιτψ ιν υνιτ α γιϖεν βψ ! vα = Μαα′ ζα′ . (8.35) α′

Τηισ ενσυρεσ τηατ τηε εξχιτατιον χηαραχτεριζεδ βψ ζα ισ σπρεαδ αχροσσ α λο− χαλ νειγηβορηοοδ οφ τηε χορτεξ ρατηερ τηαν βεινγ χονχεντρατεδ εντιρελψ ατ λοχατιον α. Ιν τηισ σχηεµε, τηε ρεχυρρεντ χοννεχτιονσ δεσχριβεδ βψ τηε µα− τριξ Μ αρε υσυαλλψ πυρελψ εξχιτατορψ ανδ οφ φαιρλψ σηορτ ρανγε, βεχαυσε τηε εφφεχτ οφ λονγερ−ρανγε ινηιβιτιον ηασ βεεν µοδελεδ βψ τηε χοµπετιτιον. χοµπετιτιϖε Ηεββιαν λεαρνινγ

Υσινγ τηε ουτπυτσ οφ εθυατιον 8.35 ιν χονϕυνχτιον ωιτη α Ηεββιαν ρυλε φορ τηε φεεδφορωαρδ ωειγητσ ισ χαλλεδ χοµπετιτιϖε Ηεββιαν λεαρνινγ. Τηε χοµ− πετιτιον βετωεεν νευρονσ ιµπλεµεντεδ βψ τηισ σχηεµε δοεσ νοτ ενσυρε χοµπετιτιον αµονγ τηε σψναπσεσ οντο α γιϖεν νευρον, σο σοµε µεχηα− νισµ συχη ασ α νορµαλιζατιον χονστραιντ ισ στιλλ ρεθυιρεδ. Φορ τηεσε µοδελσ, τηε ουτχοµε οφ τραινινγ χαννοτ βε αναλψζεδ σιµπλψ βψ χονσιδερινγ ειγεν− ϖεχτορσ οφ τηε χοϖαριανχε ορ χορρελατιον µατριξ βεχαυσε τηε αχτιϖατιον προ− χεσσ ισ νονλινεαρ. Ρατηερ, ηιγηερ−ορδερ στατιστιχσ οφ τηε ινπυτ διστριβυτιον αρε ιµπορταντ. Νονλινεαρ χοµπετιτιον χαν λεαδ το στρονγ διφφερεντιατιον οφ ουτπυτ υνιτσ. Αν εξαµπλε οφ τηε υσε οφ χοµπετιτιϖε Ηεββιαν λεαρνινγ ισ σηοων ιν ⇒γ− υρε 8.9, ιν τηε φορµ οφ α ονε−διµενσιοναλ χορτιχαλ µαπ οφ οχυλαρ δοµι− νανχε ωιτη ινπυτσ αρισινγ φροµ ΛΓΝ νευρονσ ωιτη ρεχεπτιϖε ⇒ελδσ χοϖερ− ινγ αν εξτενδεδ ρεγιον οφ τηε ϖισυαλ ⇒ελδ (ρατηερ τηαν τηε σινγλε λοχατιον

8.3 Υνσυπερϖισεδ Λεαρνινγ

307

οφ ουρ σιµπλερ µοδελ). Τηισ εξαµπλε υσεσ χοµπετιτιϖε Ηεββιαν πλαστιχιτψ ωιτη νονδψναµιχ µυλτιπλιχατιϖε ωειγητ νορµαλιζατιον. Τωο ωειγητ µατρι− χεσ, ΩΡ ανδ ΩΛ , χορρεσπονδινγ το ριγητ− ανδ λεφτ−εψε ινπυτσ, χηαραχτεριζε τηε χοννεχτιϖιτψ οφ τηε µοδελ. Τηεσε αρε σηοων σεπαρατελψ ιν ⇒γυρε 8.9Α, ωηιχη ιλλυστρατεσ τηατ τηε χορτιχαλ χελλσ δεϖελοπ ρετινοτοπιχαλλψ ορδερεδ ρε− χεπτιϖε ⇒ελδσ, ανδ τηεψ σεγρεγατε ιντο αλτερνατινγ πατχηεσ δοµινατεδ βψ ονε εψε ορ τηε οτηερ. Τηε ινδεξ α ινδιχατεσ τηε ιδεντιτψ ανδ χορτιχαλ λοχα− τιον οφ τηε ουπυτ υνιτ, ωηερεασ β ινδιχατεσ τηε ρετιναλ λοχατιον οφ τηε χεντερ οφ τηε χορρεσπονδινγ ινπυτ υνιτ. Τηε οχυλαρ δοµινανχε παττερν ισ εασιερ το σεε ιν ⇒γυρε 8.9Β, ωηιχη σηοωσ τηε διφφερενχε βετωεεν τηε ριγητ− ανδ λεφτ−εψε ωειγητσ, ΩΡ − ΩΛ , ανδ ⇒γυρε 8.9Χ, ωηιχη σηοωσ/ τηε νετ οχυλαρ− ιτψ οφ τηε τοταλ ινπυτ το εαχη ουτπυτ νευρον οφ τηε µοδελ ( β [ΩΡ − ΩΛ ]αβ φορ εαχη α). Ιτ ισ ποσσιβλε το αναλψζε τηε στρυχτυρε σηοων ιν ⇒γυρε 8.9 ανδ ρεϖεαλ τηε πρεχισε εφφεχτ οφ τηε χοµπετιτιον (ι.ε., τηε εφφεχτ οφ χηανγινγ τηε χοµπετιτιον παραµετερ δ ιν εθυατιον 8.34). Συχη αν αναλψσισ σηοωσ, φορ εξαµπλε, τηατ συβτραχτιϖε νορµαλιζατιον οφ τηε σψναπτιχ ωειγητ ισ νοτ νεχ− εσσαρψ το ενσυρε τηε ροβυστ δεϖελοπµεντ οφ οχυλαρ δοµινανχε, ασ ιτ ισ ιν τηε νονχοµπετιτιϖε χασε. Φεατυρε−Βασεδ Μοδελσ Μοδελσ οφ χορτιχαλ µαπ φορµατιον χαν γετ εξτρεµελψ χοµπλεξ ωηεν µυλτ− ιπλε νευροναλ σελεχτιϖιτιεσ, συχη ασ ρετινοτοπιχ λοχατιον, οχυλαρ δοµινανχε, ανδ οριεντατιον πρεφερενχε, αρε χονσιδερεδ σιµυλτανεουσλψ. Το δεαλ ωιτη τηισ, α χλασσ οφ µορε αβστραχτ µοδελσ, χαλλεδ χοµπετιτιϖε φεατυρε−βασεδ µοδελσ, ηασ βεεν δεϖελοπεδ. Τηεσε υσε α γενεραλ αππροαχη σιµιλαρ το τηε χοµπετιτιϖε Ηεββιαν µοδελσ δισχυσσεδ ιν τηε πρεϖιουσ σεχτιον. Φεατυρε− βασεδ µοδελσ αρε νοτ διρεχτλψ ρελατεδ το τηε βιοπηψσιχαλ ρεαλιτψ οφ νευροναλ ⇒ρινγ ρατεσ ανδ σψναπτιχ στρενγτησ, βυτ τηεψ προϖιδε α χοµπαχτ δεσχριπτιον οφ µαπ δεϖελοπµεντ. Ιν α φεεδφορωαρδ µοδελ, τηε σελεχτιϖιτψ οφ νευρον α ισ δετερµινεδ βψ τηε φεεδφορωαρδ ωειγητσ Ωαβ φορ αλλ ϖαλυεσ οφ β, δεσχριβινγ ηοω τηισ νευρον ισ χοννεχτεδ το τηε ινπυτ υνιτσ οφ τηε νετωορκ. Τηε ινπυτ υνιτσ αρε δριϖεν βψ τηε στιµυλυσ ανδ τηειρ ρεσπονσεσ ρε⇓εχτ ϖαριουσ στιµυλυσ φεατυρεσ. Τηυσ, σελεχτιϖιτψ ιν τηεσε µοδελσ ισ δετερµινεδ βψ ηοω τηε σψναπτιχ ωειγητσ τρανσφερ τηε σελεχτιϖιτιεσ οφ τηε ινπυτ υνιτσ το τηε ουτπυτ υνιτσ. Τηε ιδεα οφ α φεατυρε−βασεδ µοδελ ισ το σιµπλιφψ τηισ βψ διρεχτλψ ρελατινγ τηε ουτπυτ υνιτ σελεχτιϖιτιεσ το τηε χορρεσπονδινγ φεατυρεσ οφ τηε στιµυλυσ. Ιν φεατυρε− βασεδ µοδελσ, τηε ινδεξ β ισ νοτ υσεδ το λαβελ διφφερεντ ινπυτ υνιτσ, βυτ ρατηερ το λαβελ διφφερεντ φεατυρεσ οφ τηε στιµυλυσ. Νυ ισ τηυσ εθυαλ το τηε νυµβερ οφ παραµετερσ βεινγ υσεδ το χηαραχτεριζε τηε στιµυλυσ. Αλσο, τηε ινπυτ ϖαριαβλε υβ ισ σετ το τηε παραµετερ υσεδ το χηαραχτεριζε φεατυρε β οφ τηε στιµυλυσ. Σιµιλαρλψ, Ωαβ δοεσ νοτ δεσχριβε τηε χουπλινγ βετωεεν ινπυτ υνιτ β ανδ ουτπυτ υνιτ α, βυτ ινστεαδ ιτ ρεπρεσεντσ τηε σελεχτιϖιτψ οφ ουτπυτ υνιτ α το στιµυλυσ φεατυρε β. Φορ εξαµπλε, συπποσε β = 1 ρεπρεσεντσ τηε λοχατιον οφ α ϖισυαλ στιµυλυσ, ανδ β = 2 ρεπρεσεντσ ιτσ οχυλαριτψ, τηε διφφερ− ενχε ιν στρενγτη βετωεεν τηε λεφτ− ανδ ριγητ−εψε ινπυτσ. Τηεν, υ1 ανδ υ2 ωουλδ βε τηε λοχατιον χοορδινατε ανδ τηε οχυλαριτψ οφ τηε στιµυλυσ, ανδ Ωα1 ανδ Ωα2 ωουλδ βε τηε πρεφερρεδ στιµυλυσ λοχατιον (τηε χεντερ οφ τηε

308

Πλαστιχιτψ ανδ Λεαρνινγ

ρεχεπτιϖε ⇒ελδ) ανδ τηε πρεφερρεδ εψε φορ νευρον α. Μαπ δεϖελοπµεντ ιν συχη α µοδελ ισ στυδιεδ βψ νοτινγ ηοω τηε αππεαρανχε οφ ϖαριουσ στιµυ− λυσ φεατυρεσ ανδ νευροναλ σελεχτιϖιτιεσ αφφεχτσ τηε µατριξ Ω. Βψ ασσοχιατινγ τηε ινδεξ α ωιτη χορτιχαλ λοχατιον, τηε στρυχτυρε οφ τηε ⇒ναλ µατριξ Ω τηατ αρισεσ φροµ α πλαστιχιτψ ρυλε πρεδιχτσ ηοω σελεχτιϖιτιεσ αρε µαππεδ αχροσσ τηε χορτεξ. Τηε αχτιϖιτψ οφ α παρτιχυλαρ ουτπυτ υνιτ ιν α φεατυρε−βασεδ µοδελ ισ δετερ− µινεδ βψ ηοω χλοσελψ τηε στιµυλυσ βεινγ πρεσεντεδ µατχηεσ ιτσ πρεφερρεδ στιµυλυσ. Τηε ωειγητσ Ωαβ φορ αλλ β ϖαλυεσ δετερµινε τηε πρεφερρεδ στιµ− υλυσ φεατυρεσ φορ νευρον α, ανδ ωε ασσυµε τηατ τηε αχτιϖατιον οφ νευρον α ισ ηιγη ιφ τηε χοµπονεντσ οφ τηε ινπυτ υβ µατχη τηε χοµπονεντσ οφ Ωαβ . Α χονϖενιεντ ωαψ το αχηιεϖε τηισ ισ το εξπρεσσ τηε αχτιϖατιον φορ υνιτ α ασ / εξπ(− β (υβ − Ωαβ )2 /(2σβ2 )), ωηιχη ηασ ιτσ µαξιµυµ ατ υβ = Ωαβ φορ αλλ β, ανδ φαλλσ οφφ ασ α Γαυσσιαν φυνχτιον φορ λεσσ περφεχτ µατχηεσ οφ τηε στιµυλυσ το τηε σελεχτιϖιτψ οφ τηε χελλ. Τηε παραµετερ σβ δετερµινεσ ηοω σελεχτιϖε τηε νευρον ισ φορ χηαραχτεριστιχ β οφ τηε στιµυλυσ. Τηε Γαυσσιαν εξπρεσσιον φορ τηε αχτιϖατιον οφ νευρον α ισ νοτ υσεδ διρεχτλψ το δετερµινε ιτσ λεϖελ οφ αχτιϖιτψ. Ρατηερ, ασ ιν τηε χασε οφ χοµπετιτιϖε Ηεβ− βιαν λεαρνινγ, ωε ιντροδυχε α χοµπετιτιϖε αχτιϖιτψ ϖαριαβλε φορ χορτιχαλ σιτε α, ) / * εξπ − β (υβ − Ωαβ )2 /(2σβ2 ) ) / *. ζα = / (8.36) 2 2 α′ εξπ − β (υβ − Ωα′ β ) /(2σβ )

Ιν αδδιτιον, σοµε χοοπερατιϖε µεχηανισµ µυστ βε ινχλυδεδ το κεεπ τηε µαπσ σµοοτη, ωηιχη µεανσ τηατ νεαρβψ νευρονσ σηουλδ, ασ φαρ ασ ποσσι− βλε, ηαϖε σιµιλαρ σελεχτιϖιτιεσ. Τηε τωο αλγοριτηµσ ωε δισχυσσ, τηε σελφ− οργανιζινγ µαπ ανδ τηε ελαστιχ νετ, διφφερ ιν ηοω τηεψ ιντροδυχε τηισ σεχ− ονδ ελεµεντ. σελφ−οργανιζινγ µαπ Τηε σελφ−οργανιζινγ µαπ σπρεαδσ τηε αχτιϖιτψ δε⇒νεδ / βψ εθυατιον 8.36 το νεαρβψ χορτιχαλ σιτεσ τηρουγη εθυατιον 8.35, vα = α′ Μαα′ ζα′ . Τηισ γιϖεσ χορτιχαλ χελλσ α ανδ α′ σιµιλαρ σελεχτιϖιτιεσ ιφ τηεψ αρε νεαρβψ, βεχαυσε vα ανδ vα′ αφφεχτ ονε ανοτηερ τηρουγη λοχαλ ρεχυρρεντ εξχιτατιον. Τηε ελαστιχ νετ ελαστιχ νετ σετσ τηε αχτιϖιτψ οφ υνιτ α το τηε ρεσυλτ οφ εθυατιον 8.36, vα = ζα , ωηιχη γεν− ερατεσ χοµπετιτιον. Σµοοτηνεσσ οφ τηε µαπ ισ ενσυρεδ νοτ βψ σπρεαδινγ τηισ αχτιϖιτψ, ασ ιν τηε σελφ−οργανιζινγ µαπ, βυτ βψ ινχλυδινγ αν αδδιτιοναλ τερµ ιν τηε πλαστιχιτψ ρυλε τηατ τενδσ το µακε νεαρβψ σελεχτιϖιτιεσ τηε σαµε (σεε βελοω).

φεατυρε−βασεδ λεαρνινγ ρυλε

Ηεββιαν δεϖελοπµεντ οφ τηε σελεχτιϖιτιεσ χηαραχτεριζεδ βψ Ω ισ γενερατεδ βψ αν αχτιϖιτψ−δεπενδεντ ρυλε. Ιν γενεραλ, Ηεββιαν πλαστιχιτψ αδϕυστσ τηε ωειγητσ οφ αχτιϖατεδ υνιτσ σο τηατ τηεψ βεχοµε µορε ρεσπονσιϖε το, ανδ σε− λεχτιϖε φορ, ινπυτ παττερνσ τηατ εξχιτε τηεµ. Φεατυρε−βασεδ µοδελσ αχηιεϖε τηε σαµε τηινγ βψ µοδιφψινγ τηε σελεχτιϖιτιεσ Ωαβ σο τηεψ µορε χλοσελψ µατχη τηε ινπυτ παραµετερσ υβ ωηεν ουτπυτ υνιτ α ισ αχτιϖατεδ βψ υ. Ιν τηε χασε οφ τηε σελφ−οργανιζεδ µαπ, τηισ ισ αχηιεϖεδ τηρουγη τηε αϖεραγεδ

8.3 Υνσυπερϖισεδ Λεαρνινγ

309

ρυλε

τw

δΩαβ = ⟨vα (υβ − Ωαβ )⟩ . δτ

(8.37)

Τηε ελαστιχ νετ µοδι⇒χατιον ρυλε ισ σιµιλαρ, βυτ αν αδδιτιοναλ τερµ ισ ιν− χλυδεδ το µακε τηε µαπσ σµοοτη, βεχαυσε σµοοτηινγ ισ νοτ ινχλυδεδ ιν τηε ρυλε τηατ γενερατεσ τηε αχτιϖιτψ ιν τηισ χασε. Τηε ελαστιχ νετ πλαστιχιτψ ρυλε ισ

τw

! δΩαβ = ⟨vα (υβ − Ωαβ )⟩ + β (Ωα′ β − Ωαβ ) , α′ νειγηβορ οφ α δτ

(8.38)

ωηερε τηε συµ ισ οϖερ αλλ ποιντσ α′ τηατ αρε νειγηβορσ οφ α, ανδ β ισ α πα− ραµετερ τηατ χοντρολσ τηε δεγρεε οφ σµοοτηνεσσ ιν τηε µαπ. Τηε ελαστιχ νετ µακεσ Ωαβ σιµιλαρ το Ωα′ β , ιφ α ανδ α′ αρε νεαρβψ ον τηε χορτεξ, βψ ρεδυχινγ (Ωα′ β − Ωαβ )2 . Βοτη τηε φεατυρε−βασεδ ανδ ελαστιχ νετ ρυλεσ µακε Ωαβ → υβ ωηεν vα ισ ποσιτιϖε. Φιγυρε 8.10Α σηοωσ τηε ρεσυλτσ οφ αν οπτιχαλ ιµαγινγ εξπεριµεντ τηατ ρε− ϖεαλσ ηοω οχυλαριτψ ανδ οριεντατιον σελεχτιϖιτψ αρε αρρανγεδ αχροσσ α ρε− γιον οφ τηε πριµαρψ ϖισυαλ χορτεξ οφ α µαχαθυε µονκεψ. Τηε δαρκ λινεσ σηοω τηε βουνδαριεσ οφ τηε οχυλαρ δοµινανχε στριπεσ. Τηε λιγητερ λινεσ σηοω ισο−οριεντατιον χοντουρσ, ωηιχη αρε λοχατιονσ ωηερε τηε πρεφερρεδ οριεντατιονσ αρε ρουγηλψ τηε σαµε. Τηεψ ινδιχατε, βψ τηε ρεγιονσ τηεψ εν− χλοσε, νειγηβορηοοδσ (χαλλεδ δοµαινσ) οφ χελλσ τηατ φαϖορ σιµιλαρ οριεντα− τιονσ. Τηεψ αλσο σηοω ηοω τηεσε νειγηβορηοοδσ αρε αρρανγεδ ωιτη ρεσπεχτ το εαχη οτηερ ανδ το τηε οχυλαρ δοµινανχε στριπεσ. Τηερε αρε σινγυλαριτιεσ, χαλλεδ πινωηεελσ, ιν τηε οριεντατιον µαπ, ωηερε ρεγιονσ ωιτη διφφερεντ ορι− εντατιον πρεφερενχεσ µεετ ατ α ποιντ. Τηεσε τενδ το οχχυρ νεαρ τηε χεντερσ οφ τηε οχυλαρ δοµινανχε στριπεσ. Τηερε αρε αλσο λινεαρ ζονεσ ωηερε τηε ισο−οριεντατιον δοµαινσ αρε παραλλελ. Τηεσε τενδ το οχχυρ ατ, ανδ ρυν περ− πενδιχυλαρ το, τηε βουνδαριεσ οφ τηε οχυλαρ δοµινανχε στριπεσ. Φιγυρε 8.10Β σηοωσ τηε ρεσυλτ οφ αν ελαστιχ νετ µοδελ πλοττεδ ιν τηε σαµε φορµ ασ τηε µαχαθυε µαπ οφ ⇒γυρε 8.10Α. Τηε σιµιλαριτψ ισ εϖιδεντ ανδ στρικινγ. Ηερε υ = ( ξ, ψ, ο, ε χοσ θ, ε σιν θ) ινχλυδεσ 5 στιµυλυσ φεατυρεσ (Νυ = 5): τωο (ξ, ψ) φορ ρετιναλ λοχατιον, ονε (ο) φορ οχυλαριτψ, ανδ τωο (θ, ε) φορ τηε διρεχτιον ανδ στρενγτη οφ οριεντατιον. Τηε σελφ−οργανιζινγ µαπ χαν προδυχε αλµοστ ιδεντιχαλ ρεσυλτσ, ανδ νονχοµπετιτιϖε ανδ χοµπετιτιϖε Ηεββιαν δεϖελοπµενταλ αλγοριτηµσ χαν αλσο λεαδ το σιµιλαρ στρυχτυρεσ.

Αντι−Ηεββιαν Μοδι⇒χατιον Ωε πρεϖιουσλψ αλλυδεδ το τηε προβλεµ οφ ρεδυνδανχψ αµονγ µυλτιπλε ουτ− πυτ νευρονσ τηατ χαν αρισε φροµ φεεδφορωαρδ Ηεββιαν µοδι⇒χατιον. Τηε Οϕα ρυλε οφ εθυατιον 8.16 φορ µυλτιπλε ουτπυτ υνιτσ, ωηιχη τακεσ τηε φορµ

τw

δΩαβ = vα υβ − αv2α Ωαβ , δτ

(8.39)

ελαστιχ νετ ρυλε

310

Πλαστιχιτψ ανδ Λεαρνινγ

A

pinwheels

linear zones

ocular dominance boundaries

B

Φιγυρε 8.10 Οριεντατιον δοµαινσ ανδ οχυλαρ δοµινανχε. (Α) Χοντουρ µαπ σηοω− ινγ ισο−οριεντατιον χοντουρσ (γραψ λινεσ) ανδ τηε βουνδαριεσ οφ οχυλαρ δοµινανχε στριπεσ (βλαχκ λινεσ) ιν α 1.7 × 1.7 µµ πατχη οφ µαχαθυε πριµαρψ ϖισυαλ χορτεξ. Ισο−οριεντατιον χοντουρσ αρε δραων ατ ιντερϖαλσ οφ 11.25◦ . Πινωηεελσ αρε σινγυλαρ− ιτιεσ ιν τηε οριεντατιον µαπ ωηερε αλλ τηε οριεντατιονσ µεετ, ανδ λινεαρ ζονεσ αρε εξτενδεδ πατχηεσ οϖερ ωηιχη τηε ισο−οριεντατιον χοντουρσ αρε παραλλελ. (Β) Οχυλαρ δοµινανχε ανδ οριεντατιον µαπ προδυχεδ βψ τηε ελαστιχ νετ µοδελ. Τηε σιγνιφ− ιχανχε οφ τηε λινεσ ισ τηε σαµε ασ ιν (Α), εξχεπτ τηατ τηε δαρκερ γραψ λινεσ σηοω οριεντατιον πρεφερενχεσ οφ 0◦ . (Α αδαπτεδ φροµ Οβερµαψερ & Βλασδελ, 1993; Β φροµ Ερωιν ετ αλ., 1995.)

προϖιδεσ α γοοδ ιλλυστρατιον οφ τηισ προβλεµ. Ιν τηε αβσενχε οφ ρεχυρρεντ χοννεχτιονσ, τηισ ρυλε σετσ εαχη ροω οφ τηε φεεδφορωαρδ ωειγητ µατριξ το τηε πρινχιπαλ ειγενϖεχτορ οφ τηε ινπυτ χορρελατιον µατριξ, µακινγ εαχη ουτ− πυτ υνιτ ρεσπονδ ιδεντιχαλλψ. Ονε ωαψ το ρεδυχε ρεδυνδανχψ ιν α λινεαρ µοδελ ισ το µακε τηε λινεαρ ρεχυρρεντ ιντεραχτιονσ οφ εθυατιον 8.29 πλαστιχ ρατηερ τηαν ⇒ξεδ, υσινγ αν αντι−Ηεββιαν µοδι⇒χατιον ρυλε. Ασ τηε ναµε ιµπλιεσ, αντι−Ηεββιαν πλασ− τιχιτψ χαυσεσ σψναπσεσ το δεχρεασε (ρατηερ τηαν ινχρεασε) ιν στρενγτη ωηεν τηερε ισ σιµυλτανεουσ πρε− ανδ ποστσψναπτιχ αχτιϖιτψ. Τηε ρεχυρρεντ ιντερ− αχτιονσ αρισινγ φροµ αν αντι−Ηεββ ρυλε χαν πρεϖεντ διφφερεντ ουτπυτ υνιτσ φροµ ρεπρεσεντινγ τηε σαµε ειγενϖεχτορ. Τηισ οχχυρσ βεχαυσε τηε ρεχυρ− ρεντ ιντεραχτιονσ τενδ το µακε ουτπυτ υνιτσ λεσσ χορρελατεδ βψ χανχελινγ τηε εφφεχτσ οφ χοµµον φεεδφορωαρδ ινπυτ. Αντι−Ηεββιαν µοδι⇒χατιον ισ βελιεϖεδ το βε τηε πρεδοµιναντ φορµ οφ πλαστιχιτψ ατ σψναπσεσ φροµ παραλ− λελ ⇒βερσ το Πυρκινϕε χελλσ ιν τηε χερεβελλυµ, αλτηουγη τηισ µαψ βε α σπεχιαλ χασε βεχαυσε Πυρκινϕε χελλσ ινηιβιτ ρατηερ τηαν εξχιτε τηειρ ταργετσ. Α βασιχ αντι−Ηεββ ρυλε φορ Μαα′ χαν βε χρεατεδ σιµπλψ βψ χηανγινγ τηε σιγν ον τηε ριγητ σιδε οφ εθυατιον 8.3. Ηοωεϖερ, ϕυστ ασ Ηεββιαν πλαστιχιτψ τενδσ το µακε ωειγητσ ινχρεασε ωιτηουτ βουνδ, αντι−Ηεββιαν µοδι⇒χατιον τενδσ το µακε τηεµ δεχρεασε το 0, ανδ το αϖοιδ τηισ ιτ ισ νεχεσσαρψ το υσε

τΜ

δΜ = −ϖϖ + βΜ ορ δτ

τΜ

δΜαα′ = −vα vα′ + β Μαα′ δτ

(8.40)

το µοδιφψ τηε οφφ−διαγοναλ χοµπονεντσ οφ Μ (τηε διαγοναλ χοµπονεντσ αρε δε⇒νεδ το βε 0). Ηερε, β ισ α ποσιτιϖε χονσταντ. Φορ συιταβλψ χηοσεν β ανδ τ Μ , τηε χοµβινατιον οφ ρυλεσ 8.39 ανδ 8.40 προδυχεσ α σταβλε χον⇒γυρατιον

8.3 Υνσυπερϖισεδ Λεαρνινγ

311

ιν ωηιχη τηε ροωσ οφ τηε ωειγητ µατριξ Ω αρε διφφερεντ ειγενϖεχτορσ οφ τηε χορρελατιον µατριξ Θ, ανδ αλλ τηε ελεµεντσ οφ τηε ρεχυρρεντ ωειγητ µατριξ Μ αρε υλτιµατελψ σετ το 0. Γοοδαλλ (1960) προποσεδ αν αλτερνατιϖε σχηεµε φορ δεχορρελατινγ διφφερεντ ουτπυτ υνιτσ. Ιν ηισ µοδελ, τηε φεεδφορωαρδ ωειγητσ Ω αρε κεπτ χονσταντ, ωηερεασ τηε ρεχυρρεντ ωειγητσ αδαπτ αχχορδινγ το τηε αντι−Ηεββ ρυλε

τΜ

δΜ = −(Ω · υ )ϖ + Ι − Μ . δτ

(8.41)

Τηε µινυσ σιγν ιν τηε τερµ −(Ω · υ )ϖ εµβοδιεσ τηε αντι−Ηεββιαν µοδι⇒− χατιον. Τηισ τερµ ισ νονλοχαλ βεχαυσε τηε χηανγε ιν τηε ωειγητ οφ α γιϖεν σψναπσε δεπενδσ ον τηε τοταλ φεεδφορωαρδ ινπυτ το τηε ποστσψναπτιχ νευ− ρον, νοτ µερελψ ον τηε ινπυτ ατ τηατ παρτιχυλαρ σψναπσε (ρεχαλλ τηατ ϖ ̸= Ω · υ ιν τηισ χασε βεχαυσε οφ τηε ρεχυρρεντ χοννεχτιονσ). Τηε τερµ Ι − Μ πρεϖεντσ τηε ωειγητσ φροµ γοινγ το 0 βψ πυσηινγ τηεµ τοωαρδ τηε ιδεντιτψ µατριξ Ι. Υνλικε 8.40, τηισ ρυλε ρεθυιρεσ τηε εξιστενχε οφ αυταπσεσ, σψναπσεσ τηατ α νευρον µακεσ οντο ιτσελφ (ι.ε., τηε διαγοναλ ελεµεντσ οφ Μ αρε νοτ 0). Ιφ τηε Γοοδαλλ πλαστιχιτψ ρυλε χονϖεργεσ ανδ στοπσ χηανγινγ Μ, τηε ριγητ σιδε οφ εθυατιον 8.41 µυστ ϖανιση ον αϖεραγε, ωηιχη ρεθυιρεσ (υσινγ τηε δε⇒νιτιον οφ Κ)

⟨(Ω · υ )ϖ⟩ = Ι − Μ = Κ−1 .

(8.42)

Μυλτιπλψινγ βοτη σιδεσ βψ Κ ανδ υσινγ εθυατιον 8.30, ωε ⇒νδ

⟨ϖϖ⟩ = ⟨(Κ · Ω · υ )ϖ⟩ = Ι .

(8.43)

Τηισ µεανσ τηατ τηε ουτπυτσ αρε δεχορρελατεδ ανδ αλσο ινδιχατεσ ηιστογραµ εθυαλιζατιον ιν τηε σενσε, δισχυσσεδ ιν χηαπτερ 4, τηατ αλλ τηε ελεµεντσ οφ ϖ ηαϖε τηε σαµε ϖαριανχε. Ινδεεδ, τηε Γοοδαλλ αλγοριτηµ χαν βε υσεδ το ιµ− πλεµεντ τηε δεχορρελατιον ανδ ωηιτενινγ δισχυσσεδ ιν χηαπτερ 4. Βεχαυσε τηε αντι−Ηεββ ανδ Γοοδαλλ ρυλεσ αρε βασεδ ον λινεαρ µοδελσ, τηεψ αρε χα− παβλε οφ ρεµοϖινγ ονλψ σεχονδ−ορδερ ρεδυνδανχψ, µεανινγ ρεδυνδανχψ χηαραχτεριζεδ βψ τηε χοϖαριανχε µατριξ. Ιν χηαπτερ 10, ωε χονσιδερ µοδελσ τηατ αρε βασεδ ον ελιµινατινγ ηιγηερ ορδερσ οφ ρεδυνδανχψ ασ ωελλ.

Τιµινγ−Βασεδ Πλαστιχιτψ ανδ Πρεδιχτιον Τεµποραλ Ηεββιαν ρυλεσ ηαϖε βεεν υσεδ ιν τηε χοντεξτ οφ µυλτι−υνιτ νετ− ωορκσ το στορε ινφορµατιον αβουτ τεµποραλ σεθυενχεσ. Το ιλλυστρατε τηισ, ωε χονσιδερ α νετωορκ ωιτη τηε αρχηιτεχτυρε οφ ⇒γυρε 8.6. Ωε στυδψ τηε εφφεχτ οφ τιµε−δεπενδεντ σψναπτιχ πλαστιχιτψ, ασ γιϖεν βψ εθυατιον 8.18, ον τηε ρεχυρρεντ σψναπσεσ οφ τηε µοδελ, λεαϖινγ τηε φεεδφορωαρδ σψναπσεσ χονσταντ. Συπποσε τηατ βεφορε τραινινγ τηε αϖεραγε ρεσπονσε οφ ουτπυτ υνιτ α το α στιµυλυσ χηαραχτεριζεδ βψ α παραµετερ σ ισ γιϖεν βψ τηε τυνινγ χυρϖε φ α (σ ),

Γοοδαλλ ρυλε

A

Πλαστιχιτψ ανδ Λεαρνινγ

B

1.2 1.0 0.8

ϖ

0.6 0.4 0.2 0.0 -4

-2

0

σ

2

4

place field location (χµ)

312

4 3 2 1 0 -1 -2 0

5

10

15

lap number

Φιγυρε 8.11 Πρεδιχτεδ ανδ εξπεριµενταλ σηιφτσ οφ πλαχε ⇒ελδσ. (Α) Σηιφτ ιν α νευροναλ ⇒ρινγ−ρατε τυνινγ χυρϖε χαυσεδ βψ ρεπεατεδ εξποσυρε το α τιµε−δεπενδεντ στιµυ− λυσ δυρινγ τραινινγ. Τηε δασηεδ χυρϖεσ ανδ τηιν σολιδ χυρϖε ινδιχατε τηε ινιτιαλ ρεσπονσε τυνινγ χυρϖεσ οφ α νετωορκ οφ ιντερχοννεχτεδ νευρονσ. Τηε τηιχκ σολιδ χυρϖε ισ τηε ρεσπονσε τυνινγ χυρϖε οφ τηε νευρον τηατ ινιτιαλλψ ηαδ τηε τηιν σολιδ τυνινγ χυρϖε αφτερ α τραινινγ περιοδ ινϖολϖινγ α τιµε−δεπενδεντ στιµυλυσ. Τηε τυνινγ χυρϖε ινχρεασεσ ιν αµπλιτυδε, ασψµµετριχαλλψ βροαδενσ, ανδ σηιφτσ ασ α ρε− συλτ οφ τεµποραλλψ ασψµµετριχ Ηεββιαν πλαστιχιτψ. Τηε σηιφτ σηοων χορρεσπονδσ το α τραινινγ στιµυλυσ ωιτη α ποσιτιϖε ρατε οφ χηανγε, τηατ ισ, ονε τηατ µοϖεσ ριγητωαρδ ον τηισ πλοτ ασ α φυνχτιον οφ τιµε. Τηε χορρεσπονδινγ σηιφτ ιν τηε τυνινγ χυρϖε ισ το τηε λεφτ. Τηε σηιφτ ηασ βεεν χαλχυλατεδ υσινγ µορε νευρονσ ανδ τυνινγ χυρϖεσ τηαν αρε σηοων ιν τηισ πλοτ. (Β) Λοχατιον οφ πλαχε ⇒ελδ χεντερσ ωηιλε α ρατ τραϖερσεδ λαπσ αρουνδ α χλοσεδ τραχκ (0 ισ δε⇒νεδ ασ τηε αϖεραγε χεντερ λοχατιον αχροσσ τηε ωηολε εξπεριµεντ). Οϖερ σεθυεντιαλ λαπσ, τηε πλαχε ⇒ελδσ σηιφτεδ βαχκωαρδ ρελατιϖε το τηε διρεχτιον τηε ρατ µοϖεδ. (Α αδαπτεδ ανδ µοδι⇒εδ φροµ Αββοττ & Βλυµ, 1996; Β αδαπτεδ φροµ Μεητα ετ αλ., 1997.)

ωηιχη ρεαχηεσ α µαξιµυµ ϖαλυε φορ τηε οπτιµαλ στιµυλυσ σ = σα . ∆ιφφερ− εντ νευρονσ ηαϖε διφφερεντ οπτιµαλ στιµυλυσ ϖαλυεσ, ασ δεπιχτεδ βψ τηε δασηεδ ανδ τηιν σολιδ χυρϖεσ ιν ⇒γυρε 8.11Α. Ωε νοω εξαµινε ωηατ ηαπ− πενσ ωηεν τηε πλαστιχιτψ ρυλε 8.18 ισ αππλιεδ τηρουγηουτ α τραινινγ περιοδ δυρινγ ωηιχη τηε στιµυλυσ βεινγ πρεσεντεδ ισ αν ινχρεασινγ φυνχτιον οφ τιµε, ι.ε., µοϖεσ το τηε ριγητ ιν ⇒γυρε 8.11Α. Συχη α στιµυλυσ εξχιτεσ τηε διφφερεντ νευρονσ ιν τηε νετωορκ σεθυεντιαλλψ. Φορ εξαµπλε, τηε νευρον ωιτη σα = −2 ισ αχτιϖε βεφορε τηε νευρον ωιτη σα = 0, ωηιχη ιν τυρν ισ αχτιϖε βεφορε τηε νευρον ωιτη σα = 2. Ιφ τηε στιµυλυσ χηανγεσ ραπιδλψ ενουγη, τηε ιντερϖαλ βετωεεν τηε ⇒ρινγ οφ τηε νευρον ωιτη σα = −2 ανδ τηατ ωιτη σα = 0 ωιλλ φαλλ ωιτηιν τηε ωινδοω φορ ΛΤΠ δεπιχτεδ ιν ⇒γυρε 8.2Β. Τηισ µεανσ τηατ α σψναπσε φροµ τηε νευρον ωιτη σα = −2 το τηε σα = 0 νευρον ωιλλ βε στρενγτηενεδ. Ον τηε οτηερ ηανδ, βεχαυσε τηε νευρον ωιτη σα = 2 ⇒ρεσ αφτερ τηε σα = 0 νευρον, φαλλινγ ωιτηιν τηε ωινδοω φορ ΛΤ∆, α σψναπσε φροµ ιτ το τηε σα = 0 νευρον ωιλλ βε ωεακενεδ. Τηε εφφεχτ οφ τηισ τψπε οφ µοδι⇒χατιον ον τηε τυνινγ χυρϖε ιν τηε µιδδλε οφ τηε αρραψ (τηε τηιν σολιδ χυρϖε ιν ⇒γυρε 8.11Α χεντερεδ ατ σ = 0) ισ σηοων βψ τηε τηιχκ σολιδ χυρϖε ιν ⇒γυρε 8.11Α. Αφτερ τηε τραινινγ περιοδ, τηε νευ− ρον ωιτη σα = 0 ρεχειϖεσ στρενγτηενεδ ινπυτ φροµ νευρονσ ωιτη σα < 0 ανδ

8.4 Συπερϖισεδ Λεαρνινγ

313

ωεακενεδ ινπυτ φροµ νευρονσ ωιτη σα > 0. Τηισ ασψµµετριχαλλψ βροαδενσ ανδ σηιφτσ τηε τυνινγ χυρϖε οφ τηε νευρον ωιτη σα = 0 το λοωερ στιµυλυσ ϖαλυεσ. Τηε λεφτωαρδ σηιφτ σεεν ιν ⇒γυρε 8.11Α ισ α ρεσυλτ οφ τηε τεµποραλ χηαραχτερ οφ τηε πλαστιχιτψ ρυλε ανδ τηε τεµποραλ εϖολυτιον οφ τηε στιµυ− λυσ δυρινγ τραινινγ. Νοτε τηατ τηε σηιφτ ισ ιν τηε διρεχτιον οπποσιτε το τηε µοτιον οφ τηε στιµυλυσ δυρινγ τραινινγ. Τηισ βαχκωαρδ σηιφτ ηασ αν ιντερ− εστινγ ιντερπρετατιον. Ιφ τηε σαµε τιµε−δεπενδεντ στιµυλυσ ισ πρεσεντεδ αγαιν αφτερ τραινινγ, τηε νευρον ωιτη σα = 0 ωιλλ ρεσπονδ εαρλιερ τηαν ιτ διδ πριορ το τραινινγ. Τηυσ, τηε τραινινγ εξπεριενχε χαυσεσ νευρονσ το δεϖελοπ ρεσπονσεσ τηατ πρεδιχτ τηε βεηαϖιορ οφ τηε στιµυλυσ. Αλτηουγη ωε χηοσε το δισχυσσ τηε νευρον ωιτη σα = 0 ασ α ρεπρεσεντατιϖε εξαµπλε, τηε ρεσπονσεσ οφ οτηερ νευρονσ σηιφτ ιν α σιµιλαρ µαννερ. Ασψµµετριχ ενλαργεµεντσ ανδ βαχκωαρδ σηιφτσ οφ νευραλ ρεσπονσε τυνινγ χυρϖεσ σιµιλαρ το τηοσε πρεδιχτεδ φροµ τεµποραλλψ ασψµµετριχ ΛΤΠ ανδ ΛΤ∆ ινδυχτιον ηαϖε βεεν σεεν ιν ρεχορδινγσ οφ ηιπποχαµπαλ πλαχε χελλσ ιν ρατσ (σεε χηαπτερ 1) µαδε βψ Μεητα ετ αλ. (1997, 2000). Φιγυρε 8.11Β σηοωσ τηε αϖεραγε λοχατιον οφ πλαχε ⇒ελδσ (τηε πλαχε−χελλ αναλογ οφ ρεχεπ− τιϖε ⇒ελδσ) ρεχορδεδ ωηιλε α ρατ ραν ρεπεατεδ λαπσ αρουνδ α χλοσεδ τραχκ. Οϖερ τιµε, τηε πλαχε ⇒ελδ σηιφτεδ βαχκωαρδ αλονγ τηε τραχκ ρελατιϖε το τηε διρεχτιον τηε ρατ µοϖεδ.

8.4

Συπερϖισεδ Λεαρνινγ

Ιν υνσυπερϖισεδ λεαρνινγ, ινπυτσ αρε ιµποσεδ δυρινγ α τραινινγ περιοδ ανδ τηε ουτπυτ ισ δετερµινεδ βψ τηε νετωορκ δψναµιχσ, υσινγ τηε χυρρεντ ϖαλ− υεσ οφ τηε ωειγητσ. Τηισ µεανσ τηατ τηε νετωορκ ανδ πλαστιχιτψ ρυλε µυστ υνχοϖερ παττερνσ ανδ ρεγυλαριτιεσ ιν τηε ινπυτ δατα (συχη ασ τηε διρεχτιον οφ µαξιµαλ ϖαριανχε) βψ τηεµσελϖεσ. Ιν συπερϖισεδ λεαρνινγ, βοτη α σετ οφ ιν− πυτσ ανδ τηε χορρεσπονδινγ δεσιρεδ ουτπυτσ αρε ιµποσεδ δυρινγ τραινινγ, σο τηε νετωορκ ισ εσσεντιαλλψ γιϖεν τηε ανσωερ. Τωο βασιχ προβλεµσ αδδρεσσεδ ιν συπερϖισεδ λεαρνινγ αρε στοραγε, ωηιχη µεανσ λεαρνινγ τηε ρελατιονσηιπ βετωεεν τηε ινπυτ ανδ ουτπυτ παττερνσ προϖιδεδ δυρινγ τραινινγ, ανδ γενεραλιζατιον, ωηιχη µεανσ βεινγ αβλε το προϖιδε αππροπριατε ουτπυτσ φορ ινπυτσ τηατ ωερε νοτ πρεσεντεδ δυρινγ τραινινγ βυτ αρε σιµιλαρ το τηοσε τηατ ωερε. Τηε µαιν τασκσ ωε χονσιδερ ωιτηιν τηε χοντεξτ οφ συπερϖισεδ λεαρνινγ αρε χλασσι⇒χατιον οφ ινπυτσ ιντο τωο χατεγοριεσ ανδ φυνχτιον αππροξιµατιον (ορ ρεγρεσσιον), ιν ωηιχη τηε ουτπυτ οφ α νετωορκ υνιτ ισ τραινεδ το αππροξιµατε α σπεχι⇒εδ φυνχτιον οφ τηε ινπυτ. Υνδερστανδινγ γενεραλιζατιον ιν συχη σεττινγσ ηασ βεεν α µαϕορ φοχυσ οφ τηεορετιχαλ ινϖεστιγατιονσ ιν στατιστιχσ ανδ χοµπυτερ σχιενχε βυτ λιεσ ουτσιδε τηε σχοπε οφ ουρ δισχυσσιον.

Συπερϖισεδ Ηεββιαν Λεαρνινγ Ιν συπερϖισεδ λεαρνινγ, παιρεδ ινπυτ ανδ ουτπυτ σαµπλεσ αρε πρεσεντεδ δυρινγ τραινινγ. Ωε λαβελ τηεσε παιρσ βψ υµ ανδ vµ φορ µ = 1 . . . ΝΣ , ωηερε

314

Πλαστιχιτψ ανδ Λεαρνινγ

τηε συπερσχριπτ ισ α λαβελ ανδ δοεσ νοτ σιγνιφψ ειτηερ α χοµπονεντ οφ υ ορ α ποωερ οφ v. Φορ α φεεδφορωαρδ νετωορκ, αν αϖεραγεδ Ηεββιαν πλαστιχιτψ ρυλε φορ συπερϖισεδ λεαρνινγ χαν βε οβταινεδ φροµ εθυατιον 8.4 βψ αϖεραγ− ινγ αχροσσ αλλ τηε ινπυτ−ουτπυτ παιρσ, ΝΣ δω 1 ! τw = ⟨vυ⟩ = v µ υµ . δτ ΝΣ µ=1

χροσσ−χορρελατιον

(8.44)

Ασ ιν τηε υνσυπερϖισεδ Ηεββιαν λεαρνινγ χασε, τηε σψναπτιχ µοδι⇒χατιον προχεσσ δεπενδσ ον τηε ινπυτ−ουτπυτ χροσσ−χορρελατιον ⟨vυ⟩. Ηοωεϖερ, φορ συπερϖισεδ λεαρνινγ, τηε ουτπυτ v = vµ ισ ιµποσεδ ον τηε νετωορκ ρατηερ τηαν βεινγ δετερµινεδ βψ ιτ.

Υνλεσσ τηε χροσσ−χορρελατιον ισ 0, εθυατιον 8.44 νεϖερ στοπσ χηανγινγ τηε σψναπτιχ ωειγητσ. Τηε µετηοδσ ιντροδυχεδ το σταβιλιζε Ηεββιαν µοδι⇒− χατιον ιν τηε χασε οφ υνσυπερϖισεδ λεαρνινγ χαν βε αππλιεδ το συπερϖισεδ λεαρνινγ ασ ωελλ. Ηοωεϖερ, σταβιλιζατιον ισ εασιερ ιν τηε συπερϖισεδ χασε, βεχαυσε τηε ριγητ σιδε οφ εθυατιον 8.44 δοεσ νοτ δεπενδ ον ω. Τηερεφορε, τηε γροωτη ισ ονλψ λινεαρ ρατηερ τηαν εξπονεντιαλ ιν τιµε, µακινγ α σιµπλε µυλτιπλιχατιϖε σψναπτιχ ωειγητ δεχαψ τερµ συφ⇒χιεντ φορ σταβιλιτψ. Τηισ ισ συπερϖισεδ λεαρνινγ ιντροδυχεδ βψ ωριτινγ τηε συπερϖισεδ λεαρνινγ ρυλε ασ ωιτη δεχαψ δω τw = ⟨vυ⟩ − αω , (8.45) δτ φορ σοµε ποσιτιϖε χονσταντ α. Ασψµπτοτιχαλλψ, εθυατιον 8.45 µακεσ ω = ⟨vυ⟩/α, τηατ ισ, τηε ωειγητσ βεχοµε προπορτιοναλ το τηε ινπυτ−ουτπυτ χροσσ− χορρελατιον. Ωε δισχυσσ συπερϖισεδ Ηεββιαν λεαρνινγ ιν τηε χασε οφ α σινγλε ουτπυτ υνιτ, βυτ τηε ρεσυλτσ χαν βε γενεραλιζεδ το µυλτιπλε ουτπυτσ.

Χλασσι⇒χατιον ανδ τηε Περχεπτρον περχεπτρον βιναρψ χλασσι⇒ερ

Τηε περχεπτρον ισ α νονλινεαρ µαπ τηατ χλασσι⇒εσ ινπυτσ ιντο ονε οφ τωο χατεγοριεσ. Ιτ τηυσ αχτσ ασ α βιναρψ χλασσι⇒ερ. Το µακε τηε µοδελ χονσιστεντ ωηεν υνιτσ αρε χοννεχτεδ ιν α νετωορκ, ωε αλσο ρεθυιρε τηε ινπυτσ το βε βιναρψ. Ωε χαν τηινκ οφ τηε τωο ποσσιβλε στατεσ ασ ρεπρεσεντινγ υνιτσ τηατ αρε ειτηερ αχτιϖε ορ ιναχτιϖε. Ασ συχη, ωε ωουλδ νατυραλλψ ασσιγν τηεµ τηε ϖαλυεσ 1 ανδ 0. Ηοωεϖερ, τηε αναλψσισ ισ σιµπλερ (ωηιλε προδυχινγ σιµιλαρ ρεσυλτσ) ιφ, ινστεαδ, ωε ρεθυιρε τηε ινπυτσ υα ανδ ουτπυτ v το τακε τηε τωο ϖαλυεσ +1 ανδ −1. Τηε ουτπυτ οφ τηε περχεπτρον ισ βασεδ ον α µοδι⇒χατιον οφ τηε λινεαρ ρυλε οφ εθυατιον 8.2 το $ +1 ιφ ω · υ − γ ≥ 0 v= (8.46) −1 ιφ ω · υ − γ < 0 .

8.4 Συπερϖισεδ Λεαρνινγ

315

Τηε τηρεσηολδ γ δετερµινεσ τηε διϖιδινγ λινε βετωεεν ϖαλυεσ οφ ω · υ τηατ γενερατε +1 ανδ −1 ουτπυτσ. Τηε συπερϖισεδ λεαρνινγ τασκ φορ τηε περχεπ− τρον ισ το πλαχε εαχη οφ ΝΣ ινπυτ παττερνσ υµ ιντο ονε οφ τωο χλασσεσ δεσιγ− νατεδ βψ τηε δεσιρεδ βιναρψ ουτπυτ vµ . Ηοω ωελλ τηε περχεπτρον περφορµσ τηισ τασκ δεπενδσ ον τηε νατυρε οφ τηε χλασσι⇒χατιον. Τηε ωειγητ ϖεχτορ ανδ τηρεσηολδ δε⇒νε α συβσπαχε (α ηψπερπλανε) οφ διµενσιον Νυ − 1 (τηε συβσπαχε οφ ποιντσ σατισφψινγ ω · υ = γ , ωηιχη ισ περπενδιχυλαρ το ω) τηατ χυτσ τηε Νυ −διµενσιοναλ σπαχε οφ ινπυτ ϖεχτορσ ιντο τωο ρεγιονσ. Ιτ ισ ποσ− σιβλε φορ α περχεπτρον το χλασσιφψ ινπυτσ περφεχτλψ ονλψ ιφ α ηψπερπλανε εξιστσ τηατ διϖιδεσ τηε ινπυτ σπαχε ιντο ονε ηαλφ−σπαχε χονταινινγ αλλ τηε ινπυτσ χορρεσπονδινγ το v = +1, ανδ ανοτηερ ηαλφ−σπαχε χονταινινγ αλλ τηοσε φορ v = −1. Τηισ χονδιτιον ισ χαλλεδ λινεαρ σεπαραβιλιτψ. Αν ινστρυχτιϖε χασε το χονσιδερ ισ ωηεν εαχη χοµπονεντ οφ εαχη ινπυτ ϖεχτορ ανδ τηε ασσοχι− ατεδ ουτπυτ ϖαλυεσ αρε χηοσεν ρανδοµλψ ανδ ινδεπενδεντλψ, ωιτη εθυαλ προβαβιλιτιεσ οφ βεινγ +1 ανδ −1. Φορ λαργε Νυ , τηε µαξιµυµ νυµβερ οφ ρανδοµ ασσοχιατιονσ τηατ χαν βε δεσχριβεδ βψ α περχεπτρον φορ τψπιχαλ εξαµπλεσ οφ τηισ τψπε ισ 2Νυ . Φορ λινεαρλψ σεπαραβλε ινπυτσ, α σετ οφ ωειγητσ εξιστσ τηατ αλλοωσ τηε περ− χεπτρον το περφορµ περφεχτλψ. Ηοωεϖερ, τηισ δοεσ νοτ µεαν τηατ α Ηεββιαν µοδι⇒χατιον ρυλε χαν χονστρυχτ συχη ωειγητσ. Α Ηεββιαν ρυλε βασεδ ον εθυατιον 8.45 ωιτη α = Νυ / ΝΣ χονστρυχτσ τηε ωειγητ ϖεχτορ ΝΣ 1 ! ω= v µ υµ . Νυ µ=1

(8.47)

Το σεε ηοω ωελλ συχη ωειγητσ αλλοω τηε περχεπτρον το περφορµ, ωε χοµ− πυτε τηε ουτπυτ γενερατεδ βψ ονε ινπυτ ϖεχτορ, υν , χηοσεν φροµ τηε τραιν− ινγ σετ. Φορ τηισ εξαµπλε, ωε σετ γ = 0. Νονζερο τηρεσηολδ ϖαλυεσ αρε χονσιδερεδ λατερ ιν τηε χηαπτερ. Ωιτη γ = 0, τηε ϖαλυε οφ v φορ ινπυτ υν ισ δετερµινεδ σολελψ βψ τηε σιγν οφ ω · υν . Υσινγ τηε ωειγητσ οφ εθυατιον 8.47, ωε ⇒νδ ' ( ! 1 ν ν ν µ µ ν ν v υ ·υ + v υ ·υ . (8.48) ω·υ = Νυ µ̸=ν / Ιφ ωε σετ µ̸=ν vµ υµ · υν / Νυ = ην (ωηερε τηε συπερσχριπτ ον η, ασ ον v, ισ α λαβελ, νοτ α ποωερ), τηεν vν υν · υν / Νυ = vν βεχαυσε 12 = (−1 )2 = 1, σο ωε χαν ωριτε ω · υν = v ν + η ν .

(8.49)

Συβστιτυτινγ τηισ εξπρεσσιον ιντο εθυατιον 8.46 το δετερµινε τηε ουτπυτ οφ τηε περχεπτρον φορ τηε ινπυτ υν , ωε σεε τηατ τηε τερµ ην αχτσ ασ α σουρχε οφ νοισε, ιντερφερινγ ωιτη τηε αβιλιτψ οφ τηε περχεπτρον το γενερατε τηε χορρεχτ ανσωερ v = vν . Ωε χαν τηινκ οφ ην ασ α σαµπλε δραων φροµ α προβαβιλιτψ διστριβυτιον οφ η ϖαλυεσ. Χονσιδερ τηε χασε ωηεν αλλ τηε χοµπονεντσ οφ υµ ανδ vµ φορ αλλ µ

λινεαρ σεπαραβιλιτψ

316

Πλαστιχιτψ ανδ Λεαρνινγ

probability correct

1 0.9 0.8 0.7 0.6 0.5 0

2

4

Νυ ΝΣ −1

6

8

10

Φιγυρε 8.12 Περχενταγε οφ χορρεχτ ρεσπονσεσ φορ α περχεπτρον ωιτη α Ηεββιαν ωειγητ ϖεχτορ φορ α ρανδοµ βιναρψ ινπυτ−ουτπυτ µαπ. Ασ τηε ρατιο οφ τηε νυµβερ οφ ινπυτσ, Νυ , το ονε λεσσ τηαν τηε νυµβερ οφ ινπυτ ϖεχτορσ βεινγ λεαρνεδ, ΝΣ − 1, γροωσ, τηε περχενταγε οφ χορρεχτ ρεσπονσεσ γοεσ το 1. Ωηεν τηισ ρατιο ισ σµαλλ, τηε περχενταγε οφ χορρεχτ ρεσπονσεσ αππροαχηεσ τηε χηανχε λεϖελ οφ 1/2.

αρε χηοσεν ρανδοµλψ ωιτη εθυαλ προβαβιλιτιεσ οφ βεινγ +1 ορ /−1. Ινχλυδινγ τηε δοτ προδυχτ, τηε ριγητ σιδε οφ τηε εξπρεσσιον Νυ ην = µ̸=ν vµ υµ · υν τηατ δε⇒νεσ ην ισ τηε συµ οφ ( ΝΣ − 1 ) Νυ τερµσ, εαχη οφ ωηιχη ισ εθυαλλψ λικελψ το βε ειτηερ +1 ορ −1. Φορ λαργε Νυ ανδ ΝΣ , τηε χεντραλ λιµιτ τηεορεµ (σεε τηε Ματηεµατιχαλ Αππενδιξ) τελλσ υσ τηατ τηε διστριβυτιον οφ η ϖαλυεσ ισ Γαυσσιαν ωιτη µεαν 0 ανδ ϖαριανχε εθυαλ το ( ΝΣ − 1 )/ Νυ . Τηισ συγγεστσ τηατ τηε περχεπτρον ωιτη Ηεββιαν ωειγητσ σηουλδ ωορκ ωελλ ιφ τηε νυµ− βερ οφ ινπυτ παττερνσ βεινγ λεαρνεδ ισ σιγνι⇒χαντλψ λεσσ τηαν τηε νυµβερ οφ ινπυτ ϖεχτορ χοµπονεντσ. Ωε χαν µακε τηισ µορε πρεχισε βψ νοτινγ φροµ εθυατιονσ 8.46 ωιτη γ = 0 ανδ εθυατιον 8.49 τηατ, φορ vν = +1, τηε περχεπ− τρον ωιλλ γιϖε τηε χορρεχτ ανσωερ ιφ −1 < ην < ∞. Σιµιλαρλψ, φορ vν = −1, τηε περχεπτρον ωιλλ γιϖε τηε χορρεχτ ανσωερ ιφ −∞ < ην < 1. Ιφ vν ηασ προβ− αβιλιτψ 1/2 οφ τακινγ ειτηερ ϖαλυε, τηε προβαβιλιτψ οφ τηε περχεπτρον γιϖινγ τηε χορρεχτ ανσωερ ισ 1/2 τιµεσ τηε ιντεγραλ οφ τηε Γαυσσιαν διστριβυτιον φροµ −1 το ∞ πλυσ 1/2 τιµεσ ιτσ ιντεγραλ φροµ −∞ το 1. Χοµβινινγ τηεσε τωο τερµσ, ωε ⇒νδ E % & " 1 Νυ Νυ η2 δη εξπ − Π[χορρεχτ] = . (8.50) 2π( ΝΣ − 1 ) −∞ 2 ( ΝΣ − 1 ) Τηισ ρεσυλτ ισ πλοττεδ ιν ⇒γυρε 8.12, ωηιχη σηοωσ τηατ τηε Ηεββιαν περχεπ− τρον περφορµσ θυιτε ωελλ ιφ ΝΣ − 1 ισ λεσσ τηαν αβουτ 0.2Νυ . Ιτ ισ ποσσιβλε φορ τηε περχεπτρον το περφορµ χονσιδεραβλψ βεττερ τηαν τηισ ιφ α νον−Ηεββιαν ωειγητ ϖεχτορ ισ υσεδ. Ωε ρετυρν το τηισ ιν α λατερ σεχτιον. Φυνχτιον Αππροξιµατιον Ιν χηαπτερ 1, ωε στυδιεδ εξαµπλεσ ιν ωηιχη τηε ⇒ρινγ ρατε οφ α νευρον ωασ γιϖεν βψ α φυνχτιον οφ α στιµυλυσ παραµετερ, ναµελψ, τηε ρεσπονσε τυν− ινγ χυρϖε. Ωηεν συχη α ρελατιονσηιπ εξιστσ, ωε χαν τηινκ οφ τηε νευροναλ

8.4 Συπερϖισεδ Λεαρνινγ

317

σ Φιγυρε 8.13 Α νετωορκ φορ ρεπρεσεντινγ φυνχτιονσ. Τηε ϖαλυε οφ αν ινπυτ ϖαριαβλε σ ισ ενχοδεδ βψ τηε αχτιϖιτψ οφ α ποπυλατιον οφ νευρονσ ωιτη τυνινγ χυρϖεσ φ(σ ). Τηισ αχτιϖιτψ δριϖεσ αν ουτπυτ νευρον τηρουγη α ϖεχτορ οφ ωειγητσ ω το χρεατε αν ουτπυτ αχτιϖιτψ v τηατ αππροξιµατεσ τηε φυνχτιον η (σ ).

⇒ρινγ ρατε ασ ρεπρεσεντινγ τηε φυνχτιον. Ποπυλατιονσ οφ νευρονσ (λαβελεδ βψ αν ινδεξ β = 1, 2, . . . , Νυ ) τηατ ρεσπονδ το α στιµυλυσ ϖαλυε σ, βψ ⇒ρινγ ατ αϖεραγε ρατεσ φ β (σ ), χαν σιµιλαρλψ ρεπρεσεντ αν εντιρε σετ οφ φυνχτιονσ. Ηοωεϖερ, α φυνχτιον η (σ ) τηατ ισ νοτ εθυαλ το ανψ οφ τηε σινγλε νευρον τυν− ινγ χυρϖεσ µυστ βε ρεπρεσεντεδ βψ χοµβινινγ τηε ρεσπονσεσ οφ α νυµβερ οφ υνιτσ. Τηισ χαν βε δονε υσινγ τηε νετωορκ σηοων ιν ⇒γυρε 8.13. Τηε αϖεραγε στεαδψ−στατε αχτιϖιτψ λεϖελ οφ τηε ουτπυτ υνιτ ιν τηισ νετωορκ, ιν ρεσπονσε το στιµυλυσ ϖαλυε σ, ισ γιϖεν βψ εθυατιον 8.2,

v(σ ) = ω · υ = ω · φ(σ ) =

Ν !

wβ φ β (σ ) .

φυνχτιον αππροξιµατιον

(8.51)

β=1

Νοτε τηατ ωε ηαϖε ρεπλαχεδ υ ωιτη φ(σ ) ωηερε φ(σ ) ισ τηε ϖεχτορ ωιτη χοµ− πονεντσ φ β (σ ). Τηε νετωορκ πρεσεντεδ ιν χηαπτερ 7 τηατ περφορµσ χοορδι− νατε τρανσφορµατιον ισ αν εξαµπλε οφ τηισ τψπε οφ φυνχτιον αππροξιµατορ. Ιν εθυατιον 8.51, τηε ινπυτ τυνινγ χυρϖεσ φ(σ ) αχτ ασ α βασισ φορ ρεπρεσεντινγ τηε ουτπυτ φυνχτιον η (σ ), ανδ φορ τηισ ρεασον τηεψ αρε χαλλεδ βασισ φυνχτιονσ. ∆ιφφερεντ σετσ οφ βασισ φυνχτιονσ χαν βε υσεδ το ρεπρεσεντ α γιϖεν σετ οφ ουτ− πυτ φυνχτιονσ. Α σετ οφ βασισ φυνχτιονσ τηατ χαν ρεπρεσεντ ανψ µεµβερ οφ α χλασσ οφ φυνχτιονσ υσινγ α λινεαρ συµ, ασ ιν εθυατιον 8.51, ισ χαλλεδ χοµ− πλετε φορ τηισ χλασσ. Φορ τηε βασισ σετσ τψπιχαλλψ υσεδ ιν µατηεµατιχσ, συχη ασ τηε σινεσ ανδ χοσινεσ ιν α Φουριερ σεριεσ, τηε ωειγητσ ιν εθυατιον 8.51 αρε υνιθυε. Ωηεν νευραλ τυνινγ χυρϖεσ αρε υσεδ το εξπανδ α φυνχτιον, τηε ωειγητσ τενδ νοτ το βε υνιθυε, ανδ τηε σετ οφ ινπυτ φυνχτιονσ ισ χαλλεδ οϖερχοµπλετε. Ιν τηισ χηαπτερ, ωε ασσυµε τηατ τηε βασισ φυνχτιονσ αρε ηελδ ⇒ξεδ, ανδ ονλψ τηε ωειγητσ αρε αδϕυστεδ το ιµπροϖε ουτπυτ περφορµανχε. Ιτ ισ αλσο ιντερεστινγ το χονσιδερ µετηοδσ φορ λεαρνινγ τηε βεστ βασισ φυνχ− τιονσ φορ α παρτιχυλαρ αππλιχατιον. Ονε ωαψ οφ δοινγ τηισ ισ βψ αππλψινγ αν αλγοριτηµ χαλλεδ βαχκπροπαγατιον, ωηιχη δεϖελοπσ τηε βασισ φυνχτιονσ γυιδεδ βψ τηε ουτπυτ ερρορσ οφ τηε νετωορκ. Οτηερ µετηοδσ, ωηιχη ωε χονσιδερ ιν χηαπτερ 10, ινϖολϖε υνσυπερϖισεδ λεαρνινγ. Συπποσε τηατ τηε φυνχτιον−ρεπρεσεντατιον νετωορκ οφ ⇒γυρε 8.13 ισ προ−

βασισ φυνχτιονσ

χοµπλετενεσσ

οϖερχοµπλετε

318

Πλαστιχιτψ ανδ Λεαρνινγ

ϖιδεδ ωιτη α σεθυενχε οφ ΝΣ σαµπλε στιµυλι, σµ φορ µ = 1, 2, . . . , ΝΣ , ανδ τηε χορρεσπονδινγ φυνχτιον ϖαλυεσ η (σµ ), δυρινγ α τραινινγ περιοδ. Το µακε v(σµ ) µατχη η (σµ ) ασ χλοσελψ ασ ποσσιβλε φορ αλλ µ, ωε µινιµιζε τηε ερρορ Ε=

νορµαλ εθυατιονσ

ΝΣ : ) µ *2 1! ΝΣ 9 η (σ ) − v(σµ ) = (η (σ ) − ω · φ(σ ))2 . 2 µ=1 2

(8.52)

Ωε ηαϖε µαδε τηε ρεπλαχεµεντ v(σ ) = ω · φ(σ ) ιν τηισ εθυατιον ανδ ηαϖε υσεδ τηε βραχκετ νοτατιον φορ τηε αϖεραγε οϖερ τηε τραινινγ σαµπλεσ. Εθυα− τιονσ φορ τηε ωειγητσ τηατ µινιµιζε τηισ ερρορ, χαλλεδ τηε νορµαλ εθυατιονσ, αρε οβταινεδ βψ σεττινγ ιτσ δεριϖατιϖε ωιτη ρεσπεχτ το τηε ωειγητσ το 0, ψιελδ− ινγ τηε χονδιτιον

⟨φ(σ )φ(σ )⟩ · ω = ⟨φ(σ )η (σ )⟩ .

(8.53)

Τηε συπερϖισεδ Ηεββιαν ρυλε οφ εθυατιον 8.45, αππλιεδ ιν τηισ χασε, υλτι− µατελψ σετσ τηε ωειγητ ϖεχτορ το ω = ⟨φ(σ )η (σ )⟩/α. Τηεσε ωειγητσ µυστ σατισφψ τηε νορµαλ εθυατιονσ 8.53 ιφ τηεψ αρε το οπτιµιζε φυνχτιον αππροξ− ιµατιον. Τηερε αρε τωο χιρχυµστανχεσ υνδερ ωηιχη τηισ οχχυρσ. Τηε οβϖι− ουσ ονε ισ ωηεν τηε ινπυτ υνιτσ αρε ορτηογοναλ αχροσσ τηε τραινινγ στιµυλι, ⟨φ(σ )φ(σ )⟩ = Ι. Ιν τηισ χασε, τηε νορµαλ εθυατιονσ αρε σατισ⇒εδ ωιτη α = 1. Ηοωεϖερ, τηισ χονδιτιον ισ υνλικελψ το ηολδ φορ µοστ σετσ οφ ινπυτ τυνινγ χυρϖεσ. Αν αλτερνατιϖε ποσσιβιλιτψ ισ τηατ φορ αλλ παιρσ οφ στιµυλι σµ ανδ σν ιν τηε τραινινγ σετ, φ(σµ ) · φ(σν ) = χδµν τιγητ φραµε

(8.54)

φορ σοµε χονσταντ χ. Τηισ ισ χαλλεδ α τιγητ φραµε χονδιτιον. Ιφ ιτ ισ σατισ⇒εδ, τηε ωειγητσ γιϖεν βψ συπερϖισεδ Ηεββιαν λεαρνινγ ωιτη δεχαψ χαν σατισφψ τηε νορµαλ εθυατιονσ. Το σεε τηισ, ωε ινσερτ τηε ωειγητσ ω = ⟨φ(σ )η (σ )⟩/α ιντο εθυατιον 8.53 ανδ υσε 8.54 το οβταιν

⟨φ(σ )φ(σ )⟩ · ⟨φ(σ )η (σ )⟩ 1 ! µ = φ(σ )φ(σµ ) · φ(σν )η (σν ) α α ΝΣ2 µν χ ! µ χ φ ( σ )η ( σµ ) = ⟨φ(σ )η (σ )⟩ . (8.55) = 2 α ΝΣ α ΝΣ µ

⟨φ(σ )φ(σ )⟩ · ω =

Τηισ σηοωσ τηατ τηε νορµαλ εθυατιονσ αρε σατισ⇒εδ φορ α = χ/ ΝΣ . Τηυσ, ωε ηαϖε σηοων τωο ωαψσ τηατ συπερϖισεδ Ηεββιαν λεαρνινγ χαν σολϖε τηε φυνχτιον αππροξιµατιον προβλεµ, βυτ βοτη ρεθυιρε σπεχιαλ χονδιτιονσ ον τηε βασισ φυνχτιονσ φ(σ ). Α µορε γενεραλ σχηεµε, δισχυσσεδ βελοω, ινϖολϖεσ υσινγ αν ερρορ−χορρεχτινγ ρυλε.

Συπερϖισεδ Ερρορ−Χορρεχτινγ Ρυλεσ Αν εσσεντιαλ λιµιτατιον οφ συπερϖισεδ Ηεββιαν ρυλεσ ισ τηατ σψναπτιχ µοδ− ι⇒χατιον δοεσ νοτ δεπενδ ον τηε αχτυαλ περφορµανχε οφ τηε νετωορκ. Αν

8.4 Συπερϖισεδ Λεαρνινγ

319

αλτερνατιϖε λεαρνινγ στρατεγψ ισ το σταρτ ωιτη αν ινιτιαλ γυεσσ φορ τηε ωειγητσ, χοµπαρε τηε ουτπυτ v(υµ ) ιν ρεσπονσε το ινπυτ υµ ωιτη τηε δεσιρεδ ουτπυτ vµ , ανδ χηανγε τηε ωειγητσ το ιµπροϖε τηε περφορµανχε. Τωο ιµπορταντ ερρορ−χορρεχτινγ µοδι⇒χατιον ρυλεσ αρε τηε περχεπτρον ρυλε, ωηιχη αππλιεσ το βιναρψ χλασσι⇒χατιον, ανδ τηε δελτα ρυλε, ωηιχη χαν βε αππλιεδ το φυνχ− τιον αππροξιµατιον ανδ µανψ οτηερ προβλεµσ.

Τηε Περχεπτρον Λεαρνινγ Ρυλε Συπποσε τηατ τηε περχεπτρον οφ εθυατιον 8.46 (ωιτη νονζερο γ ) ινχορρεχτλψ χλασσι⇒εσ αν ινπυτ παττερν υµ . Ιφ τηε ουτπυτ ισ v(υµ ) = −1 ωηεν vµ = 1, τηε ωειγητ ϖεχτορ σηουλδ βε µοδι⇒εδ το µακε ω · υµ − γ λαργερ. Σιµιλαρλψ, ιφ v(υµ ) = 1 ωηεν vµ = −1, ω · υµ − γ σηουλδ βε δεχρεασεδ. Α πλαστιχιτψ ρυλε τηατ περφορµσ συχη αν αδϕυστµεντ ισ τηε περχεπτρον λεαρνινγ ρυλε, ω→ω+

* ϵw ) µ v − v(υµ ) υµ 2

ανδ

γ→γ−

ϵw µ (v − v(υµ )) . (8.56) 2

περχεπτρον λεαρνινγ ρυλε

Ηερε, ανδ ιν συβσεθυεντ σεχτιονσ ιν τηισ χηαπτερ, ωε υσε δισχρετε υπδατεσ φορ τηε ωειγητσ (ινδιχατεδ βψ τηε →) ρατηερ τηαν τηε διφφερεντιαλ εθυατιονσ υσεδ υπ το τηισ ποιντ. Τηισ ισ δυε το τηε δισχρετε νατυρε οφ τηε πρεσεντατιον οφ τηε τραινινγ παττερνσ. Ιν εθυατιον 8.56, ωε ηαϖε ασσυµεδ τηατ τηε τηρεση− ολδ γ ισ αλσο πλαστιχ. Τηε λεαρνινγ ρυλε φορ γ ισ ινϖερτεδ χοµπαρεδ ωιτη τηατ φορ τηε ωειγητσ, βεχαυσε γ εντερσ εθυατιον 8.46 ωιτη α µινυσ σιγν. Το ϖεριφψ τηατ τηε περχεπτρον λεαρνινγ ρυλε µακεσ αππροπριατε ωειγητ αδ− ϕυστµεντσ, ωε νοτε τηατ ιτ ιµπλιεσ τηατ ) * ) * ϵw µ ) * ω · υµ − γ → ω · υµ − γ + (v − v(υµ )) |υµ |2 + 1 . 2

(8.57)

Τηισ ρεσυλτ σηοωσ τηατ ιφ vµ = 1 ανδ v(υµ ) = −1, τηε ωειγητ χηανγε ιν− χρεασεσ ω · υµ − γ . Ιφ vµ = −1 ανδ v(υµ ) = 1, ω · υµ − γ ισ δεχρεασεδ. Τηισ ισ εξαχτλψ ωηατ ισ νεεδεδ το χοµπενσατε φορ τηε ερρορ. Νοτε τηατ τηε περ− χεπτρον λεαρνινγ ρυλε δοεσ νοτ µοδιφψ τηε ωειγητσ ιφ τηε ουτπυτ ισ χορρεχτ. Το λεαρν α σετ οφ ινπυτ παττερν χλασσι⇒χατιονσ, τηε περχεπτρον λεαρνινγ ρυλε ισ αππλιεδ το εαχη ονε ρεπεατεδλψ, ειτηερ σεθυεντιαλλψ ορ ιν α ρανδοµ ορδερ. Φορ ⇒ξεδ ϵw , τηε περχεπτρον λεαρνινγ ρυλε οφ εθυατιον 8.56 ισ γυαραντεεδ το ⇒νδ α σετ οφ ωειγητσ ω ανδ τηρεσηολδ γ τηατ σολϖε ανψ λινεαρλψ σεπαραβλε προβλεµ. Τηισ ισ προϖεδ ιν τηε αππενδιξ.

Τηε ∆ελτα Ρυλε Τηε φυνχτιον αππροξιµατιον τασκ ωιτη τηε ερρορ φυνχτιον Ε οφ εθυατιον 8.52 χαν βε σολϖεδ υσινγ αν ερρορ−χορρεχτινγ σχηεµε σιµιλαρ ιν σπιριτ το τηε περ− χεπτρον λεαρνινγ ρυλε, βυτ δεσιγνεδ φορ χοντινυουσ ρατηερ τηαν βιναρψ ουτ− πυτσ. Α σιµπλε βυτ εξτρεµελψ υσεφυλ ϖερσιον οφ τηισ ισ τηε γραδιεντ δεσχεντ προχεδυρε, ωηιχη µοδι⇒εσ ω αχχορδινγ το

γραδιεντ δεσχεντ

320

Πλαστιχιτψ ανδ Λεαρνινγ ω → ω − ϵw ∇ω Ε

ορ

wβ → wβ − ϵw

∂Ε , ∂wβ

(8.58)

ωηερε ∇ω Ε ισ τηε ϖεχτορ ωιτη χοµπονεντσ ∂ Ε/∂wβ . Τηισ ρυλε ισ σενσιβλε βεχαυσε −∇ω Ε ποιντσ ιν τηε διρεχτιον (ιν τηε σπαχε οφ σψναπτιχ ωειγητσ) αλονγ ωηιχη Ε δεχρεασεσ µοστ ραπιδλψ. Τηισ προχεσσ τενδσ το ρεδυχε Ε βεχαυσε, φορ σµαλλ ϵw , Ε (ω − ϵw ∇ω Ε ) ≈ Ε (ω ) − ϵw |∇ω Ε|2 ≤ Ε (ω ) .

(8.59)

Ιφ ϵw ισ τοο λαργε ορ ω ισ ϖερψ νεαρ το α ποιντ ωηερε ∇ω Ε (ω ) = 0 , Ε χαν ινχρεασε ινστεαδ. Ωε ασσυµε τηατ ϵw ισ σµαλλ ενουγη σο τηατ Ε δεχρεασεσ ατ λεαστ υντιλ ω ισ ϖερψ χλοσε το α µινιµυµ. Ιφ Ε ηασ µανψ µινιµα, γραδιεντ δεσχεντ ωιλλ λεαδ το ονλψ ονε οφ τηεµ (α λοχαλ µινιµυµ), ανδ νοτ νεχεσσαρ− ιλψ τηε ονε ωιτη τηε λοωεστ ϖαλυε οφ Ε (τηε γλοβαλ µινιµυµ). Ιν τηε χασε οφ φυνχτιον αππροξιµατιον υσινγ βασισ φυνχτιονσ ασ ιν εθυατιον 8.51, γρα− διεντ δεσχεντ ⇒νδσ α ϖαλυε οφ ω τηατ σατισ⇒εσ τηε νορµαλ εθυατιονσ, ανδ τηερεφορε χονστρυχτσ αν οπτιµαλ φυνχτιον αππροξιµατορ, βεχαυσε τηε ερρορ φυνχτιον οφ εθυατιον 8.52 ηασ ονλψ ονε µινιµυµ. Φορ φυνχτιον αππροξιµατιον, τηε ερρορ Ε ιν εθυατιον 8.52 ισ α συµ οϖερ τηε σετ οφ εξαµπλεσ. Ασ α ρεσυλτ, ∇ω Ε αλσο ινϖολϖεσ α συµ,

∇ω Ε = −

στοχηαστιχ γραδιεντ δεχεντ

ΝΣ !

µ=1

(η (σµ ) − v(σµ ))φ(σµ ) ,

ωηερε ωε ηαϖε υσεδ τηε φαχτ τηατ ∇ω v(σµ ) = φ(σµ ). Τηε πρεσενχε οφ τηε συµ µεανσ τηατ τηε λεαρνινγ ρυλε οφ εθυατιον 8.58 χαννοτ βε αππλιεδ υν− τιλ αλλ τηε σαµπλε παττερνσ ηαϖε βεεν πρεσεντεδ, βεχαυσε αλλ οφ τηεµ αρε νεεδεδ το χοµπυτε τηε αµουντ βψ ωηιχη τηε ωειγητ ϖεχτορ σηουλδ βε χηανγεδ. Ιτ ισ µυχη µορε χονϖενιεντ ιφ υπδατινγ οφ τηε ωειγητσ τακεσ πλαχε χοντινυουσλψ ωηιλε σαµπλε ινπυτσ αρε πρεσεντεδ. Τηισ χαν βε δονε υσινγ α προχεδυρε κνοων ασ στοχηαστιχ γραδιεντ δεσχεντ. Τηισ αλτερνατιϖε προ− χεδυρε ινϖολϖεσ πρεσεντινγ ρανδοµλψ χηοσεν ινπυτ−ουτπυτ παιρσ σµ ανδ η (σµ ), ανδ χηανγε ω αχχορδινγ το ω → ω + ϵw (η (σµ ) − v(σµ ))φ(σµ ) .

δελτα ρυλε

(8.60)

(8.61)

Τηισ ρυλε, χαλλεδ τηε δελτα ρυλε, αλλοωσ λεαρνινγ το τακε πλαχε ονε σαµπλε ατ α τιµε. Υσε οφ τηισ ρυλε ισ βασεδ ον τηε φαχτ τηατ συµµινγ τηε χηανγεσ προπορτιοναλ το (η (σµ ) − v(σµ ))φ(σµ ) οϖερ τηε ρανδοµ χηοιχεσ οφ µ ισ, ον αϖεραγε, εθυιϖαλεντ το δοινγ τηε συµ ιν εθυατιον 8.60. Τηε εφφεχτ οφ υσ− ινγ εθυατιον 8.61 ινστεαδ οφ εθυατιον 8.58 ισ τηε ιντροδυχτιον οφ νοισε τηατ χαυσεσ τηε ωειγητσ το ⇓υχτυατε αβουτ αϖεραγε ϖαλυεσ τηατ σατισφψ τηε νορ− µαλ εθυατιονσ. Ρεπλαχινγ α φυλλ συµ βψ αν αππροπριατελψ ωειγητεδ συµ οφ ρανδοµλψ χηοσεν τερµσ ισ αν εξαµπλε οφ α σο−χαλλεδ Μοντε Χαρλο µετηοδ. Τηερε αρε µορε εφ⇒χιεντ µετηοδσ οφ σεαρχηινγ φορ µινιµα οφ φυνχτιονσ τηαν στοχηαστιχ γραδιεντ δεσχεντ, βυτ µανψ οφ τηεµ αρε χοµπλιχατεδ το ιµπλε− µεντ. Φιγυρε 8.14 σηοωσ τηε ρεσυλτ οφ µοδιφψινγ αν ινιτιαλλψ ρανδοµ σετ οφ ωειγητσ υσινγ τηε δελτα ρυλε. Υλτιµατελψ, αν αρραψ οφ ινπυτ νευρονσ ωιτη

8.4 Συπερϖισεδ Λεαρνινγ A

B 1.5

ϖ

321 C 1.5

1.5

1

1

1

0.5

0.5

0.5

0

0

0

-0.5

-0.5

-0.5

-1

-1

-1

-1.5 -10

-1.5 -10

-1.5 -10

0

σ

10

0

σ

10

0

10

σ

Φιγυρε 8.14 Ελεϖεν ινπυτ νευρονσ ωιτη Γαυσσιαν τυνινγ χυρϖεσ δριϖε αν ουτπυτ νευρον το αππροξιµατε α σινε φυνχτιον. Τηε ινπυτ τυνινγ χυρϖεσ αρε φ β (σ ) = εξπ[−0.5(σ − σβ )2 ] ωιτη σβ = −10, −8, −6, . . . , 8, 10. Τηε δελτα ρυλε ωασ υσεδ το αδϕυστ τηε ωειγητσ. Σαµπλε ποιντσ ωερε χηοσεν ρανδοµλψ ωιτη σ ιν τηε ρανγε βε− τωεεν −10 ανδ 10. Τηε ⇒ρινγ ρατε οφ τηε ουτπυτ νευρον ισ πλοττεδ ασ α σολιδ χυρϖε, ανδ τηε σινυσοιδαλ ταργετ φυνχτιον ασ α δασηεδ χυρϖε. (Α) Τηε ⇒ρινγ ρατε οφ τηε ουτπυτ νευρον ωηεν ρανδοµ ωειγητσ ιν τηε ρανγε βετωεεν −1 ανδ 1 ωερε υσεδ. (Β) Τηε ουτπυτ ⇒ρινγ ρατε αφτερ ωειγητ µοδι⇒χατιον υσινγ τηε δελτα ρυλε ωιτη 20 σαµπλε ποιντσ. (Χ) Τηε ουτπυτ ⇒ρινγ ρατε αφτερ ωειγητ µοδι⇒χατιον υσινγ τηε δελτα ρυλε ωιτη 100 σαµπλε ποιντσ.

Γαυσσιαν τυνινγ χυρϖεσ δριϖεσ αν ουτπυτ νευρον σο τηατ ιτ θυιτε αχχυρατελψ ρεπρεσεντσ α σινε φυνχτιον. Φιγυρεσ 8.14Β ανδ Χ ιλλυστρατε τηε διφφερενχε βε− τωεεν στοραγε ανδ γενεραλιζατιον. Τηε ουτπυτ v(σ ) ιν ⇒γυρε 8.14Β µατχηεσ τηε σινε φυνχτιον ωελλ φορ ϖαλυεσ οφ σ τηατ ωερε ιν τηε τραινινγ σετ, ανδ, ιν τηισ σενσε, ηασ στορεδ τηατ ινφορµατιον. Ηοωεϖερ, ιτ δοεσ νοτ γενεραλ− ιζε ωελλ, ιν τηατ ιτ δοεσ νοτ µατχη τηε σινε φυνχτιον φορ οτηερ ϖαλυεσ οφ σ νοτ ιν τηε τραινινγ σετ. Τηε ουτπυτ v(σ ) ιν ⇒γυρε 8.14Χ ηασ γοοδ στοραγε ανδ γενεραλιζατιον προπερτιεσ, ατ λεαστ ωιτηιν τηε ρανγε οφ ϖαλυεσ οφ σ υσεδ. Τηε αβιλιτψ οφ τηε νετωορκ το αππροξιµατε τηε φυνχτιον η (σ ) φορ στιµυλυσ ϖαλυεσ νοτ πρεσεντεδ δυρινγ τραινινγ δεπενδσ ιν α χοµπλιχατεδ ωαψ ον τηε σµοοτηνεσσ οφ τηε ταργετ φυνχτιον, τηε νυµβερ ανδ σµοοτηνεσσ οφ τηε βασισ φυνχτιονσ φ(σ ), ανδ τηε σιζε οφ τηε τραινινγ σετ. Ιτ ισ νοτ ιµµεδιατελψ οβϖιουσ ηοω τηε δελτα ρυλε οφ εθυατιον 8.61 χουλδ βε ιµπλεµεντεδ βιοπηψσιχαλλψ, βεχαυσε τηε νετωορκ ηασ το χοµπυτε τηε διφφερενχε η (σµ )φ(σµ ) − v(σµ )φ(σµ ). Ονε ποσσιβιλιτψ ισ τηατ τηε τωο τερµσ η (σµ )φ(σµ ) ανδ v(σµ )φ(σµ ) αρε χοµπυτεδ ιν σεπαρατε πηασεσ. Φιρστ, τηε ουτ− πυτ οφ τηε νετωορκ ισ χλαµπεδ το τηε δεσιρεδ ϖαλυε η (σµ ) ανδ Ηεββιαν πλαστιχιτψ ισ αππλιεδ. Τηεν, τηε νετωορκ ρυνσ φρεελψ το γενερατε v(σµ ) ανδ αντι−Ηεββιαν µοδι⇒χατιονσ αρε µαδε. Ιν τηε νεξτ σεχτιον, ωε δισχυσσ α παρτιχυλαρ εξαµπλε οφ τηισ ιν τηε χασε οφ τηε Βολτζµανν µαχηινε, ανδ ωε σηοω ηοω λεαρνινγ ρυλεσ ιντενδεδ φορ συπερϖισεδ λεαρνινγ χαν σοµετιµεσ βε υσεδ φορ υνσυπερϖισεδ λεαρνινγ ασ ωελλ.

322

Πλαστιχιτψ ανδ Λεαρνινγ

Χοντραστιϖε Ηεββιαν Λεαρνινγ ιν Στοχηαστιχ Νετωορκσ Ιν χηαπτερ 7, ωε πρεσεντεδ τηε Βολτζµανν µαχηινε, α στοχηαστιχ νετωορκ ωιτη βιναρψ υνιτσ. Ονε οφ τηε κεψ ιννοϖατιονσ ασσοχιατεδ ωιτη τηε Βολτζ− µανν µαχηινε ισ α σψναπτιχ µοδι⇒χατιον ρυλε τηατ ηασ α σουνδ φουνδατιον ιν προβαβιλιτψ τηεορψ. Ωε σταρτ βψ δεσχριβινγ τηε χασε οφ συπερϖισεδ λεαρν− ινγ, αλτηουγη τηε υνδερλψινγ τηεορψ ισ σιµιλαρ φορ βοτη συπερϖισεδ ανδ υνσυπερϖισεδ χασεσ ωιτη τηε Βολτζµανν µαχηινε. Ρεχαλλ φροµ χηαπτερ 7 τηατ τηε Βολτζµανν µαχηινε προδυχεσ α στοχηαστιχ ουτπυτ ϖ φροµ αν ινπυτ υ τηρουγη α προχεσσ χαλλεδ Γιββσ σαµπλινγ. Τηισ ηασ τωο µαιν χονσεθυενχεσ. Φιρστ, ρατηερ τηαν βεινγ δεσχριβεδ βψ αν εθυα− τιον συχη ασ 8.2, τηε ινπυτ−ουτπυτ ρελατιονσηιπ οφ α στοχηαστιχ νετωορκ ισ δεσχριβεδ βψ α διστριβυτιον Π[ϖ|υ; Ω], ωηιχη ισ τηε προβαβιλιτψ τηατ ινπυτ υ γενερατεσ ουτπυτ ϖ ωηεν τηε ωειγητ µατριξ οφ τηε νετωορκ ισ Ω. Σεχ− ονδ, συπερϖισεδ λεαρνινγ ιν α δετερµινιστιχ νετωορκ ινϖολϖεσ τηε δεϖελοπ− µεντ οφ αν ινπυτ−ουτπυτ ρελατιονσηιπ τηατ µατχηεσ, ασ χλοσελψ ασ ποσσιβλε, α σετ οφ σαµπλεσ (υµ , ϖµ ) φορ µ = 1, 2, . . . , ΝΣ . Συχη α τασκ δοεσ νοτ µακε σενσε φορ α µοδελ τηατ ηασ α στοχηαστιχ ρατηερ τηαν δετερµινιστιχ ρελατιον− σηιπ βετωεεν ιτσ ινπυτ ανδ ουτπυτ αχτιϖιτιεσ. Ινστεαδ, στοχηαστιχ νετωορκσ αρε αππροπριατε φορ ρεπρεσεντινγ στατιστιχαλ ασπεχτσ οφ τηε ρελατιονσηιπ βε− τωεεν τωο σετσ οφ ϖαριαβλεσ. Φορ εξαµπλε, συπποσε τηατ ωε δρεω σαµπλε παιρσ φροµ α ϕοιντ προβαβιλιτψ διστριβυτιον Π[υ, ϖ] = Π[ϖ|υ]Π[υ]. Ιν τηισ χασε, α γιϖεν ϖαλυε οφ υµ , χηοσεν φροµ τηε διστριβυτιον Π[υ], ισ ασσοχιατεδ ωιτη ανοτηερ ϖεχτορ ϖµ στοχηαστιχαλλψ ρατηερ τηαν δετερµινιστιχαλλψ. Τηε προβαβιλιτψ τηατ α παρτιχυλαρ ουτπυτ ϖµ ισ ασσοχιατεδ ωιτη υµ ισ γιϖεν βψ Π[ϖµ |υµ ]. Ιν οτηερ ωορδσ, Π[υ] δεσχριβεσ τηε προβαβιλιτψ οφ ϖαριουσ υ ϖεχ− τορσ αππεαρινγ, ανδ Π[ϖ|υ] ισ τηε προβαβιλιτψ τηατ α παρτιχυλαρ ϖεχτορ υ ισ ασσοχιατεδ ωιτη ανοτηερ ϖεχτορ ϖ.

δενσιτψ εστιµατιον

Α νατυραλ συπερϖισεδ λεαρνινγ τασκ φορ α στοχηαστιχ νετωορκ ισ το µακε τηε ινπυτ−ουτπυτ διστριβυτιον οφ τηε νετωορκ, Π[ϖ|υ; Ω], µατχη ασ χλοσελψ ασ ποσσιβλε, τηε προβαβιλιτψ διστριβυτιον Π[ϖ|υ] ασσοχιατεδ ωιτη τηε σαµ− πλεσ (υµ , ϖµ ). Τηισ ισ δονε βψ αδϕυστινγ τηε φεεδφορωαρδ ωειγητ µατριξ Ω. Νοτε τηατ ωε αρε υσινγ τηε αργυµεντ Ω το διστινγυιση βετωεεν τωο διφφερεντ διστριβυτιονσ, Π[υ|ϖ], ωηιχη ισ προϖιδεδ εξτερναλλψ ανδ γενερατεσ τηε σαµπλε δατα, ανδ Π[υ|ϖ; Ω], ωηιχη ισ τηε διστριβυτιον γενερατεδ βψ τηε Βολτζµανν µαχηινε ωιτη ωειγητ µατριξ Ω. Τηε ιδεα οφ χονστρυχτινγ νετ− ωορκσ τηατ ρεπροδυχε προβαβιλιτψ διστριβυτιονσ ινφερρεδ φροµ σαµπλε δατα ισ χεντραλ το τηε προβλεµ οφ δενσιτψ εστιµατιον, ωηιχη ισ χοϖερεδ µορε φυλλψ ιν χηαπτερ 10. Ωε ⇒ρστ χονσιδερ α Βολτζµανν µαχηινε ωιτη ονλψ φεεδφορωαρδ ωειγητσ Ω χοννεχτινγ υ το ϖ, ανδ νο ρεχυρρεντ ωειγητσ αµονγ τηε ϖ υνιτσ. Γιϖεν αν ινπυτ υ, αν ουτπυτ / ϖ ισ χοµπυτεδ βψ σεττινγ εαχη χοµπονεντ vα το 1 ωιτη προβαβιλιτψ Φ ( β Ωαβ υβ ) (ανδ 0 οτηερωισε) ωηερε Φ ( Ι ) = 1/(1 + εξπ(− Ι )). Τηισ ισ τηε Γιββσ σαµπλινγ προχεδυρε δισχυσσεδ ιν χηαπτερ 7 αππλιεδ το τηε φεεδφορωαρδ Βολτζµανν µαχηινε. Βεχαυσε τηερε αρε νο ρεχυρρεντ χοννεχ− τιονσ, τηε στατεσ οφ τηε ουτπυτ υνιτσ αρε ινδεπενδεντ, ανδ τηεψ χαν αλλ βε σαµπλεδ σιµυλτανεουσλψ. Αναλογουσ το τηε δισχυσσιον ιν χηαπτερ 7, τηισ

8.4 Συπερϖισεδ Λεαρνινγ

323

προχεδυρε γιϖεσ ρισε το α χονδιτιοναλ προβαβιλιτψ διστριβυτιον Π[ϖ|υ; Ω] φορ ϖ γιϖεν υ τηατ χαν βε ωριττεν ασ Π[ϖ|υ; Ω] =

εξπ(− Ε (υ, ϖ )) Ζ (υ )

ωιτη

Ζ (υ ) =

!

εξπ(− Ε (υ, ϖ )) , (8.62)

ϖ

ωηερε Ε (υ, ϖ ) = −? ϖ · Ω · υ. Ιν/τηισ χασε, τηε παρτιτιον φυνχτιον χαν βε ωριττεν ασ Ζ (υ ) = α (1 + εξπ( β Ωαβ υβ )). Ηοωεϖερ, φορ τηε Βολτζµανν µαχηινεσ ωιτη ρεχυρρεντ χοννεχτιονσ τηατ ωε χονσιδερ βελοω, τηερε ισ νο σιµπλε χλοσεδ φορµ εξπρεσσιον φορ τηε παρτιτιον φυνχτιον. Τηε νατυραλ µεασυρε φορ δετερµινινγ ηοω ωελλ τηε διστριβυτιον γενερατεδ βψ τηε νετωορκ, Π[ϖ|υ; Ω], µατχηεσ τηε σαµπλεδ διστριβυτιον, Π[ϖ|υ], φορ α παρτιχυλαρ ινπυτ υ ισ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε, & % ! Π[ϖ|υ] ∆ΚΛ ( Π[ϖ|υ], Π[ϖ|υ; Ω] ) = Π[ϖ|υ] λν Π[ϖ|υ; Ω] ϖ ! =− Π[ϖ|υ] λν ( Π[ϖ|υ; Ω] ) + Κ , (8.63) ϖ

ωηερε Κ ισ α τερµ τηατ ισ προπορτιοναλ το τηε εντροπψ οφ τηε διστριβυτιον Π[ϖ|υ] (σεε χηαπτερ 4). Ωε δο νοτ ωριτε ουτ τηισ τερµ εξπλιχιτλψ βεχαυσε ιτ δοεσ νοτ δεπενδ ον τηε φεεδφορωαρδ ωειγητ µατριξ, σο ιτ δοεσ νοτ αφφεχτ τηε λεαρνινγ ρυλε υσεδ το µοδιφψ Ω. Ασ ιν χηαπτερ 7, ωε ηαϖε, φορ χονϖε− νιενχε, υσεδ νατυραλ λογαριτηµσ (ρατηερ τηαν βασε 2 ασ ιν χηαπτερ 4) ιν τηε δε⇒νιτιον οφ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε. Το εστιµατε, φροµ τηε σαµπλεσ, ηοω ωελλ Π[ϖ|υ; Ω] µατχηεσ Π[ϖ|υ] αχροσσ τηε διφφερεντ ϖαλυεσ οφ υ, ωε αϖεραγε τηε Κυλλβαχκ−Λειβλερ διϖεργενχε οϖερ αλλ τηε ινπυτ σαµπλεσ υµ . Φυρτηερµορε, τηε συµ οϖερ αλλ ϖ ωιτη ωειγητ− ινγ φαχτορ Π[ϖ|υ] ιν εθυατιον 8.63 χαν βε ρεπλαχεδ ωιτη αν αϖεραγε οϖερ τηε σαµπλε παιρσ (υµ , ϖµ ) βεχαυσε ϖµ ισ χηοσεν φροµ τηε προβαβιλιτψ δισ− τριβυτιον Π[ϖ|υ]. Υσινγ βραχκετσ το δενοτε τηε αϖεραγε οϖερ σαµπλεσ, τηισ ρεσυλτσ ιν τηε µεασυρε

⟨ ∆ΚΛ ( Π[ϖ|υ], Π[ϖ|υ; Ω] )⟩ = −

ΝΣ ) * 1 ! λν Π[ϖµ |υµ ; Ω] + ⟨ Κ⟩ ΝΣ µ=1

(8.64)

φορ χοµπαρινγ Π[ϖ|υ; Ω] ανδ Π[ϖ|υ]. Εαχη λογαριτηµιχ τερµ ιν τηε συµ ον τηε ριγητ σιδε οφ τηισ εθυατιον ισ τηε λογαριτηµ οφ τηε προβαβιλιτψ τηατ α σαµ− πλε ουτπυτ ϖµ ωουλδ ηαϖε βεεν δραων φροµ τηε διστριβυτιον Π[ϖ|υµ ; Ω], ωηεν ιν φαχτ ιτ ωασ δραων φροµ Π[ϖ|υµ ]. Τηισ µακεσ τηε συµ ιν εθυα− τιον 8.64 εθυαλ το τηε λογαριτηµ οφ τηε λικελιηοοδ τηατ τηε σαµπλε δατα χουλδ ηαϖε βεεν προδυχεδ φροµ Π[ϖ|υµ ; Ω]. Ασ α ρεσυλτ, ⇒νδινγ τηε νετωορκ διστριβυτιον Π[ϖ|υµ ; Ω] τηατ βεστ µατχηεσ Π[ϖ|υµ ] (ιν τηε σενσε οφ µινι− µιζινγ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε) ισ εθυιϖαλεντ το µαξιµιζινγ τηε λικελιηοοδ τηατ τηε σαµπλε ϖµ χουλδ ηαϖε βεεν δραων φροµ Π[ϖ|υµ ; Ω]. Α λεαρνινγ ρυλε τηατ περφορµσ γραδιεντ ασχεντ οφ τηε λογ λικελιηοοδ χαν βε δεριϖεδ βψ χηανγινγ τηε ωειγητσ βψ αν αµουντ προπορτιοναλ το τηε δεριϖα− τιϖε οφ τηε λογαριτηµιχ τερµ ιν εθυατιον 8.64 ωιτη ρεσπεχτ το τηε ωειγητσ.

λογ λικελιηοοδ λικελιηοοδ µαξιµιζατιον

324

Πλαστιχιτψ ανδ Λεαρνινγ

Ασ ιν τηε δισχυσσιον οφ τηε δελτα ρυλε, ιτ ισ µορε χονϖενιεντ το υσε α στοχηασ− τιχ γραδιεντ ασχεντ ρυλε, χηοοσινγ αν ινδεξ µ ατ ρανδοµ το προϖιδε α Μοντε Χαρλο σαµπλε φροµ τηε αϖεραγε οφ εθυατιον 8.64, ανδ χηανγινγ Ωαβ αχχορδ− ινγ το τηε δεριϖατιϖε ωιτη ρεσπεχτ το τηισ σαµπλε, % & ∂ λν Π[ϖµ |υµ ; Ω] ∂ = − Ε (υµ , ϖµ ) − λν Ζ (υµ ) ∂Ωαβ ∂Ωαβ ! = vαµ υµ Π[ϖ|υµ ; Ω]vα υµ (8.65) β − β . ϖ

Τηισ δεριϖατιϖε ηασ α σιµπλε φορµ φορ τηε Βολτζµανν µαχηινε βεχαυσε οφ εθυατιον 8.62.

συπερϖισεδ λεαρνινγ φορ Ω

χοντραστιϖε Ηεββ ρυλε

ωακε πηασε σλεεπ πηασε

Βεφορε ωε δεριϖε τηε στοχηαστιχ γραδιεντ ασχεντ λεαρνινγ ρυλε, ωε νεεδ το εϖαλυατε τηε συµ οϖερ ϖ ιν τηε λαστ τερµ οφ τηε βοττοµ λινε οφ εθυατιον 8.65. Φορ Βολτζµανν µαχηινεσ ωιτη ρεχυρρεντ χοννεχτιονσ, λικε τηε ονεσ ωε δισ− χυσσ βελοω, τηισ αϖεραγε χαννοτ βε χαλχυλατεδ τραχταβλψ. Ηοωεϖερ, ιτ χαν βε εστιµατεδ βψ στοχηαστιχ σαµπλινγ. Ιν οτηερ ωορδσ, ωε αππροξιµατε τηε αϖεραγε οϖερ ϖ βψ α σινγλε ινστανχε οφ α παρτιχυλαρ ουτπυτ ϖ(υµ ) γενερατεδ βψ τηε Βολτζµανν µαχηινε ιν ρεσπονσε το τηε ινπυτ υµ . Μακινγ τηισ ρε− πλαχεµεντ ανδ σεττινγ τηε χηανγε ιν τηε ωειγητ µατριξ προπορτιοναλ το τηε δεριϖατιϖε ιν εθυατιον 8.65, ωε οβταιν τηε λεαρνινγ ρυλε ) * µ µ Ωαβ → Ωαβ + ϵw vαµ υµ (8.66) β − v α (υ )υ β .

Εθυατιον 8.66 ισ ιδεντιχαλ ιν φορµ το τηε περχεπτρον λεαρνινγ ρυλε οφ εθυα− τιον 8.56, εξχεπτ τηατ ϖ(υµ ) ισ χοµπυτεδ φροµ τηε ινπυτ υµ βψ Γιββσ σαµ− πλινγ ρατηερ τηαν βψ α δετερµινιστιχ ρυλε. Ασ δισχυσσεδ ατ τηε ενδ οφ τηε πρεϖιουσ σεχτιον, εθυατιον 8.66 χαν αλσο βε ιντερπρετεδ ασ τηε διφφερενχε οφ Ηεββιαν ανδ αντι−Ηεββιαν τερµσ. Τηε Ηεββιαν τερµ vαµ υµ β ισ βασεδ ον τηε σαµπλε ινπυτ υµ ανδ ουτπυτ ϖµ . Τηε αντι−Ηεββιαν τερµ −vα (υµ )υµ β ινϖολϖεσ τηε σαµπλε ινπυτ υµ ανδ αν ουτπυτ ϖ(υµ ) γενερατεδ βψ τηε Βολτζ− µανν µαχηινε ιν ρεσπονσε το τηισ ινπυτ, ρατηερ τηαν τηε σαµπλε ουτπυτ ϖµ . Ιν οτηερ ωορδσ, ωηερεασ ϖµ ισ προϖιδεδ εξτερναλλψ, ϖ(υµ ) ισ οβταινεδ βψ Γιββσ σαµπλινγ, υσινγ τηε ινπυτ υµ ανδ τηε χυρρεντ ϖαλυεσ οφ τηε νετ− ωορκ ωειγητσ. Τηε οϖεραλλ λεαρνινγ ρυλε ισ χαλλεδ α χοντραστιϖε Ηεββ ρυλε βεχαυσε ιτ δεπενδσ ον τηε διφφερενχε βετωεεν Ηεββιαν ανδ αντι−Ηεββιαν τερµσ. Ωαβ στοπσ χηανγινγ ωηεν τηε αϖεραγε οφ vα (υµ )υµ β οϖερ τηε ινπυτ σαµπλεσ ανδ νετωορκ ουτπυτσ εθυαλσ τηε αϖεραγε οφ vαµ υµ β οϖερ τηε ινπυτ ανδ ουτπυτ σαµπλεσ.

Συπερϖισεδ λεαρνινγ φορ τηε Βολτζµανν µαχηινε ισ ρυν ιν τωο πηασεσ, βοτη οφ ωηιχη υσε α σαµπλε ινπυτ υµ . Τηε ⇒ρστ πηασε, σοµετιµεσ χαλλεδ τηε ωακε πηασε, ινϖολϖεσ Ηεββιαν πλαστιχιτψ βετωεεν σαµπλε ινπυτσ ανδ ουτ− πυτσ. Τηε δψναµιχσ οφ τηε Βολτζµανν µαχηινε πλαψ νο ρολε δυρινγ τηισ πηασε. Τηε σεχονδ πηασε, χαλλεδ τηε σλεεπ πηασε, χονσιστσ οφ τηε νετωορκ mδρεαµινγn (ι.ε., ιντερναλλψ γενερατινγ) ϖ(υµ ) ιν ρεσπονσε το υµ βασεδ ον τηε χυρρεντ ωειγητσ Ω. Τηεν, αντι−Ηεββιαν λεαρνινγ βασεδ ον υµ ανδ ϖ(υµ ) ισ αππλιεδ το τηε ωειγητ µατριξ. Γιββσ σαµπλινγ ισ τψπιχαλλψ υσεδ το γενερατε ϖ(υµ ) φροµ υµ . Ιτ ισ αλσο ποσσιβλε το υσε τηε µεαν−⇒ελδ µετηοδ

8.4 Συπερϖισεδ Λεαρνινγ

325

ωε δισχυσσεδ ιν χηαπτερ 7 το αππροξιµατε τηε αϖεραγε οϖερ τηε διστριβυτιον Π[ϖ|υµ ; Ω] ιν εθυατιον 8.65. Συπερϖισεδ λεαρνινγ χαν αλσο βε ιµπλεµεντεδ ιν α Βολτζµανν µαχηινε ωιτη ρεχυρρεντ χοννεχτιονσ. Ωηεν τηε ουτπυτ υνιτσ αρε χοννεχτεδ βψ α σψµµετριχ ρεχυρρεντ ωειγητ µατριξ Μ (ωιτη Μαα = 0), τηε ενεργψ φυνχτιον ισ 1 Ε (υ, ϖ ) = −ϖ · Ω · υ − ϖ · Μ · ϖ . 2

(8.67)

Εϖερψτηινγ τηατ ηασ βεεν δεσχριβεδ τηυσ φαρ αππλιεσ το τηισ χασε, εξχεπτ τηατ τηε ουτπυτ ϖ(υµ ) φορ τηε σαµπλε/ ινπυτ υµ µυστ / νοω βε χοµπυτεδ βψ ρε− πεατεδ Γιββσ σαµπλινγ, υσινγ Φ ( β Ωαβ υµ + α′ Μαα′ vα′ ) φορ τηε προβαβιλ− β ιτψ τηατ vα = 1 (σεε χηαπτερ 7). Ρεπεατεδ σαµπλινγ ισ ρεθυιρεδ το ασσυρε τηατ τηε νετωορκ ρελαξεσ το τηε εθυιλιβριυµ διστριβυτιον οφ εθυατιον 8.62. Μοδ− ι⇒χατιον οφ τηε φεεδφορωαρδ ωειγητ Ωαβ τηεν προχεεδσ ασ ιν εθυατιον 8.66. Τηε χοντραστιϖε Ηεββ ρυλε φορ ρεχυρρεντ ωειγητ Μαα′ ισ σιµιλαρλψ γιϖεν βψ ) * Μαα′ → Μαα′ + ϵµ vαµ vαµ′ − vα (υµ )vα′ (υµ ) . (8.68) Τηε Βολτζµανν µαχηινε ωασ οριγιναλλψ ιντροδυχεδ ιν τηε χοντεξτ οφ υνσυ− περϖισεδ ρατηερ τηαν συπερϖισεδ λεαρνινγ. Ιν τηε συπερϖισεδ χασε, ωε τρψ το µακε τηε διστριβυτιον Π[ϖ|υ; Ω] µατχη τηε προβαβιλιτψ διστριβυτιον Π[ϖ|υ] τηατ γενερατεσ τηε σαµπλεσ παιρσ (υµ , ϖµ ). Ιν τηε υνσυπερϖισεδ χασε, νο ουτπυτ σαµπλε ϖµ ισ προϖιδεδ, ανδ ινστεαδ ωε τρψ το µακε τηε νετωορκ γενερατε α προβαβιλιτψ διστριβυτιον οϖερ υ τηατ µατχηεσ τηε διστριβυτιον Π[υ] φροµ ωηιχη τηε σαµπλεσ υµ ωερε δραων. Ασ ωε δισχυσσ ιν χηαπτερ 10, α φρεθυεντ γοαλ οφ προβαβιλιστιχ υνσυπερϖισεδ λεαρνινγ ισ το γενερατε νετ− ωορκ διστριβυτιονσ τηατ µατχη τηε διστριβυτιονσ οφ ινπυτ δατα. Ωε χονσιδερ τηε υνσυπερϖισεδ Βολτζµανν µαχηινε ωιτηουτ ρεχυρρεντ χον− νεχτιονσ. Ιν αδδιτιον το τηε διστριβυτιον οφ εθυατιον 8.62 φορ ϖ, γιϖεν α σπε− χι⇒χ ινπυτ υ, τηε ενεργψ φυνχτιον οφ τηε Βολτζµανν µαχηινε χαν βε υσεδ το δε⇒νε α διστριβυτιον οϖερ βοτη υ ανδ ϖ δε⇒νεδ βψ Π[υ, ϖ; Ω] =

εξπ(− Ε (υ, ϖ )) Ζ

ωιτη

Ζ=

!

εξπ(− Ε (υ, ϖ )) .

(8.69)

υ,ϖ

Τηισ χαν βε υσεδ το χονστρυχτ α διστριβυτιον φορ υ αλονε βψ συµµινγ οϖερ τηε ποσσιβλε ϖαλυεσ οφ ϖ, Π[υ; Ω] =

! ϖ

Π[υ, ϖ; Ω] =

1! εξπ(− Ε (υ, ϖ )) . Ζ ϖ

(8.70)

Τηε γοαλ οφ υνσυπερϖισεδ λεαρνινγ φορ τηε Βολτζµανν µαχηινε ισ το µακε τηισ διστριβυτιον µατχη, ασ χλοσελψ ασ ποσσιβλε, τηε διστριβυτιον οφ ινπυτσ Π[υ].

συπερϖισεδ λεαρνινγ φορ Μ

326

Πλαστιχιτψ ανδ Λεαρνινγ

Τηε δεριϖατιον οφ αν υνσυπερϖισεδ λεαρνινγ ρυλε φορ τηισ Βολτζµανν µα− χηινε προχεεδσ ϖερψ µυχη λικε τηε δεριϖατιον ωε πρεσεντεδ φορ τηε συπερ− ϖισεδ χασε. Τηε εθυιϖαλεντ οφ εθυατιον 8.65 ισ ! ∂ λν Π[υµ ; Ω] ! = Π[ϖ|υµ ; Ω]vα υµ Π[υ, ϖ; Ω]vα υβ . β − ∂Ωαβ ϖ υ,ϖ

υνσυπερϖισεδ λεαρνινγ φορ Ω

(8.71)

Ιν τηισ χασε, βοτη τερµσ µυστ βε εϖαλυατεδ βψ Γιββσ σαµπλινγ. Τηε ωακε πηασε Ηεββιαν τερµ ρεθυιρεσ α στοχηαστιχ ουτπυτ ϖ(υµ ), ωηιχη ισ χαλχυ− λατεδ φροµ τηε σαµπλε ινπυτ υµ , ϕυστ ασ ιτ ωασ φορ τηε αντι−Ηεββιαν τερµ ιν εθυατιον 8.66. Ηοωεϖερ, τηε σλεεπ πηασε αντι−Ηεββιαν τερµ ιν τηισ χασε ρεθυιρεσ βοτη αν ινπυτ υ ανδ αν ουτπυτ ϖ γενερατεδ βψ τηε νετωορκ. Τηεσε αρε χοµπυτεδ υσινγ α Γιββσ σαµπλινγ προχεδυρε ιν ωηιχη βοτη ιν− πυτ ανδ ουτπυτ στατεσ αρε στοχηαστιχαλλψ γενερατεδ τηρουγη ρεπεατεδ Γιββσ σαµπλινγ. Α ρανδοµλψ χηοσεν χοµπονεντ vα ισ σετ το 1 ωιτη προβαβιλιτψ / Φ ( β Ωαβ υβ ) (ορ / 0 οτηερωισε), ανδ α ρανδοµ χοµπονεντ υβ ισ σετ το 1 ωιτη προβαβιλιτψ Φ ( α vα Ωαβ ) (ορ 0 οτηερωισε). Νοτε τηατ τηισ χορρεσπονδσ το ηαϖινγ τηε ινπυτ υνιτσ δριϖε τηε ουτπυτ υνιτσ ιν α φεεδφορωαρδ µαννερ τηρουγη τηε ωειγητσ Ω, ανδ ηαϖινγ τηε ουτπυτ υνιτσ δριϖε τηε ινπυτ υνιτσ ιν α ρεϖερσεδ µαννερ υσινγ φεεδβαχκ ωειγητσ ωιτη τηε σαµε ϖαλυεσ. Ονχε τηε νετωορκ ηασ σεττλεδ το εθυιλιβριυµ τηρουγη ρεπεατεδ Γιββσ σαµπλινγ οφ τηισ σορτ, ανδ τηε στοχηαστιχ ινπυτσ ανδ ουτπυτσ ηαϖε βεεν γενερατεδ, τηε φυλλ λεαρνινγ ρυλε ισ ) * Ωαβ → Ωαβ + ϵw vα (υµ )υµ (8.72) β − vα υβ . Τηε υνσυπερϖισεδ λεαρνινγ ρυλε χαν βε εξτενδεδ το ινχλυδε ρεχυρρεντ χον− νεχτιονσ βψ φολλοωινγ τηε σαµε γενεραλ προχεδυρε.

8.5

Χηαπτερ Συµµαρψ

Ωε πρεσεντεδ α ϖαριετψ οφ φορµσ οφ Ηεββιαν σψναπτιχ πλαστιχιτψ, ρανγινγ φροµ τηε βασιχ Ηεββ ρυλε το ρυλεσ τηατ ινϖολϖε µυλτιπλιχατιϖε ανδ συβ− τραχτιϖε νορµαλιζατιον, χονσταντ ορ σλιδινγ τηρεσηολδσ, ανδ σπικε−τιµινγ εφφεχτσ. Τωο ιµπορταντ φεατυρεσ, σταβιλιτψ ανδ χοµπετιτιον, ωερε εµπηα− σιζεδ. Ωε σηοωεδ ηοω τηε εφφεχτσ οφ υνσυπερϖισεδ Ηεββιαν λεαρνινγ χουλδ βε εστιµατεδ βψ χοµπυτινγ τηε πρινχιπαλ ειγενϖεχτορ οφ τηε χορρελατιον µατριξ οφ τηε ινπυτσ υσεδ δυρινγ τραινινγ. Υνσυπερϖισεδ Ηεββιαν λεαρν− ινγ χαν βε ιντερπρετεδ ασ α προχεσσ τηατ προδυχεσ ωειγητσ τηατ προϕεχτ τηε ινπυτ ϖεχτορ οντο τηε διρεχτιον οφ µαξιµαλ ϖαριανχε ιν τηε τραινινγ δατα σετ. Ιν σοµε χασεσ, τηισ ρεθυιρεσ αν εξτενσιον φροµ χορρελατιον−βασεδ το χοϖαριανχε−βασεδ ρυλεσ. Ωε υσεδ τηε πρινχιπαλ ειγενϖεχτορ αππροαχη το αναλψζε Ηεββιαν µοδελσ οφ τηε δεϖελοπµεντ οφ οχυλαρ δοµινανχε ανδ ιτσ ασσοχιατεδ µαπ ιν πριµαρψ ϖισυαλ χορτεξ. Πλαστιχιτψ ρυλεσ βασεδ ον τηε δε− πενδενχε οφ σψναπτιχ µοδι⇒χατιον ον σπικε τιµινγ ωερε σηοων το ιµπλε− µεντ τεµποραλ σεθυενχε ανδ τραχε λεαρνινγ. Φορχινγ µυλτιπλε ουτπυτσ το ηαϖε διφφερεντ σελεχτιϖιτιεσ ρεθυιρεσ τηεµ το βε χοννεχτεδ, ειτηερ τηρουγη ⇒ξεδ ωειγητσ ορ βψ ωειγητσ τηατ αρε τηεµσελϖεσ

8.6

Αππενδιξ

327

πλαστιχ. Ιν τηε λαττερ χασε, αντι−Ηεββιαν πλαστιχιτψ χαν ενσυρε δεχορρελατιον οφ µυλτιπλε ουτπυτ υνιτσ. Ωε αλσο χονσιδερεδ τηε ρολε οφ χοµπετιτιον ανδ χοοπερατιον ιν µοδελσ οφ αχτιϖιτψ−δεπενδεντ δεϖελοπµεντ, ανδ δεσχριβεδ τωο εξαµπλεσ οφ φεατυρε−βασεδ µοδελσ, τηε σελφ−οργανιζινγ µαπ ανδ τηε ελαστιχ νετ. Φιναλλψ, ωε χονσιδερεδ συπερϖισεδ λεαρνινγ αππλιεδ το βιναρψ χλασσι⇒χα− τιον ανδ φυνχτιον αππροξιµατιον, υσινγ συπερϖισεδ Ηεββιαν λεαρνινγ, τηε περχεπτρον λεαρνινγ ρυλε, ανδ γραδιεντ δεσχεντ λεαρνινγ τηρουγη τηε δελτα ρυλε. Ωε αλσο τρεατεδ χοντραστιϖε Ηεββιαν λεαρνινγ φορ τηε Βολτζµανν µα− χηινε, ινϖολϖινγ Ηεββιαν ανδ αντι−Ηεββιαν υπδατεσ ιν διφφερεντ πηασεσ.

8.6

Αππενδιξ

Χονϖεργενχε οφ τηε Περχεπτρον Λεαρνινγ Ρυλε Φορ χονϖενιενχε, ωε τακε ϵw = 1 ανδ σταρτ τηε περχεπτρον λεαρνινγ ρυλε (εθυατιον 8.56) ωιτη ω = 0 ανδ γ = 0. Τηεν, υνδερ πρεσεντατιον οφ τηε σαµπλε µ, τηε χηανγεσ ιν τηε ωειγητσ ανδ τηρεσηολδ αρε γιϖεν βψ 1 %ω = (vµ − v(υµ ))υµ 2

ανδ

1 %γ = − (vµ − v(υµ )) . 2

(8.73)

Γιϖεν α ⇒νιτε, λινεαρλψ σεπαραβλε προβλεµ, τηερε µυστ βε α σετ οφ ωειγητσ ω∗ ανδ α τηρεσηολδ γ ∗ τηατ αρε νορµαλιζεδ (|ω∗ |2 + (γ ∗ )2 = 1) ανδ αλλοω τηε περχεπτρον το χατεγοριζε χορρεχτλψ, φορ ωηιχη ωε ρεθυιρε τηε χονδιτιον (ω∗ · υµ − γ ∗ )vµ > δ φορ σοµε δ > 0 ανδ φορ αλλ µ. Χονσιδερ τηε χοσινε οφ τηε ανγλε βετωεεν τηε χυρρεντ ωειγητσ ανδ τηρεση− ολδ ω, γ ανδ τηε σολυτιον ω∗ , γ ∗

ψ(ω, γ ) ω · ω∗ + γγ ∗ = .(ω, γ ) = 0 , 2 2 |ω, γ| |ω| + (γ )

(8.74)

το ιντροδυχε σοµε χοµπαχτ νοτατιον. Τηε περχεπτρον χονϖεργενχε τηεορεµ προϖεσ τηατ τηε περχεπτρον λεαρνινγ ρυλε σολϖεσ ανψ σολϖαβλε χατεγοριζατιον προβλεµ, βεχαυσε ασσυµινγ οτηερωισε ωουλδ ιµπλψ τηατ . ωουλδ εϖεντυ− αλλψ γροω λαργερ τηαν 1. Τηισ ισ ιµποσσιβλε φορ α χοσινε φυνχτιον, ωηιχη µυστ λιε βετωεεν −1 ανδ 1. Το σηοω τηισ, ωε χονσιδερ τηε χηανγε ιν ψ δυε το ονε στεπ οφ περχεπτρον λεαρνινγ δυρινγ ωηιχη ω ανδ γ αρε µοδι⇒εδ βεχαυσε τηε χυρρεντ ωειγητσ γενερατεδ τηε ωρονγ ρεσπονσε. Ωηεν αν ινχορρεχτ ρεσπονσε ισ γενερατεδ, v(υµ ) = −vµ , σο (vµ − v(υµ ))/2 = vµ , ανδ τηυσ

%ψ = (ω∗ · υµ − γ ∗ )vµ > δ .

(8.75)

Τηε ινεθυαλιτψ φολλοωσ φροµ τηε χονδιτιον ιµποσεδ ον ω∗ ανδ γ ∗ ασ προ− ϖιδινγ α σολυτιον οφ τηε χατεγοριζατιον προβλεµ. Ασσυµινγ τηατ ψ ισ ινι− τιαλλψ ποσιτιϖε ανδ ιτερατινγ τηισ ρεσυλτ οϖερ ν στεπσ ιν ωηιχη τηε ωειγητσ

328

Πλαστιχιτψ ανδ Λεαρνινγ

χηανγε, ωε ⇒νδ τηατ

ψ(ω, γ ) ≥ νδ .

(8.76)

Σιµιλαρλψ, οϖερ ονε λεαρνινγ στεπ ιν ωηιχη σοµε χηανγε ισ µαδε,

%|ω, γ|2 = 2(ω · υµ − γ )vµ + |υµ |2 + 1 .

(8.77)

Τηε ⇒ρστ τερµ ον τηε ριγητ σιδε ισ αλωαψσ νεγατιϖε ωηεν αν ερρορ ισ µαδε, ανδ ιφ ωε δε⇒νε ∆ το βε τηε µαξιµυµ ϖαλυε οφ |υµ |2 οϖερ αλλ τηε τραινινγ σαµπλεσ, ωε ⇒νδ

%|ω, γ|2 < ∆ + 1 .

(8.78)

Αφτερ ν νοντριϖιαλ λεαρνινγ ιτερατιονσ (ιτερατιονσ ιν ωηιχη τηε ωειγητσ ανδ τηρεσηολδ αρε µοδι⇒εδ) σταρτινγ φροµ |ω, γ|2 = 0, ωε τηερεφορε ηαϖε

|ω, γ|2 < ν ( ∆ + 1 )

(8.79)

Πυττινγ τογετηερ εθυατιονσ 8.76 ανδ 8.79, ωε ⇒νδ, αφτερ ν νοντριϖιαλ τραιν− ινγ στεπσ,

.(ω, γ ) > √

νδ . ν( ∆ + 1)

(8.80)

Το ενσυρε τηατ .(ω, γ ) ≤ 1, ωε µυστ ηαϖε ν ≤ ( ∆ + 1 )/δ2 . Τηερεφορε, αφτερ α ⇒νιτε νυµβερ οφ ωειγητ χηανγεσ, τηε περχεπτρον λεαρνινγ ρυλε µυστ στοπ χηανγινγ τηε ωειγητσ, ανδ τηε περχεπτρον µυστ χλασσιφψ αλλ τηε παττερνσ χορρεχτλψ (αλτηουγη τηε ωειγητσ ανδ τηρεσηολδ τηατ ρεσυλτ αρε νοτ νεχεσσαρ− ιλψ εθυαλ το ω∗ ανδ γ ∗ ).

8.7

Αννοτατεδ Βιβλιογραπηψ

Ηεββ`σ (1949) οριγιναλ προποσαλ αβουτ λεαρνινγ σετ τηε σταγε φορ µανψ οφ τηε συβσεθυεντ ινϖεστιγατιονσ. Ωε φολλοωεδ τηε τρεατµεντσ οφ Ηεββιαν, ΒΧΜ, αντι−Ηεββιαν, ανδ τραχε λεαρνινγ φουνδ ιν Γοοδαλλ (1960), Σεϕνοωσκι ♦ ακ (1989; 1991), Λεεν (1977), Βιενενστοχκ ετ αλ. (1982), Οϕα (1982), Φολδι× (1991), Ατιχκ & Ρεδλιχη (1993), ανδ Ωαλλισ & Βαδδελεψ (1997). Εξτενσιϖε χοϖεραγε οφ τηεσε τοπιχσ ανδ ρελατεδ αναλψσεσ χαν βε φουνδ ιν Ηερτζ ετ αλ. (1991). Ωε φολλοωεδ Μιλλερ & ΜαχΚαψ (1994) ανδ Μιλλερ (1996β) ιν τηε αναλ− ψσισ οφ ωειγητ χονστραιντσ ανδ νορµαλιζατιον. ϑολλιφφε (1986) τρεατσ πρινχιπαλ χοµπονεντσ αναλψσισ τηεορετιχαλλψ (σεε αλσο χηαπτερ 10). Ιντρατορ & Χοοπερ (1992) χονσιδερσ τηε ΒΧΜ ρυλε φροµ τηε στατιστιχαλ περσπεχτιϖε οφ προϕεχτιον πυρσυιτ (Ηυβερ, 1985). Σεϕνοωσκι (1999) χοµµεντσ ον τηε ρελατιονσηιπ βετωεεν Ηεββaσ συγγεσ− τιονσ ανδ ρεχεντ εξπεριµενταλ δατα ανδ τηεορετιχαλ στυδιεσ ον τεµποραλ σενσιτιϖιτψ ιν Ηεββιαν πλαστιχιτψ (σεε Μιναι & Λεϖψ, 1993; Βλυµ & Αββοττ,

8.7

Αννοτατεδ Βιβλιογραπηψ

329

1996; Κεµπτερ ετ αλ., 1999; Σονγ ετ αλ., 2000). Πλαστιχιτψ οφ ιντρινσιχ χον− δυχτανχε προπερτιεσ οφ νευρονσ, ασ οπποσεδ το σψναπτιχ πλαστιχιτψ, ισ χον− σιδερεδ ιν ΛεΜασσον ετ αλ. (1993), Λιυ ετ αλ. (1999), ανδ Στεµµλερ & Κοχη (1999). ∆εσχριπτιονσ οφ ρελεϖαντ δατα ον τηε παττερνσ οφ ρεσπονσιϖιτψ αχροσσ χορτιχαλ αρεασ ανδ τηε δεϖελοπµεντ οφ τηεσε παττερνσ ινχλυδε Ηυβενερ ετ αλ. (1997), Ψυστε & Συρ (1999), ανδ Ωελικψ (2000). Πριχε & Ωιλλσηαω (2000) οφφερσ α βροαδ−βασεδ, τηεορετιχαλλψ ινφορµεδ ρεϖιεω. Ρεχεντ εξπεριµενταλ χηαλ− λενγεσ το πλαστιχιτψ−βασεδ µοδελσ ινχλυδε Χραιρ ετ αλ. (1998) ανδ Χροωλεψ & Κατζ (1999). Νευραλ παττερν φορµατιον µεχηανισµσ ινϖολϖινγ χηεµι− χαλ µατχηινγ, ωηιχη αρε λικελψ ιµπορταντ ατ λεαστ φορ εσταβλισηινγ χοαρσε µαπσ, αρε ρεϖιεωεδ φροµ α τηεορετιχαλ περσπεχτιϖε ιν Γοοδηιλλ & Ριχηαρδσ (1999). Τηε υσε οφ λεαρνινγ αλγοριτηµσ το αχχουντ φορ χορτιχαλ µαπσ ισ ρε− ϖιεωεδ ιν Ερωιν ετ αλ. (1995), Μιλλερ (1996α), ανδ Σωινδαλε (1996). Τηε υνδερλψινγ µατηεµατιχαλ βασισ οφ σοµε ρυλεσ ισ χλοσελψ ρελατεδ το τηε ρε− αχτιον διφφυσιον τηεορψ οφ µορπηογενεσισ οφ Τυρινγ (1952). Οτηερ ρυλεσ αρε µοτιϖατεδ ον τηε βασισ οφ µινιµιζινγ θυαντιτιεσ συχη ασ ωιρε λενγτη ιν χορτεξ. Ωε δεσχριβεδ Ηεββιαν µοδελσ φορ τηε δεϖελοπµεντ οφ οχυλαρ δοµινανχε ανδ οριεντατιον σελεχτιϖιτψ δυε το Λινσκερ (1986), Μιλλερ ετ αλ. (1989), ανδ Μιλλερ (1994); α χοµπετιτιϖε Ηεββιαν µοδελ χλοσελψ ρελατεδ το τηατ οφ Γοοδ− ηιλλ (1993) ανδ Πιεπενβροχκ & Οβερµαψερ (1999); α σελφ−οργανιζινγ µαπ µοδελ ρελατεδ το τηατ οφ Οβερµαψερ ετ αλ. (1992); ανδ τηε ελαστιχ νετ (∆υρβιν & Ωιλλσηαω, 1987) µοδελ οφ ∆υρβιν & Μιτχηισον (1990), Γοοδηιλλ & Ωιλλ− σηαω (1990), ανδ Ερωιν ετ αλ. (1995). Τηε ⇒ρστ φεατυρε−βασεδ µοδελσ ωερε χαλλεδ νοισε µοδελσ (σεε Σωινδαλε, 1996). Τηε χαπαχιτψ οφ α περχεπτρον φορ ρανδοµ ασσοχιατιονσ ισ χοµπυτεδ ιν Χοϖερ (1965) ανδ ςενκατεση (1986). Τηε περχεπτρον λεαρνινγ ρυλε ισ δυε το Ροσεν− βλαττ (1958; σεε αλσο Μινσκψ & Παπερτ, 1969). Τηε δελτα ρυλε ωασ ιντρο− δυχεδ βψ Ωιδροω & Ηοφφ (1960; σεε αλσο Ωιδροω & Στεαρνσ, 1985) ανδ ινδεπενδεντλψ αροσε ιν οτηερ ⇒ελδσ. Τηε ωιδελψ υσεδ βαχκπροπαγατιον αλ− γοριτηµ (σεε Χηαυϖιν & Ρυµεληαρτ, 1995) ισ α φορµ οφ δελτα ρυλε λεαρνινγ τηατ ωορκσ ιν α λαργερ χλασσ οφ νετωορκσ. ΟaΡειλλψ (1996) συγγεστσ α µορε βιολογιχαλλψ πλαυσιβλε ιµπλεµεντατιον. Συπερϖισεδ λεαρνινγ φορ χλασσι⇒χατιον ανδ φυνχτιον αππροξιµατιον, ανδ ιτσ τιεσ το Βαψεσιαν ανδ φρεθυεντιστ στατιστιχαλ τηεορψ, αρε ρεϖιεωεδ ιν ∆υδα & Ηαρτ (1973), ∆υδα ατ αλ. (2000), Κεαρνσ & ςαζιρανι (1994), ανδ Βισηοπ (1995). Πογγιο ανδ χολλεαγυεσ ηαϖε εξπλορεδ βασισ φυνχτιον µοδελσ οφ ϖαρ− ιουσ ρεπρεσεντατιοναλ ανδ λεαρνινγ πηενοµενα (σεε Πογγιο, 1990). Τιγητ φραµεσ αρε δισχυσσεδ ιν ∆αυβεχηιεσ ετ αλ. (1986) ανδ αρε αππλιεδ το ϖισυαλ ρεχεπτιϖε ⇒ελδσ βψ Σαλινασ & Αββοττ (2000). Χοντραστιϖε Ηεββιαν λεαρνινγ ισ δυε το Ηιντον & Σεϕνοωσκι (1986). Σεε Ηιντον (2000) φορ δισχυσσιον οφ τηε Βολτζµανν µαχηινε ωιτηουτ ρεχυρρεντ χοννεχτιονσ, ανδ φορ αν αλτερνατιϖε λεαρνινγ ρυλε.

This page intentionally left blank

9

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

9.1

Ιντροδυχτιον

Τηε αβιλιτψ οφ ανιµαλσ το λεαρν αππροπριατε αχτιονσ ιν ρεσπονσε το παρτιχυλαρ στιµυλι ον τηε βασισ οφ ασσοχιατεδ ρεωαρδσ ορ πυνισηµεντσ ισ α φοχυσ οφ βε− ηαϖιοραλ πσψχηολογψ. Τηε ⇒ελδ ισ τραδιτιοναλλψ σεπαρατεδ ιντο χλασσιχαλ (ορ Παϖλοϖιαν) ανδ ινστρυµενταλ (ορ οπεραντ) χονδιτιονινγ. Ιν χλασσιχαλ χον− διτιονινγ, τηε ρεινφορχερσ (ι.ε., τηε ρεωαρδσ ορ πυνισηµεντσ) αρε δελιϖερεδ ινδεπενδεντλψ οφ ανψ αχτιονσ τακεν βψ τηε ανιµαλ. Ιν ινστρυµενταλ χον− διτιονινγ, τηε αχτιονσ οφ τηε ανιµαλ δετερµινε ωηατ ρεινφορχεµεντ ισ προ− ϖιδεδ. Λεαρνινγ αβουτ στιµυλι ορ αχτιονσ σολελψ ον τηε βασισ οφ τηε ρεωαρδσ ανδ πυνισηµεντσ ασσοχιατεδ ωιτη τηεµ ισ χαλλεδ ρεινφορχεµεντ λεαρνινγ. Ρεινφορχεµεντ λεαρνινγ ισ µινιµαλλψ συπερϖισεδ βεχαυσε ανιµαλσ αρε νοτ τολδ εξπλιχιτλψ ωηατ αχτιονσ το τακε ιν παρτιχυλαρ σιτυατιονσ, βυτ µυστ ωορκ τηισ ουτ φορ τηεµσελϖεσ ον τηε βασισ οφ τηε ρεινφορχεµεντ τηεψ ρεχειϖε. Ωε βεγιν τηισ χηαπτερ ωιτη α δισχυσσιον οφ ασπεχτσ οφ χλασσιχαλ χονδιτιον− ινγ ανδ τηε µοδελσ τηατ ηαϖε βεεν δεϖελοπεδ το αχχουντ φορ τηεµ. Ωε ⇒ρστ δισχυσσ ϖαριουσ παιρινγσ οφ ονε ορ µορε στιµυλι ωιτη πρεσεντατιον ορ δενιαλ οφ α ρεωαρδ, ανδ πρεσεντ α σιµπλε λεαρνινγ αλγοριτηµ τηατ συµµαριζεσ τηε ρεσυλτσ. Ωε τηεν πρεσεντ αν αλγοριτηµ, χαλλεδ τεµποραλ διφφερενχε λεαρνινγ, τηατ λεαδσ το πρεδιχτιονσ οφ βοτη τηε πρεσενχε ανδ τηε τιµινγ οφ ρεωαρδσ δε− λιϖερεδ αφτερ α δελαψ φολλοωινγ στιµυλυσ πρεσεντατιον. Τωο νευραλ σψστεµσ, τηε χερεβελλυµ ανδ τηε µιδβραιν δοπαµινε σψστεµ, ηαϖε βεεν παρτιχυ− λαρλψ ωελλ στυδιεδ φροµ τηε περσπεχτιϖε οφ χονδιτιονινγ. Τηε χερεβελλυµ ηασ βεεν στυδιεδ ιν ασσοχιατιον ωιτη εψεβλινκ χονδιτιονινγ, α παραδιγµ ιν ωηιχη ανιµαλσ λεαρν το σηυτ τηειρ εψεσ ϕυστ ιν αδϖανχε οφ διστυρβανχεσ, συχη ασ πυφφσ οφ αιρ, τηατ αρε σιγναλεδ βψ χυεσ. Τηε µιδβραιν δοπαµινεργιχ σψστεµ ηασ βεεν στυδιεδ ιν ασσοχιατιον ωιτη ρεωαρδ λεαρνινγ. Ωε φοχυσ ον τηε λαττερ, τογετηερ ωιτη α σµαλλ φραχτιον οφ τηε εξτενσιϖε βεηαϖιοραλ δατα ον χονδιτιονινγ. Τηερε αρε τωο βροαδ χλασσεσ οφ ινστρυµενταλ χονδιτιονινγ τασκσ. Ιν τηε ⇒ρστ χλασσ, ωηιχη ωε ιλλυστρατε ωιτη αν εξαµπλε οφ φοραγινγ βψ βεεσ, τηε ρειν− φορχεµεντ ισ δελιϖερεδ ιµµεδιατελψ αφτερ τηε αχτιον ισ τακεν. Τηισ µακεσ λεαρνινγ ρελατιϖελψ εασψ. Ιν τηε σεχονδ χλασσ, τηε ρεωαρδ ορ πυνισηµεντ δεπενδσ ον αν εντιρε σεθυενχε οφ αχτιονσ ανδ ισ παρτλψ ορ ωηολλψ δελαψεδ

χλασσιχαλ ανδ ινστρυµενταλ χονδιτιονινγ

ρεινφορχεµεντ λεαρνινγ

332 δελαψεδ ρεωαρδσ

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

υντιλ τηε σεθυενχε ισ χοµπλετεδ. Τηυσ, λεαρνινγ τηε αππροπριατε αχτιον ατ εαχη στεπ ιν τηε σεθυενχε µυστ βε βασεδ ον φυτυρε εξπεχτατιον, ρατηερ τηαν ιµµεδιατε ρεχειπτ, οφ ρεωαρδ. Τηισ µακεσ λεαρνινγ µορε διφ⇒χυλτ. ∆εσπιτε τηε διφφερενχεσ βετωεεν χλασσιχαλ ανδ ινστρυµενταλ χονδιτιονινγ, ωε σηοω ηοω το υσε τηε τεµποραλ διφφερενχε µοδελ ωε δισχυσσ φορ χλασσιχαλ χονδι− τιονινγ ασ τηε ηεαρτ οφ α µοδελ οφ ινστρυµενταλ χονδιτιονινγ ωηεν ρεωαρδσ αρε δελαψεδ. Φορ χονσιστενχψ ωιτη τηε λιτερατυρε ον ρεινφορχεµεντ λεαρνινγ, τηρουγηουτ τηισ χηαπτερ, τηε λεττερ ρ ισ υσεδ το ρεπρεσεντ α ρεωαρδ ρατηερ τηαν α ⇒ρινγ ρατε. Αλσο, φορ χονϖενιενχε, ωε χονσιδερ δισχρετε αχτιονσ συχη ασ α χηοιχε βετωεεν τωο αλτερνατιϖεσ, ρατηερ τηαν α χοντινυουσ ρανγε οφ αχτιονσ. Ωε αλσο χονσιδερ τριαλσ τηατ χονσιστ οφ α νυµβερ οφ δισχρετε εϖεντσ ανδ υσε αν ιντεγερ τιµε ϖαριαβλε τ = 0, 1, 2, . . . το ινδιχατε στεπσ δυρινγ α τριαλ. Ωε τηερεφορε αλσο υσε δισχρετε ωειγητ υπδατε ρυλεσ (λικε τηοσε ωε δισχυσσεδ φορ συπερϖισεδ λεαρνινγ ιν χηαπτερ 8) ρατηερ τηαν λεαρνινγ ρυλεσ δεσχριβεδ βψ διφφερεντιαλ εθυατιονσ.

9.2

Χλασσιχαλ Χονδιτιονινγ

Χλασσιχαλ χονδιτιονινγ ινϖολϖεσ α ωιδε ρανγε οφ διφφερεντ τραινινγ ανδ τεστ− ινγ προχεδυρεσ ανδ α ριχη σετ οφ βεηαϖιοραλ πηενοµενα. Τηε βασιχ προ− χεδυρεσ ανδ ρεσυλτσ ωε δισχυσσ αρε συµµαριζεδ ιν ταβλε 9.1. Ρατηερ τηαν γοινγ τηρουγη τηε εντριεσ ιν τηε ταβλε ατ τηισ ποιντ, ωε ιντροδυχε α λεαρνινγ αλγοριτηµ τηατ σερϖεσ το συµµαριζε ανδ στρυχτυρε τηεσε ρεσυλτσ. υνχονδιτιονεδ στιµυλυσ ανδ ρεσπονσε χονδιτιονεδ στιµυλυσ ανδ ρεσπονσε

Ιν τηε χλασσιχ Παϖλοϖιαν εξπεριµεντ, δογσ αρε ρεπεατεδλψ φεδ ϕυστ αφτερ α βελλ ισ ρυνγ. Συβσεθυεντλψ, τηε δογσ σαλιϖατε ωηενεϖερ τηε βελλ σουνδσ, ασ ιφ τηεψ εξπεχτ φοοδ το αρριϖε. Τηε φοοδ ισ χαλλεδ τηε υνχονδιτιονεδ στιµυ− λυσ. ∆ογσ νατυραλλψ σαλιϖατε ωηεν τηεψ ρεχειϖε φοοδ, ανδ σαλιϖατιον ισ τηυσ χαλλεδ τηε υνχονδιτιονεδ ρεσπονσε. Τηε βελλ ισ χαλλεδ τηε χονδιτιονεδ στιµ− υλυσ βεχαυσε ιτ ελιχιτσ σαλιϖατιον ονλψ υνδερ τηε χονδιτιον τηατ τηερε ηασ βεεν πριορ λεαρνινγ. Τηε λεαρνεδ σαλιϖαρψ ρεσπονσε το τηε βελλ ισ χαλλεδ τηε χονδιτιονεδ ρεσπονσε. Ωε δο νοτ υσε τηισ τερµινολογψ ιν τηε φολλοωινγ δισ− χυσσιον. Ινστεαδ, ωε τρεατ τηοσε ασπεχτσ οφ τηε χονδιτιονεδ ρεσπονσεσ τηατ µαρκ τηε ανιµαλaσ εξπεχτατιον οφ τηε δελιϖερψ οφ ρεωαρδ, ανδ βυιλδ µοδ− ελσ οφ ηοω τηεσε εξπεχτατιονσ αρε λεαρνεδ. Ωε τηερεφορε ρεφερ το στιµυλι, ρεωαρδσ, ανδ εξπεχτατιον οφ ρεωαρδ.

Πρεδιχτινγ Ρεωαρδ: Τηε Ρεσχορλα−Ωαγνερ Ρυλε Τηε Ρεσχορλα−Ωαγνερ ρυλε (Ρεσχορλα ανδ Ωαγνερ, 1972), ωηιχη ισ α ϖερσιον οφ τηε δελτα ρυλε οφ χηαπτερ 8, προϖιδεσ α χονχισε αχχουντ οφ χερταιν ασπεχτσ οφ χλασσιχαλ χονδιτιονινγ. Τηε ρυλε ισ βασεδ ον α σιµπλε λινεαρ πρεδιχτιον οφ τηε ρεωαρδ ασσοχιατεδ ωιτη α στιµυλυσ. Ωε υσε α βιναρψ ϖαριαβλε υ το ρεπρεσεντ τηε πρεσενχε ορ αβσενχε οφ τηε στιµυλυσ (υ = 1 ιφ τηε στιµυλυσ

9.2

Χλασσιχαλ Χονδιτιονινγ

Παραδιγµ Παϖλοϖιαν Εξτινχτιον Παρτιαλ Βλοχκινγ Ινηιβιτορψ Οϖερσηαδοω Σεχονδαρψ

Πρε−Τραιν σ→ρ σ1 → ρ σ1 → ρ

333 Τραιν σ→ρ σ→· σ→ρ σ→· σ1 + σ2 → ρ σ1 + σ2 → · σ1 → ρ σ1 + σ2 → ρ σ2 → σ1

Ρεσυλτ σ →yρa σ →y·a σ → α yρa σ1 →yρa σ1 →yρa σ1 → α1 yρa σ2 →yρa

σ2 →y·a σ2 → −aρa σ2 → α2 yρa

Ταβλε 9.1 Χλασσιχαλ χονδιτιονινγ παραδιγµσ. Τηε χολυµνσ ινδιχατε τηε τραινινγ προχεδυρεσ ανδ ρεσυλτσ, ωιτη σοµε παραδιγµσ ρεθυιρινγ α πρε−τραινινγ ασ ωελλ ασ α τραινινγ περιοδ. Βοτη τραινινγ ανδ πρε−τραινινγ περιοδσ χονσιστ οφ α µοδερατε νυµβερ οφ τραινινγ τριαλσ. Τηε αρροωσ ρεπρεσεντ αν ασσοχιατιον βετωεεν ονε ορ τωο στιµυλι (σ, ορ σ1 ανδ σ2 ) ανδ ειτηερ α ρεωαρδ (ρ) ορ τηε αβσενχε οφ α ρεωαρδ (·). Ιν Παρτιαλ ανδ Ινηιβιτορψ χονδιτιονινγ, τηε τωο τψπεσ οφ τραινινγ τριαλσ τηατ αρε ινδι− χατεδ αρε αλτερνατεδ. Ιν τηε Ρεσυλτ χολυµν, τηε αρροωσ ρεπρεσεντ αν ασσοχιατιον βετωεεν α στιµυλυσ ανδ τηε εξπεχτατιον οφ α ρεωαρδ (yρa) ορ νο ρεωαρδ (y·a). Τηε φαχ− τορσ οφ α δενοτε α παρτιαλ ορ ωεακενεδ εξπεχτατιον, ανδ τηε µινυσ σιγν ινδιχατεσ τηε συππρεσσιον οφ αν εξπεχτατιον οφ ρεωαρδ.

ισ πρεσεντ, υ = 0 ιφ ιτ ισ αβσεντ). Τηε εξπεχτεδ ρεωαρδ, δενοτεδ βψ v, ισ εξπρεσσεδ ασ τηισ στιµυλυσ ϖαριαβλε µυλτιπλιεδ βψ α ωειγητ w,

v = wυ .

(9.1)

Τηε ϖαλυε οφ τηε ωειγητ, w, ισ εσταβλισηεδ βψ α λεαρνινγ ρυλε δεσιγνεδ το µινιµιζε τηε εξπεχτεδ σθυαρεδ ερρορ βετωεεν τηε αχτυαλ ρεωαρδ ρ ανδ τηε πρεδιχτιον v, ⟨(ρ − v)2 ⟩. Τηε ανγλε βραχκετσ ινδιχατε αν αϖεραγε οϖερ τηε πρεσεντατιονσ οφ τηε στιµυλυσ ανδ ρεωαρδ, ειτηερ ορ βοτη οφ ωηιχη µαψ βε στοχηαστιχ. Ασ ωε σαω ιν χηαπτερ 8, στοχηαστιχ γραδιεντ δεσχεντ ιν τηε φορµ οφ τηε δελτα ρυλε ισ ονε ωαψ οφ µινιµιζινγ τηισ ερρορ. Τηισ ρεσυλτσ ιν τηε τριαλ−βψ−τριαλ λεαρνινγ ρυλε κνοων ασ τηε Ρεσχορλα−Ωαγνερ ρυλε,

w → w + ϵδυ ωιτη δ = ρ − v .

(9.2)

στιµυλυσ υ εξπεχτεδ ρεωαρδ v ωειγητ w

Ρεσχορλα−Ωαγνερ ρυλε

Ηερε ϵ ισ τηε λεαρνινγ ρατε, ωηιχη χαν βε ιντερπρετεδ ιν πσψχηολογιχαλ τερµσ ασ τηε ασσοχιαβιλιτψ οφ τηε στιµυλυσ ωιτη τηε ρεωαρδ. Τηε χρυχιαλ τερµ ιν τηισ λεαρνινγ ρυλε ισ τηε πρεδιχτιον ερρορ, δ. Ιν α λατερ σεχτιον, ωε ιντερπρετ τηε αχτιϖιτψ οφ δοπαµινεργιχ χελλσ ιν τηε ϖεντραλ τεγµενταλ αρεα (ςΤΑ) ασ εν− χοδινγ α φορµ οφ τηισ πρεδιχτιον ερρορ. Ιφ ϵ ισ συφ⇒χιεντλψ σµαλλ ανδ υ = 1 ον εϖερψ τριαλ (τηε στιµυλυσ ισ αλωαψσ πρεσεντεδ), τηε ρυλε υλτιµατελψ µακεσ w ⇓υχτυατε αβουτ τηε εθυιλιβριυµ ϖαλυε w = ⟨ρ⟩, ατ ωηιχη ποιντ τηε αϖεραγε ϖαλυε οφ δ ισ 0.

ασσοχιαβιλιτψ

Τηε ⇒λλεδ χιρχλεσ ιν ⇒γυρε 9.1 σηοω ηοω λεαρνινγ προγρεσσεσ αχχορδινγ το τηε Ρεσχορλα−Ωαγνερ ρυλε δυρινγ τηε αχθυισιτιον ανδ εξτινχτιον πηασεσ οφ Παϖλοϖιαν χονδιτιονινγ. Ιν τηισ εξαµπλε, τηε στιµυλυσ ανδ ρεωαρδ ωερε βοτη ινιτιαλλψ πρεσεντεδ ον εαχη τριαλ, βυτ λατερ τηε ρεωαρδ ωασ ρεµοϖεδ. Τηε ωειγητ αππροαχηεσ τηε ασψµπτοτιχ λιµιτ w = ρ εξπονεντιαλλψ δυρινγ τηε ρεωαρδεδ πηασε οφ τραινινγ (χονδιτιονινγ), ανδ εξπονεντιαλλψ δεχαψσ το w = 0 δυρινγ τηε υνρεωαρδεδ πηασε (εξτινχτιον). Εξπεριµενταλ λεαρνινγ

αχθυισιτιον εξτινχτιον

334

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

1.0 0.8

ω

0.6 0.4 0.2 0

0

200

100

trial number

Φιγυρε 9.1 Αχθυισιτιον ανδ εξτινχτιον χυρϖεσ φορ Παϖλοϖιαν χονδιτιονινγ ανδ παρτιαλ ρεινφορχεµεντ ασ πρεδιχτεδ βψ τηε Ρεσχορλα−Ωαγνερ µοδελ. Τηε ⇒λλεδ χιρχλεσ σηοω τηε τιµε εϖολυτιον οφ τηε ωειγητ w οϖερ 200 τριαλσ. Ιν τηε ⇒ρστ 100 τριαλσ, α ρεωαρδ οφ ρ = 1 ωασ παιρεδ ωιτη τηε στιµυλυσ, ωηιλε ιν τριαλσ 100−200 νο ρεωαρδ ωασ παιρεδ (ρ = 0). Οπεν σθυαρεσ σηοω τηε εϖολυτιον οφ τηε ωειγητσ ωηεν α ρεωαρδ οφ ρ = 1 ωασ παιρεδ ωιτη τηε στιµυλυσ ρανδοµλψ ον 50% οφ τηε τριαλσ. Ιν βοτη χασεσ, ϵ = 0.05.

χυρϖεσ αρε γενεραλλψ µορε σιγµοιδαλ ιν σηαπε. Τηερε αρε ϖαριουσ ωαψσ το αχχουντ φορ τηισ δισχρεπανχψ, τηε σιµπλεστ οφ ωηιχη ισ το ασσυµε α νονλινεαρ ρελατιονσηιπ βετωεεν τηε εξπεχτατιον v ανδ τηε βεηαϖιορ οφ τηε ανιµαλ. παρτιαλ ρεινφορχεµεντ

στιµυλυσ ϖεχτορ υ ωειγητ ϖεχτορ ω

Τηε Ρεσχορλα−Ωαγνερ ρυλε αλσο αχχουντσ φορ ασπεχτσ οφ τηε πηενοµενον οφ παρτιαλ ρεινφορχεµεντ, ιν ωηιχη α ρεωαρδ ισ ασσοχιατεδ ωιτη α στιµυλυσ ονλψ ον α ρανδοµ φραχτιον οφ τριαλσ (ταβλε 9.1). Βεηαϖιοραλ µεασυρεσ οφ τηε υλτιµατε ασσοχιατιον οφ τηε ρεωαρδ ωιτη τηε στιµυλυσ ιν τηεσε χασεσ ινδι− χατε τηατ ιτ ισ ωεακερ τηαν ωηεν τηε ρεωαρδ ισ αλωαψσ πρεσεντεδ. Τηισ ισ εξπεχτεδ φροµ τηε δελτα ρυλε, βεχαυσε τηε υλτιµατε στεαδψ−στατε αϖεραγε ϖαλυε οφ w = ⟨ρ⟩ ισ σµαλλερ τηαν ρ ιν τηισ χασε. Τηε οπεν σθυαρεσ ιν ⇒γ− υρε 9.1 σηοω ωηατ ηαππενσ το τηε ωειγητ ωηεν τηε ρεωαρδ ισ ασσοχιατεδ ωιτη τηε στιµυλυσ 50% οφ τηε τιµε. Αφτερ αν ινιτιαλ ρισε φροµ 0, τηε ωειγητ ϖαριεσ ρανδοµλψ αρουνδ αν αϖεραγε ϖαλυε οφ 0.5. Το αχχουντ φορ εξπεριµεντσ ιν ωηιχη µορε τηαν ονε στιµυλυσ ισ υσεδ ιν ασσοχιατιον ωιτη α ρεωαρδ, τηε Ρεσχορλα−Ωαγνερ ρυλε µυστ βε εξτενδεδ το ινχλυδε µυλτιπλε στιµυλι. Τηισ ισ δονε βψ ιντροδυχινγ α ϖεχτορ οφ βιναρψ ϖαριαβλεσ υ, ωιτη εαχη οφ ιτσ χοµπονεντσ ρεπρεσεντινγ τηε πρεσενχε ορ αβ− σενχε οφ α γιϖεν στιµυλυσ, τογετηερ ωιτη α ϖεχτορ οφ ωειγητσ ω. Τηε εξ− πεχτεδ ρεωαρδ ισ τηεν τηε συµ οφ εαχη στιµυλυσ παραµετερ µυλτιπλιεδ βψ ιτσ χορρεσπονδινγ ωειγητ, ωριττεν χοµπαχτλψ ασ α δοτ προδυχτ,

v =ω·υ . δελτα ρυλε

Μινιµιζινγ τηε πρεδιχτιον ερρορ βψ στοχηαστιχ γραδιεντ δεσχεντ ιν τηισ χασε γιϖεσ τηε δελτα λεαρνινγ ρυλε, ω → ω + ϵδυ ωιτη

βλοχκινγ

(9.3)

δ = ρ−v.

(9.4)

ςαριουσ χλασσιχαλ χονδιτιονινγ εξπεριµεντσ προβε τηε ωαψ τηατ πρεδιχ− τιονσ αρε σηαρεδ βετωεεν µυλτιπλε στιµυλι (σεε ταβλε 9.1). Βλοχκινγ ισ τηε

9.2

Χλασσιχαλ Χονδιτιονινγ

335

παραδιγµ τηατ ⇒ρστ λεδ το τηε συγγεστιον οφ τηε δελτα ρυλε ιν χοννεχτιον ωιτη χλασσιχαλ χονδιτιονινγ. Ιν βλοχκινγ, τωο στιµυλι αρε πρεσεντεδ το− γετηερ ωιτη τηε ρεωαρδ, βυτ ονλψ αφτερ αν ασσοχιατιον ηασ αλρεαδψ δεϖελ− οπεδ φορ ονε στιµυλυσ βψ ιτσελφ. Ιν οτηερ ωορδσ, δυρινγ τηε πρε−τραινινγ περιοδ, α στιµυλυσ ισ ασσοχιατεδ ωιτη α ρεωαρδ, ασ ιν Παϖλοϖιαν χονδιτιον− ινγ. Τηεν, δυρινγ τηε τραινινγ περιοδ, α σεχονδ στιµυλυσ ισ πρεσεντ αλονγ ωιτη τηε ⇒ρστ, ιν ασσοχιατιον ωιτη τηε σαµε ρεωαρδ. Ιν τηισ χασε, τηε πρε− εξιστινγ ασσοχιατιον οφ τηε ⇒ρστ στιµυλυσ ωιτη τηε ρεωαρδ βλοχκσ αν ασσο− χιατιον φροµ φορµινγ βετωεεν τηε σεχονδ στιµυλυσ ανδ τηε ρεωαρδ. Τηυσ, αφτερ τραινινγ, α χονδιτιονεδ ρεσπονσε ισ εϖοκεδ ονλψ βψ τηε ⇒ρστ στιµυλυσ, νοτ βψ τηε σεχονδ. Τηισ φολλοωσ φροµ τηε ϖεχτορ φορµ οφ τηε δελτα ρυλε, βεχαυσε τραινινγ ωιτη τηε ⇒ρστ στιµυλυσ µακεσ w1 = ρ. Ωηεν τηε σεχονδ στιµυλυσ ισ πρεσεντεδ αλονγ ωιτη τηε ⇒ρστ, ιτσ ωειγητ σταρτσ ουτ ατ w2 = 0, βυτ τηε πρεδιχτιον οφ ρεωαρδ v = w1 υ1 + w2 υ2 ισ στιλλ εθυαλ το ρ. Τηισ µακεσ δ = 0, σο νο φυρτηερ ωειγητ µοδι⇒χατιον οχχυρσ. Α στανδαρδ ωαψ το ινδυχε ινηιβιτορψ χονδιτιονινγ ισ το υσε τριαλσ ιν ωηιχη ονε στιµυλυσ ισ σηοων ιν χονϕυνχτιον ωιτη τηε ρεωαρδ ιν αλτερνατιον ωιτη τριαλσ ιν ωηιχη τηατ στιµυλυσ ανδ αν αδδιτιοναλ στιµυλυσ αρε πρεσεντεδ ιν τηε αβσενχε οφ ρεωαρδ. Ιν τηισ χασε, τηε σεχονδ στιµυλυσ βεχοµεσ α χον− διτιονεδ ινηιβιτορ, πρεδιχτινγ τηε αβσενχε οφ ρεωαρδ. Τηισ χαν βε δεµον− στρατεδ βψ πρεσεντινγ α τηιρδ στιµυλυσ τηατ αλσο πρεδιχτσ ρεωαρδ, ιν χον− ϕυνχτιον ωιτη τηε ινηιβιτορψ στιµυλυσ, ανδ σηοωινγ τηατ τηε νετ πρεδιχτιον οφ ρεωαρδ ισ ρεδυχεδ. Ιτ χαν αλσο βε δεµονστρατεδ βψ σηοωινγ τηατ συβ− σεθυεντ λεαρνινγ οφ α ποσιτιϖε ασσοχιατιον βετωεεν τηε ινηιβιτορψ στιµυλυσ ανδ ρεωαρδ ισ σλοωεδ. Ινηιβιτιον εµεργεσ νατυραλλψ φροµ τηε δελτα ρυλε. Τριαλσ ιν ωηιχη τηε ⇒ρστ στιµυλυσ ισ ασσοχιατεδ ωιτη α ρεωαρδ ρεσυλτ ιν α ποσιτιϖε ϖαλυε οφ w1 . Οϖερ τριαλσ ιν ωηιχη βοτη στιµυλι αρε πρεσεντεδ το− γετηερ, τηε νετ πρεδιχτιον v = w1 + w2 χοµεσ το βε 0, σο w2 ισ φορχεδ το βε νεγατιϖε. Α φυρτηερ εξαµπλε οφ τηε ιντεραχτιον βετωεεν στιµυλι ισ οϖερσηαδοω− ινγ. Ιφ τωο στιµυλι αρε πρεσεντεδ τογετηερ δυρινγ τραινινγ, τηε πρεδιχτιον οφ ρεωαρδ ισ σηαρεδ βετωεεν τηεµ. Αφτερ αππλιχατιον οφ τηε δελτα ρυλε, v = w1 + w2 = ρ. Ηοωεϖερ, τηε πρεδιχτιον ισ οφτεν σηαρεδ υνεθυαλλψ, ασ ιφ ονε στιµυλυσ ισ µορε σαλιεντ τηαν τηε οτηερ. Οϖερσηαδοωινγ χαν βε ενχοµ− πασσεδ βψ γενεραλιζινγ τηε δελτα ρυλε σο τηατ τηε τωο στιµυλι ηαϖε διφφερ− εντ λεαρνινγ ρατεσ (διφφερεντ ϖαλυεσ οφ ϵ), ρε⇓εχτινγ υνεθυαλ ασσοχιαβιλιτιεσ. Ωειγητ µοδι⇒χατιον στοπσ ωηεν ⟨δ⟩ = 0, ατ ωηιχη ποιντ τηε φαστερ γροωινγ ωειγητ ωιλλ βε λαργερ τηαν τηε σλοωερ γροωινγ ωειγητ. ςαριουσ, µορε συβ− τλε εφφεχτσ χοµε φροµ ηαϖινγ νοτ ονλψ διφφερεντ βυτ αλσο µοδι⇒αβλε λεαρνινγ ρατεσ, βυτ τηεσε λιε βεψονδ τηε σχοπε οφ ουρ αχχουντ. Τηε Ρεσχορλα−Ωαγνερ ρυλε, βιναρψ στιµυλυσ παραµετερσ, ανδ λινεαρ ρεωαρδ πρεδιχτιον αρε οβϖιουσλψ γροσσ σιµπλι⇒χατιονσ οφ ανιµαλ λεαρνινγ βεηαϖ− ιορ. Ψετ τηεψ συµµαριζε ανδ υνιφψ αν ιµπρεσσιϖε αµουντ οφ χλασσιχαλ χον− διτιονινγ δατα ανδ αρε υσεφυλ, προϖιδεδ τηειρ σηορτχοµινγσ αρε φυλλψ απ− πρεχιατεδ. Ασ α ρεµινδερ οφ τηισ, ωε ποιντ ουτ ονε εξπεριµεντ, σεχονδαρψ χονδιτιονινγ, τηατ χαννοτ βε ενχοµπασσεδ ωιτηιν τηισ σχηεµε.

ινηιβιτορψ χονδιτιονινγ

οϖερσηαδοωινγ

336 σεχονδαρψ χονδιτιονινγ

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

Σεχονδαρψ χονδιτιονινγ ινϖολϖεσ τηε ασσοχιατιον οφ ονε στιµυλυσ ωιτη α ρε− ωαρδ, φολλοωεδ βψ αν ασσοχιατιον οφ α σεχονδ στιµυλυσ ωιτη τηε ⇒ρστ στιµ− υλυσ (ταβλε 9.1). Τηισ χαυσεσ τηε σεχονδ στιµυλυσ το εϖοκε εξπεχτατιον οφ α ρεωαρδ ωιτη ωηιχη ιτ ηασ νεϖερ βεεν παιρεδ (αλτηουγη ιφ παιρινγσ οφ τηε τωο στιµυλι ωιτηουτ τηε ρεωαρδ αρε ρεπεατεδ τοο µανψ τιµεσ, τηε ρεσυλτ ισ εξτινχτιον οφ τηε ασσοχιατιον οφ βοτη στιµυλι ωιτη τηε ρεωαρδ). Τηε δελτα ρυλε χαννοτ αχχουντ φορ τηε ποσιτιϖε εξπεχτατιον ασσοχιατεδ ωιτη τηε σεχονδ στιµυλυσ. Ινδεεδ, βεχαυσε τηε ρεωαρδ δοεσ νοτ αππεαρ ωηεν τηε σεχονδ στιµυλυσ ισ πρεσεντεδ, τηε δελτα ρυλε ωουλδ χαυσε w2 το βεχοµε νεγατιϖε. Ιν οτηερ ωορδσ, ιν τηισ χασε, τηε δελτα ρυλε ωουλδ πρεδιχτ ινηιβιτορψ, νοτ εξ− χιτατορψ, σεχονδαρψ χονδιτιονινγ. Σεχονδαρψ χονδιτιονινγ ισ ρελατεδ το τηε προβλεµ οφ δελαψεδ ρεωαρδσ ιν ινστρυµενταλ χονδιτιονινγ τηατ ωε δισχυσσ λατερ ιν τηισ χηαπτερ. Σεχονδαρψ χονδιτιονινγ ραισεσ τηε ιµπορταντ ισσυε οφ κεεπινγ τραχκ οφ τηε τιµε ωιτηιν α τριαλ ιν ωηιχη στιµυλι ανδ ρεωαρδσ αρε πρεσεντ. Τηισ ισ εϖ− ιδεντ βεχαυσε α ποσιτιϖε ασσοχιατιον ωιτη τηε σεχονδ στιµυλυσ ισ ρελιαβλψ εσταβλισηεδ ονλψ ιφ ιτ πρεχεδεσ τηε ⇒ρστ στιµυλυσ ιν τηε τριαλσ ιν ωηιχη τηεψ αρε παιρεδ. Ιφ τηε τωο στιµυλι αρε πρεσεντεδ σιµυλτανεουσλψ, τηε ρεσυλτ µαψ βε ινηιβιτορψ ρατηερ τηαν σεχονδαρψ χονδιτιονινγ.

Πρεδιχτινγ Φυτυρε Ρεωαρδ: Τεµποραλ ∆ιφφερενχε Λεαρνινγ Ωε µεασυρε τιµε ωιτηιν α τριαλ υσινγ α δισχρετε τιµε ϖαριαβλε τ, ωηιχη φαλλσ ιν τηε ρανγε 0 ≤ τ ≤ Τ. Τηε στιµυλυσ υ (τ ), τηε πρεδιχτιον v(τ ), ανδ τηε ρεωαρδ ρ (τ ) αρε αλλ εξπρεσσεδ ασ φυνχτιονσ οφ τ.

τοταλ φυτυρε ρεωαρδ

Ιν αδδιτιον το ασσοχιατινγ στιµυλι ωιτη ρεωαρδσ ανδ πυνισηµεντσ, ανιµαλσ χαν λεαρν το πρεδιχτ τηε φυτυρε τιµε ωιτηιν α τριαλ ατ ωηιχη ρεινφορχεµεντ ωιλλ βε δελιϖερεδ. Ωε µιγητ τηερεφορε βε τεµπτεδ το ιντερπρετ v(τ ) ασ τηε ρεωαρδ πρεδιχτεδ το βε δελιϖερεδ ατ τιµε στεπ τ. Ηοωεϖερ, Συττον ανδ Βαρτο (1990) συγγεστεδ αν αλτερνατιϖε ιντερπρετατιον οφ v(τ ) τηατ προϖιδεσ α βεττερ µατχη το πσψχηολογιχαλ ανδ νευροβιολογιχαλ δατα, ανδ συγγεστσ ηοω ανι− µαλσ µιγητ υσε τηειρ πρεδιχτιονσ το οπτιµιζε βεηαϖιορ ωηεν ρεωαρδσ αρε δελαψεδ. Τηε συγγεστιον ισ τηατ τηε ϖαριαβλε v(τ ) σηουλδ βε ιντερπρετεδ ασ α πρεδιχτιον οφ τηε τοταλ φυτυρε ρεωαρδ εξπεχτεδ φροµ τιµε τ ονωαρδ το τηε ενδ οφ τηε τριαλ, ναµελψ + , Τ −τ ! ρ (τ + τ) . (9.5) τ=0

Τηε βραχκετσ δενοτε αν αϖεραγε οϖερ τριαλσ. Τηισ θυαντιτψ ισ υσεφυλ φορ οπτιµιζατιον, βεχαυσε ιτ συµµαριζεσ τηε τοταλ εξπεχτεδ ωορτη οφ τηε χυρ− ρεντ στατε. Το αππροξιµατε v(τ ), ωε γενεραλιζε τηε λινεαρ ρελατιονσηιπ υσεδ φορ χλασσιχαλ χονδιτιονινγ, εθυατιον 9.3. Φορ τηε χασε οφ α σινγλε τιµε− δεπενδεντ στιµυλυσ υ (τ ), ωε ωριτε

v(τ ) =

τ !

τ=0

w(τ)υ (τ − τ) .

(9.6)

9.2

Χλασσιχαλ Χονδιτιονινγ

337

Τηισ ισ ϕυστ α δισχρετε τιµε ϖερσιον οφ τηε σορτ οφ λινεαρ ⇒λτερ υσεδ ιν χηαπ− τερσ 1 ανδ 2. Αρρανγινγ φορ v(τ ) το πρεδιχτ τηε τοταλ φυτυρε ρεωαρδ ωουλδ αππεαρ το ρε− θυιρε α σιµπλε µοδι⇒χατιον οφ τηε δελτα ρυλε ωε ηαϖε δισχυσσεδ πρεϖιουσλψ,

w(τ) → w(τ) + ϵδ(τ )υ (τ − τ) ,

(9.7)

ωιτη δ(τ ) βεινγ τηε / διφφερενχε βετωεεν τηε αχτυαλ ανδ πρεδιχτεδ τοταλ φυ− τυρε ρεωαρδ, δ(τ ) = τ ρ (τ + τ) − v(τ ). Ηοωεϖερ, τηερε ισ α προβλεµ ωιτη αππλψινγ τηισ ρυλε ιν α στοχηαστιχ γραδιεντ δεσχεντ αλγοριτηµ. Χοµπυτα− τιον οφ δ(τ ) ρεθυιρεσ κνοωλεδγε οφ τηε τοταλ φυτυρε ρεωαρδ ον α γιϖεν τριαλ. Αλτηουγη ρ (τ ) ισ κνοων ατ τιµε τ, τηε συχχεεδινγ ρ (τ + 1 ), ρ (τ + 2 ) . . . ηαϖε ψετ το βε εξπεριενχεδ, µακινγ ιτ ιµποσσιβλε το χαλχυλατε δ(τ ). Α ποσσιβλε σολυτιον ισ συγγεστεδ βψ τηε ρεχυρσιϖε φορµυλα Τ −τ !

τ=0

ρ (τ + τ) = ρ (τ ) +

Τ! −τ−1

τ=0

ρ (τ + 1 +τ) .

(9.8)

Τηε τεµποραλ διφφερενχε µοδελ οφ πρεδιχτιον ισ βασεδ ον τηε οβσερϖατιον τηατ v(τ + 1 ) προϖιδεσ αν αππροξιµατιον οφ τηε αϖεραγε ϖαλυε (αχροσσ τριαλσ) οφ τηε λαστ τερµ ιν εθυατιον 9.8, σο ωε χαν ωριτε Τ −τ !

τ=0

ρ (τ + τ) ≈ ρ (τ ) + v(τ + 1 ) .

(9.9)

/ Ρεπλαχινγ τηε συµ ιν τηε εθυατιον δ(τ ) = τ ρ (τ + τ) − v(τ ) βψ τηισ αππροξ− ιµατιον γιϖεσ τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε,

w(τ) → w(τ) + ϵδ(τ )υ (τ −τ) ωιτη δ(τ ) = ρ (τ ) + v(τ + 1 ) − v(τ ) . (9.10) Τηε ναµε οφ τηε ρυλε χοµεσ φροµ τηε τερµ v(τ + 1 ) − v(τ ), ωηιχη ισ τηε διφ− φερενχε βετωεεν τωο συχχεσσιϖε εστιµατεσ. δ(τ ) ισ υσυαλλψ χαλλεδ τηε τεµ− ποραλ διφφερενχε ερρορ. Υνδερ α ϖαριετψ οφ χιρχυµστανχεσ, τηισ ρυλε ισ λικελψ το χονϖεργε το µακε τηε χορρεχτ πρεδιχτιονσ. Φιγυρε 9.2 σηοωσ ωηατ ηαππενσ ωηεν τηε τεµποραλ διφφερενχε ρυλε ισ απ− πλιεδ δυρινγ α τραινινγ περιοδ ιν ωηιχη α στιµυλυσ αππεαρσ ατ τιµε τ = 100, ανδ α ρεωαρδ ισ γιϖεν φορ α σηορτ ιντερϖαλ αρουνδ τ = 200. Ινιτιαλλψ, w(τ) = 0 φορ αλλ τ . Φιγυρε 9.2Α σηοωσ τηατ τηε τεµποραλ διφφερενχε ερρορ σταρτσ οφφ βε− ινγ νονζερο ονλψ ατ τηε τιµε οφ τηε ρεωαρδ, τ = 200, ανδ τηεν, οϖερ τριαλσ, µοϖεσ βαχκωαρδ ιν τιµε, εϖεντυαλλψ σταβιλιζινγ αρουνδ τηε τιµε οφ τηε στιµυλυσ, ωηερε ιτ τακεσ τηε ϖαλυε 2. Τηισ ισ εθυαλ το τηε (ιντεγρατεδ) το− ταλ ρεωαρδ προϖιδεδ οϖερ τηε χουρσε οφ εαχη τριαλ. Φιγυρε 9.2Β σηοωσ τηε βεηαϖιορ δυρινγ α τριαλ οφ α νυµβερ οφ ϖαριαβλεσ βεφορε ανδ αφτερ λεαρνινγ. Αφτερ λεαρνινγ, τηε πρεδιχτιον v(τ ) ισ 2 φροµ τηε τιµε τηε στιµυλυσ ισ ⇒ρστ πρεσεντεδ (τ = 100) υντιλ τηε τιµε τηε ρεωαρδ σταρτσ το βε δελιϖερεδ. Τηυσ, τηε τεµποραλ διφφερενχε πρεδιχτιον ερρορ (δ) ηασ α σπικε ατ τ = 99. Τηισ σπικε περσιστσ, βεχαυσε υ (τ ) = 0 φορ τ < 100. Τηε τεµποραλ διφφερενχε τερµ (%v) ισ νεγατιϖε αρουνδ τ = 200, εξαχτλψ χοµπενσατινγ φορ τηε δελιϖερψ οφ ρεωαρδ, ανδ τηυσ µακινγ δ = 0.

τεµποραλ διφφερενχε ρυλε

338

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

1 0

2

2 0

1

−1

2 2

0 0

tri al s

−1

100

200

2 −1 0

100

200

0

100

200

Φιγυρε 9.2 Λεαρνινγ το πρεδιχτ α ρεωαρδ. (Α) Τηε συρφαχε πλοτ σηοωσ τηε πρεδιχτιον ερρορ δ(τ ) ασ α φυνχτιον οφ τιµε ωιτηιν α τριαλ, αχροσσ τριαλσ. Ιν τηε εαρλψ τριαλσ, τηε πεακ ερρορ οχχυρσ ατ τηε τιµε οφ τηε ρεωαρδ (τ = 200), ωηιλε ιν λατερ τριαλσ ιτ οχχυρσ ατ τηε τιµε οφ τηε στιµυλυσ (τ = 100). (Β) Τηε ροωσ σηοω τηε στιµυλυσ υ (τ ), τηε ρεωαρδ ρ (τ ), τηε πρεδιχτιον v(τ ), τηε τεµποραλ διφφερενχε βετωεεν πρεδιχτιονσ %v(τ − 1 ) = v(τ ) − v(τ − 1 ), ανδ τηε φυλλ τεµποραλ διφφερενχε ερρορ δ(τ − 1 ) = ρ (τ − 1 ) + %v(τ − 1 ). Τηε ρεωαρδ ισ πρεσεντεδ οϖερ α σηορτ ιντερϖαλ, ανδ τηε πρεδιχτιον v συµσ τηε τοταλ ρεωαρδ. Τηε λεφτ χολυµν σηοωσ τηε βεηαϖιορ βεφορε τραινινγ, ανδ τηε ριγητ χολυµν, αφτερ τραινινγ. %v(τ − 1 ) ανδ δ(τ − 1 ) αρε πλοττεδ ινστεαδ οφ %v(τ ) ανδ δ(τ ) βεχαυσε τηε λαττερ θυαντιτιεσ χαννοτ βε χοµπυτεδ υντιλ τιµε τ + 1, ωηεν v(τ + 1 ) ισ αϖαιλαβλε.

Ασ τηε πεακ ιν δ µοϖεσ βαχκωαρδ φροµ τηε τιµε οφ τηε ρεωαρδ το τηε τιµε οφ τηε στιµυλυσ, ωειγητσ w(τ) φορ τ = 100, 99, . . . συχχεσσιϖελψ γροω. Τηισ γραδυαλλψ εξτενδσ τηε πρεδιχτιον οφ φυτυρε ρεωαρδ, v(τ ), φροµ αν ινιτιαλ τρανσιεντ ατ τηε τιµε οφ τηε στιµυλυσ το α βροαδ πλατεαυ εξτενδινγ φροµ τηε τιµε οφ τηε στιµυλυσ το τηε τιµε οφ τηε ρεωαρδ. Εϖεντυαλλψ, v πρεδιχτσ τηε χορρεχτ τοταλ φυτυρε ρεωαρδ φροµ τηε τιµε οφ τηε στιµυλυσ ονωαρδ, ανδ πρεδιχτσ τηε τιµε οφ τηε ρεωαρδ δελιϖερψ βψ δροππινγ το 0 ατ τηε τιµε ωηεν τηε ρεωαρδ ισ δελιϖερεδ. Τηε εξαχτ σηαπε οφ τηε ριδγε οφ αχτιϖιτψ τηατ µοϖεσ φροµ τ = 200 το τ = 100 οϖερ τηε χουρσε οφ τριαλσ ιν ⇒γυρε 9.2Α ισ σενσιτιϖε το α νυµβερ οφ φαχτορσ, ινχλυδινγ τηε λεαρνινγ ρατε, ανδ τηε φορµ οφ τηε λινεαρ ⇒λτερ οφ εθυατιον 9.6. Υνλικε τηε δελτα ρυλε, τηε τεµποραλ διφφερενχε ρυλε προϖιδεσ αν αχχουντ οφ σεχονδαρψ χονδιτιονινγ. Συπποσε αν ασσοχιατιον βετωεεν στιµυλυσ σ1 ανδ α φυτυρε ρεωαρδ ηασ βεεν εσταβλισηεδ, ασ ιν ⇒γυρε 9.2. Ωηεν, ασ ινδιχατεδ ιν ταβλε 9.1, α σεχονδ στιµυλυσ, σ2 , ισ ιντροδυχεδ βεφορε τηε ⇒ρστ στιµυλυσ, τηε ποσιτιϖε σπικε ιν δ(τ ) ατ τηε τιµε τηατ σ1 ισ πρεσεντεδ δριϖεσ αν ινχρεασε ιν τηε ϖαλυε οφ τηε ωειγητ ασσοχιατεδ ωιτη σ2 , ανδ τηυσ εσταβλισηεσ α ποσι− τιϖε ασσοχιατιον βετωεεν τηε σεχονδ στιµυλυσ ανδ τηε ρεωαρδ. Τηισ εξαχτλψ µιρρορσ τηε πριµαρψ λεαρνινγ προχεσσ φορ σ1 δεσχριβεδ αβοϖε. Οφ χουρσε, βε− χαυσε τηε ρεωαρδ ισ νοτ πρεσεντεδ ιν τηεσε τριαλσ, τηερε ισ α νεγατιϖε σπικε ιν δ(τ ) ατ τηε τιµε οφ τηε ρεωαρδ ιτσελφ, ανδ υλτιµατελψ τηε ασσοχιατιον βετωεεν βοτη σ1 ανδ σ2 ανδ τηε ρεωαρδ εξτινγυισηεσ.

9.2

Χλασσιχαλ Χονδιτιονινγ

339

Φιγυρε 9.3 Αχτιϖιτψ οφ δοπαµινεργιχ νευρονσ ιν τηε ςΤΑ φορ α µονκεψ περφορµινγ ρεαχτιον τιµε τασκσ. (Α) Αχτιϖιτψ οφ α δοπαµινε χελλ αχχυµυλατεδ οϖερ 20 τριαλσ σηοωινγ τηε σπικεσ τιµε−λοχκεδ το α στιµυλυσ (λεφτ πανελσ) ορ το τηε ρεωαρδ (ριγητ πανελσ) ατ τηε τιµεσ µαρκεδ 0. Τηε τοπ ροω ισ φορ εαρλψ τριαλσ βεφορε τηε βεηαϖιορ ισ φυλλψ εσταβλισηεδ. Τηε βοττοµ ροω ισ φορ λατε τριαλσ, ωηεν τηε µονκεψ εξπεχτσ τηε ρεωαρδ ον τηε βασισ οφ τηε στιµυλυσ. (Β) Αχτιϖιτψ οφ α δοπαµινε νευρον ωιτη ανδ ωιτηουτ αν εξπεχτεδ ρεωαρδ δελιϖερψ ιν α σιµιλαρ τασκ. Τηε τοπ ροω σηοωσ τηε νορµαλ βεηαϖιορ οφ τηε χελλ ωηεν τηε ρεωαρδ ισ δελιϖερεδ. Τηε βοττοµ ροω σηοωσ τηε ρεσυλτ οφ νοτ δελιϖερινγ αν εξπεχτεδ ρεωαρδ. Τηε βασαλ ⇒ρινγ ρατε οφ δοπαµινε χελλσ ισ ρατηερ λοω, βυτ τηε ινηιβιτιον ατ τηε τιµε τηε ρεωαρδ ωουλδ ηαϖε βεεν γιϖεν ισ εϖιδεντ. (Α αδαπτεδ φροµ Μιρενοωιχζ & Σχηυλτζ, 1994; Β αδαπτεδ φροµ Σχηυλτζ, 1998.)

∆οπαµινε ανδ Πρεδιχτιονσ οφ Ρεωαρδ Τηε πρεδιχτιον ερρορ δ πλαψσ αν εσσεντιαλ ρολε ιν βοτη τηε Ρεσχορλα−Ωαγνερ ανδ τεµποραλ διφφερενχε λεαρνινγ ρυλεσ, ανδ ωε µιγητ ηοπε το ⇒νδ α νευραλ σιγναλ τηατ ρεπρεσεντσ τηισ θυαντιτψ. Ονε συγγεστιον ισ τηατ τηε αχτιϖιτψ οφ δοπαµινεργιχ νευρονσ ιν τηε ϖεντραλ τεγµενταλ αρεα (ςΤΑ) ιν τηε µιδβραιν πλαψσ τηισ ρολε. Τηερε ισ συβσταντιαλ εϖιδενχε τηατ δοπαµινε ισ ινϖολϖεδ ιν ρεωαρδ λεαρν− ινγ. ∆ρυγσ οφ αδδιχτιον, συχη ασ χοχαινε ανδ αµπηεταµινεσ, αχτ παρτλψ βψ ινχρεασινγ τηε λονγεϖιτψ οφ τηε δοπαµινε τηατ ισ ρελεασεδ οντο ταργετ στρυχτυρεσ συχη ασ τηε νυχλευσ αχχυµβενσ. Οτηερ δρυγσ, συχη ασ µορπηινε ανδ ηεροιν, αλσο αφφεχτ τηε δοπαµινε σψστεµ. Φυρτηερ, δοπαµινε δελιϖερψ ισ ιµπορταντ ιν σελφ−στιµυλατιον εξπεριµεντσ. Ρατσ ωιλλ χοµπυλσιϖελψ πρεσσ λεϖερσ τηατ χαυσε χυρρεντ το βε δελιϖερεδ τηρουγη ελεχτροδεσ ιντο ϖαριουσ αρεασ οφ τηειρ βραινσ. Ονε οφ τηε µοστ εφφεχτιϖε σελφ−στιµυλατιον σιτεσ ισ τηε µεδιαλ φορεβραιν ασχενδινγ βυνδλε, ωηιχη ισ αν αξοναλ πατηωαψ. Στιµυ− λατινγ τηισ πατηωαψ ισ λικελψ το χαυσε ινχρεασεδ δελιϖερψ οφ δοπαµινε το τηε νυχλευσ αχχυµβενσ ανδ οτηερ αρεασ οφ τηε βραιν, βεχαυσε τηε βυνδλε χονταινσ µανψ ⇒βερσ φροµ δοπαµινεργιχ χελλσ ιν τηε ςΤΑ προϕεχτινγ το τηε νυχλευσ αχχυµβενσ. Ιν α σεριεσ οφ στυδιεσ βψ Σχηυλτζ ανδ ηισ χολλεαγυεσ (Σχηυλτζ, 1998), µον− κεψσ ωερε τραινεδ τηρουγη ινστρυµενταλ χονδιτιονινγ το ρεσπονδ το στιµυλι συχη ασ λιγητσ ανδ σουνδσ ιν ορδερ το οβταιν φοοδ ανδ δρινκ ρεωαρδσ. Τηε αχτιϖιτιεσ οφ χελλσ ιν τηε ςΤΑ ωερε ρεχορδεδ ωηιλε τηε µονκεψσ λεαρνεδ τηεσε τασκσ. Φιγυρε 9.3Α σηοωσ τηε αχτιϖιτψ οφ α δοπαµινε χελλ ατ τωο τιµεσ δυρινγ λεαρνινγ. Τηε ⇒γυρε ισ βασεδ ον α ρεαχτιον τιµε τασκ ιν ωηιχη τηε µονκεψ κεεπσ α ⇒νγερ ρεστινγ ον α κεψ υντιλ α σουνδ ισ πρεσεντεδ. Τηε

ϖεντραλ τεγµενταλ αρεα ςΤΑ δοπαµινε

340

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

µονκεψ τηεν ηασ το ρελεασε τηε ρεστινγ κεψ ανδ πρεσσ ανοτηερ ονε το γετ α φρυιτ ϕυιχε ρεωαρδ. Τηε ρεωαρδ ισ δελιϖερεδ α σηορτ τιµε αφτερ τηε σεχονδ κεψ ισ πρεσσεδ. Τηε υππερ πλοτ οφ ⇒γυρε 9.3Α σηοωσ τηε ρεσπονσε οφ α χελλ ιν εαρλψ τριαλσ. Τηε χελλ ρεσπονδσ ϖιγορουσλψ το τηε ρεωαρδ, βυτ ονλψ ⇒ρεσ α λιττλε αβοϖε βασελινε ιν ρεσπονσε το τηε σουνδ. Τηε λοωερ πλοτ σηοωσ τηε ρεσπονσε αφτερ α µοδερατε αµουντ οφ τραινινγ. Νοω τηε χελλ ρεσπονδσ το τηε σουνδ, βυτ νοτ το τηε ρεωαρδ. Τηε ρεσπονσεσ σηοω α διστινχτ σιµιλαριτψ το τηε πλοτσ οφ δ(τ ) ιν ⇒γυρε 9.2. Τηε σιµιλαριτψ βετωεεν τηε ρεσπονσεσ οφ τηε δοπαµινεργιχ νευρονσ ανδ τηε θυαντιτψ δ(τ ) συγγεστσ τηατ τηειρ αχτιϖιτψ προϖιδεσ α πρεδιχτιον ερρορ φορ ρεωαρδ, ι.ε. αν ονγοινγ διφφερενχε βετωεεν τηε αµουντ οφ ρεωαρδ τηατ ισ δελιϖερεδ ανδ τηε αµουντ τηατ ισ εξπεχτεδ. Φιγυρε 9.3Β προϖιδεσ φυρτηερ εϖιδενχε φορ τηισ ιντερπρετατιον. Ιτ σηοωσ τηε αχτιϖιτψ οφ α δοπαµινε χελλ ιν α τασκ σιµιλαρ το τηατ οφ ⇒γυρε 9.3Α. Τηε τοπ ροω οφ τηισ ⇒γυρε σηοωσ νορµαλ περφορµανχε, ανδ ισ ϕυστ λικε τηε βοττοµ ροω οφ ⇒γυρε 9.3Α. Τηε βοττοµ ροω σηοωσ ωηατ ηαππενσ ωηεν τηε µονκεψ ισ εξπεχτινγ ρεωαρδ βυτ ιτ ισ νοτ δελιϖερεδ. Ιν τηισ χασε, τηε χελλaσ αχτιϖιτψ ισ ινηιβιτεδ βελοω βασελινε ατ ϕυστ τηε τιµε ιτ ωουλδ ηαϖε βεεν αχτιϖατεδ βψ τηε ρεωαρδ ιν τηε οριγιναλ τριαλσ. Τηισ ισ ιν αγρεεµεντ ωιτη τηε πρεδιχτιον ερρορ ιντερπρετατιον οφ τηισ αχτιϖιτψ. Σοµετηινγ σιµιλαρ το τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε χουλδ βε ρεαλ− ιζεδ ιν α νευραλ σψστεµ ιφ τηε δοπαµινε σιγναλ ρεπρεσεντινγ δ αχτσ το γατε ανδ ρεγυλατε τηε πλαστιχιτψ ασσοχιατεδ ωιτη λεαρνινγ. Ωε δισχυσσ τηισ ποσσι− βιλιτψ φυρτηερ ιν α λατερ σεχτιον.

9.3

πολιχψ

φοραγινγ

Στατιχ Αχτιον Χηοιχε

Ιν χλασσιχαλ χονδιτιονινγ εξπεριµεντσ, ρεωαρδσ αρε διρεχτλψ ασσοχιατεδ ωιτη στιµυλι. Ιν µορε νατυραλ σεττινγσ, ρεωαρδσ ανδ πυνισηµεντσ αρε ασσοχιατεδ ωιτη τηε αχτιονσ αν ανιµαλ τακεσ. Ανιµαλσ δεϖελοπ πολιχιεσ, ορ πλανσ οφ αχτιον, τηατ ινχρεασε ρεωαρδ. Ιν στυδψινγ ηοω τηισ µιγητ βε δονε, ωε χον− σιδερ τωο διφφερεντ χασεσ. Ιν στατιχ αχτιον χηοιχε, τηε ρεωαρδ ορ πυνισηµεντ ιµµεδιατελψ φολλοωσ τηε αχτιον τακεν. Ιν σεθυεντιαλ αχτιον χηοιχε, ρεωαρδσ µαψ βε δελαψεδ υντιλ σεϖεραλ αχτιονσ αρε χοµπλετεδ. Ασ αν εξαµπλε οφ στατιχ αχτιον χηοιχε, ωε χονσιδερ βεεσ φοραγινγ αµονγ ⇓οωερσ ιν σεαρχη οφ νεχταρ. Ωε µοδελ αν εξπεριµεντ ιν ωηιχη σινγλε βεεσ φοραγε υνδερ χοντρολλεδ χονδιτιονσ αµονγ βλυε ανδ ψελλοω αρτι⇒χιαλ ⇓οω− ερσ (σµαλλ δισηεσ οφ συγαρ ωατερ σιττινγ ον χολορεδ χαρδσ). Ιν αχτυαλ εξπερι− µεντσ, τηε βεεσ λεαρν ωιτηιν α σινγλε σεσσιον (ινϖολϖινγ ϖισιτσ το 40 αρτι⇒χιαλ ⇓οωερσ) αβουτ τηε ρεωαρδ χηαραχτεριστιχσ οφ τηε βλυε ανδ ψελλοω ⇓οωερσ. Αλλ ελσε βεινγ εθυαλ, τηεψ πρεφερεντιαλλψ λανδ ον τηε χολορ οφ ⇓οωερ τηατ δε− λιϖερσ µορε ρεωαρδ. Τηισ πρεφερενχε ισ µαινταινεδ οϖερ µυλτιπλε σεσσιονσ. Ηοωεϖερ, ιφ τηε ρεωαρδ χηαραχτεριστιχσ οφ τηε ⇓οωερσ αρε ιντερχηανγεδ, τηε βεεσ θυιχκλψ σωαπ τηειρ πρεφερενχεσ.

9.3

Στατιχ Αχτιον Χηοιχε

341

Ωε τρεατ α σιµπλι⇒εδ ϖερσιον οφ τηε προβλεµ, ιγνορινγ τηε σπατιαλ ασπεχτσ οφ σαµπλινγ, ανδ ασσυµινγ τηατ α µοδελ βεε ισ φαχεδ ωιτη ρεπεατεδ χηοιχεσ βετωεεν τωο διφφερεντ ⇓οωερσ. Ιφ τηε βεε χηοοσεσ τηε βλυε ⇓οωερ ον α τριαλ, ιτ ρεχειϖεσ α θυαντιτψ οφ νεχταρ ρβ δραων φροµ α προβαβιλιτψ δενσιτψ π[ρβ ]. Ιφ ιτ χηοοσεσ τηε ψελλοω ⇓οωερ, ιτ ρεχειϖεσ α θυαντιτψ ρψ , δραων φροµ α προβαβιλιτψ δενσιτψ π[ρψ ]. Τηε τασκ οφ χηοοσινγ βετωεεν τηε ⇓οωερσ ισ α φορµ οφ στοχηαστιχ τωο−αρµεδ βανδιτ προβλεµ (ναµεδ αφτερ σλοτ µαχηινεσ), ανδ ισ φορµαλλψ εθυιϖαλεντ το µανψ ινστρυµενταλ χονδιτιονινγ τασκσ. Τηε µοδελ βεε ηασ α στοχηαστιχ πολιχψ, ωηιχη µεανσ τηατ ιτ χηοοσεσ βλυε ανδ ψελλοω ⇓οωερσ ωιτη προβαβιλιτιεσ τηατ ωε ωριτε ασ Π[β] ανδ Π[ψ], ρε− σπεχτιϖελψ. Α χονϖενιεντ ωαψ το παραµετεριζε τηεσε προβαβιλιτιεσ ισ το υσε τηε σοφτµαξ διστριβυτιον Π[β] =

εξπ(βµβ ) εξπ(βµβ ) + εξπ(βµψ )

Π[ψ] =

εξπ(βµψ ) . εξπ(βµβ ) + εξπ(βµψ )

στοχηαστιχ πολιχψ σοφτµαξ

(9.11)

Ηερε, µβ ανδ µψ αρε παραµετερσ, κνοων ασ αχτιον ϖαλυεσ, τηατ αρε αδϕυστεδ βψ ονε οφ τηε λεαρνινγ προχεσσεσ δεσχριβεδ βελοω. Νοτε τηατ Π[β] + Π[ψ] = 1, χορρεσπονδινγ το τηε φαχτ τηατ τηε µοδελ βεε ινϖαριαβλψ µακεσ ονε οφ τηε τωο χηοιχεσ. Αλσο νοτε τηατ Π[β] = σ(β(µβ − µψ )), ωηερε σ(µ ) = 1/(1 + εξπ(−µ )) ισ τηε στανδαρδ σιγµοιδ φυνχτιον, ωηιχη γροωσ µονοτονιχαλλψ φροµ 0 το 1 ασ µ ϖαριεσ φροµ −∞ το ∞. Π[ψ] ισ σιµιλαρλψ α σιγµοιδ φυνχτιον οφ β(µψ − µβ ). Τηε παραµετερσ µβ ανδ µψ δετερµινε τηε φρεθυενχψ ατ ωηιχη βλυε ανδ ψελλοω ⇓οωερσ αρε ϖισιτεδ. Τηειρ ϖαλυεσ µυστ βε αδϕυστεδ δυρινγ τηε λεαρνινγ προχεσσ ον τηε βασισ οφ τηε ρεωαρδ προϖιδεδ. Τηε παραµετερ β δετερµινεσ τηε ϖαριαβιλιτψ οφ τηε βεεaσ αχτιονσ ανδ εξερτσ α στρονγ ιν⇓υενχε ον εξπλορατιον. Φορ λαργε β, τηε προβαβιλιτψ οφ αν αχ− τιον ρισεσ ραπιδλψ το 1, ορ φαλλσ ραπιδλψ το 0, ασ τηε διφφερενχε βετωεεν τηε αχτιον ϖαλυεσ ινχρεασεσ ορ δεχρεασεσ. Τηισ µακεσ τηε βεεaσ αχτιον χηοιχε αλ− µοστ α δετερµινιστιχ φυνχτιον οφ τηε µ ϖαριαβλεσ. Ιφ β ισ σµαλλ, τηε σοφτµαξ προβαβιλιτψ αππροαχηεσ 1 ορ 0 µορε σλοωλψ, ανδ τηε βεεaσ αχτιονσ αρε µορε ϖαριαβλε ανδ ρανδοµ. Τηυσ, β χοντρολσ τηε βαλανχε βετωεεν εξπλορατιον (σµαλλ β) ανδ εξπλοιτατιον (λαργε β). Τηε χηοιχε οφ ωηετηερ το εξπλορε το δετερµινε ιφ τηε χυρρεντ πολιχψ χαν βε ιµπροϖεδ, ορ το εξπλοιτ τηε αϖαιλαβλε ρεσουρχεσ ον τηε βασισ οφ τηε χυρρεντ πολιχψ, ισ κνοων ασ τηε εξπλορατιον− εξπλοιτατιον διλεµµα. Εξπλορατιον ισ χλεαρλψ χριτιχαλ, βεχαυσε τηε βεε µυστ σαµπλε φροµ τηε τωο χολορσ οφ ⇓οωερσ το δετερµινε ωηιχη ισ βεττερ, ανδ κεεπ σαµπλινγ το µακε συρε τηατ τηε ρεωαρδ χονδιτιονσ ηαϖε νοτ χηανγεδ. Βυτ εξπλορατιον ισ χοστλψ, βεχαυσε τηε βεε ηασ το σαµπλε ⇓οωερσ ιτ βελιεϖεσ το βε λεσσ βενε⇒χιαλ, το χηεχκ ιφ τηισ ισ ρεαλλψ τηε χασε. Σοµε αλγοριτηµσ αδϕυστ β οϖερ τριαλσ, βυτ ωε δο νοτ χονσιδερ τηισ ποσσιβιλιτψ. Τηερε αρε ονλψ τωο ποσσιβλε αχτιονσ ιν τηε εξαµπλε ωε στυδψ, βυτ τηε εξτεν− σιον το µυλτιπλε αχτιονσ, α = 1, 2, . . . , Να , ισ στραιγητφορωαρδ. Ιν τηισ χασε, α ϖεχτορ µ οφ παραµετερσ χοντρολσ τηε δεχισιον προχεσσ, ανδ τηε προβαβιλιτψ Π[α] οφ χηοοσινγ αχτιον α ισ εξπ(βµα ) Π[α] = / Ν . α α′ =1 εξπ (βµα′ )

τωο−αρµεδ βανδιτ

(9.12)

αχτιον ϖαλυεσ µ

εξπλορατιον− εξπλοιτατιον διλεµµα

αχτιον ϖαλυε ϖεχτορ µ

342

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

Ωε χονσιδερ τωο σιµπλε µετηοδσ οφ σολϖινγ τηε βεε φοραγινγ τασκ. Ιν τηε ⇒ρστ µετηοδ, χαλλεδ τηε ινδιρεχτ αχτορ, τηε βεε λεαρνσ το εστιµατε τηε εξ− πεχτεδ νεχταρ ϖολυµεσ προϖιδεδ βψ εαχη ⇓οωερ βψ υσινγ α δελτα ρυλε. Ιτ τηεν βασεσ ιτσ αχτιον χηοιχε ον τηεσε εστιµατεσ. Ιν τηε σεχονδ µετηοδ, χαλλεδ τηε διρεχτ αχτορ, τηε χηοιχε οφ αχτιονσ ισ βασεδ διρεχτλψ ον µαξιµιζινγ τηε εξπεχτεδ αϖεραγε ρεωαρδ.

Τηε Ινδιρεχτ Αχτορ

ινδιρεχτ αχτορ

Ονε χουρσε φορ τηε βεε το φολλοω ισ το λεαρν τηε αϖεραγε νεχταρ ϖολυµεσ προϖιδεδ βψ εαχη τψπε οφ ⇓οωερ ανδ βασε ιτσ αχτιον χηοιχε ον τηεσε. Τηισ ισ χαλλεδ αν ινδιρεχτ αχτορ σχηεµε, βεχαυσε τηε πολιχψ ισ µεδιατεδ ινδιρεχτλψ βψ τηε εξπεχτεδ ϖολυµεσ. Ηερε, τηισ µεανσ σεττινγ τηε αχτιον ϖαλυεσ το µβ = ⟨ρβ ⟩ ανδ

µψ = ⟨ρψ ⟩ .

(9.13)

Ιν ουρ δισχυσσιον οφ χλασσιχαλ χονδιτιονινγ, ωε σαω τηατ τηε Ρεσχορλα− Ωαγνερ ορ δελτα ρυλε δεϖελοπσ ωειγητσ τηατ αππροξιµατε τηε αϖεραγε ϖαλυε οφ α ρεωαρδ, ϕυστ ασ ρεθυιρεδ φορ εθυατιον 9.13. Τηυσ, ιφ τηε βεε χηοοσεσ α βλυε ⇓οωερ ον α τριαλ ανδ ρεχειϖεσ νεχταρ ϖολυµε ρβ , ιτ σηουλδ υπδατε µβ αχχορδινγ το τηε πρεδιχτιον ερρορ βψ µβ → µβ + ϵδ

ωιτη

δ = ρβ − µβ ,

(9.14)

ανδ λεαϖε µψ υνχηανγεδ. Ιφ ιτ λανδσ ον α ψελλοω ⇓οωερ, µψ ισ χηανγεδ το µψ + ϵδ ωιτη δ = ρψ − µψ , ανδ µβ ισ υνχηανγεδ. Ιφ τηε προβαβιλιτψ δενσιτιεσ οφ ρεωαρδ π[ρβ ] ανδ π[ρψ ] χηανγε σλοωλψ ρελατιϖε το τηε λεαρνινγ ρατε, µβ ανδ µψ ωιλλ τραχκ ⟨ρβ ⟩ ανδ ⟨ρψ ⟩, ρεσπεχτιϖελψ. Φιγυρε 9.4 σηοωσ τηε περφορµανχε οφ τηε ινδιρεχτ αχτορ ον τηε τωο−⇓οωερ φοραγινγ τασκ. Φιγυρε 9.4Α σηοωσ τηε χουρσε οφ ωειγητ χηανγε δυε το τηε δελτα ρυλε ιν ονε εξαµπλε ρυν. Φιγυρεσ 9.4Β−∆ ινδιχατε τηε θυαλιτψ οφ τηε αχτιον χηοιχε βψ σηοωινγ χυµυλατιϖε συµσ οφ τηε νυµβερ οφ ϖισιτσ το βλυε ανδ ψελλοω ⇓οωερσ ιν τηρεε διφφερεντ ρυνσ. Φορ ιδεαλ περφορµανχε ιν τηισ τασκ, τηε δασηεδ λινε ωουλδ ηαϖε σλοπε 1 υντιλ τριαλ 100 ανδ 0 τηερεαφτερ, ανδ τηε σολιδ λινε ωουλδ σηοω τηε ρεϖερσε βεηαϖιορ, χλοσε το ωηατ ισ σεεν ιν ⇒γυρε 9.4Χ. Τηισ ρε⇓εχτσ τηε χονσιστεντ χηοιχε οφ τηε οπτιµαλ ⇓οωερ ιν βοτη ηαλϖεσ οφ τηε τριαλ. Α ϖαλυε οφ β = 1 (⇒γυρε 9.4Β) αλλοωσ φορ χοντινυ− ουσ εξπλορατιον, βυτ ατ τηε χοστ οφ σλοω λεαρνινγ. Ωηεν β = 50 (⇒γυρε 9.4Χ & ∆), τηε τενδενχψ το εξπλοιτ σοµετιµεσ λεαδσ το γοοδ περφορµανχε (⇒γ− υρε 9.4Χ), βυτ οτηερ τιµεσ, τηε ασσοχιατεδ ρελυχτανχε το εξπλορε χαυσεσ τηε πολιχψ το περφορµ ποορλψ (⇒γυρε 9.4∆). Φιγυρε 9.5Α σηοωσ αχτιον χηοιχεσ οφ ρεαλ βυµβλεβεεσ ιν α φοραγινγ εξπερ− ιµεντ. Τηισ εξπεριµεντ ωασ δεσιγνεδ το τεστ ρισκ αϖερσιον ιν τηε βεεσ, σο τηε βλυε ανδ ψελλοω ⇓οωερσ διφφερεδ ιν τηε ρελιαβιλιτψ ρατηερ τηαν τηε θυαν− τιτψ οφ τηειρ νεχταρ δελιϖερψ. Φορ τηε ⇒ρστ 15 τριαλσ (εαχη ινϖολϖινγ 40 ϖισιτσ το ⇓οωερσ), βλυε ⇓οωερσ αλωαψσ προϖιδεδ 2 µλ οφ νεχταρ, ωηερεασ 31 οφ τηε ψελλοω ⇓οωερσ προϖιδεδ 6 µλ, ανδ 32 προϖιδεδ νοτηινγ (νοτε τηατ τηε µεαν

9.3

Στατιχ Αχτιον Χηοιχε

343

A

B 120

3 2

sum visits

µψ

µ 1 0

80

0

40

100 visits to flowers

0 0

200

D

0 0

100 visits to flowers

200

sum visits

120 100

yellow

40 20

blue

20

120 100 80 60

yellow

60

µβ

C sum visits

100

blue 100 visits to flowers

80 60 40 20

200

0 0

yellow

blue 100 visits to flowers

200

Φιγυρε 9.4 Τηε ινδιρεχτ αχτορ. Ρεωαρδσ ωερε ⟨ρβ ⟩ = 1, ⟨ρψ ⟩ = 2 φορ τηε ⇒ρστ 100 ⇓οωερ ϖισιτσ, ανδ ⟨ρβ ⟩ = 2, ⟨ρψ ⟩ = 1 φορ τηε σεχονδ 100 ⇓οωερ ϖισιτσ. Νεχταρ ωασ δελιϖερεδ στοχηαστιχαλλψ ον ηαλφ τηε ⇓οωερσ οφ εαχη τψπε. (Α) ςαλυεσ οφ µβ (σολιδ) ανδ µψ (δασηεδ) ασ α φυνχτιον οφ ϖισιτσ φορ β = 1. Βεχαυσε α ⇒ξεδ ϖαλυε οφ ϵ = 0.1 ωασ υσεδ, τηε ωειγητσ δο νοτ χονϖεργε περφεχτλψ το τηε χορρεσπονδινγ αϖεραγε ρεωαρδ, βυτ τηεψ ⇓υχτυατε αρουνδ τηεσε ϖαλυεσ. (Β−∆) Χυµυλατιϖε ϖισιτσ το βλυε (σολιδ) ανδ ψελλοω (δασηεδ) ⇓οωερσ. (Β) Ωηεν β = 1, λεαρνινγ ισ σλοω, βυτ υλτιµατελψ τηε χηανγε το τηε οπτιµαλ ⇓οωερ χολορ ισ µαδε ρελιαβλψ. (Χ, ∆) Ωηεν β = 50, σοµετιµεσ τηε βεε περφορµσ ωελλ (Χ), ανδ οτηερ τιµεσ ιτ περφορµσ ποορλψ (∆).

ρεωαρδ ισ τηε σαµε φορ τηε τωο ⇓οωερ τψπεσ). Βετωεεν τριαλσ 15 ανδ 16, τηε δελιϖερψ χηαραχτεριστιχσ οφ τηε ⇓οωερσ ωερε σωαππεδ. Φιγυρε 9.5Α σηοωσ τηε αϖεραγε περφορµανχε οφ ⇒ϖε βεεσ ον τηισ τασκ ιν τερµσ οφ τηειρ περχεντ− αγε ϖισιτσ το τηε βλυε ⇓οωερσ αχροσσ τριαλσ. Τηεψ εξηιβιτ α στρονγ πρεφερενχε φορ τηε χονσταντ ⇓οωερ τψπε ανδ σωιτχη τηισ πρεφερενχε ωιτηιν ονλψ α φεω ϖισιτσ το τηε ⇓οωερσ ωηεν τηε χοντινγενχιεσ χηανγε. Το αππλψ τηε φοραγινγ µοδελ ωε ηαϖε βεεν δισχυσσινγ το τηε εξπεριµεντ σηοων ιν ⇒γυρε 9.5Α, ωε νεεδ το µοδελ τηε ρισκ αϖοιδανχε εξηιβιτεδ βψ τηε βεεσ, τηατ ισ, τηειρ ρελυχτανχε το χηοοσε τηε υνρελιαβλε ⇓οωερ. Ονε ωαψ το δο τηισ ισ το ασσυµε τηατ τηε βεεσ βασε τηειρ πολιχψ ον τηε συβϕεχτιϖε υτιλιτψ φυνχτιον οφ τηε νεχταρ ϖολυµε σηοων ιν ⇒γυρε 9.5Β, ρατηερ τηαν ον τηε νεχταρ ϖολυµε ιτσελφ. Βεχαυσε τηε φυνχτιον ισ χονχαϖε, τηε µεαν υτιλιτψ οφ τηε υνρελιαβλε ⇓οωερσ ισ λεσσ τηαν τηατ οφ τηε ρελιαβλε ⇓οωερσ. Φιγυρε 9.5Χ σηοωσ τηατ τηε χηοιχεσ οφ τηε µοδελ βεε µατχη τηοσε οφ τηε ρεαλ βεεσ θυιτε ωελλ. Τηε µοδελ βεε ισ λεσσ ϖαριαβλε τηαν τηε αχτυαλ βεεσ (εϖεν µορε τηαν ιτ αππεαρσ, βεχαυσε τηε χυρϖε ιν 9.5Α ισ αϖεραγεδ οϖερ ⇒ϖε βεεσ), περηαπσ βεχαυσε τηε µοδελ βεεσ αρε νοτ σαµπλινγ φροµ α τωο−διµενσιοναλ αρραψ οφ ⇓οωερσ.

συβϕεχτιϖε υτιλιτψ

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

A

B

50

0 0

10 20 trial

30

C 1 0.5 0 0 2 5 10 nectar volume

visits to blue (%)

100

subjective utility

visits to blue (%)

344

100

50

0 0

10 20 trial

30

Φιγυρε 9.5 Φοραγινγ ιν βυµβλεβεεσ. (Α) Τηε µεαν πρεφερενχε οφ ⇒ϖε ρεαλ βυµ− βλεβεεσ φορ βλυε ⇓οωερσ οϖερ 30 τριαλσ ινϖολϖινγ 40 ⇓οωερ ϖισιτσ. Τηερε ισ α ραπιδ σωιτχη οφ ⇓οωερ πρεφερενχε φολλοωινγ τηε ιντερχηανγε οφ χηαραχτεριστιχσ αφτερ τριαλ 15. (Β) Χονχαϖε συβϕεχτιϖε υτιλιτψ φυνχτιον µαππινγ νεχταρ ϖολυµε (ιν µλ) το τηε συβϕεχτιϖε υτιλιτψ. Τηε χιρχλε σηοωσ τηε αϖεραγε υτιλιτψ οφ τηε ϖαριαβλε ⇓οωερσ, ανδ τηε σταρ σηοωσ τηε υτιλιτψ οφ τηε χονσταντ ⇓οωερσ. (Χ) Τηε πρεφερενχε οφ α σινγλε µοδελ βεε ον τηε σαµε τασκ ασ τηε βυµβλεβεεσ. Ηερε, ϵ = 3/10 ανδ β = 23/8. (∆ατα ιν Α φροµ Ρεαλ, 1991; Β ανδ Χ αδαπτεδ φροµ Μονταγυε ετ αλ., 1995.)

Τηε ∆ιρεχτ Αχτορ διρεχτ αχτορ

Αν αλτερνατιϖε το βασινγ αχτιον χηοιχε ον αϖεραγε ρεωαρδσ ισ το χηοοσε αχτιον ϖαλυεσ διρεχτλψ το µαξιµιζε τηε αϖεραγε εξπεχτεδ ρεωαρδ. Τηε εξ− πεχτεδ ρεωαρδ περ τριαλ ισ γιϖεν ιν τερµσ οφ τηε αχτιον προβαβιλιτιεσ ανδ αϖεραγε ρεωαρδσ περ ⇓οωερ βψ

⟨ρ⟩ = Π[β]⟨ρβ ⟩ + Π[ψ]⟨ρψ ⟩ .

(9.15)

Τηισ χαν βε µαξιµιζεδ βψ στοχηαστιχ γραδιεντ ασχεντ. Το σεε ηοω τηισ ισ δονε, ωε τακε τηε δεριϖατιϖε οφ ⟨ρ⟩ ωιτη ρεσπεχτ το µβ , ) * ∂⟨ρ⟩ = β Π[β]Π[ψ]⟨ρβ ⟩ − Π[ψ]Π[β]⟨ρψ ⟩ . ∂ µβ

(9.16)

Ιν δεριϖινγ τηισ ρεσυλτ, ωε ηαϖε υσεδ τηε φαχτ τηατ, φορ τηε σοφτµαξ διστρι− βυτιον οφ εθυατιον 9.11,

∂ Π[β] = β Π[β]Π[ψ] ανδ ∂ µβ

∂ Π[ψ] = −β Π[ψ]Π[β] . ∂ µβ

(9.17)

Υσινγ τηε ρελατιον Π[ψ] = 1 − Π[β], ωε χαν ρεωριτε εθυατιον 9.16 ιν α φορµ χονϖενιεντ φορ λατερ υσε,

∂⟨ρ⟩ = β Π[β](1 − Π[β] )⟨ρβ ⟩ − β Π[ψ]Π[β]⟨ρψ ⟩ . ∂ µβ

(9.18)

Φυρτηερµορε, ωε χαν ινχλυδε αν αρβιτραρψ παραµετερ ρ ιν βοτη τηεσε τερµσ, βεχαυσε ιτ χανχελσ ουτ. Τηυσ, * ) ∂⟨ρ⟩ = β Π[β](1 − Π[β] ) (⟨ρβ ⟩ − ρ ) − β Π[ψ]Π[β] ⟨ρψ ⟩ − ρ . ∂ µβ

(9.19)

9.3

Στατιχ Αχτιον Χηοιχε

345

Α σιµιλαρ εξπρεσσιον αππλιεσ το ∂⟨ρ⟩/∂µψ , εξχεπτ τηατ τηε βλυε ανδ ψελλοω λαβελσ αρε ιντερχηανγεδ. Ιν στοχηαστιχ γραδιεντ ασχεντ, τηε χηανγεσ ιν τηε παραµετερ µβ αρε δε− τερµινεδ συχη τηατ, αϖεραγεδ οϖερ τριαλσ, τηεψ ενδ υπ προπορτιοναλ το ∂⟨ρ⟩/∂µβ . Ωε χαν δεριϖε α στοχηαστιχ γραδιεντ ασχεντ ρυλε φορ µβ φροµ εθυα− τιον 9.19 ιν τωο στεπσ. Φιρστ, ωε ιντερπρετ τηε τωο τερµσ ον τηε ριγητ σιδε ασ χηανγεσ ασσοχιατεδ ωιτη τηε χηοιχε οφ βλυε ανδ ψελλοω ⇓οωερσ. Τηισ αχχουντσ φορ τηε φαχτορσ Π[β] ανδ Π[ψ], ρεσπεχτιϖελψ. Σεχονδ, ωε νοτε τηατ οϖερ τριαλσ ιν ωηιχη βλυε ισ σελεχτεδ, ρβ − ρ αϖεραγεσ το ⟨ρβ ⟩ − ρ, ανδ οϖερ τριαλσ ιν ωηιχη ψελλοω ισ σελεχτεδ, ρψ − ρ αϖεραγεσ το ⟨ρψ ⟩ − ρ. Τηυσ, ιφ ωε χηανγε µβ αχχορδινγ το µβ → µβ + ϵ(1 − Π[β] )(ρβ − ρ ) ιφ β ισ σελεχτεδ µβ → µβ − ϵ Π[β] (ρψ − ρ )

ιφ ψ ισ σελεχτεδ,

τηε αϖεραγε χηανγε ιν µβ ισ προπορτιοναλ το ∂⟨ρ⟩/∂µβ . Νοτε τηατ µβ ισ χηανγεδ εϖεν ωηεν τηε βεε χηοοσεσ τηε ψελλοω ⇓οωερ. Ωε χαν συµµα− ριζε τηισ λεαρνινγ ρυλε ασ µβ → µβ + ϵ(δαβ − Π[β] )(ρα − ρ ) ,

(9.20)

ωηερε α ισ τηε αχτιον σελεχτεδ (ειτηερ β ορ ψ) ανδ δαβ ισ τηε Κρονεχκερ δελτα, δαβ = 1 ιφ α = β ανδ δαβ = 0 ιφ α = ψ. Σιµιλαρλψ, τηε ρυλε φορ µψ ισ µψ → µψ + ϵ(δαψ − Π[ψ] )(ρα − ρ ) .

(9.21)

Τηε λεαρνινγ ρυλε οφ εθυατιονσ 9.20 ανδ 9.21 περφορµσ στοχηαστιχ γραδιεντ ασχεντ ον τηε αϖεραγε ρεωαρδ, ωηατεϖερ τηε ϖαλυε οφ ρ¯. ∆ιφφερεντ ϖαλυεσ οφ ρ¯ λεαδ το διφφερεντ ϖαριανχεσ οφ τηε στοχηαστιχ γραδιεντ τερµσ, ανδ τηυσ διφφερεντ σπεεδσ οφ λεαρνινγ. Α ρεασοναβλε ϖαλυε φορ ρ¯ ισ τηε µεαν ρεωαρδ υνδερ τηε σπεχι⇒εδ πολιχψ ορ σοµε εστιµατε οφ τηισ θυαντιτψ. Φιγυρε 9.6 σηοωσ τηε χονσεθυενχεσ οφ υσινγ τηε διρεχτ αχτορ ιν τηε σαµε στοχηαστιχ φοραγινγ τασκ ασ ιν ⇒γυρε 9.4. Τωο σαµπλε σεσσιονσ αρε σηοων ωιτη ωιδελψ διφφερινγ λεϖελσ οφ περφορµανχε. Χοµπαρεδ το τηε ινδιρεχτ αχτορ, ινιτιαλ λεαρνινγ ισ θυιτε σλοω, ανδ τηε βεηαϖιορ αφτερ τηε ρεωαρδ χηαρ− αχτεριστιχσ οφ τηε ⇓οωερσ αρε ιντερχηανγεδ χαν βε ποορ. Εξπλιχιτ χοντρολ οφ τηε τραδε−οφφ βετωεεν εξπλορατιον ανδ εξπλοιτατιον ισ διφ⇒χυλτ, βεχαυσε τηε αχτιον ϖαλυεσ χαν σχαλε υπ το χοµπενσατε φορ διφφερεντ ϖαλυεσ οφ β. ∆εσπιτε ιτσ χοµπαρατιϖελψ ποορ περφορµανχε ιν τηισ τασκ, τηε διρεχτ αχτορ ωιλλ βε υσεφυλ λατερ ασ α µοδελ φορ ηοω αχτιον χηοιχε χαν βε σεπαρατεδ φροµ αχτιον εϖαλυατιον. Τηε διρεχτ αχτορ λεαρνινγ ρυλε χαν βε εξτενδεδ το µυλτιπλε αχτιονσ, α = 1, 2, . . . , Να , βψ υσινγ τηε µυλτιδιµενσιοναλ φορµ οφ τηε σοφτµαξ διστριβυ− τιον (εθυατιον 9.12). Ιν τηισ χασε, ωηεν αχτιον α ισ τακεν, µα′ φορ αλλ ϖαλυεσ οφ α′ ισ υπδατεδ αχχορδινγ το ) * µα′ → µα′ + ϵ δαα′ − Π[α′ ] (ρα − ρ¯) . (9.22)

346

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

A

B 120

5

100

µ

sum visits

µψ 0

µβ -5

0

C

100 visits to flowers

40

blue

0 0

100

200

visits to flowers

D 120 sum visits

100

0

µβ 0

60

200

µψ

-5

yellow

20

5

µ

80

100 visits to flowers

200

yellow

80 60 40 20

blue

0 0

100

200

visits to flowers

Φιγυρε 9.6 Τηε διρεχτ αχτορ. Τηε στατιστιχσ οφ τηε δελιϖερψ οφ ρεωαρδ αρε τηε σαµε ασ ιν ⇒γυρε 9.4, ανδ ϵ = 0.1, ρ = 1.5, β = 1. Τηε εϖολυτιον οφ τηε ωειγητσ ανδ χυµυλατιϖε χηοιχεσ οφ ⇓οωερ τψπε (ωιτη ψελλοω δασηεδ ανδ βλυε σολιδ) αρε σηοων φορ τωο σαµπλε σεσσιονσ, ονε ωιτη γοοδ περφορµανχε (Α ανδ Β) ανδ ονε ωιτη ποορ περφορµανχε (Χ ανδ ∆).

9.4

Σεθυεντιαλ Αχτιον Χηοιχε

Ιν τηε πρεϖιουσ σεχτιον, ωε χονσιδερεδ ωαψσ τηατ ανιµαλσ µιγητ λεαρν το χηοοσε αχτιονσ ον τηε βασισ οφ ιµµεδιατε ινφορµατιον αβουτ τηε χον− σεθυενχεσ οφ τηοσε αχτιονσ. Α σιγνι⇒χαντ χοµπλιχατιον τηατ αρισεσ ωηεν ρεωαρδ ισ βασεδ ον α σεθυενχε οφ αχτιονσ ισ ιλλυστρατεδ βψ τηε µαζε τασκ σηοων ιν ⇒γυρε 9.7. Ιν τηισ εξαµπλε, α ηυνγρψ ρατ ηασ το µοϖε τηρουγη α µαζε, σταρτινγ φροµ ποιντ Α, ωιτηουτ ρετραχινγ ιτσ στεπσ. Ωηεν ιτ ρεαχηεσ ονε οφ τηε σηαδεδ βοξεσ, ιτ ρεχειϖεσ τηε ασσοχιατεδ νυµβερ οφ φοοδ πελλετσ ανδ ισ ρεµοϖεδ φροµ τηε µαζε. Τηε ρατ τηεν σταρτσ αγαιν ατ Α. Τηε τασκ ισ το οπτιµιζε τηε τοταλ ρεωαρδ, ωηιχη ιν τηισ χασε ενταιλσ µοϖινγ λεφτ ατ Α ανδ ριγητ ατ Β. Ιτ ισ ασσυµεδ τηατ τηε ανιµαλ σταρτσ κνοωινγ νοτηινγ αβουτ τηε στρυχτυρε οφ τηε µαζε ορ αβουτ τηε ρεωαρδσ. Ιφ τηε ρατ σταρτεδ φροµ ποιντ Β ορ ποιντ Χ, ιτ χουλδ λεαρν το µοϖε ριγητ ορ λεφτ (ρεσπεχτιϖελψ), υσινγ τηε µετηοδσ οφ τηε πρεϖιουσ σεχτιον, βεχαυσε ιτ εξπεριενχεσ αν ιµµεδιατε χονσεθυενχε οφ ιτσ αχτιονσ ιν τηε δελιϖερψ ορ νονδελιϖερψ οφ φοοδ. Τηε διφ⇒χυλτψ αρισεσ βεχαυσε νειτηερ αχτιον ατ τηε αχτυαλ σταρτινγ ποιντ, Α, λεαδσ διρεχτλψ το α ρεωαρδ. Φορ εξαµπλε, ιφ τηε ρατ γοεσ λεφτ ατ Α ανδ αλσο γοεσ λεφτ ατ Β, ιτ ηασ το ⇒γυρε ουτ τηατ τηε φορµερ χηοιχε ωασ γοοδ βυτ τηε λαττερ ωασ βαδ. Τηισ ισ α τψπιχαλ προβλεµ ιν τασκσ τηατ ινϖολϖε δελαψεδ ρεωαρδσ. Τηε ρεωαρδ φορ γοινγ λεφτ ατ Α ισ δελαψεδ

9.4

0

Σεθυεντιαλ Αχτιον Χηοιχε

Β

5

2Χ

347

0

Α enter

Φιγυρε 9.7 Τηε µαζε τασκ. Τηε ρατ εντερσ τηε µαζε φροµ τηε βοττοµ ανδ ηασ το µοϖε φορωαρδ. Υπον ρεαχηινγ ονε οφ τηε ενδ ποιντσ (τηε σηαδεδ βοξεσ), ιτ ρεχειϖεσ τηε νυµβερ οφ φοοδ πελλετσ ινδιχατεδ ανδ τηε τριαλ ενδσ. ∆εχισιον ποιντσ αρε Α, Β, ανδ Χ.

υντιλ αφτερ τηε ρατ αλσο γοεσ ριγητ ατ Β. Τηερε ισ αν εξτενσιϖε βοδψ οφ τηεορψ ιν ενγινεερινγ, χαλλεδ δψναµιχ προ− γραµµινγ, ασ το ηοω σψστεµσ οφ ανψ σορτ χαν χοµε το σελεχτ αππροπριατε αχτιονσ ιν οπτιµιζινγ χοντρολ προβλεµσ σιµιλαρ το (ανδ συβσταντιαλλψ µορε χοµπλιχατεδ τηαν) τηε µαζε τασκ. Αν ιµπορταντ µετηοδ ον ωηιχη ωε φο− χυσ ισ χαλλεδ πολιχψ ιτερατιον. Ουρ ρεινφορχεµεντ λεαρνινγ ϖερσιον οφ πολιχψ ιτερατιον µαινταινσ ανδ ιµπροϖεσ α στοχηαστιχ πολιχψ, ωηιχη δετερµινεσ τηε αχτιονσ ατ εαχη δεχισιον ποιντ (ι.ε., λεφτ ορ ριγητ τυρνσ ατ Α, Β, ορ Χ) τηρουγη αχτιον ϖαλυεσ ανδ τηε σοφτµαξ διστριβυτιον οφ εθυατιον 9.12. Πολιχψ ιτερα− τιον ινϖολϖεσ τωο ελεµεντσ. Ονε, χαλλεδ τηε χριτιχ, υσεσ τεµποραλ διφφερενχε λεαρνινγ το εστιµατε τηε τοταλ φυτυρε ρεωαρδ τηατ ισ εξπεχτεδ ωηεν σταρτινγ φροµ Α, Β, ορ Χ, ωηεν τηε χυρρεντ πολιχψ ισ φολλοωεδ. Τηε οτηερ ελεµεντ, χαλλεδ τηε αχτορ, µαινταινσ ανδ ιµπροϖεσ τηε πολιχψ. Αδϕυστµεντ οφ τηε αχτιον ϖαλυεσ ατ ποιντ Α ισ βασεδ ον πρεδιχτιονσ οφ τηε εξπεχτεδ φυτυρε ρε− ωαρδσ ασσοχιατεδ ωιτη ποιντσ Β ανδ Χ τηατ αρε προϖιδεδ βψ τηε χριτιχ. Ιν εφφεχτ, τηε ρατ λεαρνσ τηε αππροπριατε αχτιον ατ Α, υσινγ τηε σαµε µετηοδσ οφ στατιχ αχτιον χηοιχε τηατ αλλοω ιτ το λεαρν τηε αππροπριατε αχτιονσ ατ Β ανδ Χ. Ηοωεϖερ, ρατηερ τηαν υσινγ αν ιµµεδιατε ρεωαρδ ασ τηε ρεινφορχεµεντ σιγναλ, ιτ υσεσ τηε εξπεχτατιονσ αβουτ φυτυρε ρεωαρδ τηατ αρε προϖιδεδ βψ τηε χριτιχ.

Τηε Μαζε Τασκ Ασ ωε µεντιονεδ ωηεν δισχυσσινγ τηε διρεχτ αχτορ, α στοχηαστιχ πολιχψ ισ α ωαψ οφ ασσιγνινγ α προβαβιλιτψ διστριβυτιον οϖερ αχτιονσ (ιν τηισ χασε χηοοσ− ινγ το τυρν ειτηερ λεφτ ορ ριγητ) το εαχη λοχατιον (Α, Β, ορ Χ). Τηε λοχατιον ισ σπεχι⇒εδ βψ α ϖαριαβλε υ τηατ τακεσ τηε ϖαλυεσ Α, Β, ορ Χ, ανδ α τωο− χοµπονεντ αχτιον ϖαλυε ϖεχτορ µ(υ ) ισ ασσοχιατεδ ωιτη εαχη λοχατιον. Τηε χοµπονεντσ οφ τηε αχτιον ϖεχτορ µ(υ ) χοντρολ τηε προβαβιλιτψ οφ τακινγ α λεφτ ορ α ριγητ τυρν ατ υ τηρουγη τηε σοφτµαξ διστριβυτιον οφ εθυατιον 9.12. Τηε ιµµεδιατε ρεωαρδ προϖιδεδ ωηεν αχτιον α ισ τακεν ατ λοχατιον υ ισ ωριττεν ασ ρα (υ ). Φορ τηε µαζε οφ ⇒γυρε 9.7, τηισ τακεσ τηε ϖαλυεσ 0, 2, ορ 5, δεπενδινγ ον τηε ϖαλυεσ οφ υ ανδ α. Τηε πρεδιχτεδ φυτυρε ρεωαρδ εξπεχτεδ

δψναµιχ προγραµµινγ πολιχψ ιτερατιον

χριτιχ

αχτορ

348

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

ατ λοχατιον υ ισ γιϖεν βψ v(υ ) = w(υ ). Τηισ ισ αν εστιµατε οφ τηε τοταλ αωαρδ τηατ τηε ρατ εξπεχτσ το ρεχειϖε, ον αϖεραγε, ιφ ιτ σταρτσ ατ τηε ποιντ υ ανδ φολ− λοωσ ιτσ χυρρεντ πολιχψ τηρουγη το τηε ενδ οφ τηε µαζε. Τηε αϖεραγε ισ τακεν οϖερ τηε στοχηαστιχ χηοιχεσ οφ αχτιονσ σπεχι⇒εδ βψ τηε πολιχψ. Ιν τηισ χασε, τηε εξπεχτεδ ρεωαρδ ισ σιµπλψ εθυαλ το τηε ωειγητ. Τηε λεαρνινγ προ− χεδυρε χονσιστσ οφ τωο σεπαρατε στεπσ: πολιχψ εϖαλυατιον, ιν ωηιχη w(υ ) ισ αδϕυστεδ το ιµπροϖε τηε πρεδιχτιονσ οφ φυτυρε ρεωαρδ, ανδ πολιχψ ιµπροϖε− µεντ, ιν ωηιχη µ(υ ) ισ αδϕυστεδ το ινχρεασε τηε τοταλ ρεωαρδ.

Πολιχψ Εϖαλυατιον Ιν πολιχψ εϖαλυατιον, τηε ρατ κεεπσ ιτσ πολιχψ ⇒ξεδ (ι.ε., κεεπσ αλλ τηε µ(υ ) ⇒ξεδ) ανδ υσεσ τεµποραλ διφφερενχε λεαρνινγ το δετερµινε τηε εξπεχτεδ τοταλ φυτυρε ρεωαρδ σταρτινγ φροµ εαχη λοχατιον. Συπποσε τηατ, ινιτιαλλψ, τηε ρατ ηασ νο πρεφερενχε φορ τυρνινγ λεφτ ορ ριγητ, τηατ ισ, µ(υ ) = 0 φορ αλλ υ, σο τηε προβαβιλιτψ οφ λεφτ ανδ ριγητ τυρνσ ισ 1/2 ατ αλλ λοχατιονσ. Βψ ινσπεχτιον οφ τηε ποσσιβλε πλαχεσ τηε ρατ χαν γο, ωε ⇒νδ τηατ τηε ϖαλυεσ οφ τηε στατεσ αρε 1 1 v(Β ) = (0 + 5 ) = 2.5 , v(Χ ) = (0 + 2 ) = 1 , 2 2 1 v(Α ) = (v(Β ) + v(Χ )) = 1.75 . 2

χριτιχ λεαρνινγ ρυλε

ανδ (9.23)

Τηεσε ϖαλυεσ αρε τηε αϖεραγε τοταλ φυτυρε ρεωαρδσ τηατ ωιλλ βε ρεχειϖεδ δυρινγ εξπλορατιον οφ τηε µαζε ωηεν αχτιονσ αρε χηοσεν υσινγ τηε ρανδοµ πολιχψ. Τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε οφ εθυατιον 9.10 χαν βε υσεδ το λεαρν τηεµ. Ιφ τηε ρατ χηοοσεσ αχτιον α ατ λοχατιον υ ανδ ενδσ υπ ατ λοχατιον υ′ , τηε τεµποραλ διφφερενχε ρυλε µοδι⇒εσ τηε ωειγητ w(υ ) βψ

w(υ ) → w(υ ) + ϵδ ωιτη δ = ρα (υ ) + v(υ′ ) − v(υ ) .

(9.24)

Φιγυρε 9.8 σηοωσ τηε ρεσυλτ οφ αππλψινγ τηε τεµποραλ διφφερενχε ρυλε το τηε µαζε τασκ οφ ⇒γυρε 9.7. Αφτερ α φαιρλψ σηορτ αδϕυστµεντ περιοδ, τηε ωειγητσ w(υ ) (ανδ τηυσ τηε πρεδιχτιονσ v(υ )) ⇓υχτυατε αρουνδ τηε χορρεχτ ϖαλυεσ φορ τηισ πολιχψ, ασ γιϖεν βψ εθυατιον 9.23. Τηε σιζε οφ τηε ⇓υχτυατιονσ χουλδ βε ρεδυχεδ βψ µακινγ ϵ σµαλλερ, βυτ ατ τηε εξπενσε οφ ινχρεασινγ τηε λεαρν− ινγ τιµε. Ιν ουρ εαρλιερ δεσχριπτιον οφ τεµποραλ διφφερενχε λεαρνινγ, ωε ινχλυδεδ τηε ποσσιβιλιτψ τηατ τηε ρεωαρδ δελιϖερψ µιγητ βε στοχηαστιχ. Ηερε, τηατ στοχηαστιχιτψ ισ τηε ρεσυλτ οφ α πολιχψ τηατ µακεσ υσε οφ τηε ινφορµατιον προϖιδεδ βψ τηε χριτιχ. Ιν τηε αππενδιξ, ωε δισχυσσ α Μοντε Χαρλο ιντερ− πρετατιον οφ τηε τερµσ ιν τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε τηατ ϕυστι⇒εσ ιτσ υσε.

9.4

Σεθυεντιαλ Αχτιον Χηοιχε

5

349

ω (Α)

ω (Β)

ω (Χ)

ω 00

15

30

trial

0

15

30

trial

0

15

30

trial

Φιγυρε 9.8 Πολιχψ εϖαλυατιον. Τηε τηιν λινεσ σηοω τηε χουρσε οφ λεαρνινγ οφ τηε ωειγητσ w(Α ), w(Β ), ανδ w(Χ ) οϖερ τριαλσ τηρουγη τηε µαζε ιν ⇒γυρε 9.7, υσινγ α ρανδοµ υνβιασεδ πολιχψ (µ(υ ) = 0). Ηερε ϵ = 0.5, σο λεαρνινγ ισ φαστ βυτ νοισψ. Τηε δασηεδ λινεσ σηοω τηε χορρεχτ ωειγητ ϖαλυεσ φροµ εθυατιον 9.23. Τηε τηιχκ λινεσ αρε ρυννινγ αϖεραγεσ οφ τηε ωειγητ ϖαλυεσ.

Πολιχψ Ιµπροϖεµεντ Ιν πολιχψ ιµπροϖεµεντ, τηε εξπεχτεδ τοταλ φυτυρε ρεωαρδσ ατ τηε διφφερεντ λοχατιονσ αρε υσεδ ασ συρρογατε ιµµεδιατε ρεωαρδσ. Συπποσε τηε ρατ ισ αβουτ το τακε αχτιον α ατ λοχατιον υ ανδ µοϖε το λοχατιον υ′ . Τηε εξπεχτεδ ωορτη το τηε ρατ οφ τηατ αχτιον ισ τηε συµ οφ τηε αχτυαλ ρεωαρδ ρεχειϖεδ ανδ τηε ρεωαρδσ τηατ αρε εξπεχτεδ το φολλοω, ωηιχη ισ ρα (υ ) + v(υ′ ). Φορ σιµπλιχ− ιτψ, ωε ασσυµε τηατ τηε ρατ ρεχειϖεσ τηε ρεωαρδ φορ λοχατιον υ ατ τηε σαµε τιµε ιτ δεχιδεσ το µοϖε ον το λοχατιον υ′ . Τηε διρεχτ αχτορ σχηεµε οφ εθυα− τιον 9.22 υσεσ τηε διφφερενχε ρα − ρ¯ βετωεεν α σαµπλε οφ τηε ωορτη οφ τηε αχτιον (ρα ) ανδ α ρεινφορχεµεντ χοµπαρισον τερµ (ρ¯), ωηιχη µιγητ βε τηε αϖεραγε ϖαλυε οϖερ αλλ τηε αχτιονσ τηατ χαν βε τακεν. Πολιχψ ιµπροϖεµεντ υσεσ ρα (υ ) + v(υ′ ) ασ τηε εθυιϖαλεντ οφ τηε σαµπλεδ ωορτη οφ τηε αχτιον, ανδ v(υ ) ασ τηε αϖεραγε ϖαλυε αχροσσ αλλ αχτιονσ τηατ χαν βε τακεν ατ υ. Τηε διφ− φερενχε βετωεεν τηεσε ισ δ = ρα (υ ) + v(υ′ ) − v(υ ), ωηιχη ισ εξαχτλψ τηε σαµε τερµ ασ ιν πολιχψ εϖαλυατιον (εθυατιον 9.24). Τηε πολιχψ ιµπροϖεµεντ ορ αχτορ λεαρνινγ ρυλε ισ τηεν ) * µα′ (υ ) → µα′ (υ ) + ϵ δαα′ − Π[α′ ; υ] δ (9.25) φορ αλλ α′ , ωηερε Π[α′ ; υ] ισ τηε προβαβιλιτψ οφ τακινγ αχτιον α′ ατ λοχατιον υ γιϖεν βψ τηε σοφτµαξ διστριβυτιον οφ εθυατιον 9.12 ωιτη αχτιον ϖαλυε µα′ (υ ).

Το λοοκ ατ τηισ µορε χονχρετελψ, χονσιδερ τηε τεµποραλ διφφερενχε ερρορ σταρτινγ φροµ λοχατιον υ = Α, υσινγ τηε τρυε ϖαλυεσ οφ τηε λοχατιονσ γιϖεν βψ εθυατιον 9.23 (ι.ε., ασσυµινγ τηατ πολιχψ εϖαλυατιον ισ περφεχτ). ∆επενδινγ ον τηε αχτιον, δ τακεσ τηε τωο ϖαλυεσ

δ = 0 + v(Β ) − v(Α ) = 0.75 δ = 0 + v(Χ ) − v(Α ) = − 0.75

φορ α λεφτ τυρν φορ α ριγητ τυρν.

Τηε λεαρνινγ ρυλε οφ εθυατιον 9.25 ινχρεασεσ τηε προβαβιλιτψ τηατ τηε αχτιον ωιτη δ > 0 ισ τακεν ανδ δεχρεασεσ τηε προβαβιλιτψ τηατ τηε αχτιον ωιτη δ < 0

αχτορ λεαρνινγ ρυλε

350

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

Π[Λ; υ]

1

υ=Α

0.5

υ=Β

υ=Χ

0 0

50 trial

100

0

50 trial

100

0

50 trial

100

Φιγυρε 9.9 Αχτορ−χριτιχ λεαρνινγ. Τηε τηρεε χυρϖεσ σηοω Π[Λ; υ] φορ τηε τηρεε σταρτινγ λοχατιονσ υ = Α, Β, ανδ Χ ιν τηε µαζε οφ ⇒γυρε 9.7. Τηεσε ραπιδλψ χονϖεργε το τηειρ οπτιµαλ ϖαλυεσ, ρεπρεσεντινγ λεφτ τυρνσ ατ Α ανδ Χ ανδ α ριγητ τυρν ατ Β. Ηερε, ϵ = 0.5 ανδ β = 1.

ισ τακεν. Τηισ ινχρεασεσ τηε χηανχε τηατ τηε ρατ µακεσ τηε χορρεχτ τυρν (λεφτ) ατ Α ιν τηε µαζε οφ ⇒γυρε 9.7.

Μαρκοϖ δεχισιον προβλεµσ

αχτορ−χριτιχ αλγοριτηµ

Ασ τηε πολιχψ χηανγεσ, τηε ϖαλυεσ, ανδ τηερεφορε τηε τεµποραλ διφφερενχε τερµσ, χηανγε ασ ωελλ. Ηοωεϖερ, βεχαυσε τηε ϖαλυεσ οφ αλλ λοχατιονσ χαν ιν− χρεασε ονλψ ιφ ωε χηοοσε βεττερ αχτιονσ ατ τηοσε λοχατιονσ, τηισ φορµ οφ πολ− ιχψ ιµπροϖεµεντ ινεϖιταβλψ λεαδσ το ηιγηερ ϖαλυεσ ανδ βεττερ αχτιονσ. Τηισ µονοτονιχ ιµπροϖεµεντ (ορ ατ λεαστ νοτ ωορσενινγ) οφ τηε εξπεχτεδ φυτυρε ρεωαρδσ ατ αλλ λοχατιονσ ισ προϖεδ φορµαλλψ ιν τηε δψναµιχ προγραµµινγ τηεορψ οφ πολιχψ ιτερατιον φορ α χλασσ οφ προβλεµσ χαλλεδ Μαρκοϖ δεχισιον προβλεµσ (ωηιχη ινχλυδεσ τηε µαζε τασκ), ασ δισχυσσεδ ιν τηε αππενδιξ. Στριχτλψ σπεακινγ, πολιχψ εϖαλυατιον σηουλδ βε χοµπλετε βεφορε α πολιχψ ισ ιµπροϖεδ. Ιτ ισ αλσο µοστ στραιγητφορωαρδ το ιµπροϖε τηε πολιχψ χοµ− πλετελψ βεφορε ιτ ισ ρε−εϖαλυατεδ. Α χονϖενιεντ (τηουγη νοτ προϖαβλψ χορ− ρεχτ) αλτερνατιϖε ισ το ιντερλεαϖε παρτιαλ πολιχψ εϖαλυατιον ανδ πολιχψ ιµ− προϖεµεντ στεπσ. Τηισ ισ χαλλεδ τηε αχτορ−χριτιχ αλγοριτηµ. Φιγυρε 9.9 σηοωσ τηε ρεσυλτ οφ αππλψινγ τηισ αλγοριτηµ το τηε µαζε τασκ. Τηε πλοτσ σηοω τηε δεϖελοπµεντ οϖερ τριαλσ οφ τηε προβαβιλιτψ οφ χηοοσινγ το γο λεφτ, Π[Λ; υ], φορ αλλ τηρεε λοχατιονσ. Τηε µοδελ ρατ θυιχκλψ λεαρνσ το γο λεφτ ατ λοχατιον Α ανδ ριγητ ατ Β. Λεαρνινγ ατ λοχατιον Χ ισ σλοω βεχαυσε τηε ρατ θυιχκλψ λεαρνσ τηατ ιτ ισ νοτ ωορτη γοινγ το Χ ατ αλλ, σο ιτ ραρελψ γετσ το τρψ τηε αχτιονσ τηερε. Τηυσ τηε αλγοριτηµ µακεσ αν ιµπλιχιτ χηοιχε οφ εξπλορατιον στρατεγψ.

Γενεραλιζατιονσ οφ Αχτορ−Χριτιχ Λεαρνινγ

στατε ϖεχτορ υ

Τηε φυλλ αχτορ−χριτιχ µοδελ φορ σολϖινγ σεθυεντιαλ αχτιον τασκσ ινχλυδεσ τηρεε γενεραλιζατιονσ οφ τηε µαζε λεαρνερ τηατ ωε ηαϖε πρεσεντεδ. Τηε ⇒ρστ ινϖολϖεσ αδδιτιοναλ ινφορµατιον τηατ µαψ βε αϖαιλαβλε ατ τηε διφφερεντ λοχατιονσ. Ιφ, φορ εξαµπλε, σενσορψ ινφορµατιον ισ αϖαιλαβλε ατ α λοχατιον υ, ωε ασσοχιατε α στατε ϖεχτορ υ(υ ) ωιτη τηατ λοχατιον. Τηε ϖεχτορ υ(υ ) παραµετεριζεσ ωηατεϖερ ινφορµατιον ισ αϖαιλαβλε ατ λοχατιον υ τηατ µιγητ ηελπ τηε ανιµαλ δεχιδε ωηιχη αχτιον το τακε. Φορ εξαµπλε, τηε στατε ϖεχτορ µιγητ ρεπρεσεντ α φαιντ σχεντ οφ φοοδ τηατ τηε ρατ µιγητ δετεχτ ιν τηε µαζε τασκ. Ωηεν α στατε ϖεχτορ ισ αϖαιλαβλε, v(υ ), ωηιχη ισ τηε ϖαλυε ατ λοχατιον

9.4

Σεθυεντιαλ Αχτιον Χηοιχε

351

υ, χαν δεπενδ ον ιτ. Τηε σιµπλεστ δεπενδενχε ισ προϖιδεδ βψ τηε λινεαρ φορµ v(υ ) = ω · υ(υ ), σιµιλαρ το τηε ινπυτ−ουτπυτ ρελατιονσηιπ υσεδ ιν λιν− εαρ φεεδφορωαρδ νετωορκ µοδελσ. Τηε λεαρνινγ ρυλε φορ τηε χριτιχ (εθυα− τιον 9.24) ισ τηεν γενεραλιζεδ το ινχλυδε τηε ινφορµατιον προϖιδεδ βψ τηε στατε ϖεχτορ, ω → ω + ϵδυ(υ ) ,

(9.26)

ωιτη δ γιϖεν ασ ιν εθυατιον 9.24. Τηε µαζε τασκ ωε δισχυσσεδ χουλδ βε φορµυλατεδ ιν τηισ ωαψ βψ υσινγ ωηατ ισ χαλλεδ α υναρψ ρεπρεσεντατιον, υ(Α ) = (1, 0, 0 ), υ(Β ) = (0, 1, 0 ), ανδ υ(Χ ) = (0, 0, 1 ). Ωε µυστ αλσο µοδιφψ τηε αχτορ λεαρνινγ ρυλε το µακε υσε οφ τηε ινφορµατιον προϖιδεδ βψ τηε στατε ϖεχτορ. Τηισ ισ δονε βψ γενεραλιζινγ τηε αχτιον ϖαλυε ϖεχτορ µ το α µατριξ Μ, χαλλεδ αν αχτιον µατριξ. Μ ηασ ασ µανψ χολυµνσ ασ τηερε αρε χοµπονεντσ οφ υ ανδ ασ µανψ ροωσ ασ τηερε αρε αχτιονσ. Γιϖεν ινπυτ υ, αχτιον α ισ χηοσεν ατ λοχατιον υ ωιτη τηε σοφτµαξ προβαβιλιτψ οφ εθυατιον 9.12, βυτ υσινγ χοµπονεντ α οφ τηε αχτιον ϖαλυε ϖεχτορ, ! µ = Μ · υ(υ ) ορ µα = Μαβ υβ (υ ) . (9.27)

υναρψ ρεπρεσεντατιον αχτιον µατριξ Μ

β

Ιν τηισ χασε, τηε λεαρνινγ ρυλε 9.25 µυστ βε γενεραλιζεδ το σπεχιφψ ηοω το χηανγε ελεµεντσ οφ τηε αχτιον µατριξ ωηεν αχτιον α ισ χηοσεν ατ λοχατιον υ ωιτη στατε ϖεχτορ υ(υ ), λεαδινγ το λοχατιον υ′ . Α ρυλε σιµιλαρ το εθυα− τιον 9.25 ισ αππροπριατε, εξχεπτ τηατ τηε χηανγε ιν Μ δεπενδσ ον τηε στατε ϖεχτορ υ, ) * Μα′ β → Μα′ β + ϵ δαα′ − Π[α′ ; υ] δυβ (υ ) (9.28)

τηρεε−τερµ χοϖαριανχε ρυλε

φορ αλλ α′ , ωιτη δ γιϖεν αγαιν ασ ιν εθυατιον 9.24. Τηισ ισ χαλλεδ α τηρεε−τερµ χοϖαριανχε λεαρνινγ ρυλε. Ωε χαν σπεχυλατε αβουτ τηε βιοπηψσιχαλ σιγνι⇒χανχε οφ τηε τηρεε−τερµ χο− ϖαριανχε ρυλε βψ ιντερπρετινγ δαα′ ασ τηε ουτπυτ οφ χελλ α′ ωηεν αχτιον α ισ χηοσεν (ωηιχη ηασ µεαν ϖαλυε Π[α′ ; υ]) ανδ ιντερπρετινγ υ ασ τηε ινπυτ το τηατ χελλ. Χοµπαρεδ ωιτη τηε Ηεββιαν χοϖαριανχε ρυλεσ στυδιεδ ιν χηαπ− τερ 8, λεαρνινγ ισ γατεδ βψ α τηιρδ τερµ, τηε ρεινφορχεµεντ σιγναλ δ. Ιτ ηασ βεεν συγγεστεδ τηατ τηε δορσαλ στριατυµ, ωηιχη ισ παρτ οφ τηε βασαλ γανγλια, ισ ινϖολϖεδ ιν τηε σελεχτιον ανδ σεθυενχινγ οφ αχτιονσ. Τερµιναλσ οφ αξονσ προϕεχτινγ φροµ τηε συβσταντια νιγρα παρσ χοµπαχτα ρελεασε δοπαµινε οντο σψναπσεσ ωιτηιν τηε στριατυµ, συγγεστινγ τηατ τηεψ µιγητ πλαψ συχη α γατ− ινγ ρολε. Τηε αχτιϖιτψ οφ τηεσε δοπαµινε νευρονσ ισ σιµιλαρ το τηατ οφ τηε ςΤΑ νευρονσ δισχυσσεδ πρεϖιουσλψ ασ α ποσσιβλε συβστρατε φορ δ. Τηε σεχονδ γενεραλιζατιον ισ το τηε χασε τηατ ρεωαρδσ ανδ πυνισηµεντσ ρε− χειϖεδ σοον αφτερ αν αχτιον αρε µορε ιµπορταντ τηαν ρεωαρδσ ανδ πυνιση− µεντσ ρεχειϖεδ λατερ. Ονε νατυραλ ωαψ το αχχοµµοδατε τηισ ισ α τεχηνιθυε χαλλεδ εξπονεντιαλ δισχουντινγ. Ιν χοµπυτινγ τηε εξπεχτεδ φυτυρε ρεωαρδ, τηισ αµουντσ το µυλτιπλψινγ α ρεωαρδ τηατ ωιλλ βε ρεχειϖεδ τ τιµε στεπσ αφτερ α γιϖεν αχτιον βψ α φαχτορ γ τ , ωηερε 0 ≤ γ ≤ 1 ισ τηε δισχουντινγ φαχτορ. Τηε σµαλλερ γ , τηε στρονγερ τηε εφφεχτ (ι.ε., τηε λεσσ ιµπορταντ τεµποραλλψ

δορσαλ στριατυµ βασαλ γανγλια

δισχουντινγ

352

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

δισταντ ρεωαρδσ αρε). ∆ισχουντινγ ηασ α µαϕορ ιν⇓υενχε ον τηε οπτιµαλ βε− ηαϖιορ ιν προβλεµσ φορ ωηιχη τηερε αρε µανψ στεπσ το α γοαλ. Εξπονεντιαλ δισχουντινγ χαν βε αχχοµµοδατεδ ωιτηιν τηε τεµποραλ διφφερενχε φραµε− ωορκ βψ χηανγινγ τηε πρεδιχτιον ερρορ δ το

δ = ρα (υ ) + γv(υ′ ) − v(υ ) ,

(9.29)

ωηιχη ισ τηεν υσεδ ιν τηε λεαρνινγ ρυλεσ οφ εθυατιονσ 9.26 ανδ 9.28. Ιν χοµπυτινγ τηε αµουντ το χηανγε α ωειγητ ορ αχτιον ϖαλυε, ωε δε⇒νεδ τηε ωορτη οφ αν αχτιον ασ τηε συµ οφ τηε ιµµεδιατε ρεωαρδ δελιϖερεδ ανδ τηε εστιµατε οφ τηε φυτυρε ρεωαρδ αρισινγ φροµ τηε νεξτ στατε. Α ⇒ναλ γεν− εραλιζατιον οφ αχτορ−χριτιχ λεαρνινγ χοµεσ φροµ βασινγ τηε λεαρνινγ ρυλεσ ον τηε συµ οφ τηε νεξτ τωο, τηρεε, ορ µορε ιµµεδιατε ρεωαρδσ δελιϖερεδ ανδ βασινγ τηε εστιµατε οφ τηε φυτυρε ρεωαρδ ον µορε τεµποραλλψ δισταντ τιµεσ ωιτηιν α τριαλ. Ασ ιν δισχουντινγ, ωε χαν υσε α φαχτορ λ το ωειγητ ηοω στρονγλψ τηε εξπεχτεδ φυτυρε ρεωαρδσ φροµ τεµποραλλψ δισταντ ποιντσ αφφεχτ λεαρνινγ. Συπποσε τηατ υ(τ ) = υ(υ (τ )) ισ τηε στατε ϖεχτορ υσεδ ατ τιµε στεπ τ οφ α τριαλ. Συχη γενεραλιζεδ τεµποραλ διφφερενχε λεαρνινγ χαν βε αχηιεϖεδ βψ χοµπυτινγ νεω στατε ϖεχτορσ, δε⇒νεδ βψ τηε ρεχυρσιϖε ρελατιον υ˜ (τ ) = υ˜ (τ − 1 ) + (1 − λ)(υ(τ ) − υ˜ (τ − 1 )) , στιµυλυσ τραχεσ Τ∆(λ) ρυλε

(9.30)

ανδ υσινγ τηεµ ινστεαδ οφ τηε οριγιναλ στατε ϖεχτορσ υ ιν εθυατιονσ 9.26 ανδ 9.28. Τηεσε νεω στατε ϖεχτορσ υ˜ (τ ) αρε χαλλεδ στιµυλυσ τραχεσ, ανδ τηε ρεσυλτινγ λεαρνινγ ρυλε ισ χαλλεδ τηε Τ∆(λ) ρυλε. Υσε οφ τηισ ρυλε ωιτη αν αππροπριατε ϖαλυε οφ λ χαν σιγνι⇒χαντλψ σπεεδ υπ λεαρνινγ.

Λεαρνινγ τηε Ωατερ Μαζε Ασ αν εξαµπλε οφ γενεραλιζεδ ρεινφορχεµεντ λεαρνινγ, ωε χονσιδερ τηε ωα− τερ µαζε τασκ. Τηισ ισ α ναϖιγατιον προβλεµ ιν ωηιχη ρατσ αρε πλαχεδ ιν α λαργε ποολ οφ µιλκψ ωατερ ανδ ηαϖε το σωιµ αρουνδ υντιλ τηεψ ⇒νδ α σµαλλ πλατφορµ τηατ ισ συβµεργεδ σλιγητλψ βελοω τηε συρφαχε οφ τηε ωατερ. Τηε οπαθυενεσσ οφ τηε ωατερ πρεϖεντσ τηεµ φροµ σεεινγ τηε πλατφορµ διρεχτλψ, ανδ τηειρ νατυραλ αϖερσιον το ωατερ (αλτηουγη τηεψ αρε χοµπετεντ σωιµ− µερσ) µοτιϖατεσ τηεµ το ⇒νδ τηε πλατφορµ. Αφτερ σεϖεραλ τριαλσ, τηε ρατσ λεαρν τηε λοχατιον οφ τηε πλατφορµ ανδ σωιµ διρεχτλψ το ιτ ωηεν πλαχεδ ιν τηε ωατερ. Φιγυρε 9.10Α σηοωσ τηε στρυχτυρε οφ τηε µοδελ, ωιτη τηε στατε ϖεχτορ υ προϖιδινγ ινπυτ το τηε χριτιχ ανδ α χολλεχτιον οφ ειγητ ποσσιβλε αχτιονσ φορ τηε αχτορ, ωηιχη αρε εξπρεσσεδ ασ χοµπασσ διρεχτιονσ. Τηε χοµπονεντσ οφ υ ρεπρεσεντ τηε αχτιϖιτψ οφ ηιπποχαµπαλ πλαχε χελλσ (ωηιχη αρε δισχυσσεδ ιν χηαπτερσ 1 ανδ 8). Φιγυρε 9.10Β σηοωσ τηε αχτιϖατιον οφ ονε οφ τηε ινπυτ υνιτσ ασ α φυνχτιον οφ σπατιαλ ποσιτιον ιν τηε ποολ. Τηε αχτιϖιτψ, λικε τηατ οφ α πλαχε χελλ, ισ σπατιαλλψ ρεστριχτεδ. ∆υρινγ τραινινγ, εαχη τριαλ χονσιστσ οφ σταρτινγ τηε µοδελ ρατ φροµ α ραν− δοµ λοχατιον ατ τηε ουτσιδε οφ τηε µαζε ανδ λεττινγ ιτ ρυν υντιλ ιτ ⇒νδσ

9.4

Σεθυεντιαλ Αχτιον Χηοιχε

353

B

A υβ

place cells

ΜNE β ωβ

N NE

NW

1

actor ϖ

critic

0.5

E

W

0 −1 SE

SW

trial 2

1 −1 trial 7

ϖ

1

1

1

0.5

0.5

1 0

0 1 −1

0 −1

1 0

0 1 −1

trial 22

ϖ

0.5 0 −1

0

0

S

ϖ

1

0 −1

1 0

0 1 −1

Φιγυρε 9.10 Ρεινφορχεµεντ λεαρνινγ µοδελ οφ α ρατ σολϖινγ α σιµπλε ωατερ µαζε τασκ ιν α 2 µ διαµετερ χιρχυλαρ ποολ. (Α) Τηερε αρε 493 πλαχε χελλ ινπυτσ ανδ 8 αχτιονσ. Τηε ρατ µοϖεσ ατ 0.3 µ/σ ανδ ρε⇓εχτσ οφφ τηε ωαλλσ οφ τηε µαζε ιφ ιτ ηιτσ τηεµ. (Β) Γαυσσιαν πλαχε ⇒ελδ φορ α σινγλε ινπυτ χελλ ωιτη ωιδτη 0.16 µ. Τηε χεντερσ οφ τηε πλαχε ⇒ελδσ φορ διφφερεντ χελλσ αρε υνιφορµλψ διστριβυτεδ αχροσσ τηε ποολ. (Χ) Υππερ: Τηε δεϖελοπµεντ οφ τηε ϖαλυε φυνχτιον v ασ α φυνχτιον οφ τηε λοχατιον ιν τηε ποολ οϖερ τηε ⇒ρστ 22 τριαλσ, σταρτινγ φροµ v = 0 εϖερψωηερε . Λοωερ αρροω πλοτσ: Τηε αχτιον ωιτη τηε ηιγηεστ προβαβιλιτψ φορ εαχη λοχατιον ιν τηε µαζε. Λοωερ πατη πλοτσ: Αχτυαλ πατησ τακεν βψ τηε µοδελ ρατ φροµ ρανδοµ σταρτινγ ποιντσ το τηε πλατφορµ, ινδιχατεδ βψ α σµαλλ χιρχλε. Α σλιγητ µοδι⇒χατιον οφ τηε αχτορ λεαρνινγ ρυλε ωασ υσεδ το ενφορχε γενεραλιζατιον βετωεεν σπατιαλλψ σιµιλαρ αχτιονσ. (Αδαπτεδ φροµ Φοστερ ετ αλ., 2000.)

τηε πλατφορµ ινδιχατεδ βψ α σµαλλ χιρχλε ιν τηε λοωερ παρτ οφ ⇒γυρε 9.10Χ. Ατ τηατ ποιντ α ρεωαρδ οφ 1 ισ προϖιδεδ. Τηε ρεωαρδ ισ δισχουντεδ ωιτη γ = 0.9975 το µοδελ τηε ινχεντιϖε φορ τηε ρατ το ⇒νδ τηε γοαλ ασ θυιχκλψ ασ ποσσιβλε. Φιγυρε 9.10Χ ινδιχατεσ τηε χουρσε οφ λεαρνινγ (τριαλσ 2, 7, ανδ 22) οφ τηε εξπεχτεδ φυτυρε ρεωαρδ ασ α φυνχτιον οφ λοχατιον (υππερ ⇒γυρεσ) ανδ τηε πολιχψ (λοωερ ⇒γυρεσ ωιτη αρροωσ). Τηε λοωερ ⇒γυρεσ αλσο σηοω σαµπλε πατησ τακεν βψ τηε ρατ (λοωερ ⇒γυρεσ ωιτη ωιγγλψ λινεσ). Τηε ⇒ναλ ϖαλυε φυνχτιον (ατ τριαλ 22) ισ ρατηερ ιναχχυρατε, βυτ νεϖερτηελεσσ τηε πολιχψ λεαρνεδ ισ βροαδλψ χορρεχτ, ανδ τηε πατησ το τηε πλατφορµ αρε θυιτε σηορτ ανδ διρεχτ. ϑυδγεδ βψ µεασυρεσ συχη ασ πατη λενγτη, ινιτιαλ λεαρνινγ προχεεδσ ιν τηε

354

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

A

B path length (µ)

escape latency ( σ )

40 100

30 20

50

10

0

1 2 3 4 5 6 7 8 9 day

0

1 2 3 4 5 6 7 8 9 day

Φιγυρε 9.11 Χοµπαρισον οφ ρατσ ανδ τηε µοδελ ιν τηε ωατερ µαζε τασκ. (Α) Αϖεραγε λατενχιεσ οφ 12 ρατσ ιν γεττινγ το α ⇒ξεδ πλατφορµ ιν τηε ωατερ µαζε, υσινγ φουρ τριαλσ περ δαψ. Ον τηε ειγητη δαψ, τηε πλατφορµ ωασ µοϖεδ το α νεω λοχατιον, ωηιχη ισ χαλλεδ ρεϖερσαλ. (Β) Αϖεραγε πατη λενγτη φροµ 1000 σιµυλατιονσ οφ τηε µοδελ περφορµινγ τηε σαµε τασκ. Ινιτιαλ λεαρνινγ µατχηεσ τηατ οφ τηε ρατσ, βυτ περφορµανχε ισ ωορσε φολλοωινγ ρεϖερσαλ. (Αδαπτεδ φροµ Φοστερ ετ αλ., 2000.)

µοδελ ιν α µαννερ χοµπαραβλε το τηατ οφ αχτυαλ ρατσ. Φιγυρε 9.11Α σηοωσ τηε αϖεραγε περφορµανχε οφ 12 ρεαλ ρατσ περφορµινγ φουρ τριαλσ περ δαψ ιν τηε ωατερ µαζε. Τηε ρατσ σωαµ το α πλατφορµ ατ α ⇒ξεδ λοχατιον, σταρτ− ινγ φροµ ρανδοµλψ χηοσεν ινιτιαλ λοχατιονσ. Τηε περφορµανχε οφ τηε ρατσ ραπιδλψ ιµπροϖεσ ανδ λεϖελσ οφφ βψ αβουτ τηε σιξτη δαψ. Ωηεν τηε πλατφορµ ισ µοϖεδ ον τηε ειγητη δαψ, ιν ωηατ ισ χαλλεδ ρεϖερσαλ τραινινγ, τηε ινι− τιαλ λατενχψ ισ λονγ, βεχαυσε τηε ρατσ σεαρχη νεαρ τηε ολδ πλατφορµ ποσιτιον. Ηοωεϖερ, τηεψ ραπιδλψ λεαρν τηε νεω λοχατιον. Φιγυρε 9.11Β σηοωσ τηε περ− φορµανχε οφ τηε µοδελ ον τηε σαµε τασκ (τηουγη ϕυδγεδ βψ πατη λενγτησ ρατηερ τηαν λατενχιεσ). Ινιτιαλ λεαρνινγ ισ εθυαλλψ θυιχκ, ωιτη νεαρ περφεχτ πατησ βψ τηε σιξτη δαψ. Ηοωεϖερ, περφορµανχε δυρινγ ρεϖερσαλ τραινινγ ισ ποορ, βεχαυσε τηε µοδελ ηασ τρουβλε φοργεττινγ τηε πρεϖιουσ λοχατιον οφ τηε πλατφορµ. Τηε ρατσ αρε χλεαρλψ βεττερ ατ ηανδλινγ τηισ τρανσιτιον. Νεϖερτηε− λεσσ τηε µοδελ σηοωσ σοµετηινγ οφ τηε ποωερ οφ α πριµιτιϖε, βυτ γενεραλ, λεαρνινγ µετηοδ.

9.5

Χηαπτερ Συµµαρψ

Ωε δισχυσσεδ ρεινφορχεµεντ λεαρνινγ µοδελσ φορ χλασσιχαλ ανδ ινστρυµεν− ταλ χονδιτιονινγ, ιντερπρετινγ τηε φορµερ ιν τερµσ οφ λεαρνινγ πρεδιχτιονσ αβουτ τοταλ φυτυρε ρεωαρδσ ανδ τηε λαττερ ιν τερµσ οφ οπτιµιζατιον οφ τηοσε ρεωαρδσ. Ωε ιντροδυχεδ τηε Ρεσχορλα−Ωαγνερ ορ δελτα λεαρνινγ ρυλε φορ χλασσιχαλ χονδιτιονινγ, τογετηερ ωιτη ιτσ τεµποραλ διφφερενχε εξτενσιον, ανδ ινδιρεχτ ανδ διρεχτ αχτορ ρυλεσ φορ ινστρυµενταλ χονδιτιονινγ γιϖεν ιµµε− διατε ρεωαρδσ. Φιναλλψ, ωε πρεσεντεδ τηε αχτορ−χριτιχ ϖερσιον οφ τηε δψναµιχ προγραµµινγ τεχηνιθυε οφ πολιχψ ιτερατιον, εϖαλυατινγ πολιχιεσ υσινγ τεµ− ποραλ διφφερενχε λεαρνινγ ανδ ιµπροϖινγ τηεµ υσινγ τηε διρεχτ αχτορ λεαρν− ινγ ρυλε, βασεδ ον συρρογατε ιµµεδιατε ρεωαρδσ φροµ τηε εϖαλυατιον στεπ.

9.6

Αππενδιξ

355

Ιν τηε αππενδιξ, ωε σηοω µορε πρεχισελψ ηοω τεµποραλ διφφερενχε λεαρν− ινγ χαν βε σεεν ασ α Μοντε Χαρλο τεχηνιθυε φορ περφορµινγ πολιχψ ιτερατιον.

9.6

Αππενδιξ

Μαρκοϖ ∆εχισιον Προβλεµσ Μαρκοϖ δεχισιον προβλεµσ οφφερ α σιµπλε φορµαλισµ φορ δεσχριβινγ τασκσ συχη ασ τηε µαζε. Α Μαρκοϖ δεχισιον προβλεµ ισ χοµπρισεδ οφ στατεσ, αχ− τιονσ, τρανσιτιονσ, ανδ ρεωαρδσ. Τηε στατεσ, λαβελεδ βψ υ, αρε ωηατ ωε χαλλεδ λοχατιονσ ιν τηε µαζε τασκ, ανδ τηε αχτιονσ, λαβελεδ βψ α, αρε τηε αναλογσ οφ τηε χηοιχεσ οφ ωηιχη διρεχτιον το ρυν. Ιν τηε µαζε, εαχη αχτιον τακεν ατ στατε υ λεδ υνιθυελψ ανδ δετερµινιστιχαλλψ το α νεω στατε υ′ . Μαρκοϖ δεχι− σιον προβλεµσ γενεραλιζε τηισ το ινχλυδε τηε ποσσιβιλιτψ τηατ τηε τρανσιτιονσ φροµ υ δυε το αχτιον α µαψ / βε στοχηαστιχ, λεαδινγ το στατε υ′ ωιτη α τραν− ′ σιτιον προβαβιλιτψ Π[υ |υ; α]. υ′ Π[υ′ |υ; α] = 1 φορ αλλ υ ανδ α, βεχαυσε τηε ανιµαλ ηασ το ενδ υπ σοµεωηερε. Τηερε χαν βε αβσορβινγ στατεσ (λικε τηε σηαδεδ βοξεσ ιν ⇒γυρε 9.7), ωηιχη αρε υ φορ ωηιχη Π[υ|υ; α] = 1 φορ αλλ αχ− τιονσ α (ι.ε., τηερε ισ νο εσχαπε φορ τηε ανιµαλ φροµ τηεσε λοχατιονσ). Φιναλλψ, τηε ρεωαρδσ ρ χαν δεπενδ βοτη ον τηε στατε υ ανδ τηε αχτιον εξεχυτεδ α, ανδ τηεψ µιγητ βε στοχηαστιχ. Ωε ωριτε ⟨ρα (υ )⟩ φορ τηε µεαν ρεωαρδ ιν τηισ χασε. Τηε χρυχιαλ Μαρκοϖ προπερτψ ισ τηατ, γιϖεν τηε στατε ατ τηε χυρρεντ τιµε στεπ, τηε διστριβυτιον οϖερ φυτυρε στατεσ ανδ ρεωαρδσ ισ ινδεπενδεντ οφ τηε παστ στατεσ. Τηισ δε⇒νεσ τηε στατε σεθυενχε ασ τηε ουτπυτ οφ α χον− τρολλεδ Μαρκοϖ χηαιν. Φορ χονϖενιενχε, ωε χονσιδερ ονλψ Μαρκοϖ δεχισιον προβλεµσ τηατ αρε ⇒νιτε (⇒νιτε νυµβερσ οφ αχτιονσ ανδ στατεσ) ανδ αβσορβ− ινγ (τηε ανιµαλ αλωαψσ ενδσ υπ ιν ονε οφ τηε αβσορβινγ στατεσ), ανδ φορ ωηιχη τηε ρεωαρδσ αρε βουνδεδ. Ωε αλσο ρεθυιρε τηατ ⟨ρα (υ )⟩ = 0 φορ αλλ αχτιονσ α ατ αλλ αβσορβινγ στατεσ. Τηε Βελλµαν Εθυατιον Τηε τασκ φορ α σψστεµ ορ ανιµαλ φαχινγ α Μαρκοϖ δεχισιον προβλεµ, σταρτινγ ιν στατε υ ατ τιµε 0, ισ το χηοοσε α πολιχψ, δενοτεδ βψ Μ, τηατ µαξιµιζεσ τηε εξπεχτεδ τοταλ φυτυρε ρεωαρδ, , + ∞ ! ∗ v (υ ) = µαξ ρα(τ ) (υ (τ )) , (9.31) Μ

τ=0

υ ,Μ

ωηερε υ (0 ) = υ, αχτιονσ α (τ ) αρε δετερµινεδ (ειτηερ δετερµινιστιχαλλψ ορ στοχηαστιχαλλψ) ον τηε βασισ οφ τηε στατε υ (τ ) αχχορδινγ το πολιχψ Μ, ανδ τηε νοτατιον ⟨⟩υ,Μ ιµπλιεσ τακινγ αν εξπεχτατιον οϖερ τηε αχτιονσ ανδ τηε στατεσ το ωηιχη τηεψ λεαδ, σταρτινγ ατ στατε υ ανδ υσινγ πολιχψ Μ. Τηε τρουβλε ωιτη τηε συµ ιν εθυατιον 9.31 ισ τηατ τηε αχτιον α (0 ) ατ τιµε 0 αφφεχτσ νοτ ονλψ ⟨ρα(0) (υ (0 ))⟩, βυτ, βψ ιν⇓υενχινγ τηε στατε οφ τηε σψσ−

αβσορβινγ στατε

Μαρκοϖ προπερτψ

356

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

τεµ, αλσο τηε συβσεθυεντ ρεωαρδσ. Ιτ ωουλδ σεεµ τηατ τηε ανιµαλ ωουλδ ηαϖε το χονσιδερ οπτιµιζινγ ωηολε σεθυενχεσ οφ αχτιονσ, τηε νυµβερ οφ ωηιχη γροωσ εξπονεντιαλλψ ωιτη τιµε. Βελλµανaσ (1957) ινσιγητ ωασ τηατ τηε Μαρκοϖ προπερτψ εφφεχτιϖελψ σολϖεσ τηισ προβλεµ. Ηε ρεωροτε εθυα− τιον 9.31 το σεπαρατε τηε ⇒ρστ ανδ συβσεθυεντ τερµσ, ανδ υσεδ α ρεχυρσιϖε πρινχιπλε φορ τηε λαττερ. Τηε Βελλµαν εθυατιον ισ H I ! ∗ ′ ∗ ′ v (υ ) = µαξ ⟨ρα (υ )⟩ + Π[υ |υ; α]v (υ ) . (9.32) α

υ′

Τηισ σαψσ τηατ µαξιµιζινγ ρεωαρδ ατ υ ρεθυιρεσ χηοοσινγ τηε αχτιον α τηατ µαξιµιζεσ τηε συµ οφ τηε µεαν ιµµεδιατε ρεωαρδ ⟨ρα (υ )⟩ ανδ τηε αϖεραγε οφ τηε λαργεστ ποσσιβλε ϖαλυεσ οφ αλλ τηε στατεσ υ′ το ωηιχη α χαν λεαδ τηε σψστεµ, ωειγητεδ βψ τηειρ προβαβιλιτιεσ.

Πολιχψ Ιτερατιον Τηε αχτορ−χριτιχ αλγοριτηµ ισ α φορµ οφ α δψναµιχ προγραµµινγ τεχηνιθυε χαλλεδ πολιχψ ιτερατιον. Πολιχψ ιτερατιον ινϖολϖεσ ιντερλεαϖεδ στεπσ οφ πολιχψ εϖαλυατιον (υπδατινγ τηε χριτιχ) ανδ πολιχψ ιµπροϖεµεντ (υπδατινγ τηε αχ− τορ). Εϖαλυατιον οφ πολιχψ Μ ρεθυιρεσ ωορκινγ ουτ τηε ϖαλυεσ φορ αλλ στατεσ υ. Ωε χαλλ τηεσε ϖαλυεσ vΜ (υ ), το ρε⇓εχτ εξπλιχιτλψ τηειρ δεπενδενχε ον τηε πολιχψ. Εαχη ϖαλυε ισ αναλογουσ το τηε θυαντιτψ ιν 9.5. Υσινγ τηε σαµε αργυµεντ τηατ λεδ το τηε Βελλµαν εθυατιον, ωε χαν δεριϖε τηε ρεχυρσιϖε φορµυλα H I ! ! Μ ′ Μ ′ v (υ ) = ΠΜ [α; υ] ⟨ρα (υ )⟩ + Π[υ |υ; α]v (υ ) . (9.33) α

υ′

Εθυατιον 9.33, φορ αλλ στατεσ υ, ισ α σετ οφ λινεαρ εθυατιονσ φορ vΜ (υ ) τηατ χαν βε σολϖεδ βψ µατριξ ινϖερσιον. Ρεινφορχεµεντ λεαρνινγ ηασ βεεν ιντερ− πρετεδ ασ α στοχηαστιχ Μοντε Χαρλο µετηοδ φορ περφορµινγ τηισ οπερατιον. Μοντε Χαρλο µετηοδ

Τεµποραλ διφφερενχε λεαρνινγ υσεσ αν αππροξιµατε Μοντε Χαρλο µετηοδ το εϖαλυατε τηε ριγητ σιδε οφ εθυατιον 9.33, ανδ υσεσ τηε διφφερενχε βετωεεν τηισ αππροξιµατιον ανδ τηε εστιµατε οφ vΜ (υ ) ασ τηε πρεδιχτιον ερρορ. Τηε ⇒ρστ ιδεα υνδερλψινγ τηε µετηοδ ισ τηατ ρα (υ ) + vΜ (υ′ ) ισ α σαµπλε ωηοσε µεαν ισ εξαχτλψ τηε ριγητ σιδε οφ εθυατιον 9.33. Τηε σεχονδ ιδεα ισ βοοτ− στραππινγ, υσινγ τηε χυρρεντ εστιµατε v(υ′ ) ιν πλαχε οφ vΜ (υ′ ) ιν τηισ σαµ− πλε. Τηυσ ρα (υ ) + v(υ′ ) ισ υσεδ ασ α σαµπλεδ αππροξιµατιον το vΜ (υ ), ανδ

δ(τ ) = ρα (υ ) + v(υ′ ) − v(υ )

(9.34)

ισ υσεδ ασ α σαµπλεδ αππροξιµατιον το τηε δισχρεπανχψ vΜ (υ ) − v(υ ), ωηιχη ισ αν αππροπριατε ερρορ µεασυρε φορ τραινινγ v(υ ) το εθυαλ vΜ (υ ). Εϖαλυατινγ ανδ ιµπροϖινγ πολιχιεσ φροµ συχη σαµπλεσ ωιτηουτ λεαρνινγ Π[υ′ |υ; α] ανδ ⟨ρα (υ )⟩ διρεχτλψ ισ χαλλεδ αν ασψνχηρονουσ, µοδελ−φρεε απ− προαχη το πολιχψ εϖαλυατιον. Ιτ ισ ποσσιβλε το γυαραντεε τηε χονϖεργενχε οφ

9.7

Αννοτατεδ Βιβλιογραπηψ

357

τηε εστιµατε v το ιτσ τρυε ϖαλυε vΜ υνδερ α σετ οφ χονδιτιονσ δισχυσσεδ ιν τηε τεξτσ µεντιονεδ ιν τηε αννοτατεδ βιβλιογραπηψ. Τηε οτηερ ηαλφ οφ πολιχψ ιτερατιον ισ πολιχψ ιµπροϖεµεντ. Τηισ νορµαλλψ ωορκσ βψ ⇒νδινγ αν αχτιον α∗ τηατ µαξιµιζεσ τηε εξπρεσσιον ιν τηε χυρλψ βραχκετσ ιν εθυατιον 9.33 ανδ µακινγ τηε νεω ΠΜ [α∗ ; υ] = 1. Ονε χαν σηοω τηατ τηε νεω πολιχψ ωιλλ βε υνιφορµλψ βεττερ τηαν τηε ολδ πολιχψ, µακινγ τηε εξπεχτεδ λονγ−τερµ ρεωαρδ ατ εϖερψ στατε νο σµαλλερ τηαν τηε ολδ πολιχψ, ορ εθυαλλψ λαργε, ιφ ιτ ισ αλρεαδψ οπτιµαλ. Φυρτηερ, βεχαυσε τηε νυµβερ οφ διφφερεντ πολιχιεσ ισ ⇒νιτε, πολιχψ ιτερατιον ισ βουνδ το χονϖεργε. Περφορµινγ πολιχψ ιµπροϖεµεντ λικε τηισ ρεθυιρεσ κνοωλεδγε οφ τηε τραν− σιτιον προβαβιλιτιεσ ανδ µεαν ρεωαρδσ. Ρεινφορχεµεντ λεαρνινγ αγαιν υσεσ αν ασψνχηρονουσ, µοδελ−φρεε αππροαχη το πολιχψ ιµπροϖεµεντ, υσ− ινγ Μοντε Χαρλο σαµπλεσ. Φιρστ, νοτε τηατ ανψ πολιχψ Μ′ τηατ ιµπροϖεσ τηε αϖεραγε ϖαλυε H I ! ! ΠΜ′ [υ; α] ⟨ρα (υ )⟩ + Π[υ′ |υ; α]vΜ (υ′ ) (9.35) α

υ′

φορ εϖερψ στατε υ ισ γυαραντεεδ το βε α βεττερ πολιχψ. Τηε ιδεα φορ α σινγλε στατε υ ισ το τρεατ εθυατιον 9.35 ρατηερ λικε εθυατιον 9.15, εξχεπτ ρεπλαχινγ τηε αϖεραγε ιµµεδιατε / ρεωαρδ ⟨ρα ⟩ τηερε βψ αν εφφεχτιϖε αϖεραγε ιµµεδι− ατε ρεωαρδ ⟨ρα (υ )⟩ + υ′ Π[υ′ |υ; α]vΜ (υ′ ) το τακε λονγ−τερµ ασ ωελλ ασ χυρ− ρεντ ρεωαρδσ ιντο αχχουντ. Βψ τηε σαµε ρεασονινγ ασ αβοϖε, ρα (υ ) + v(υ′ ) ισ υσεδ ασ αν αππροξιµατε Μοντε Χαρλο σαµπλε οφ τηε εφφεχτιϖε ιµµεδιατε ρεωαρδ, ανδ v(υ ) ασ τηε εθυιϖαλεντ οφ τηε ρεινφορχεµεντ χοµπαρισον τερµ ρ¯. Τηισ λεαδσ διρεχτλψ το τηε αχτορ λεαρνινγ ρυλε οφ εθυατιον 9.25. Νοτε τηατ τηερε ισ αν ιντεραχτιον βετωεεν τηε στοχηαστιχιτψ ιν τηε ρειν− φορχεµεντ λεαρνινγ ϖερσιονσ οφ πολιχψ εϖαλυατιον ανδ πολιχψ ιµπροϖεµεντ. Τηισ µεανσ τηατ ιτ ισ νοτ κνοων ωηετηερ τηε τωο τογετηερ αρε γυαραντεεδ το χονϖεργε. Ονε χουλδ περφορµ τεµποραλ διφφερενχε πολιχψ εϖαλυατιον (ωηιχη χαν βε προϖεν το χονϖεργε) υντιλ χονϖεργενχε βεφορε αττεµπτινγ πολιχψ ιµπροϖεµεντ, ανδ τηισ ωουλδ βε συρε το ωορκ.

9.7

Αννοτατεδ Βιβλιογραπηψ

∆ιχκινσον (1980), Μαχκιντοση (1983), ανδ Σηανκσ (1995) ρεϖιεω ανιµαλ ανδ ηυµαν χονδιτιονινγ βεηαϖιορ, ινχλυδινγ αλτερνατιϖεσ το Ρεσχορλα & Ωαγνερaσ (1972) ρυλε. Γαλλιστελ (1990) ανδ Γαλλιστελ & Γιββον (2000) δισ− χυσσ ασπεχτσ οφ χονδιτιονινγ, ιν παρτιχυλαρ το δο ωιτη τιµινγ, τηατ ωε ηαϖε οµιττεδ. Ουρ δεσχριπτιον οφ τηε τεµποραλ διφφερενχε µοδελ οφ χλασσιχαλ χονδιτιονινγ ιν τηισ χηαπτερ ισ βασεδ ον Συττον (1988) ανδ Συττον & Βαρτο (1990). Τηε τρεατµεντ οφ στατιχ αχτιον χηοιχε χοµεσ φροµ Ναρενδρα & Τηαταχηαρ (1989) ανδ Ωιλλιαµσ (1992), ανδ τηατ οφ αχτιον χηοιχε ωιτη δελαψεδ ρεωαρδσ ανδ

358

Χλασσιχαλ Χονδιτιονινγ ανδ Ρεινφορχεµεντ Λεαρνινγ

τηε λινκ το δψναµιχ προγραµµινγ, φροµ Βαρτο, Συττον & Ανδερσον (1983), Ωατκινσ (1989), Βαρτο,ετ αλ. (1990), Βερτσεκασ & Τσιτσικλισ (1996), ανδ Συτ− τον & Βαρτο (1998). Βερτσεκασ & Τσιτσικλισ (1996) ανδ Συττον & Βαρτο (1998) δεσχριβε σοµε οφ τηε συβσταντιαλ τηεορψ οφ τεµποραλ διφφερενχε λεαρν− ινγ τηατ ηασ βεεν δεϖελοπεδ. ∆ψναµιχ προγραµµινγ ασ α χοµπυτατιοναλ τοολ οφ ετηολογψ ισ ελυχιδατεδ ιν Μανγελ & Χλαρκ (1988). Σχηυλτζ (1998) ρεϖιεωσ τηε δατα ον τηε αχτιϖιτψ οφ πριµατε δοπαµινε χελλσ δυρινγ αππετιτιϖε χονδιτιονινγ τασκσ, τογετηερ ωιτη τηε πσψχηολογιχαλ ανδ πηαρµαχολογιχαλ ρατιοναλε φορ στυδψινγ τηεσε χελλσ. Τηε λινκ ωιτη τεµποραλ διφφερενχε λεαρνινγ ωασ µαδε ιν Μονταγυε, ∆αψαν & Σεϕνοωσκι (1996), Φριστον ετ αλ. (1994), ανδ Ηουκ ετ αλ. (1995). Ηουκ ετ αλ. (1995) ρεϖιεωσ τηε βασαλ γανγλια φροµ α ϖαριετψ οφ περσπεχτιϖεσ. Ωιχκενσ (1993) προϖιδεσ α τηεορετιχαλλψ µοτιϖατεδ τρεατµεντ. Τηε µοδελ ιν Μονταγυε ετ αλ. (1995) φορ Ρεαλaσ (1991) εξπεριµεντσ ιν βυµβλεβεε φοραγινγ ωασ βασεδ ον Ηαµµερaσ (1993) δεσχριπτιον οφ αν οχτοπαµινεργιχ νευρον ιν ηονεψβεεσ τηατ αππεαρσ το πλαψ, φορ ολφαχτορψ χονδιτιονινγ, α σοµεωηατ σιµιλαρ ρολε το τηε πριµατε δοπαµινεργιχ χελλσ. Τηε κερνελ ρεπρεσεντατιον οφ τηε ωειγητ βετωεεν α στιµυλυσ ανδ ρεωαρδ χαν βε σεεν ασ α φορµ οφ α σεριαλ χοµπουνδ στιµυλυσ (Κεηοε, 1977) ορ α σπεχτραλ τιµινγ µοδελ (Γροσσβεργ & Σχηµαϕυκ, 1989). Γροσσβεργ ανδ χολ− λεαγυεσ (σεε Γροσσβεργ, 1982, 1987, 1988) ηαϖε δεϖελοπεδ α σοπηιστιχατεδ µατηεµατιχαλ µοδελ οφ χονδιτιονινγ, ινχλυδινγ ασπεχτσ οφ οππονεντ προ− χεσσινγ (Κονορσκι, 1967; Σολοµον & Χορβιτ, 1974), ωηιχη πυτσ πρεδιχτιον οφ τηε αβσενχε οφ ρεωαρδ (ορ τηε πρεσενχε οφ πυνισηµεντ) ον α µορε εθυαλ φοοτινγ ωιτη πρεδιχτιον οφ τηε πρεσενχε οφ ρεωαρδ, ανδ δεϖελοπσ ασπεχτσ οφ ηοω ανιµαλσ παψ διφφερινγ αµουντσ οφ αττεντιον το στιµυλι. Τηερε αρε µανψ οτηερ βιολογιχαλλψ ινσπιρεδ µοδελσ οφ χονδιτιονινγ, παρτιχυλαρλψ οφ τηε χερεβελλυµ (ε.γ., Γλυχκ ετ αλ., 1990; Γαβριελ & Μοορε, 1990; Ραψµονδ ετ αλ., 1996; Μαυκ & ∆ονεγαν, 1997).

10

Ρεπρεσεντατιοναλ Λεαρνινγ

10.1

Ιντροδυχτιον

Τηε ρεσπονσε σελεχτιϖιτιεσ οφ ινδιϖιδυαλ νευρονσ, ανδ τηε ωαψ τηεψ αρε διστριβυτεδ αχροσσ νευροναλ ποπυλατιονσ, δε⇒νε ηοω σενσορψ ινφορµατιον ισ ρεπρεσεντεδ βψ νευραλ αχτιϖιτψ. Σενσορψ ινφορµατιον ισ τψπιχαλλψ ρεπρε− σεντεδ ιν µυλτιπλε βραιν ρεγιονσ, τηε ϖισυαλ σψστεµ βεινγ α πριµε εξαµ− πλε, ωιτη τηε νατυρε οφ τηε ρεπρεσεντατιον σηιφτινγ προγρεσσιϖελψ αλονγ τηε σενσορψ πατηωαψ. Ιν πρεϖιουσ χηαπτερσ, ωε δισχυσσεδ ηοω συχη ρεπρε− σεντατιονσ χαν βε γενερατεδ βψ νευραλ χιρχυιτρψ ανδ δεϖελοπεδ βψ αχτιϖιτψ− δεπενδεντ πλαστιχιτψ. Ιν τηισ χηαπτερ, ωε στυδψ νευραλ ρεπρεσεντατιονσ φροµ α χοµπυτατιοναλ περσπεχτιϖε, ασκινγ ωηατ γοαλσ αρε σερϖεδ βψ παρτιχυλαρ ρεπρεσεντατιονσ, ανδ ηοω αππροπριατε ρεπρεσεντατιονσ µιγητ βε δεϖελοπεδ ον τηε βασισ οφ ινπυτ στατιστιχσ. Χονστρυχτινγ νεω ρεπρεσεντατιονσ οφ, ορ ρε−ρεπρεσεντινγ, σενσορψ ινπυτ ισ ιµπορταντ βεχαυσε σενσορψ ρεχεπτορσ οφτεν δελιϖερ ινφορµατιον ιν α φορµ τηατ ισ υνσυιταβλε φορ ηιγηερ−λεϖελ χογνιτιϖε τασκσ. Φορ εξαµπλε, ρουγηλψ 108 πηοτορεχεπτορσ προϖιδε α πιξελατεδ δεσχριπτιον οφ τηε ιµαγεσ τηατ απ− πεαρ ον ουρ ρετινασ. Α λιστ οφ τηε µεµβρανε ποτεντιαλσ οφ εαχη οφ τηεσε πηοτορεχεπτορσ προϖιδεσ α βυλκψ ανδ αωκωαρδ ρεπρεσεντατιον οφ τηε ϖι− συαλ ωορλδ, φροµ ωηιχη ιτ ωουλδ βε διφ⇒χυλτ το ιδεντιφψ διρεχτλψ τηε φαχε οφ α φριενδ ορ α φαµιλιαρ οβϕεχτ. Ινστεαδ, τηε ινφορµατιον προϖιδεδ βψ πηο− τορεχεπτορ ουτπυτσ ισ προχεσσεδ ιν α σεριεσ οφ σταγεσ ινϖολϖινγ ινχρεασ− ινγλψ σοπηιστιχατεδ ρεπρεσεντατιονσ οφ τηε ϖισυαλ ωορλδ. Ιν τηισ χηαπτερ, ωε χονσιδερ ηοω τηεσε µορε χοµπλεξ ανδ υσεφυλ ρεπρεσεντατιονσ χαν βε χονστρυχτεδ. Τηε κεψ το βυιλδινγ υσεφυλ ρεπρεσεντατιονσ φορ ϖισιον λιεσ ιν δετερµινινγ τηε στρυχτυρε οφ ϖισυαλ ιµαγεσ ανδ χαπτυρινγ τηε χονστραιντσ ιµποσεδ ον ιµαγεσ βψ τηε νατυραλ ωορλδ. Τηε σετ οφ ποσσιβλε πιξελατεδ αχτιϖιτιεσ αρισ− ινγ φροµ νατυραλ σχενεσ ισ ριχηλψ στρυχτυρεδ ανδ ηιγηλψ χονστραινεδ, βε− χαυσε ιµαγεσ αρε νοτ γενερατεδ ρανδοµλψ, βυτ αρισε φροµ ωελλ−δε⇒νεδ οβ− ϕεχτσ, συχη ασ ροχκσ, τρεεσ, ανδ πεοπλε. Ωε χαλλ τηεσε οβϕεχτσ τηε mχαυσεσn οφ τηε ιµαγεσ. Ιν ρεπρεσεντατιοναλ λεαρνινγ, ωε σεεκ το ιδεντιφψ χαυσεσ βψ αναλψζινγ τηε στατιστιχαλ στρυχτυρε οφ ϖισυαλ ιµαγεσ ανδ βυιλδινγ α µοδελ, χαλλεδ τηε γενερατιϖε µοδελ, τηατ ισ αβλε το ρεπροδυχε τηισ στρυχτυρε. Ιδεν−

ρε−ρεπρεσεντατιον

γενερατιϖε µοδελ

360

ρεχογνιτιον µοδελ

ινπυτ ϖεχτορ υ χαυσε v ηιδδεν ορ λατεντ ϖαριαβλε ρεχογνιτιον δετερµινιστιχ ρεχογνιτιον προβαβιλιστιχ ρεχογνιτιον

ηευριστιχσ

Ρεπρεσεντατιοναλ Λεαρνινγ

τι⇒χατιον οφ τηε χαυσεσ οφ παρτιχυλαρ ιµαγεσ (ε.γ., οβϕεχτ ρεχογνιτιον) ισ περφορµεδ βψ α σεχονδ µοδελ, χαλλεδ τηε ρεχογνιτιον µοδελ, τηατ ισ χον− στρυχτεδ ον τηε βασισ οφ τηε γενερατιϖε µοδελ. Τηισ προχεδυρε ισ αναλογουσ το αναλψζινγ αν εξπεριµεντ βψ βυιλδινγ α µοδελ οφ τηε προχεσσεσ τηουγητ το υνδερλψ ιτ, ανδ υσινγ τηε µοδελ ασ α βασισ φορ εξτραχτινγ ιντερεστινγ φεα− τυρεσ φροµ τηε αχχυµυλατεδ εξπεριµενταλ δατα. Ωε φολλοω τηε χονϖεντιον οφ πρεϖιουσ χηαπτερσ ανδ υσε τηε ϖαριαβλεσ υ ανδ v το ρεπρεσεντ τηε ινπυτ ανδ ουτπυτ οφ τηε µοδελσ ωε χονσιδερ. Τηε ινπυτ ϖεχτορ υ ρεπρεσεντσ τηε δατα τηατ ωε ωιση το αναλψζε ιν τερµσ οφ υνδερλψινγ χαυσεσ. Τηε ουτπυτ v, ωηιχη ισ α ϖαριαβλε τηατ χηαραχτεριζεσ τηοσε χαυσεσ, ισ σοµετιµεσ χαλλεδ τηε ηιδδεν ορ λατεντ ϖαριαβλε, βυτ ωε χαλλ ιτ τηε mχαυσεn. Ιν σοµε µοδελσ, χαυσεσ µαψ βε ασσοχιατεδ ωιτη α ϖεχτορ ϖ, ρατηερ τηαν α σινγλε νυµβερ v. Ιν τερµσ οφ τηεσε ϖαριαβλεσ, τηε υλτιµατε γοαλ οφ τηε µοδελσ ωε χονσιδερ ισ ρεχογνιτιον, ιν ωηιχη τηε µοδελ τελλσ υσ σοµετηινγ αβουτ τηε χαυσεσ v υνδερλψινγ α παρτιχυλαρ ινπυτ υ. Ρεχογνιτιον χαν βε ειτηερ δετερµινιστιχ ορ προβαβιλιστιχ. Ιν α µοδελ ωιτη δετερµινιστιχ ρεχογνιτιον, τηε ουτπυτ v(υ ) ισ τηε µοδελaσ εστιµατε οφ τηε χαυσε υνδερλψινγ ινπυτ υ. Ιν προβαβιλιστιχ ρεχογνιτιον, τηε µοδελ εστιµατεσ τηε προβαβιλιτψ τηατ διφφερεντ ϖαλυεσ οφ v αρε ασσοχιατεδ ωιτη ινπυτ υ. Ιν ειτηερ χασε, τηε ουτπυτ ισ τακεν ασ τηε µοδελaσ ρε−ρεπρεσεντατιον οφ τηε ινπυτ. Ωε χονσιδερ µοδελσ τηατ ινφερ χαυσεσ ιν αν υνσυπερϖισεδ µαννερ. Τηισ µεανσ τηατ τηε εξιστενχε ανδ ιδεντιτψ οφ ανψ υνδερλψινγ χαυσεσ µυστ βε δεδυχεδ σολελψ φροµ τωο σουρχεσ οφ ινφορµατιον. Ονε ισ τηε σετ οφ γενεραλ ασσυµπτιονσ ανδ γυεσσεσ, χολλεχτιϖελψ κνοων ασ ηευριστιχσ, χονχερνινγ τηε νατυρε οφ τηε ινπυτ δατα ανδ τηε χαυσεσ τηατ µιγητ υνδερλψ τηεµ. Τηεσε ηευριστιχσ δετερµινεδ τηε γενεραλ φορµ οφ τηε γενερατιϖε µοδελ. Τηε οτηερ σουρχε οφ ινφορµατιον ισ τηε στατιστιχαλ στρυχτυρε οφ τηε ινπυτ δατα. Ιν τηε αβ− σενχε οφ συπερϖισορψ ινφορµατιον ορ εϖεν ρεινφορχεµεντ, χαυσεσ αρε ϕυδγεδ βψ τηειρ αβιλιτψ το εξπλαιν ανδ ρεπροδυχε τηε στατιστιχαλ στρυχτυρε οφ τηε ιν− πυτσ τηεψ αρε δεσιγνεδ το ρεπρεσεντ. Τηε προχεσσ ισ αναλογουσ το ϕυδγινγ τηε ϖαλιδιτψ οφ α µοδελ βψ χοµπαρινγ σιµυλατεδ δατα γενερατεδ βψ ιτ ωιτη τηε ρεσυλτσ οφ α ρεαλ εξπεριµεντ. Τηε βασιχ ιδεα ισ το υσε ασσυµεδ χαυσεσ το γενερατε σψντηετιχ ινπυτ δατα φροµ α γενερατιϖε µοδελ. Τηε στατιστιχαλ στρυχτυρε οφ τηε σψντηετιχ δατα ισ τηεν χοµπαρεδ ωιτη τηατ οφ τηε ρεαλ ιν− πυτ δατα, ανδ τηε παραµετερσ οφ τηε γενερατιϖε µοδελ αρε αδϕυστεδ υντιλ τηε τωο αρε ασ σιµιλαρ ασ ποσσιβλε. Ιφ τηε ⇒ναλ στατιστιχαλ µατχη ισ γοοδ, τηε χαυσεσ αρε ϕυδγεδ τρυστωορτηψ, ανδ τηε µοδελ χαν βε υσεδ ασ α βασισ φορ ρεχογνιτιον. Ρεπρεσεντατιοναλ λεαρνινγ ισ α λαργε ανδ χοµπλεξ συβϕεχτ ωιτη α τερµινολ− ογψ ανδ µετηοδολογψ τηατ µαψ βε υνφαµιλιαρ το µανψ ρεαδερσ. Σεχτιον 10.1 φολλοωσ τωο ιλλυστρατιϖε εξαµπλεσ το προϖιδε α γενεραλ ιντροδυχτιον. Τηισ σηουλδ γιϖε τηε ρεαδερ α βασιχ ιδεα οφ ωηατ ρεπρεσεντατιοναλ λεαρνινγ αττεµπτσ το αχηιεϖε ανδ ηοω ιτ ωορκσ. Σεχτιον 10.2 χοϖερσ µορε τεχηνιχαλ ασπεχτσ οφ τηε αππροαχη, ανδ 10.3 συρϖεψσ α νυµβερ οφ εξαµπλεσ.

10.1

Ιντροδυχτιον

361

2

2

1

1

0

0

−1 −1

0

1

2

−1 −1

2

B

1

A

A

0 0

1

2

−1 −1

B 0

1

2

Φιγυρε 10.1 Χλυστερινγ. (Α) Ινπυτ δατα ποιντσ δραων φροµ τηε διστριβυτιον π[υ] αρε ινδιχατεδ βψ τηε χροσσεσ. (Β) Ινιτιαλιζατιον φορ α γενερατιϖε µοδελ. Τηε µεανσ ανδ τωιχε τηε στανδαρδ δεϖιατιονσ οφ τηε τωο Γαυσσιανσ αρε ινδιχατεδ βψ τηε λοχατιονσ ανδ ραδιι οφ τηε χιρχλεσ. Τηε χροσσεσ σηοω σψντηετιχ δατα, ωηιχη αρε σαµπλεσ φροµ τηε διστριβυτιον π[υ; G ] οφ τηε γενερατιϖε µοδελ. (Χ) Μεανσ, στανδαρδ δεϖιατιονσ, ανδ σψντηετιχ δατα ποιντσ γενερατεδ βψ τηε οπτιµαλ γενερατιϖε µοδελ. Τηε σθυαρε ινδιχατεσ α νεω ινπυτ ποιντ τηατ ισ ασσιγνεδ το ειτηερ χλυστερ Α ορ χλυστερ Β ωιτη προβαβιλιτιεσ χοµπυτεδ φροµ τηε ρεχογνιτιον µοδελ.

Χαυσαλ Μοδελσ Φιγυρε 10.1Α προϖιδεσ α σιµπλε εξαµπλε οφ στρυχτυρεδ δατα τηατ συγ− γεστσ υνδερλψινγ χαυσεσ. Ιν τηισ χασε, τηε ινπυτ τακεσ τηε φορµ οφ α τωο− χοµπονεντ ϖεχτορ, υ = (υ1 , υ2 ). Α χολλεχτιον οφ σαµπλε ινπυτσ τηατ ωε ωιση το ρεπρεσεντ ιν τερµσ οφ υνδερλψινγ χαυσεσ ισ ινδιχατεδ βψ τηε 40 χροσσεσ ιν ⇒γυρε 10.1Α. Τηεσε ινπυτσ αρε δραων φροµ α προβαβιλιτψ δενσιτψ π[υ] τηατ ωε χαλλ τηε ινπυτ διστριβυτιον. Χλεαρλψ, τηερε αρε τωο χλυστερσ οφ ποιντσ ιν ⇒γυρε 10.1Α, ονε χεντερεδ νεαρ (0, 1 ) ανδ τηε οτηερ νεαρ (1, 0 ). Μανψ προχεσσεσ χαν γενερατε χλυστερεδ δατα. Φορ εξαµπλε, υ1 ανδ υ2 µιγητ βε χηαραχτεριζατιονσ οφ τηε ϖολταγε ρεχορδεδ ον αν εξτραχελλυλαρ ελεχτροδε ιν ρεσπονσε το αν αχτιον ποτεντιαλ. Ιντερπρετεδ ιν τηισ ωαψ, τηεσε δατα συγ− γεστ τηατ ωε αρε λοοκινγ ατ σπικεσ προδυχεδ βψ τωο νευρονσ (χαλλεδ Α ανδ Β), ωηιχη αρε τηε υνδερλψινγ χαυσεσ οφ τηε τωο χλυστερσ σεεν ιν ⇒γ− υρε 10.1Α. Α µορε χοµπαχτ ανδ χαυσαλ δεσχριπτιον οφ τηε δατα χαν βε προ− ϖιδεδ βψ α σινγλε ουτπυτ ϖαριαβλε v τηατ τακεσ τηε ϖαλυε Α ορ Β φορ εαχη δατα ποιντ, ρεπρεσεντινγ ωηιχη οφ τηε τωο νευρονσ ωασ ρεσπονσιβλε φορ α παρτιχ− υλαρ αχτιον ποτεντιαλ. ∆ιρεχτλψ ρεαδινγ τηε ουτπυτ οφ συχη α µοδελ ωουλδ βε αν εξαµπλε οφ δετερµινιστιχ ρεχογνιτιον, ωιτη v(υ ) = Α ορ Β προϖιδινγ τηε µοδελaσ εστιµατε οφ ωηιχη νευρον προδυχεδ τηε σπικε ασσοχιατεδ ωιτη ινπυτ υ. Ωε χονσιδερ, ινστεαδ, α µοδελ ωιτη προβαβιλιστιχ ρεχογνιτιον τηατ εστιµατεσ τηε προβαβιλιτψ τηατ τηε σπικε ωιτη ινπυτ δατα υ ωασ γενερατεδ βψ ειτηερ νευρον Α ορ νευρον Β. Ιν τηισ εξαµπλε, ωε ασσυµε φροµ τηε σταρτ τηατ τηερε αρε τωο ποσσιβλε, µυ− τυαλλψ εξχλυσιϖε χαυσεσ φορ τηε δατα ποιντσ, τηε τωο νευρονσ Α ανδ Β. Βψ µακινγ τηισ ασσυµπτιον, ωηιχη ισ παρτ οφ τηε ηευριστιχσ υνδερλψινγ τηε γενερατιϖε µοδελ, ωε αϖοιδ τηε προβλεµ οφ ιδεντιφψινγ τηε νυµβερ οφ ποσ−

ινπυτ διστριβυτιον π[υ]

362

Ρεπρεσεντατιοναλ Λεαρνινγ

σιβλε χαυσεσ (ι.ε., τηε νυµβερ οφ χλυστερσ). Προβαβιλιστιχ µετηοδσ χαν βε υσεδ το µακε στατιστιχαλ ινφερενχεσ αβουτ τηε νυµβερ οφ χλυστερσ ιν α δατα σετ, βυτ τηεψ λιε βεψονδ τηε σχοπε οφ τηισ τεξτ.

Γενερατιϖε Μοδελσ Το ιλλυστρατε τηε χονχεπτ οφ α γενερατιϖε µοδελ, ωε χονστρυχτ ονε (χαλλεδ α µιξτυρε οφ Γαυσσιανσ µοδελ) φορ τηε δατα ιν ⇒γυρε 10.1Α. Τηε γενεραλ φορµ οφ τηε µοδελ ισ δετερµινεδ βψ τηε ηευριστιχσ, ασσυµπτιονσ αβουτ τηε νατυρε οφ τηε χαυσεσ ανδ τηε ωαψ τηεψ γενερατε ινπυτσ. Ηοωεϖερ, τηε µοδελ ηασ παραµετερσ τηατ χαν βε αδϕυστεδ το ⇒τ τηε αχτυαλ δατα τηατ αρε οβσερϖεδ. Ωε βεγιν βψ ιντροδυχινγ παραµετερσ γ Α ανδ γ Β τηατ ρεπρεσεντ τηε προπορτιονσ µιξινγ προπορτιονσ (αλσο κνοων ασ µιξινγ προπορτιονσ) οφ αχτιον ποτεντιαλσ γενερατεδ βψ εαχη οφ τηε νευρονσ. Τηεσε µιγητ αχχουντ φορ τηε φαχτ τηατ ονε οφ τηε νευρονσ ηασ α ηιγηερ ⇒ρινγ ρατε τηαν τηε οτηερ, φορ εξαµπλε. Τηε παραµετερ γv , ωιτη v = Α ορ Β, σπεχι⇒εσ τηε προβαβιλιτψ Π[v; G ] τηατ α γιϖεν σπικε ωασ γενερατεδ βψ νευρον v ιν τηε αβσενχε οφ ανψ κνοωλεδγε αβουτ τηε ινπυτ υ πριορ Π[v; G ] ασσοχιατεδ ωιτη τηατ σπικε. Π[v; G ] = γv ισ χαλλεδ τηε πριορ διστριβυτιον οϖερ χαυσεσ. Τηε σψµβολ G στανδσ φορ αλλ τηε παραµετερσ υσεδ το χηαραχτεριζε παραµετερσ G τηε γενερατιϖε µοδελ. Ατ τηισ ποιντ, G χονσιστσ οφ τηε τωο παραµετερσ γ Α ανδ γ Β , βυτ µορε παραµετερσ ωιλλ βε αδδεδ ασ ωε προχεεδ. Ωε σταρτ βψ ασσιγνινγ γ Α ανδ γ Β ρανδοµ ϖαλυεσ χονσιστεντ ωιτη τηε χονστραιντ τηατ τηεψ µυστ συµ το 1.

γενερατιϖε διστριβυτιον π[υ|v; G ]

Το χοντινυε τηε χονστρυχτιον οφ τηε γενερατιϖε µοδελ, ωε νεεδ το ασσυµε σοµετηινγ αβουτ τηε διστριβυτιον οφ υ ϖαλυεσ αρισινγ φροµ τηε αχτιον πο− τεντιαλσ γενερατεδ βψ εαχη νευρον. Αν εξαµινατιον οφ ⇒γυρε 10.1Α συγ− γεστσ τηατ Γαυσσιαν διστριβυτιονσ (ωιτη τηε σαµε ϖαριανχε ιν βοτη διµεν− σιονσ) µιγητ βε αππροπριατε. Τηε προβαβιλιτψ δενσιτψ οφ υ ϖαλυεσ γιϖεν τηατ νευρον v ⇒ρεδ ισ π[υ|v; G ]. Τηισ ισ σετ το α Γαυσσιαν διστριβυτιον ωιτη α µεαν ανδ ϖαριανχε τηατ, ινιτιαλλψ, ωε γυεσσ. Τηε παραµετερ λιστ G νοω χονταινσ τηε πριορ προβαβιλιτιεσ, γ Α ανδ γ Β , ανδ τηε µεανσ ανδ ϖαριανχεσ οφ τηε Γαυσσιαν διστριβυτιονσ οϖερ υ φορ v = Α ανδ Β, ωηιχη ωε λαβελ γv ανδ 9v , ρεσπεχτιϖελψ. Νοτε τηατ 9v ισ υσεδ το δενοτε τηε ϖαριανχε οφ χλυστερ v, νοτ ιτσ στανδαρδ δεϖιατιον, ανδ αλσο τηατ εαχη χλυστερ ισ χηαραχτεριζεδ βψ α σινγλε ϖαριανχε βεχαυσε ωε χονσιδερ ονλψ χιρχυλαρλψ σψµµετριχ Γαυσσιαν διστριβυτιονσ. Φιγυρε 10.1Β σηοωσ σψντηετιχ δατα ποιντσ (χροσσεσ) γενερατεδ βψ τηισ µοδελ. Το χρεατε εαχη ποιντ, ωε σετ v = Α ωιτη προβαβιλιτψ Π[v = Α; G ] (ορ οτηερωισε σετ v= Β) ανδ τηεν γενερατεδ α ποιντ υ ρανδοµλψ φροµ τηε διστρι− βυτιον π[υ|v; G ]. Τηισ γενερατιϖε µοδελ χλεαρλψ ηασ τηε χαπαχιτψ το χρεατε α δατα διστριβυτιον ωιτη τωο χλυστερσ, σιµιλαρ το τηε ονε ιν ⇒γυρε 10.1Α. Ηοωεϖερ, τηε ϖαλυεσ οφ τηε παραµετερσ G υσεδ ιν ⇒γυρε 10.1Β αρε οβϖι− ουσλψ ιναππροπριατε. Τηεψ µυστ βε αδϕυστεδ βψ α λεαρνινγ προχεδυρε τηατ µατχηεσ, ασ αχχυρατελψ ασ ποσσιβλε, τηε διστριβυτιον οφ σψντηετιχ δατα ποιντσ ιν ⇒γυρε 10.1Β το τηε αχτυαλ ινπυτ διστριβυτιον ιν ⇒γυρε 10.1Α. Ωε δε− σχριβε ηοω τηισ ισ δονε ιν α λατερ σεχτιον. Αφτερ οπτιµιζατιον, ασ σεεν ιν

10.1

Ιντροδυχτιον

363

⇒γυρε 10.1Χ, σψντηετιχ δατα ποιντσ γενερατεδ βψ τηε µοδελ (χροσσεσ) οϖερ− λαπ ωελλ ωιτη τηε αχτυαλ δατα ποιντσ σεεν ιν ⇒γυρε 10.1Α. Τηε διστριβυτιον οφ σψντηετιχ δατα ποιντσ ιν ⇒γυρεσ 10.1Β ανδ 10.1Χ ισ δε− σχριβεδ βψ τηε προβαβιλιτψ δενσιτψ π[υ; G ] τηατ τηε γενερατιϖε µοδελ σψν− τηεσιζεσ αν ινπυτ ωιτη τηε ϖαλυε υ. Τηισ χαν βε χοµπυτεδ φροµ τηε χονδι− τιοναλ δενσιτψ π[υ|v; G ] ανδ τηε πριορ διστριβυτιον Π[v; G ] τηατ δε⇒νε τηε γενερατιϖε µοδελ, ! π[υ; G ] = π[υ|v; G ]Π[v; G ] . (10.1)

µαργιναλ διστριβυτιον π[υ; G ]

v

Τηε προχεσσ οφ συµµινγ οϖερ αλλ χαυσεσ ισ χαλλεδ µαργιναλιζατιον, ανδ π[υ; G ] ισ χαλλεδ τηε µαργιναλ διστριβυτιον οϖερ υ. Ασ ιν χηαπτερ 8, ωε υσε τηε αδδιτιοναλ αργυµεντ G το διστινγυιση τηε διστριβυτιον οφ σψντηετιχ ινπυτσ προδυχεδ βψ τηε γενερατιϖε µοδελ, π[υ; G ], φροµ τηε διστριβυτιον οφ αχτυαλ ινπυτσ, π[υ]. Τηε προχεσσ οφ αδϕυστινγ τηε παραµετερσ G το µακε τηε διστριβυτιονσ οφ σψντηετιχ ανδ ρεαλ ινπυτ δατα ποιντσ µατχη χορρεσπονδσ το µακινγ τηε µαργιναλ διστριβυτιον π[υ; G ] αππροξιµατε, ασ χλοσελψ ασ ποσ− σιβλε, τηε διστριβυτιον π[υ] φροµ ωηιχη τηε ινπυτ δατα ποιντσ αρε δραων.

Ιν α λατερ σεχτιον, ωε µακε υσε οφ αν αδδιτιον προβαβιλιτψ διστριβυτιον ασ− σοχιατεδ ωιτη τηε γενερατιϖε µοδελ, τηε ϕοιντ προβαβιλιτψ διστριβυτιον οϖερ βοτη χαυσεσ ανδ ινπυτσ, δε⇒νε βψ π[v, υ; G ] = π[υ|v; G ]Π[v; G ] .

(10.2)

ϕοιντ διστριβυτιον π[v, υ; G ]

Τηισ δεσχριβεσ τηε προβαβιλιτψ οφ χαυσε v ανδ ινπυτ υ βοτη βεινγ προδυχεδ βψ τηε γενερατιϖε µοδελ. Ασ µεντιονεδ πρεϖιουσλψ, τηε χηοιχε οφ α παρτιχυλαρ στρυχτυρε φορ α γενερ− ατιϖε µοδελ ρε⇓εχτσ ουρ νοτιονσ ανδ πρεϕυδιχεσ (ι.ε., ουρ ηευριστιχσ) χον− χερνινγ τηε νατυρε οφ τηε χαυσεσ τηατ υνδερλιε ινπυτ δατα. Υσυαλλψ, τηε ηευριστιχσ χονσιστ οφ βιασεσ τοωαρδ χερταιν τψπεσ οφ ρεπρεσεντατιονσ, ωηιχη αρε ιµποσεδ τηρουγη τηε χηοιχε οφ τηε πριορ διστριβυτιον π[v; G ]. Φορ εξ− αµπλε, ωε µαψ ωαντ τηε ιδεντι⇒εδ χαυσεσ το βε µυτυαλλψ ινδεπενδεντ (ωηιχη λεαδσ το α φαχτοριαλ ρεπρεσεντατιον ορ χοδε) ορ σπαρσε, ορ οφ λοωερ διµενσιον τηαν τηε ινπυτ δατα. Μανψ ηευριστιχσ χαν βε φορµαλιζεδ υσινγ τηε ινφορµατιον τηεορετιχ ιδεασ ωε δισχυσσ ιν χηαπτερ 4.

φαχτοριαλ χοδινγ σπαρσε χοδινγ διµενσιοναλιτψ ρεδυχτιον

Ρεχογνιτιον Μοδελσ Ονχε τηε οπτιµαλ γενερατιϖε µοδελ ηασ βεεν χονστρυχτεδ, τηε χυλµινατιον οφ ρεπρεσεντατιοναλ λεαρνινγ ισ ρεχογνιτιον, ιν ωηιχη νεω ινπυτ δατα αρε ιντερπρετεδ ιν τερµσ οφ τηε χαυσεσ εσταβλισηεδ βψ τηε γενερατιϖε µοδελ. Ιν προβαβιλιστιχ ρεχογνιτιον µοδελσ, τηισ αµουντσ το δετερµινινγ τηε προβα− βιλιτψ τηατ χαυσε v ισ ασσοχιατεδ ωιτη ινπυτ υ, Π[v|υ; G ], ωηιχη ισ χαλλεδ τηε ποστεριορ διστριβυτιον οϖερ χαυσεσ ορ τηε ρεχογνιτιον διστριβυτιον. Ιν τηε µοδελ οφ ⇒γυρε 10.1, ανδ ιν µανψ οφ τηε µοδελσ δισχυσσεδ ιν τηισ χηαπτερ, ρεχογνιτιον φαλλσ διρεχτλψ ουτ οφ τηε γενερατιϖε µοδελ. Τηε προβ− αβιλιτψ οφ χαυσε v, γιϖεν ινπυτ υ, Π[v|υ; G ], ισ τηε στατιστιχαλ ινϖερσε οφ τηε

ρεχογνιτιον διστριβυτιον Π[v|υ; G ]

364

Ρεπρεσεντατιοναλ Λεαρνινγ

διστριβυτιον π[υ|v; G ] τηατ δε⇒νεσ τηε γενερατιϖε µοδελ. Υσινγ Βαψεσ τηε− ορεµ, ιτ χαν βε εξπρεσσεδ ιν τερµσ οφ τηε διστριβυτιονσ τηατ δε⇒νε τηε γεν− ερατιϖε µοδελ ασ Π[v|υ; G ] =

π[υ|v; G ]Π[v; G ] . π[υ; G ]

(10.3)

Ονχε τηε ρεχογνιτιον διστριβυτιον ηασ βεεν χοµπυτεδ φροµ τηισ εθυατιον, τηε προβαβιλιτψ οφ ϖαριουσ χαυσεσ βεινγ ασσοχιατεδ ωιτη α γιϖεν ινπυτ χαν βε δετερµινεδ. Φορ ινστανχε, ιν τηε εξαµπλε οφ ⇒γυρε 10.1, εθυατιον 10.3 χαν βε υσεδ το δετερµινε τηατ τηε ποιντ ινδιχατεδ βψ τηε ⇒λλεδ σθυαρε ιν ⇒γυρε 10.1Χ ηασ προβαβιλιτψ Π[v = Α|υ; G ] = 0.8 οφ βεινγ ασσοχιατεδ ωιτη νευρον Α ανδ Π[v = Β|υ; G ] = 0.2 οφ βεινγ ασσοχιατεδ ωιτη νευρον Β. Ρεχαλλ τηατ χονστρυχτινγ α γενερατιϖε µοδελ ινϖολϖεσ µακινγ α νυµβερ οφ ασσυµπτιονσ αβουτ τηε νατυρε οφ τηε χαυσεσ υνδερλψινγ α σετ οφ ινπυτσ. Τηε ρεχογνιτιον µοδελ προϖιδεσ α µεχηανισµ φορ χηεχκινγ τηε σελφ−χονσιστενχψ οφ τηεσε ασσυµπτιονσ. Τηισ ισ δονε βψ εξαµινινγ τηε διστριβυτιον οφ χαυσεσ προδυχεδ βψ τηε ρεχογνιτιον µοδελ ιν ρεσπονσε το αχτυαλ δατα. Τηισ διστρι− βυτιον σηουλδ µατχη τηε πριορ διστριβυτιον οϖερ χαυσεσ, ανδ τηυσ σηαρε ιτσ δεσιρεδ προπερτιεσ, συχη ασ µυτυαλ ινδεπενδενχε. Ιφ τηε πριορ διστριβυτιον οφ τηε γενερατιϖε µοδελ δοεσ νοτ µατχη τηε αχτυαλ διστριβυτιον οφ χαυσεσ προδυχεδ βψ τηε ρεχογνιτιον µοδελ, τηισ ισ αν ινδιχατιον τηατ τηε ιµποσεδ ηευριστιχ δοεσ νοτ αππλψ αχχυρατελψ το τηε ινπυτ δατα. Εξπεχτατιον Μαξιµιζατιον

ΕΜ

∆υρινγ ουρ δισχυσσιον οφ γενερατιϖε µοδελσ, ωε σκιππεδ οϖερ τηε προχεσσ βψ ωηιχη τηε παραµετερσ G αρε ρε⇒νεδ το οπτιµιζε τηε µατχη βετωεεν σψντηετιχ ανδ ρεαλ ινπυτ δατα. Τηερε αρε ϖαριουσ ωαψσ οφ δοινγ τηισ. Ιν τηισ χηαπτερ (εξχεπτ φορ ονε χασε), ωε υσε αν αππροαχη χαλλεδ εξπεχτατιον µαξιµιζατιον (ΕΜ). Τηε γενεραλ τηεορψ οφ ΕΜ ισ δισχυσσεδ ιν δεταιλ ιν τηε φολλοωινγ σεχτιον βυτ, ασ αν ιντροδυχτιον το τηε µετηοδ, ωε αππλψ ιτ ηερε το τηε εξαµπλε οφ ⇒γυρε 10.1. Ρεχαλλ τηατ τηε προβλεµ οφ οπτιµιζινγ τηε γενερατιϖε µοδελ ιν τηισ χασε ινϖολϖεσ αδϕυστινγ τηε µιξινγ προπορτιονσ, µεανσ, ανδ ϖαριανχεσ οφ τηε τωο Γαυσσιαν διστριβυτιονσ υντιλ τηε χλυστερσ οφ σψντηετιχ δατα ποιντσ ιν ⇒γυρε 10.1Β ανδ 10.1Χ µατχη τηε χλυστερσ οφ αχτυαλ δατα ποιντσ ιν ⇒γυρε 10.1Α. Το οπτιµιζε τηε µατχη βετωεεν σψντηετιχ ανδ ρεαλ ινπυτ δατα, τηε παραµε− τερσ γv ανδ 9v , φορ v=Α ανδ Β, οφ τηε Γαυσσιαν διστριβυτιονσ οφ τηε γενερ− ατιϖε µοδελ σηουλδ εθυαλ τηε µεανσ ανδ ϖαριανχεσ οφ τηε δατα ποιντσ ασ− σοχιατεδ ωιτη εαχη χλυστερ ιν ⇒γυρε 10.1Α. Ιφ ωε κνεω ωηιχη χλυστερ εαχη ινπυτ ποιντ βελονγεδ το, ιτ ωουλδ βε α σιµπλε µαττερ το χοµπυτε τηεσε µεανσ ανδ ϖαριανχεσ ανδ χονστρυχτ τηε οπτιµαλ γενερατιϖε µοδελ. Σιµι− λαρλψ, ωε χουλδ σετ γv , τηε πριορ προβαβιλιτψ οφ α γιϖεν σπικε βεινγ α µεµβερ οφ χλυστερ v, εθυαλ το τηε φραχτιον οφ δατα ποιντσ ασσιγνεδ το τηατ χλυστερ. Οφ χουρσε, ωε δο νοτ κνοω τηε χλυστερ ασσιγνµεντσ οφ τηε ινπυτ ποιντσ; τηατ ωουλδ αµουντ το κνοωινγ τηε ανσωερ το τηε ρεχογνιτιον προβλεµ. Ηοω− εϖερ, ωε χαν µακε αν ινφορµεδ γυεσσ αβουτ ωηιχη ποιντ βελονγσ το ωηιχη

10.1

Ιντροδυχτιον

365

2

2 B

B

B B

1

A A

A

A

B B BB

B B

0

B

A 0

AA A A AAAAAA

A

A B

−1 −1

1

B

A AA A A

B

BB

1

A

B

2

−1 −1

0

1

B

A

A

0

BB BB

2

A

B

B

BB B B BB BB B BB B BB

0

B B

1

2

−1 −1

A AA A A A A A A AA A AAA B A A AA BB BB BB BBB B BB B BB B B

0

1

2

Φιγυρε 10.2 ΕΜ φορ χλυστερινγ. Τηρεε σταγεσ δυρινγ τηε χουρσε οφ ΕΜ λεαρνινγ οφ α γενερατιϖε µοδελ. Τηε χιρχλεσ σηοω τηε Γαυσσιαν διστριβυτιονσ φορ χλυστερσ Α ανδ Β (λαβελεδ ωιτη τηε λαργεστ Α ανδ Β) ασ ιν ⇒γυρε 10.1Β ανδ 10.1Χ. Τηε mτραιλσn βε− ηινδ τηε χεντερσ οφ τηε χιρχλεσ πλοτ τηε χηανγε ιν τηε µεαν σινχε τηε λαστ ιτερατιον. Τηε δατα φροµ ⇒γυρε 10.1Α αρε πλοττεδ υσινγ τηε σµαλλ λαβελσ. Λαβελ Α ισ υσεδ ιφ Π[v = Α|υ; G ] > 0.5 (ανδ οτηερωισε λαβελ Β), ωιτη τηε φοντ σιζε προπορτιοναλ το | Π[v = Α|υ; G ] − 0.5|. Τηισ µακεσ τηε φοντσ σµαλλ ιν ρεγιονσ ωηερε τηε τωο διστρι− βυτιονσ οϖερλαπ, εϖεν ινσιδε ονε οφ τηε χιρχλεσ. Τηε ασσιγνµεντ οφ λαβελσ φορ τηε τωο Γαυσσιανσ (ι.ε., ωηιχη ισ Α ανδ ωηιχη ισ Β) δεπενδσ ον ινιτιαλ χονδιτιονσ.

χλυστερ υσινγ τηε ρεχογνιτιον διστριβυτιον χοµπυτεδ φροµ εθυατιον 10.3. Ιν οτηερ ωορδσ, τηε ρεχογνιτιον διστριβυτιον Π[v|υ; G ] προϖιδεσ υσ ωιτη ουρ βεστ χυρρεντ γυεσσ αβουτ τηε χλυστερ ασσιγνµεντ, ανδ τηισ χαν βε υσεδ ιν πλαχε οφ τηε αχτυαλ κνοωλεδγε αβουτ ωηιχη νευρον προδυχεδ ωηιχη σπικε. Π[v|υ; G ] ισ τηυσ υσεδ το ασσιγν τηε δατα ποιντ υ το χλυστερ v ιν α προβαβιλισ− τιχ µαννερ. Ιν τηισ χοντεξτ, Π[v|υ; G ] ισ αλσο χαλλεδ τηε ρεσπονσιβιλιτψ οφ v φορ υ.

ρεσπονσιβιλιτψ

Φολλοωινγ τηισ ρεασονινγ, τηε µεαν ανδ ϖαριανχε οφ τηε Γαυσσιαν διστριβυ− τιον χορρεσπονδινγ το χαυσε v αρε σετ εθυαλ το α ωειγητεδ µεαν ανδ ϖαρι− ανχε οφ αλλ τηε δατα ποιντσ, ωιτη τηε ωειγητ φορ ποιντ υ εθυαλ το τηε χυρρεντ εστιµατε Π[v|υ; G ] οφ τηε προβαβιλιτψ τηατ ιτ βελονγσ το χλυστερ v. Α σιµιλαρ αργυµεντ ισ αππλιεδ το τηε µιξινγ προπορτιονσ, ρεσυλτινγ ιν τηε εθυατιονσ

γv = ⟨ Π[v|υ; G ]⟩ ,

γv =

⟨ Π[v|υ; G ]υ⟩ , γv

9v =

⟨ Π[v|υ; G ]|υ − γv |2 ⟩ . 2γ v (10.4)

Τηε ανγλε βραχκετσ ινδιχατε αϖεραγεσ οϖερ αλλ τηε ινπυτ δατα ποιντσ. Τηε φαχτορσ οφ γv διϖιδινγ τηε λαστ τωο εξπρεσσιονσ χορρεχτ φορ τηε φαχτ τηατ τηε νυµβερ οφ ποιντσ ιν χλυστερ v ισ εξπεχτεδ το βε γv τιµεσ τηε τοταλ νυµβερ οφ ινπυτ δατα ποιντσ, ωηερεασ τηε φυλλ αϖεραγεσ δενοτεδ βψ τηε βραχκετσ ινϖολϖε διϖιδινγ βψ τηε τοταλ νυµβερ οφ δατα ποιντσ. Τηε φυλλ ΕΜ αλγοριτηµ χονσιστσ οφ τωο πηασεσ τηατ αρε αππλιεδ ιν αλτερνα− τιον. Ιν τηε Ε (ορ εξπεχτατιον) πηασε, τηε ρεσπονσιβιλιτιεσ Π[v|υ; G ] αρε χαλ− χυλατεδ φροµ εθυατιον 10.3. Ιν τηε Μ (ορ µαξιµιζατιον) πηασε, τηε γενερα− τιϖε παραµετερσ G αρε µοδι⇒εδ αχχορδινγ το εθυατιον 10.4. Τηε προχεσσ οφ δετερµινινγ τηε ρεσπονσιβιλιτιεσ ανδ τηεν αϖεραγινγ αχχορδινγ το τηεµ ρε− πεατσ βεχαυσε τηε ρεσπονσιβιλιτιεσ χηανγε ωηεν G ισ µοδι⇒εδ. Φιγυρε 10.2

Ε πηασε Μ πηασε

366

Ρεπρεσεντατιοναλ Λεαρνινγ

π[υ]

π[υ

]

π[υ

3

3

3

υ3

υ3

υ3

0

0 3 υ 0 2 −3 −3

0

−3 −3

3 υ 0 2 0

υ1

3 −3

−3 −3

0

υ1

3 −3

]

3

0 0

υ1

υ2

3 −3

Φιγυρε 10.3 Φαχτορ αναλψσισ. (Α) Ινπυτ δατα ποιντσ δραων φροµ τηε διστριβυτιον π[υ] αρε ινδιχατεδ βψ τηε χροσσεσ. (Β) Τηε ινιτιαλ γενερατιϖε µοδελ. Τηε σολιδ λινε σηοωσ γ, ανδ τηε χροσσεσ αρε σψντηετιχ δατα, ωηιχη αρε σαµπλεσ φροµ τηε γενερατιϖε διστριβυτιον π[υ; G ] (ωιτη 9α = 0.0625, φορ αλλ α). (Χ) Τηε λινε γ ανδ σψντηετιχ δατα ποιντσ γενερατεδ βψ τηε οπτιµαλ γενερατιϖε µοδελ.

σηοωσ ιντερµεδιατε ρεσυλτσ ατ τηρεε διφφερεντ τιµεσ δυρινγ τηε ρυννινγ οφ τηε ΕΜ προχεδυρε, σταρτινγ φροµ τηε γενερατιϖε µοδελ ιν ⇒γυρε 10.1Β ανδ ενδινγ υπ ωιτη τηε ⇒τ σηοων ιν ⇒γυρε 10.1Χ.

Χοντινυουσ Γενερατιϖε Μοδελσ Τηε δατα οφ ⇒γυρε 10.1Α χονσιστ οφ τωο σεπαρατεδ χλυστερσ οφ ποιντσ, σο α χαυσε v τηατ τακεσ ονλψ τωο διφφερεντ ϖαλυεσ ισ αππροπριατε. Φιγυρε 10.3Α σηοωσ δατα τηατ συγγεστ τηε νεεδ φορ α χοντινυουσ ϖαριαβλε v. Ωε χαν τηινκ οφ τηεσε δατα ασ τηε ουτπυτσ οφ τηρεε νοισψ σενσορσ, εαχη µεασυρινγ τηε σαµε θυαντιτψ. Ιν τηισ χασε, τηε χαυσε v ρεπρεσεντσ τηε ϖαλυε οφ τηε θυαντιτψ βεινγ µεασυρεδ, ανδ ρεχογνιτιον χορρεσπονδσ το εξτραχτινγ τηισ ϖαλυε φροµ τηε σενσορ ουτπυτσ. Βεχαυσε v ισ α χοντινυουσ ϖαριαβλε, τηε πριορ ανδ ρεχογνιτιον διστριβυτιονσ ιν τηισ χασε αρε προβαβιλιτψ δενσιτιεσ, π[v; G ] ανδ π[v|υ; G ]. Ασ ιν τηε χασε οφ χλυστερινγ, τηε γενερατιϖε µοδελ ισ δετερµινεδ βψ τηε πριορ διστριβυτιον π[v; G ] ανδ τηε γενερατιϖε διστριβυτιον π[υ|v; G ], ωηερε υ = (υ1 , υ2 , υ3 ) ρεπρεσεντσ τηε τηρεε σενσορ ρεαδινγσ. Α σιµπλε χηοιχε φορ τηε πριορ διστριβυτιον οϖερ v ισ α Γαυσσιαν ωιτη µεαν 0 ανδ ϖαριανχε 1. Τηε γενερατιϖε διστριβυτιον ισ δεσιγνεδ το χαπτυρε τηε φαχτ τηατ τηε δατα ποιντσ ιν ⇒γυρε 10.3Α λιε αλονγ α λινε ιν τηε τηρεε−διµενσιοναλ σπαχε. Ιτ ισ τηε προδυχτ οφ τηρεε Γαυσσιαν φυνχτιονσ, ονε φορ εαχη οφ τηε σενσορσ, ωιτη µεανσ γα v ανδ ϖαριανχεσ 9α φορ α = 1, 2, 3. Τηε ϖεχτορ γ = ( γ1 , γ2 , γ3 ) σπεχ− ι⇒εσ τηε διρεχτιον οφ τηε λινε αλονγ ωηιχη σψντηετιχ δατα ποιντσ προδυχεδ βψ τηε γενερατιϖε µοδελ λιε, ανδ τηε ϖαριανχεσ δετερµινε ηοω τιγητλψ τηε ποιντσ ηυγ τηισ λινε ιν εαχη ινπυτ διµενσιον. Ιν τηε εξαµπλε οφ ⇒γ− υρε 10.3Α, τηε σενσορσ αλλ µεασυρε τηε σαµε θυαντιτψ. Τηυσ, φροµ αν αρβι− τραρψ ινιτιαλ γ, τηε γενερατιϖε µοδελ µυστ ⇒νδ τηε βεστ ⇒τ, γ ∝ (1, 1, 1 ). Φιγυρε 10.3Β σηοωσ σψντηετιχ δατα ποιντσ γενερατεδ φροµ τηε γενερατιϖε

10.1

Ιντροδυχτιον

367

µοδελ, αλονγ ωιτη α σολιδ λινε ινδιχατινγ τηε διρεχτιον οφ γ. Ασ ιν ⇒γ− υρε 10.1Β, αλτηουγη τηε γενερατιϖε µοδελ ηασ τηε χαπαχιτψ το χρεατε α δατα διστριβυτιον λικε τηατ ιν ⇒γυρε 10.3Α, τηε παραµετερσ υνδερλψινγ ⇒γ− υρε 10.3Β αρε χλεαρλψ ιναππροπριατε, ανδ µυστ βε αδϕυστεδ βψ α λεαρνινγ προχεδυρε. Φιγυρε 10.3Χ σηοωσ σψντηετιχ δατα αφτερ λεαρνινγ, ινδιχατινγ τηε χλοσε µατχη βετωεεν τηε µαργιναλ διστριβυτιον π[υ; G ] φροµ τηε µοδελ ανδ τηε ινπυτ διστριβυτιον π[υ]. Τηισ µοδελ ισ α σιµπλε χασε οφ φαχτορ αναλψσισ; τηε γενεραλ χασε ισ δισχυσσεδ ιν σεχτιον 10.3. Τηε ΕΜ αλγοριτηµ φορ φαχτορ αναλψσισ ισ σιµιλαρ ιν στρυχτυρε το τηατ φορ χλυστερινγ. Ασ βεφορε, τηε βασιχ ιδεα ισ τηατ ιφ ωε κνεω τηε ϖαλυε οφ τηε χαυσε τηατ υνδερλιεσ εαχη ινπυτ ποιντ, ωε χουλδ ⇒νδ τηε παραµετερσ G εασιλψ. Ηερε, τηε παραµετερσ ωουλδ βε δετερµινεδ βψ σολϖινγ τηε λινεαρ ρεγρεσσιον προβλεµ τηατ ⇒τσ τηε οβσερϖεδ ινπυτσ το τηε ϖαριαβλε v. Τηισ µιρρορσ τηε οβσερϖατιον ιν ουρ ⇒ρστ εξαµπλε τηατ ιφ ωε κνεω τηε χλυστερ ασσιγνµεντ φορ εαχη ινπυτ ποιντ, ωε χουλδ εασιλψ ⇒νδ τηε οπτιµαλ µεανσ ανδ ϖαριανχεσ οφ τηε χλυστερσ. Οφ χουρσε, ωε δο νοτ κνοω τηε ϖαλυεσ οφ τηε χαυσεσ. Ρατηερ, ασ βεφορε, ιν τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ, τηε διστριβυτιον οϖερ χαυσεσ π[v|υ; G ] ισ χαλχυλατεδ φροµ τηε χοντινυουσ αναλογ οφ εθυατιον 10.3 (Π[v; G ] ον τηε ριγητ σιδε οφ εθυατιον 10.3 ισ ρεπλαχεδ βψ π[v; G ]), ανδ τηισ ισ υσεδ ασ ουρ βεστ χυρρεντ εστιµατε οφ ηοω λικελψ χαυσε v ισ ασσοχιατεδ ωιτη ινπυτ υ. Τηεν τηε Μ πηασε χονσιστσ οφ ωειγητεδ λινεαρ ρεγρεσσιον, ⇒ττινγ τηε οβσερϖατιονσ υ το τηε ϖαριαβλεσ v ωειγητεδ βψ τηε χυρρεντ ρεχογνιτιον προβαβιλιτιεσ. Τηε ρεσυλτ ισ αναλογουσ το εθυατιον 10.4; ωε σετ 3# 4 5" 6 δv π[v|υ; G ]vυα 2 3# 4 γα = ανδ 9α = δv π[v|υ; G ](υα − vγα ) . δv π[v|υ; G ]v2 (10.5)

Αππροξιµατε Ρεχογνιτιον Ιν τηε τωο εξαµπλεσ ωε ηαϖε χονσιδερεδ, εθυατιον 10.3 ωασ υσεδ το οβ− ταιν τηε ρεχογνιτιον διστριβυτιον διρεχτλψ φροµ τηε γενερατιϖε µοδελ. Φορ σοµε µοδελσ, ηοωεϖερ, ιτ ισ ιµπραχτιχαλλψ διφ⇒χυλτ το εϖαλυατε τηε ριγητ σιδε οφ εθυατιον 10.3 ανδ οβταιν τηε ρεχογνιτιον διστριβυτιον ιν τηισ ωαψ. Ωε χαλλ µοδελσ ιν ωηιχη τηε ρεχογνιτιον διστριβυτιον χαν βε χοµπυτεδ τραχταβλψ φροµ εθυατιον 10.3 ινϖερτιβλε, ανδ τηοσε ιν ωηιχη ιτ χαννοτ βε χοµπυτεδ τραχταβλψ, νονινϖερτιβλε. Ιν τηε λαττερ χασε, βεχαυσε εθυατιον 10.3 χαννοτ βε υσεδ, ρεχογνιτιον ισ βασεδ ον αν αππροξιµατε ρεχογνιτιον διστρι− βυτιον. Τηισ ισ α φυνχτιον Θ[v; υ] τηατ αππροξιµατεσ τηε εξαχτ ρεχογνιτιον διστριβυτιον Π[v|υ; G ]. Οφτεν, ασ ωε δισχυσσ ιν τηε νεξτ σεχτιον, τηε βεστ αππροξιµατιον οφ τηε ρεχογνιτιον διστριβυτιον χοµεσ φροµ αδϕυστινγ πα− ραµετερσ τηρουγη αν οπτιµιζατιον προχεδυρε. Ονχε τηισ ισ δονε, Θ[v; υ] προϖιδεσ τηε µοδελaσ εστιµατε οφ τηε προβαβιλιτψ τηατ ινπυτ υ ισ ασσοχι− ατεδ ωιτη χαυσε v, ανδ συβστιτυτεσ φορ τηε εξαχτ ρεχογνιτιον διστριβυτιον Π[v|υ; G ]. Τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ ιν α νονινϖερτιβλε µοδελ χονσιστσ οφ

ινϖερτιβλε ανδ νονινϖερτιβλε µοδελσ

αππροξιµατε ρεχογνιτιον διστριβυτιον Θ[v; υ]

368

Ρεπρεσεντατιοναλ Λεαρνινγ

µακινγ Θ[v; υ] αππροξιµατε Π[v|υ; G ] ασ αχχυρατελψ ασ ποσσιβλε, γιϖεν τηε χυρρεντ παραµετερσ G . Ωε χαν ινχλυδε ινϖερτιβλε µοδελσ ωιτηιν τηε σαµε γενεραλ φορµαλισµ υσεδ το δεσχριβε νονινϖερτιβλε µοδελσ βψ νοτινγ τηατ, ιν τηε Ε πηασε φορ αν ινϖερτιβλε µοδελ, ωε σιµπλε σετ Θ[v; υ] = Π[v|υ; G ] βψ σολϖινγ εθυατιον 10.3.

Συµµαρψ οφ Χαυσαλ Μοδελσ Ιν συµµαρψ, χαυσαλ µοδελσ µακε υσε οφ τηε φολλοωινγ προβαβιλιτψ διστρι− βυτιονσ (φορ τηε χασε οφ χοντινυουσ ινπυτσ ανδ δισχρετε χαυσεσ). • π[υ], τηε ινπυτ διστριβυτιον • Π[v; G ], τηε πριορ διστριβυτιον οϖερ χαυσεσ • π[υ|v; G ], τηε γενερατιϖε διστριβυτιον • π[υ; G ], τηε µαργιναλ διστριβυτιον • Π[v|υ; G ], τηε ρεχογνιτιον διστριβυτιον • Π[υ, v; G ], τηε ϕοιντ διστριβυτιον οϖερ ινπυτσ ανδ χαυσεσ • Θ[v; υ], τηε αππροξιµατε ρεχογνιτιον διστριβυτιον. Τηε γοαλ οφ γενερατιϖε µοδελινγ, ωηιχη ισ ιµπλεµεντεδ βψ συχχεσσιϖε Μ πηασεσ οφ τηε ΕΜ αλγοριτηµ, ισ το µακε π[υ; G ] ≈ π[υ] (ασ αχχυρατελψ ασ ποσσιβλε). Τηισ ισ δονε βψ υσινγ τηε µαργιναλ διστριβυτιον οβταινεδ φροµ πριορ Ε πηασεσ οφ ΕΜ ανδ αδϕυστινγ τηε παραµετερσ G το µατχη ιτ το τηε ιν− πυτ διστριβυτιον. Τηε γοαλ οφ εαχη Ε πηασε ισ το µακε Θ[v; υ] ≈ Π[v|υ; G ] (ασ αχχυρατελψ ασ ποσσιβλε) φορ τηε χυρρεντ ϖαλυεσ οφ τηε γενερατιϖε πα− ραµετερσ G . Προβαβιλιστιχ ρεχογνιτιον ισ χαρριεδ ουτ υσινγ τηε διστριβυτιον Θ[v; υ] το δετερµινε τηε προβαβιλιτψ τηατ χαυσε v ισ ρεσπονσιβλε φορ ινπυτ υ.

10.2

δενσιτψ εστιµατιον

∆ενσιτψ Εστιµατιον

Τηε προχεσσ οφ µατχηινγ τηε διστριβυτιον π[υ; G ] προδυχεδ βψ τηε γενερα− τιϖε µοδελ το τηε αχτυαλ ινπυτ διστριβυτιον π[υ] ισ α φορµ οφ δενσιτψ εστι− µατιον. Τηισ τεχηνιθυε ισ δισχυσσεδ ιν χηαπτερ 8 ιν χοννεχτιον ωιτη τηε Βολτζµανν µαχηινε. Ασ µεντιονεδ ιν τηε ιντροδυχτιον, τηε παραµετερσ G οφ τηε γενερατιϖε µοδελ αρε ⇒ττεδ το τηε ινπυτ δατα βψ µινιµιζινγ τηε δισ− χρεπανχψ βετωεεν τηε προβαβιλιτψ δενσιτψ οφ τηε ινπυτ δατα π[υ] ανδ τηε µαργιναλ προβαβιλιτψ δενσιτψ π[υ; G ] οφ εθυατιον 10.1. Τηισ δισχρεπανχψ ισ µεασυρεδ υσινγ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε (χηαπτερ 4), " π[υ] ∆ΚΛ ( π[υ], π[υ; G ] ) = δυ π[υ] λν π[υ; G ] 3 4 ≈ − λν π[υ; G ] + Κ , (10.6)

10.2

∆ενσιτψ Εστιµατιον

369

ωηερε Κ ισ α τερµ ασσοχιατεδ ωιτη τηε εντροπψ οφ τηε διστριβυτιον π[υ], τηατ ισ ινδεπενδεντ οφ G . Ιν τηε σεχονδ λινε, ωε ηαϖε αππροξιµατεδ τηε ιντεγραλ οϖερ αλλ υ ϖαλυεσ ωειγητεδ βψ π[υ] βψ τηε αϖεραγε οϖερ ινπυτ δατα ποιντσ γενερατεδ φροµ τηε διστριβυτιον π[υ]. Ωε ασσυµε τηερε αρε συφ⇒χιεντ ινπυτ δατα το ϕυστιφψ τηισ αππροξιµατιον. Ασ ιν τηε χασε οφ τηε Βολτζµανν µαχηινε δισχυσσεδ ιν χηαπτερ 8, εθυα− τιον 10.6 ιµπλιεσ τηατ µινιµιζινγ τηε δισχρεπανχψ βετωεεν π[υ] ανδ π[υ; G ] αµουντσ το µαξιµιζινγ τηε λογ λικελιηοοδ τηατ τηε τραινινγ δατα χουλδ ηαϖε βεεν χρεατεδ βψ τηε γενερατιϖε µοδελ, λογ λικελιηοοδ Λ (G ) 3 4 Λ (G ) = λν π[υ; G ] . (10.7)

Λ (G ) ισ τηε αϖεραγε λογ λικελιηοοδ, ανδ τηε µετηοδ ισ κνοων ασ µαξιµυµ λικελιηοοδ δενσιτψ εστιµατιον. Α τηεορεµ δυε το Σηαννον δεσχριβεσ χιρ− χυµστανχεσ υνδερ ωηιχη τηε γενερατιϖε µοδελ τηατ µαξιµιζεσ τηε λικελι− ηοοδ οϖερ ινπυτ δατα αλσο προϖιδεσ τηε µοστ εφ⇒χιεντ ωαψ οφ χοδινγ τηοσε δατα, σο δενσιτψ εστιµατιον ισ χλοσελψ ρελατεδ το οπτιµαλ χοδινγ.

µαξιµυµ λικελιηοοδ δενσιτψ εστιµατιον

Τηεορψ οφ ΕΜ Αλτηουγη στοχηαστιχ γραδιεντ ασχεντ χαν βε υσεδ το αδϕυστ τηε παραµετερσ οφ τηε γενερατιϖε µοδελ το µαξιµιζε τηε λικελιηοοδ ιν εθυατιον 10.7 (ασ ιτ ωασ φορ τηε Βολτζµανν µαχηινε), τηε ΕΜ αλγοριτηµ δισχυσσεδ ιν τηε ιν− τροδυχτιον ισ αν αλτερνατιϖε προχεδυρε τηατ ισ οφτεν µορε εφ⇒χιεντ. Ωε απ− πλιεδ τηισ αλγοριτηµ, ον ιντυιτιϖε γρουνδσ, το τηε εξαµπλεσ οφ ⇒γυρεσ 10.1 ανδ 10.3, βυτ ωε νοω πρεσεντ α µορε γενεραλ ανδ ριγορουσ δισχυσσιον. Τηισ ισ βασεδ ον τηε χοννεχτιον οφ ΕΜ ωιτη µαξιµιζατιον οφ τηε φυνχτιον + , ! π[v, υ; G ] F ( Θ, G ) = Θ[v; υ] λν , (10.8) Θ[v; υ] v ωηερε Θ[v; υ] ισ ανψ νοννεγατιϖε φυνχτιον οφ τηε δισχρετε αργυµεντ v ανδ χοντινυουσ ινπυτ υ τηατ σατισ⇒εσ ! Θ[v; υ] = 1 (10.9) v

φορ αλλ υ. Αλτηουγη, ιν πρινχιπλε, Θ[v; υ] χαν βε ανψ φυνχτιον, ωε χονσιδερ ιτ το βε αν αππροξιµατε ρεχογνιτιον διστριβυτιον, τηατ ισ Θ[v; υ] ≈ Π[v|υ; G ].

F ισ α υσεφυλ θυαντιτψ βεχαυσε, βψ α ρεαρρανγεµεντ οφ τερµσ, ιτ χαν βε ωριττεν ασ τηε διφφερενχε οφ τηε αϖεραγε λογ λικελιηοοδ ανδ τηε αϖερ− αγε Κυλλβαχκ−Λειβλερ διϖεργενχε βετωεεν Θ[v; υ] ανδ Π[v|υ; G ]. Τηισ ισ δονε βψ νοτινγ τηατ τηε ϕοιντ διστριβυτιον οϖερ ινπυτσ ανδ χαυσεσ σατισ⇒εσ π[v, υ; G ] = Π[v|υ; G ]π[υ; G ], ιν αδδιτιον το 10.2, ανδ υσινγ 10.9 ανδ τηε

F (Q , G )

370

Ρεπρεσεντατιοναλ Λεαρνινγ

δε⇒νιτιον οφ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε το οβταιν + % &, ! Π[v|υ; G ] F ( Θ, G ) = Θ[v; υ] λν π[υ; G ] + λν Θ[v; υ] v + &, % ! 3 4 Θ[v; υ] = λν π[υ; G ] − Θ[v; υ] λν Π[v|υ; G ] v 3 4 = Λ (G ) − ∆ΚΛ ( Θ[v; υ], Π[v|υ; G ] ) .

(10.10)

Βεχαυσε τηε Κυλλβαχκ−Λειβλερ διϖεργενχε ισ νεϖερ νεγατιϖε, Λ (G ) ≥ F ( Θ, G ) ,

(10.11)

ανδ βεχαυσε ∆ΚΛ = 0 ονλψ ιφ τηε τωο διστριβυτιονσ βεινγ χοµπαρεδ αρε ιδεντιχαλ, τηισ ινεθυαλιτψ ισ σατυρατεδ, βεχοµινγ αν εθυαλιτψ, ονλψ ιφ Θ[v; υ] = Π[v|υ; G ] . φρεε ενεργψ −F

(10.12)

Τηε νεγατιϖε οφ F ισ ρελατεδ το τηε φρεε ενεργψ υσεδ ιν στατιστιχαλ πηψσιχσ. Εξπρεσσιονσ 10.10, 10.11, ανδ 10.12 αρε χριτιχαλ το τηε οπερατιον οφ ΕΜ. Τηε τωο πηασεσ οφ ΕΜ αρε χονχερνεδ ωιτη σεπαρατελψ µαξιµιζινγ (ορ ατ λεαστ ινχρεασινγ) F ωιτη ρεσπεχτ το ονε οφ ιτσ τωο αργυµεντσ, κεεπινγ τηε οτηερ ονε ⇒ξεδ. Ωηεν F ινχρεασεσ, τηισ ινχρεασεσ α λοωερ βουνδ ον τηε λογ λικε− λιηοοδ οφ τηε ινπυτ δατα (εθυατιον 10.11). Ιν τηε Μ πηασε, F ισ ινχρεασεδ ωιτη ρεσπεχτ το G , κεεπινγ Θ χονσταντ. Φορ τηε γενερατιϖε µοδελσ χονσιδ− ερεδ ασ εξαµπλεσ ιν τηε πρεϖιουσ σεχτιον, ιτ ισ ποσσιβλε το µαξιµιζε F ωιτη ρεσπεχτ το G ιν α σινγλε στεπ. Φορ οτηερ γενερατιϖε µοδελσ, τηισ µαψ ρεθυιρε µυλτιπλε στεπσ τηατ περφορµ γραδιεντ ασχεντ ον F . Ιν τηε Ε πηασε, F ισ ινχρεασεδ ωιτη ρεσπεχτ το Θ, κεεπινγ G χονσταντ. Φροµ εθυατιον 10.10, ωε σεε τηατ ινχρεασινγ F βψ χηανγινγ Θ ισ εθυιϖαλεντ το ρεδυχινγ τηε αϖεραγε Κυλλβαχκ−Λειβλερ διϖεργενχε βετωεεν Θ[v; υ] ανδ Π[v|υ; G ]. Τηισ µακεσ Θ[v; υ] α βεττερ αππροξιµατιον οφ Π[v|υ; G ]. Τηε Ε πηασε χαν προχεεδ ιν ατ λεαστ τηρεε ποσσιβλε ωαψσ, δεπενδινγ ον τηε νατυρε οφ τηε γενερατιϖε µοδελ βεινγ χονσιδερεδ. Ωε δισχυσσ τηεσε σεπαρατελψ. Ονε αδϖανταγε οφ ΕΜ οϖερ λικελιηοοδ µαξιµιζατιον τηρουγη γραδιεντ µετηοδσ ισ τηατ λαργε στεπσ τοωαρδ τηε µαξιµυµ χαν βε τακεν δυρινγ εαχη Μ χψχλε οφ µοδι⇒χατιον. Οφ χουρσε, τηε λογ λικελιηοοδ µαψ ηαϖε µυλτιπλε µαξιµα, ιν ωηιχη χασε νειτηερ γραδιεντ ασχεντ νορ ΕΜ ισ γυαραντεεδ το ⇒νδ τηε γλοβαλλψ οπτιµαλ σολυτιον.

Ινϖερτιβλε Μοδελσ Ιφ τηε χαυσαλ µοδελ βεινγ χονσιδερεδ ισ ινϖερτιβλε, τηε Ε στεπ οφ ΕΜ σιµ− πλψ χονσιστσ οφ σολϖινγ εθυατιον 10.3 φορ τηε ρεχογνιτιον διστριβυτιον, ανδ σεττινγ Θ εθυαλ το τηε ρεσυλτινγ Π[v|υ; G ], ασ ιν εθυατιον 10.12. Τηισ µαξ− ιµιζεσ F ωιτη ρεσπεχτ το Θ βψ σεττινγ τηε Κυλλβαχκ−Λειβλερ τερµ ιν εθυα− τιον 10.10 το 0, ανδ ιτ µακεσ τηε φυνχτιον F εθυαλ το Λ (G ), τηε αϖεραγε λογ

10.2

∆ενσιτψ Εστιµατιον

371

λικελιηοοδ οφ τηε δατα ποιντσ. Ηοωεϖερ, τηε ΕΜ αλγοριτηµ φορ µαξιµιζινγ F ισ νοτ εξαχτλψ τηε σαµε ασ λικελιηοοδ µαξιµιζατιον βψ γραδιεντ ασχεντ οφ F . Τηισ ισ βεχαυσε τηε φυνχτιον Θ ισ ηελδ χονσταντ δυρινγ τηε Μ πηασε ωηιλε τηε παραµετερσ οφ τηε γενερατιϖε µοδελ αρε µοδι⇒εδ. Αλτηουγη F ισ εθυαλ το Λ ατ τηε βεγιννινγ οφ τηε Μ πηασε, εξαχτ εθυαλιτψ χεασεσ το βε τρυε ασ σοον ασ τηε παραµετερσ αρε µοδι⇒εδ, µακινγ Π[v|υ; G ] διφφερεντ φροµ Θ. F ισ εθυαλ το Λ (G ) αγαιν ονλψ αφτερ τηε υπδατε οφ Θ δυρινγ τηε φολλοωινγ Ε πηασε. Ατ τηισ ποιντ, Λ (G ) µυστ ηαϖε ινχρεασεδ σινχε τηε λαστ Ε πηασε, βεχαυσε F ηασ ινχρεασεδ. Τηισ σηοωσ τηατ τηε λογ λικελιηοοδ ιν− χρεασεσ µονοτονιχαλλψ δυρινγ ΕΜ υντιλ τηε προχεσσ χονϖεργεσ. Φορ τηε εξαµπλε οφ ⇒γυρε 10.1, τηε ϕοιντ προβαβιλιτψ οϖερ χαυσεσ ανδ ινπυτσ ισ % & |υ − γv |2 γv εξπ − , (10.13) π[v, υ; G ] = 2π9v 29v ανδ τηυσ + % = > &, ! γv |υ − γv |2 F = Θ[v; υ] λν − λν 9v − − λν Θ[v; υ] . (10.14) 2π 29v v

Τηε Ε πηασε αµουντσ το χοµπυτινγ Π[v|υ; G ] φροµ εθυατιον 10.3 ανδ σετ− τινγ Θ εθυαλ το ιτ, ασ ιν εθυατιον 10.12. Τηε Μ πηασε ινϖολϖεσ µαξιµιζινγ F ωιτη ρεσπεχτ το G φορ τηισ Θ. Ωε λεαϖε ιτ ασ αν εξερχισε φορ τηε ρεαδερ το σηοω τηατ µαξιµιζινγ εθυατιον / 10.14 ωιτη ρεσπεχτ το τηε παραµετερσ γv (τακινγ ιντο αχχουντ τηε χονστραιντ v γv = 1), γv , ανδ 9v λεαδσ το τηε ρυλεσ οφ εθυατιον 10.4. Φορ τηε εξαµπλε οφ ⇒γυρε 10.3, τηε ϕοιντ προβαβιλιτψ ισ / εξπ(−v2 /2 ) εξπ(− α (υα − γα v)2 /29α ) 0 π[v, υ; G ] = , (10.15) √ 2π (2π)3 91 92 93 φροµ ωηιχη ιτ ισ στραιγητφορωαρδ το χαλχυλατε τηε ρελεϖαντ F φυνχτιον ανδ τηε ασσοχιατεδ λεαρνινγ ρυλεσ οφ εθυατιον 10.5. Νονινϖερτιβλε ∆ετερµινιστιχ Μοδελσ Ιφ τηε γενερατιϖε µοδελ ισ νονινϖερτιβλε, τηε Ε πηασε οφ τηε ΕΜ αλγοριτηµ ισ µορε χοµπλεξ τηαν σιµπλψ σεττινγ Θ εθυαλ το Π[v|υ; G ], βεχαυσε ιτ ισ νοτ πραχτιχαλ το χοµπυτε τηε ρεχογνιτιον διστριβυτιον εξαχτλψ. Τηε στεπσ τακεν δυρινγ τηε Ε πηασε δεπενδ ον ωηετηερ τηε αππροξιµατιον το τηε ινϖερσε οφ τηε µοδελ ισ δετερµινιστιχ ορ προβαβιλιστιχ, αλτηουγη τηε βασιχ αργυµεντ ισ τηε σαµε ιν ειτηερ χασε. ∆ετερµινιστιχ ρεχογνιτιον ρεσυλτσ ιν α πρεδιχτιον v(υ ) οφ τηε χαυσε υνδερ− λψινγ ινπυτ υ. Ιν τερµσ οφ τηε φυνχτιον F , τηισ αµουντσ το ρεταινινγ ονλψ τηε σινγλε τερµ v = v(υ ) ιν τηε συµ ιν εθυατιον 10.8, ανδ φορ τηισ σινγλε τερµ Θ[v(υ ); υ] = 1. Τηυσ, ιν τηισ χασε F ισ α φυνχτιοναλ οφ τηε φυνχτιον v(υ ) ανδ α φυνχτιον οφ τηε παραµετερσ G γιϖεν βψ

F ( Θ, G ) = F (v(υ ), G ) = ⟨λν Π[v(υ ), υ; G ]⟩ .

(10.16)

372

ϖαριατιοναλ µετηοδ

Ρεπρεσεντατιοναλ Λεαρνινγ

Τηε Μ πηασε οφ ΕΜ χονσιστσ, ασ αλωαψσ, οφ µαξιµιζινγ τηισ εξπρεσσιον ωιτη ρεσπεχτ το G . ∆υρινγ τηε Ε πηασε ωε τρψ το ⇒νδ τηε φυνχτιον v(υ ) τηατ µαξιµιζεσ F . Βεχαυσε v ισ ϖαριεδ δυρινγ τηε οπτιµιζατιον προχεδυρε, τηε αππροαχη ισ σοµετιµεσ χαλλεδ α ϖαριατιοναλ µετηοδ. Τηε Ε ανδ Μ στεπσ µακε ιντυιτιϖε σενσε; ωε αρε ⇒νδινγ τηε ινπυτ−ουτπυτ ρελατιονσηιπ τηατ µαξιµιζεσ τηε προβαβιλιτψ τηατ τηε γενερατιϖε µοδελ ωουλδ ηαϖε σιµυλτα− νεουσλψ προδυχεδ τηε ινπυτ υ ανδ χαυσε v(υ ).

Νονινϖερτιβλε Προβαβιλιστιχ Μοδελσ Τηε αλτερνατιϖε το υσινγ α δετερµινιστιχ αππροξιµατε ρεχογνιτιον µοδελ ισ το τρεατ Θ[v; υ] ασ α φυλλ προβαβιλιτψ διστριβυτιον οϖερ v φορ εαχη ινπυτ εξαµπλε υ. Ιν τηισ χασε, ωε χηοοσε α σπεχι⇒χ φυνχτιοναλ φορµ φορ Θ, εξ− πρεσσεδ ιν τερµσ οφ α σετ οφ παραµετερσ χολλεχτιϖελψ λαβελεδ W . Τηυσ, ωε ωριτε τηε αππροξιµατε ρεχογνιτιον διστριβυτιον ασ Θ[v; υ, W ]. Λικε γενερα− τιϖε µοδελσ, αππροξιµατε ρεχογνιτιον µοδελσ χαν ηαϖε διφφερεντ στρυχτυρεσ ανδ παραµετερσ. F χαν νοω βε τρεατεδ ασ α φυνχτιον οφ W , ρατηερ τηαν οφ Θ, σο ωε ωριτε ιτ ασ F (W , G ). Ασ ιν αλλ χασεσ, τηε Μ πηασε οφ ΕΜ χονσιστσ οφ µαξιµιζινγ Φ (W , G ) ωιτη ρεσπεχτ το G . Τηε Ε πηασε νοω χονσιστσ οφ µαξιµιζινγ Φ (W , G ) ωιτη ρεσπεχτ το W . Τηισ ηασ τηε εφφεχτ οφ µακινγ Θ[v; υ, W ] ασ σιµιλαρ ασ ποσσιβλε το Π[v|υ; G ], ιν τηε σενσε τηατ τηε ΚΛ δι− ϖεργενχε βετωεεν τηεµ, αϖεραγεδ οϖερ τηε ινπυτ δατα, ισ µινιµιζεδ (σεε εθυατιον 10.10). Ιν σοµε χασεσ, W ηασ σεπαρατε παραµετερσ φορ εαχη ποσσιβλε ινπυτ υ. Τηισ µεανσ τηατ εαχη ινπυτ ηασ α σεπαρατε αππροξιµατε ρεχογνιτιον διστριβυτιον ωηιχη ισ ινδιϖιδυαλλψ ταιλορεδ, συβϕεχτ το τηε ινηερεντ σιµπλιφψινγ ασσυµπ− τιονσ, το ιτσ οων χαυσεσ. Τηε µεαν−⇒ελδ αππροξιµατιον το τηε Βολτζµανν µαχηινε δισχυσσεδ ιν χηαπτερ 7 ισ αν εξαµπλε οφ τηισ τψπε. Ιτ ισ νοτ νεχεσσαρψ το µαξιµιζε Φ (W , G ) χοµπλετελψ ωιτη ρεσπεχτ το W ανδ τηεν G δυρινγ συχχεσσιϖε Ε ανδ Μ πηασεσ. Ινστεαδ, γραδιεντ ασχεντ στεπσ τηατ µοδιφψ W ανδ G βψ σµαλλ αµουντσ χαν βε τακεν ιν αλτερνατιον, ιν ωηιχη χασε τηε Ε ανδ Μ πηασεσ εφφεχτιϖελψ οϖερλαπ. Βεχαυσε εαχη Ε ανδ Μ στεπ σεπαρατελψ ινχρεασεσ τηε ϖαλυε οφ F , τηε ΕΜ αλγοριτηµ ισ γυαραντεεδ το χονϖεργε το ατ λεαστ α λοχαλ µαξιµυµ οφ F , εξχεπτ ιν ραρε χασεσ ωηεν τηε προχεσσ οφ µαξιµιζινγ α φυνχτιον ονε χοορ− δινατε ατ α τιµε (ωηιχη ισ χαλλεδ χοορδινατε ασχεντ) ⇒νδσ λοχαλ µαξιµα τηατ οτηερ οπτιµιζατιον µετηοδσ αϖοιδ (ωε ενχουντερ αν εξαµπλε οφ τηισ λατερ ιν τηε χηαπτερ). Ιν γενεραλ, τηε µαξιµυµ φουνδ δοεσ νοτ χορρεσπονδ το α λοχαλ µαξιµυµ οφ τηε λικελιηοοδ φυνχτιον βεχαυσε Θ ισ νοτ εξαχτλψ εθυαλ το τηε αχτυαλ ρεχογνιτιον διστριβυτιον (τηατ ισ, F ισ γυαραντεεδ ονλψ το βε α λοωερ βουνδ ον Λ (G )). Νεϖερτηελεσσ, α γοοδ γενερατιϖε µοδελ σηουλδ βε οβταινεδ ιφ τηε λοωερ βουνδ ισ τιγητ.

10.3

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

373

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

Ιν τηισ σεχτιον, ωε πρεσεντ α νυµβερ οφ µοδελσ ιν ωηιχη ρεπρεσεντατιοναλ λεαρνινγ ισ αχηιεϖεδ τηρουγη δενσιτψ εστιµατιον. Τηε µιξτυρε οφ Γαυσσιανσ ανδ φαχτορ αναλψσισ µοδελσ τηατ ωε ηαϖε αλρεαδψ µεντιονεδ αρε εξαµπλεσ οφ ινϖερτιβλε γενερατιϖε µοδελσ ωιτη προβαβιλιστιχ ρεχογνιτιον. Κ−µεανσ ισ α λιµιτινγ χασε οφ µιξτυρε οφ Γαυσσιανσ ωιτη δετερµινιστιχ ρεχογνιτιον, ανδ πρινχιπαλ χοµπονεντσ αναλψσισ ισ α λιµιτινγ χασε οφ φαχτορ αναλψσισ ωιτη δε− τερµινιστιχ ρεχογνιτιον. Ωε χονσιδερ τωο οτηερ µοδελσ ωιτη δετερµινιστιχ ρεχογνιτιον: ινδεπενδεντ χοµπονεντσ αναλψσισ, ωηιχη ισ ινϖερτιβλε; ανδ σπαρσε χοδινγ, ωηιχη ισ νονινϖερτιβλε. Ουρ ⇒ναλ εξαµπλε, τηε Ηελµηολτζ µαχηινε, ισ νονινϖερτιβλε ωιτη προβαβιλιστιχ ρεχογνιτιον. Τηε Βολτζµανν µαχηινε, δισχυσσεδ ιν χηαπτερσ 7 ανδ 8, ισ αν αδδιτιοναλ εξαµπλε τηατ ισ χλοσελψ ρελατεδ το τηε χαυσαλ µοδελσ δισχυσσεδ ηερε. Ωε συµµαριζε ανδ ιντερπρετ γενεραλ προπερτιεσ οφ ρεπρεσεντατιονσ δεριϖεδ φροµ χαυσαλ µοδ− ελσ ατ τηε ενδ οφ τηε χηαπτερ. Τηε ταβλε ιν τηε αππενδιξ συµµαριζεσ τηε γενερατιϖε ανδ ρεχογνιτιον διστριβυτιονσ ανδ τηε λεαρνινγ ρυλεσ φορ αλλ τηε µοδελσ ωε δισχυσσ.

Μιξτυρε οφ Γαυσσιανσ Τηε µοδελ αππλιεδ ιν τηε ιντροδυχτιον το τηε δατα ιν ⇒γυρε 10.1Α ισ α µιξτυρε οφ Γαυσσιανσ µοδελ. Τηατ εξαµπλε ινϖολϖεδ τωο χαυσεσ ανδ τωο Γαυσσιαν διστριβυτιονσ, βυτ ωε νοω γενεραλιζε τηισ το Νv χαυσεσ, εαχη ασ− σοχιατεδ ωιτη α σεπαρατε Γαυσσιαν διστριβυτιον. Τηε µοδελ ισ δε⇒νεδ βψ τηε προβαβιλιτψ διστριβυτιονσ Π[v; G ] = γv

ανδ

π[υ|v; G ] = N (υ; γv , 9v ) ,

(10.17)

ωηερε v τακεσ Νv ϖαλυεσ ρεπρεσεντινγ τηε διφφερεντ χαυσεσ ανδ, φορ αν Νυ χοµπονεντ ινπυτ ϖεχτορ, & % 1 |υ − γ|2 N (υ; γ, 9) = (10.18) εξπ − 29 (2π9)Νυ /2

ισ α Γαυσσιαν διστριβυτιον ωιτη µεαν γ ανδ ϖαριανχεσ φορ τηε ινδιϖιδυαλ χοµπονεντσ εθυαλ το 9. Τηε φυνχτιον F ( Θ, G ) φορ τηισ µοδελ ισ γιϖεν βψ αν εξπρεσσιον σιµιλαρ το εθυατιον 10.14 (ωιτη σλιγητλψ διφφερεντ φαχτορσ ιφ Νυ ̸= 2), λεαδινγ το τηε Μ−πηασε λεαρνινγ ρυλεσ γιϖεν ιν τηε αππενδιξ. Ονχε τηε γενερατιϖε µοδελ ηασ βεεν οπτιµιζεδ, τηε ρεχογνιτιον διστριβυτιον ισ χονστρυχτεδ φροµ εθυατιον 10.3 ασ Π[v|υ; G ] = /

γv N (υ; γv , 9v ) . v′ γv′ N (υ; γv′ , 9v′ )

(10.19)

Κ−Μεανσ Αλγοριτηµ Α σπεχιαλ χασε οφ µιξτυρε οφ Γαυσσιανσ χαν βε δεριϖεδ ιν τηε λιµιτ τηατ τηε ϖαριανχεσ οφ τηε Γαυσσιανσ αρε εθυαλ ανδ τενδ τοωαρδ 0, 9v = 9 → 0. Ωε

374

Ρεπρεσεντατιοναλ Λεαρνινγ

δισχυσσ τηισ λιµιτ φορ τωο χλυστερσ, ασ ιν ⇒γυρε 10.1. Ωηεν 9 ισ εξτρεµελψ σµαλλ, τηε ρεχογνιτιον διστριβυτιον Π[v|υ; G ] οφ εθυατιον 10.19 δεγενερατεσ βεχαυσε ιτ τακεσ εσσεντιαλλψ τωο ϖαλυεσ, 0 ορ 1, δεπενδινγ ον ωηετηερ υ ισ χλοσερ το ονε χλυστερ ορ τηε οτηερ. Τηισ προϖιδεσ α δετερµινιστιχ, ρατηερ τηαν α προβαβιλιστιχ, χλασσι⇒χατιον οφ υ. Ιν τηε δεγενερατε χασε, ΕΜ χονσιστσ οφ χηοοσινγ τωο ρανδοµ ϖαλυεσ φορ τηε χεντερσ οφ τηε τωο χλυστερ διστρι− βυτιονσ, ανδ τηεν ρεπεατεδλψ ⇒νδινγ αλλ τηε ινπυτσ υ τηατ αρε χλοσεστ το α γιϖεν χεντερ γv , ανδ τηεν µοϖινγ γv το τηε αϖεραγε οφ τηεσε ποιντσ. Τηισ ισ χαλλεδ τηε Κ−µεανσ αλγοριτηµ (ωιτη Κ = 2 φορ τωο χλυστερσ). Τηε µιξινγ προπορτιονσ γv δο νοτ πλαψ αν ιµπορταντ ρολε φορ τηε Κ−µεανσ αλγοριτηµ. Νεω ινπυτ ποιντσ αρε ρεχογνιζεδ ασ βελονγινγ το τηε χλυστερσ το ωηιχη τηεψ αρε χλοσεστ.

Φαχτορ Αναλψσισ Τηε µοδελ υσεδ ιν ⇒γυρε 10.3 ισ αν εξαµπλε οφ φαχτορ αναλψσισ. Ιν γενεραλ, φαχτορ αναλψσισ ινϖολϖεσ α χοντινυουσ ϖεχτορ οφ χαυσεσ, ϖ, δραων φροµ α Γαυσσιαν πριορ διστριβυτιον, ανδ υσεσ α Γαυσσιαν γενερατιϖε διστριβυτιον ωιτη α µεαν τηατ δεπενδσ λινεαρλψ ον ϖ. Ωε ασσυµε τηατ τηε διστριβυτιον π[υ] ηασ α µεαν οφ 0 (νονζερο µεανσ χαν βε αχχοµµοδατεδ σιµπλψ βψ σηιφτινγ τηε ινπυτ δατα). Τηε δε⇒νινγ διστριβυτιονσ φορ φαχτορ αναλψσισ αρε τηυσ π[ϖ; G ] = N (ϖ; 0 , 1 ) ανδ

9) , π[υ|ϖ; G ] = N (υ; Γ · ϖ,9

(10.20)

ωηερε τηε εξτενσιον οφ εθυατιον 10.18, εξπρεσσεδ ιν τερµσ οφ τηε µεαν γ ανδ χοϖαριανχε µατριξ 9 , ισ % & 1 1 −1 9) = N (υ; γ,9 εξπ − ( υ − γ ) · 9 · ( υ − γ ) . 2 ((2π)Νυ |δετ 9 |)1/2 (10.21) Τηε εξπρεσσιον |δετ 9 | ινδιχατεσ τηε (αβσολυτε) ϖαλυε οφ τηε δετερµιναντ οφ 9 . Ιν φαχτορ αναλψσισ, 9 ισ τακεν το βε διαγοναλ, 9 = διαγ(91 , . . . , 9 Νυ ) (σεε τηε Ματηεµατιχαλ Αππενδιξ), ωιτη αλλ τηε διαγοναλ ελεµεντσ στριχτλψ ποσ− ιτιϖε, σο ιτσ ινϖερσε ισ σιµπλψ 9 −1 = διαγ(1/91 , . . . , 1/9 Νυ ) ανδ |δετ 9 | = 91 92 . . . 9 Νυ . Βεχαυσε 9 ισ διαγοναλ, τηε ινδιϖιδυαλ χοµπονεντσ οφ ϖ αρε µυτυαλλψ ινδε− πενδεντ. Τηυσ, ανψ χορρελατιονσ βετωεεν τηε χοµπονεντσ οφ υ µυστ αρισε φροµ τηε µεαν ϖαλυεσ Γ · ϖ οφ τηε γενερατιϖε διστριβυτιον. Το βε ωελλ σπεχ− ι⇒εδ, τηε µοδελ ρεθυιρεσ ϖ το ηαϖε φεωερ διµενσιονσ τηαν υ (Νv < Νυ ). Ιν τερµσ οφ ηευριστιχσ, φαχτορ αναλψσισ σεεκσ α ρελατιϖελψ σµαλλ νυµβερ οφ ιν− δεπενδεντ χαυσεσ τηατ αχχουντ, ιν α λινεαρ µαννερ, φορ χολλεχτιϖε Γαυσσιαν στρυχτυρε ιν τηε ινπυτσ. Τηε ρεχογνιτιον διστριβυτιον φορ φαχτορ αναλψσισ ηασ τηε Γαυσσιαν φορµ

:) , π[ϖ|υ; G ] = N (ϖ; Ω · υ,:

(10.22)

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

375

ωηερε εξπρεσσιονσ φορ Ω ανδ : αρε γιϖεν ιν τηε αππενδιξ. Τηεσε δο νοτ δεπενδ ον τηε ινπυτ υ, σο φαχτορ αναλψσισ ινϖολϖεσ α λινεαρ ρελατιον βετωεεν τηε ινπυτ ανδ τηε µεαν οφ τηε ρεχογνιτιον διστριβυτιον. ΕΜ, ασ αππλιεδ το 9 ) ον τηε βασισ οφ τηε αν ινϖερτιβλε µοδελ, χαν βε υσεδ το αδϕυστ G = (Γ,9 ινπυτ δατα. Τηε ρεσυλτινγ λεαρνινγ ρυλεσ αρε γιϖεν ιν τηε αππενδιξ. Φορ τηε χασε οφ α σινγλε χαυσε v, τηεσε ρεδυχε το εθυατιον 10.5. Ιν τηισ χασε, ωε χαν υνδερστανδ τηε γοαλ οφ δενσιτψ εστιµατιον ιν αν αδδι− τιοναλ ωαψ. Βψ διρεχτ χαλχυλατιον, ασ ιν εθυατιον 10.1, τηε µαργιναλ διστρι− βυτιον φορ υ ισ π[υ; G ] = N (υ; 0 , Γ · ΓΤ + 9 ) ,

(10.23)

/ ωηερε [ΓΤ ]αβ = [Γ]βα ανδ [Γ · ΓΤ ]αβ = χ Γαχ Γβχ (σεε τηε Ματηεµατιχαλ Αππενδιξ). Μαξιµυµ λικελιηοοδ δενσιτψ εστιµατιον ρεθυιρεσ δετερµινινγ τηε G τηατ µακεσ Γ · ΓΤ + 9 µατχη, ασ χλοσελψ ασ ποσσιβλε, τηε χοϖαριανχε µατριξ οφ τηε ινπυτ διστριβυτιον.

Πρινχιπαλ Χοµπονεντσ Αναλψσισ Ιν τηε σαµε ωαψ τηατ σεττινγ τηε παραµετερσ 9v το 0 ιν τηε µιξτυρε οφ Γαυσ− σιανσ µοδελ λεαδσ το τηε Κ−µεανσ αλγοριτηµ, σεττινγ αλλ τηε ϖαριανχεσ ιν φαχτορ αναλψσισ το 0 λεαδσ το ανοτηερ ωελλ−κνοων µετηοδ, πρινχιπαλ χοµ− πονεντσ αναλψσισ (ωηιχη ωε αλσο δισχυσσ ιν χηαπτερ 8). Το σεε τηισ, χονσιδερ τηε χασε οφ α σινγλε φαχτορ. Τηισ µεανσ τηατ v ισ α σινγλε νυµβερ, ανδ τηατ τηε µεαν οφ τηε διστριβυτιον π[υ|v; G ] ισ vγ, ωηερε τηε ϖεχτορ γ ρεπλαχεσ τηε µατριξ Γ οφ τηε γενεραλ χασε. Τηε ελεµεντσ οφ τηε διαγοναλ µατριξ 9 αρε σετ το α σινγλε ϖαριανχε 9, ωηιχη ωε σηρινκ το 0. Ασ 9 → 0, τηε Γαυσσιαν διστριβυτιον π[υ|v; G ] ιν εθυατιον 10.20 απ− προαχηεσ α δ φυνχτιον (σεε τηε Ματηεµατιχαλ Αππενδιξ), ανδ ιτ χαν γεν− ερατε ονλψ τηε σινγλε ϖεχτορ υ(v) = vγ φροµ χαυσε v. Σιµιλαρλψ, τηε ρεχογνι− τιον διστριβυτιον οφ εθυατιον 10.22 βεχοµεσ α δ φυνχτιον, µακινγ τηε ρεχογ− νιτιον προχεσσ δετερµινιστιχ ωιτη v(υ ) = Ω · υ γιϖεν βψ τηε µεαν οφ τηε ρεχογνιτιον διστριβυτιον οφ εθυατιον 10.22. Υσινγ τηε εξπρεσσιον φορ Ω ιν τηε αππενδιξ ιν τηε λιµιτ 9 → 0, ωε ⇒νδ

v(υ ) =

γ·υ . |γ|2

(10.24)

Τηισ ισ τηε ρεσυλτ οφ τηε Ε πηασε οφ ΕΜ. Ιν τηε Μ πηασε, ωε µαξιµιζε 3

4

F (v(υ ), G ) = λν π[v(υ ), υ; G ] = Κ −

5 2 6 v (υ ) |υ − γv(υ )|2 Νυ λν 9 − + 2 2 29 (10.25)

ωιτη ρεσπεχτ το γ, ωιτηουτ χηανγινγ τηε εξπρεσσιον φορ v(υ ). Ηερε, Κ ισ α τερµ ινδεπενδεντ οφ γ ανδ 9. Ιν τηισ εξπρεσσιον, τηε ονλψ τερµ τηατ δεπενδσ ον γ ισ προπορτιοναλ το |υ − γv(υ )|2 . Μινιµιζινγ τηισ ιν τηε Μ

376

Ρεπρεσεντατιοναλ Λεαρνινγ

πηασε προδυχεσ α νεω ϖαλυε οφ γ γιϖεν βψ γ=

⟨v(υ )υ⟩ . ⟨v2 (υ )⟩

(10.26)

Τηισ δεπενδσ ονλψ ον τηε χοϖαριανχε µατριξ οφ τηε ινπυτ διστριβυτιον, ασ δοεσ τηε µορε γενεραλ φορµ γιϖεν ιν τηε αππενδιξ. Υνδερ ΕΜ, εθυα− τιονσ 10.24 ανδ 10.26 αρε αλτερνατεδ υντιλ χονϖεργενχε. Φορ πρινχιπαλ χοµπονεντσ αναλψσισ, ωε χαν σαψ µορε αβουτ τηε ϖαλυε οφ γ ατ χονϖεργενχε. Ωε χονσιδερ τηε χασε |γ|2 = 1 βεχαυσε ωε χαν αλωαψσ µυλτιπλψ γ ανδ διϖιδε v(υ ) βψ τηε σαµε φαχτορ το µακε τηισ τρυε ωιτηουτ αφφεχτινγ τηε δοµιναντ τερµ ιν F (v(υ ), G ) ασ 9 → 0. Τηεν, τηε γ τηατ µαξιµιζεσ τηισ δοµιναντ τερµ µυστ µινιµιζε 3 4 3 4 |υ − γ(γ · υ )|2 = |υ|2 − (γ · υ )2 . (10.27) Ηερε, ωε ηαϖε υσεδ εξπρεσσιον 10.24 φορ v(υ ). Μινιµιζινγ 10.27 ωιτη ρε− σπεχτ το γ, συβϕεχτ το τηε χονστραιντ |γ|2 = 1, γιϖεσ τηε ρεσυλτ τηατ γ ισ τηε ειγενϖεχτορ οφ τηε χοϖαριανχε µατριξ ⟨υυ⟩ ωιτη µαξιµυµ ειγενϖαλυε. Τηισ ισ ϕυστ τηε πρινχιπαλ χοµπονεντ ϖεχτορ ανδ ισ εθυιϖαλεντ το ⇒νδινγ τηε ϖεχ− τορ οφ υνιτ λενγτη ωιτη τηε λαργεστ ποσσιβλε αϖεραγε προϕεχτιον οντο υ. Νοτε τηατ τηερε αρε ωαψσ οτηερ τηαν ΕΜ φορ ⇒νδινγ ειγενϖεχτορσ οφ τηισ µατριξ.

Τηε αργυµεντ ωε ηαϖε γιϖεν σηοωσ τηατ πρινχιπαλ χοµπονεντσ αναλψσισ ισ α δεγενερατε φορµ οφ φαχτορ αναλψσισ. Τηισ ισ αλσο τρυε ιφ µορε τηαν ονε φαχτορ ισ χονσιδερεδ, αλτηουγη µαξιµιζινγ F χονστραινσ τηε προϕεχτιονσ Γ · υ ανδ τηερεφορε ισ συφ⇒χιεντ ονλψ το φορχε Γ το ρεπρεσεντ τηε πρινχιπαλ χοµπονεντσ συβσπαχε οφ τηε δατα. Τηε σαµε συβσπαχε εµεργεσ φροµ φυλλ φαχτορ αναλψσισ προϖιδεδ τηατ τηε ϖαριανχεσ οφ αλλ τηε φαχτορσ αρε εθυαλ, εϖεν ωηεν τηεψ αρε νονζερο. Φιγυρε 10.4 ιλλυστρατεσ αν ιµπορταντ διφφερενχε βετωεεν φαχτορ αναλψσισ ανδ πρινχιπαλ χοµπονεντσ αναλψσισ. Ιν τηισ εξαµπλε, υ ισ α τηρεε−χοµπονεντ ινπυτ ϖεχτορ, υ = (υ1 , υ2 , υ3 ). ϑυστ ασ ιν ⇒γυρε 10.3, σαµπλεσ οφ ινπυτ δατα ωερε γενερατεδ ον τηε βασισ οφ α mτρυεn χαυσε, vτρυε αχχορδινγ το υβ = vτρυε + ϵβ ,

(10.28)

ωηερε ϵβ ρεπρεσεντσ τηε νοισε αδδεδ το χοµπονεντ β οφ τηε ινπυτ. Ινπυτ δατα ποιντσ ωερε γενερατεδ φροµ τηισ εθυατιον βψ χηοοσινγ α ϖαλυε οφ vτρυε φροµ α Γαυσσιαν διστριβυτιον ωιτη µεαν 0 ανδ ϖαριανχε 1, ανδ ϖαλυεσ οφ ϵβ φροµ ινδεπενδεντ Γαυσσιαν διστριβυτιονσ ωιτη 0 µεανσ. Τηε ϖαριανχεσ οφ τηε διστριβυτιονσ φορ ϵ1 , ϵ2 , ανδ ϵ3 ωερε αλλ αρε εθυαλ το 0.25 ιν ⇒γυρεσ 10.4Α ανδ 10.4Β. Ηοωεϖερ, ιν ⇒γυρεσ 10.4Χ ανδ 10.4∆, τηε ϖαριανχε φορ ϵ3 ισ µυχη λαργερ (εθυαλ το 9), ασ ιφ τηε τηιρδ σενσορ ωασ µυχη νοισιερ τηαν τηε οτηερ τωο σενσορσ. Τηε γραπησ ιν ⇒γυρε 10.3 σηοω τηε µεαν οφ τηε ϖαλ− υεσ οφ v εξτραχτεδ φροµ σαµπλε ινπυτσ βψ φαχτορ αναλψσισ, ορ τηε ϖαλυε οφ v φορ πρινχιπαλ χοµπονεντσ αναλψσισ, ασ α φυνχτιον οφ τηε τρυε ϖαλυε υσεδ το γενερατε τηε δατα. Περφεχτ εξτραχτιον οφ τηε υνδερλψινγ χαυσε ωουλδ ηαϖε v = vτρυε , βυτ τηισ ισ ιµποσσιβλε ιν τηισ χασε βεχαυσε οφ τηε νοισε. Τηε

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

4

377

10 5

0

0 −5

−4

−10

4

10 5

0

0 −5

−4 −4

0

4

−10 −4

0

4

Φιγυρε 10.4 Φαχτορ αναλψσισ (ΦΑ) ανδ πρινχιπαλ χοµπονεντσ αναλψσισ (ΠΧΑ) αππλιεδ το 500 σαµπλεσ οφ νοισψ ινπυτ ρε⇓εχτινγ α σινγλε υνδερλψινγ χαυσε vτρυε . Φορ Α ανδ Β, ⟨υι υ ϕ ⟩ = 1 + 0.25διϕ , ωηερεασ φορ Χ ανδ ∆, ονε σενσορ ισ χορρυπτεδ βψ ινδεπενδεντ νοισε ωιτη στανδαρδ δεϖιατιον 3 ρατηερ τηαν 0.5. Τηε πλοτσ χοµπαρε τηε ϖαλυεσ οφ τηε τρυε χαυσε vτρυε ανδ τηε χαυσε v ινφερρεδ βψ τηε µοδελ.

βεστ ωε χαν εξπεχτ ισ φορ τηε v ϖαλυεσ το βε ωελλ χορρελατεδ ωιτη τηε ϖαλ− υεσ οφ vτρυε . Ωηεν τηε ινπυτ χοµπονεντσ αρε εθυαλλψ ϖαριαβλε (⇒γυρε 10.4Α ανδ 10.4Β), τηισ ισ ινδεεδ ωηατ ηαππενσ φορ βοτη φαχτορ ανδ πρινχιπαλ χοµ− πονεντσ αναλψσισ. Ηοωεϖερ, ωηεν υ3 ισ µυχη µορε ϖαριαβλε τηαν τηε οτηερ χοµπονεντσ, πρινχιπαλ χοµπονεντσ αναλψσισ (⇒γυρε 10.4∆) ισ φοολεδ βψ τηε εξτρα ϖαριανχε ανδ ⇒νδσ α χαυσε v τηατ δοεσ νοτ χορρελατε ϖερψ ωελλ ωιτη vτρυε . Ον τηε οτηερ ηανδ, φαχτορ αναλψσισ (⇒γυρε 10.4Χ) ισ αφφεχτεδ ονλψ βψ τηε χοϖαριανχε βετωεεν τηε ινπυτ χοµπονεντσ ανδ νοτ βψ τηειρ ινδιϖιδυαλ ϖαριανχεσ (ωηιχη αρε αβσορβεδ ιντο 9 ), σο τηε χαυσε ιτ ⇒νδσ ισ νοτ σιγνι⇒− χαντλψ περτυρβεδ (µερελψ σλιγητλψ δεγραδεδ) βψ τηε αδδεδ σενσορ νοισε. Ιν χηαπτερ 8, ωε νοτεδ τηατ πρινχιπαλ χοµπονεντσ αναλψσισ µαξιµιζεσ τηε µυτυαλ ινφορµατιον βετωεεν τηε ινπυτ ανδ ουτπυτ υνδερ τηε ασσυµπτιον οφ α λινεαρ Γαυσσιαν µοδελ. Τηισ προπερτψ, ανδ τηε φαχτ τηατ πρινχιπαλ χοµπονεντσ αναλψσισ µινιµιζεσ τηε ρεχονστρυχτιον ερρορ οφ εθυατιον 10.27, ηαϖε τηεµσελϖεσ βεεν συγγεστεδ ασ γοαλσ φορ ρεπρεσεντατιοναλ λεαρνινγ. Ωε ηαϖε νοω σηοων ηοω τηεψ αρε αλσο ρελατεδ το δενσιτψ εστιµατιον. Βοτη πρινχιπαλ χοµπονεντσ αναλψσισ ανδ φαχτορ αναλψσισ προδυχε α µαρ− γιναλ διστριβυτιον π[υ; G ] τηατ ισ Γαυσσιαν. Ιφ τηε αχτυαλ ινπυτ διστριβυ− τιον π[υ] ισ νον−Γαυσσιαν, τηε βεστ τηατ τηεσε µοδελσ χαν δο ισ το µατχη τηε µεαν ανδ χοϖαριανχε οφ π[υ]; τηεψ ωιλλ φαιλ το µατχη ηιγηερ−ορδερ µο− µεντσ. Ιφ τηε ινπυτ ισ ωηιτενεδ το ινχρεασε χοδινγ εφ⇒χιενχψ, ασ δισχυσσεδ

378

Ρεπρεσεντατιοναλ Λεαρνινγ

0 0.4

10 −1

−2

10 −2

0.2

10 −3 10 −4

−4 0

10

20

0

−5

0

5

−5

0

5

Φιγυρε 10.5 Σπαρσε διστριβυτιονσ. (Α) Λογ φρεθυενχψ διστριβυτιον φορ τηε αχτιϖιτψ οφ α µαχαθυε ΙΤ χελλ ιν ρεσπονσε το ϖιδεο ιµαγεσ. Τηε φραχτιον οφ τιµεσ τηατ ϖαρι− ουσ νυµβερσ οφ σπικεσ αππεαρεδ ιν α σπικε−χουντινγ ωινδοω ισ πλοττεδ αγαινστ τηε νυµβερ οφ σπικεσ. Τηε σιζε οφ τηε ωινδοω ωασ αδϕυστεδ σο τηατ, ον αϖεραγε, τηερε ωερε τωο σπικεσ περ ωινδοω. (Β) Τηρεε διστριβυτιονσ π[v] = εξπ( γ (v)): δουβλε εξ− πονεντιαλ (γ (v) = −|v|, σολιδ, κυρτοσισ = 3); Χαυχηψ (γ (v) = − λν(1 + v2 ), δασηεδ, κυρτοσισ = ∞); ανδ Γαυσσιαν (γ (v) = −v2 /2, δοττεδ, κυρτοσισ = 0). (Χ) Τηε λογ− αριτηµσ οφ τηε σαµε τηρεε διστριβυτιονσ. (Α αδαπτεδ φροµ Βαδδελεψ ετ αλ., 1997.)

ιν χηαπτερ 4, σο τηατ τηε χοϖαριανχε µατριξ ⟨υυ⟩ ισ εθυαλ το τηε ιδεντιτψ µα− τριξ, νειτηερ µετηοδ ωιλλ εξτραχτ ανψ στρυχτυρε ατ αλλ φροµ τηε ινπυτ δατα. Βψ χοντραστ, τηε γενερατιϖε µοδελσ δισχυσσεδ ιν τηε φολλοωινγ σεχτιονσ προδυχε νον−Γαυσσιαν µαργιναλ διστριβυτιονσ ανδ αττεµπτ το αχχουντ φορ στρυχτυρε ιν τηε ινπυτ δατα βεψονδ µερελψ χοϖαριανχε (ανδ τηε µεαν).

Σπαρσε Χοδινγ Τηε v ϖαλυεσ ιν ρεσπονσε το ινπυτ ιν φαχτορ ανδ πρινχιπαλ χοµπονεντσ αναλ− ψσισ τενδ το βε Γαυσσιαν διστριβυτεδ. Ιφ ωε αττεµπτ το ρελατε συχη χαυσαλ ϖαριαβλεσ το τηε αχτιϖιτιεσ οφ χορτιχαλ νευρονσ, ωε ⇒νδ α δισχρεπανχψ, βε− χαυσε τηε αχτιϖιτψ διστριβυτιονσ οφ χορτιχαλ χελλσ ιν ρεσπονσε το νατυραλ ιν− πυτσ αρε νοτ Γαυσσιαν. Φιγυρε 10.5Α σηοωσ αν εξαµπλε οφ τηε διστριβυτιον οφ τηε νυµβερσ οφ σπικεσ χουντεδ ωιτηιν α παρτιχυλαρ τιµε ωινδοω φορ α νευρον ιν τηε ινφεροτεµποραλ (ΙΤ) αρεα οφ τηε µαχαθυε βραιν ρεχορδεδ ωηιλε α µονκεψ φρεελψ ϖιεωεδ τελεϖισιον σηοωσ. Τηε διστριβυτιον ισ χλοσε το βεινγ εξπονεντιαλ. Τηισ µεανσ τηατ τηε νευρονσ αρε µοστ λικελψ το ⇒ρε α σµαλλ νυµβερ οφ σπικεσ ιν τηε χουντινγ ιντερϖαλ, βυτ τηατ τηεψ χαν οχχα− σιοναλλψ ⇒ρε α λαργε νυµβερ οφ σπικεσ. ∆ιστριβυτιονσ τηατ γενερατε ϖαλυεσ φορ τηε χοµπονεντσ οφ ϖ χλοσε το 0 µοστ σπαρσε διστριβυτιονσ οφ τηε τιµε, βυτ οχχασιοναλλψ φαρ φροµ 0, αρε χαλλεδ σπαρσε. Ιντυιτιϖελψ, σπαρσε διστριβυτιονσ αρε µορε λικελψ τηαν Γαυσσιανσ οφ τηε σαµε µεαν ανδ ϖαριανχε το γενερατε ϖαλυεσ νεαρ 0, ανδ αλσο µορε λικελψ το γενερατε ϖαλυεσ φαρ φροµ 0. Τηεσε οχχασιοναλ ηιγη ϖαλυεσ χαν χονϖεψ συβσταντιαλ ινφορµα− τιον. ∆ιστριβυτιονσ ωιτη τηισ χηαραχτερ αρε αλσο χαλλεδ ηεαϖψ−ταιλεδ. Φιγ− υρεσ 10.5Β ανδ 10.5Χ χοµπαρε τωο σπαρσε διστριβυτιονσ ωιτη α Γαυσσιαν διστριβυτιον.

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

379

Μορε φορµαλλψ, σπαρσενεσσ ηασ βεεν δε⇒νεδ ιν α ϖαριετψ οφ ωαψσ. Σπαρσε− νεσσ οφ α διστριβυτιον ισ σοµετιµεσ λινκεδ το α ηιγη ϖαλυε οφ α µεασυρε χαλλεδ κυρτοσισ. Κυρτοσισ οφ α διστριβυτιον π[v] ισ δε⇒νεδ ασ # " δv π[v](v − v)4 κ = )# (10.29) *2 − 3 ωιτη v = δv π[v]v , δv π[v](v − v)2 ανδ ιτ τακεσ τηε ϖαλυε 0 φορ α Γαυσσιαν διστριβυτιον. Ποσιτιϖε ϖαλυεσ οφ κ αρε τακεν το ιµπλψ σπαρσε διστριβυτιονσ, ωηιχη αρε αλσο χαλλεδ συπερ−Γαυσσιαν ορ λεπτοκυρτοτιχ. ∆ιστριβυτιονσ ωιτη κ < 0 αρε χαλλεδ συβ−Γαυσσιαν ορ πλατψκυρτοτιχ. Τηισ ισ α σλιγητλψ διφφερεντ δε⇒νιτιον οφ σπαρσενεσσ φροµ βε− ινγ ηεαϖψ−ταιλεδ.

Α σπαρσε ρεπρεσεντατιον οϖερ α λαργε ποπυλατιον οφ νευρονσ µιγητ µορε νατυραλλψ βε δε⇒νεδ ασ ονε ιν ωηιχη εαχη ινπυτ ισ ενχοδεδ βψ α σµαλλ νυµβερ οφ τηε νευρονσ ιν τηε ποπυλατιον. Υνφορτυνατελψ, ιδεντιφψινγ τηισ φορµ οφ σπαρσενεσσ εξπεριµενταλλψ ισ διφ⇒χυλτ. Σπαρσε χοδινγ χαν αρισε ιν γενερατιϖε µοδελσ τηατ ηαϖε σπαρσε πριορ δισ− τριβυτιονσ οϖερ χαυσεσ. Υνλικε φαχτορ αναλψσισ ανδ πρινχιπαλ χοµπονεντσ αναλψσισ, σπαρσε χοδινγ δοεσ νοτ στρεσσ µινιµιζινγ τηε νυµβερ οφ ρεπρε− σεντινγ υνιτσ (ι.ε., χοµπονεντσ οφ ϖ), ανδ σπαρσε ρεπρεσεντατιονσ µαψ ρε− θυιρε λαργε νυµβερσ οφ υνιτσ. Τηισ ισ νοτ α δισαδϖανταγε φορ µοδελινγ τηε ϖισυαλ σψστεµ βεχαυσε ρεπρεσεντατιονσ ιν ϖισυαλ αρεασ αρε ινδεεδ γρεατλψ εξπανδεδ ατ ϖαριουσ στεπσ αλονγ τηε πατηωαψ. Φορ εξαµπλε, τηερε αρε αρουνδ 40 χελλσ ιν πριµαρψ ϖισυαλ χορτεξ φορ εαχη χελλ ιν τηε ϖισυαλ τηαλα− µυσ. ∆οωνστρεαµ προχεσσινγ χαν βενε⇒τ γρεατλψ φροµ σπαρσε ρεπρεσεντα− τιονσ βεχαυσε, φορ ονε τηινγ, τηεψ µινιµιζε ιντερφερενχε βετωεεν διφφερεντ παττερνσ οφ ινπυτ. Βεχαυσε τηεψ εµπλοψ Γαυσσιαν πριορσ, φαχτορ αναλψσισ ανδ πρινχιπαλ χοµ− πονεντσ αναλψσισ δο νοτ γενερατε σπαρσε ρεπρεσεντατιονσ. Τηε µιξτυρε οφ Γαυσσιανσ µοδελ ισ εξτρεµελψ σπαρσε βεχαυσε εαχη ινπυτ ισ ρεπρεσεντεδ βψ α σινγλε χαυσε. Τηισ µαψ βε ρεασοναβλε φορ ρελατιϖελψ σιµπλε ινπυτ παττερνσ, βυτ φορ χοµπλεξ στιµυλι συχη ασ ιµαγεσ, ωε σεεκ σοµετηινγ βετωεεν τηεσε εξτρεµεσ. Ολσηαυσεν ανδ Φιελδ (1996, 1997) συγγεστεδ συχη α µοδελ βψ χονσιδερινγ α νονλινεαρ ϖερσιον οφ φαχτορ αναλψσισ. Ιν τηισ µοδελ, τηε δισ− τριβυτιον οφ υ γιϖεν ϖ ισ Γαυσσιαν ωιτη α διαγοναλ χοϖαριανχε µατριξ, ασ φορ φαχτορ αναλψσισ, βυτ τηε πριορ διστριβυτιον οϖερ χαυσεσ ισ σπαρσε. ∆ε⇒νεδ ιν τερµσ οφ α φυνχτιον γ (v) (ασ ιν ⇒γυρε 10.5), τηε µοδελ ηασ π[ϖ; G ] ∝

Νv α=1

εξπ( γ (vα )) ανδ

9) . π[υ|ϖ; G ] = N (υ; Γ · ϖ,9

(10.30)

Τηε πριορ π[ϖ; G ] σηουλδ βε νορµαλιζεδ σο τηατ ιτσ ιντεγραλ οϖερ ϖ ισ 1, βυτ ωε οµιτ τηε νορµαλιζατιον φαχτορ το σιµπλιφψ τηε εθυατιονσ. Τηε πριορ π[ϖ; G ] ιν εθυατιον 10.30 µακεσ τηε χοµπονεντσ οφ ϖ µυτυαλλψ ινδεπενδεντ βεχαυσε ιτ ισ α προδυχτ. Ιφ ωε τοοκ γ (v) = −v2 , π[ϖ; G ] ωουλδ βε Γαυσσιαν (δοττεδ λινεσ ιν ⇒γυρεσ 10.5Β ανδ 10.5Χ), ανδ τηε µοδελ ωουλδ

κυρτοσισ

380

δουβλε εξπονεντιαλ διστριβυτιον

Ρεπρεσεντατιοναλ Λεαρνινγ

περφορµ φαχτορ αναλψσισ. Αν εξαµπλε οφ α φυνχτιον τηατ προϖιδεσ α σπαρσε πριορ ισ γ (v) = −α|v|. Τηισ γενερατεσ α δουβλε εξπονεντιαλ διστριβυτιον (σολιδ λινεσ ιν ⇒γυρεσ 10.5Β ανδ 10.5Χ) σιµιλαρ το τηε αχτιϖιτψ διστριβυτιον ιν ⇒γυρε 10.5Α. Ανοτηερ χοµµονλψ υσεδ φορµ ισ γ (v) = − λν(β2 + v2 )

Χαυχηψ διστριβυτιον

(10.31)

ωιτη β α χονσταντ, ωηιχη γενερατεσ α Χαυχηψ διστριβυτιον (δασηεδ λινεσ ιν ⇒γυρεσ 10.5Β ανδ 10.5Χ). Φορ γ (v) συχη ασ εθυατιον 10.31, ιτ ισ διφ⇒χυλτ το χοµπυτε τηε ρεχογνιτιον διστριβυτιον π[ϖ|υ; G ] εξαχτλψ. Τηισ µακεσ τηε σπαρσε µοδελ νονινϖερτ− ιβλε. Ολσηαυσεν ανδ Φιελδ χηοσε α δετερµινιστιχ αππροξιµατε ρεχογνιτιον µοδελ. Τηυσ, ΕΜ χονσιστσ οφ ⇒νδινγ ϖ(υ ) δυρινγ τηε Ε πηασε, ανδ υσινγ ιτ το αδϕυστ τηε παραµετερσ G δυρινγ τηε Μ πηασε. Το σιµπλιφψ τηε δισχυσ− σιον, ωε µακε τηε χοϖαριανχε µατριξ οφ τηε γενερατιϖε µοδελ προπορτιοναλ το τηε ιδεντιτψ µατριξ, 9 = 9Ι. Τηε φυνχτιον το βε µαξιµιζεδ ισ τηεν + , Νv ! 1 2 F (ϖ(υ ), G ) = − |υ − Γ · ϖ(υ )| + γ (vα (υ )) + Κ , (10.32) 29 α=1 ωηερε Κ ισ α τερµ τηατ ισ ινδεπενδεντ οφ Γ ανδ ϖ. Φορ χονϖενιενχε ιν δισχυσσινγ τηε ΕΜ προχεδυρε, ωε φυρτηερ τακε 9 = 1 ανδ δο νοτ αλλοω ιτ το ϖαρψ. Σιµιλαρλψ, ωε ασσυµε τηατ β ιν εθυατιον 10.31 ισ πρεδετερµινεδ ανδ ηελδ ⇒ξεδ. Τηεν, G χονσιστσ ονλψ οφ τηε µατριξ Γ. Τηε Ε πηασε οφ ΕΜ ινϖολϖεσ µαξιµιζινγ F ωιτη ρεσπεχτ το ϖ(υ ) φορ εϖερψ υ. Τηισ λεαδσ το τηε χονδιτιονσ (φορ αλλ α) Νυ ! β=1

[υ − Γ · ϖ(υ )]β Γβα + γ′ (vα ) = 0 .

(10.33)

Τηε πριµε ον γ (vα ) ινδιχατεσ α δεριϖατιϖε. Ονε ωαψ το σολϖε τηισ εθυατιον ισ το λετ ϖ εϖολϖε οϖερ τιµε αχχορδινγ το τηε εθυατιον

τϖ

Νυ δ vα ! = [υ − Γ · ϖ(υ )]β Γβα + γ′ (vα ) , δτ β=1

(10.34)

ωηερε τϖ ισ αν αππροπριατε τιµε χονσταντ. Τηισ εθυατιον χηανγεσ ϖ σο τηατ ιτ ασψµπτοτιχαλλψ αππροαχηεσ α ϖαλυε ϖ = ϖ(υ ) τηατ σατισ⇒εσ εθυατιον 10.33 ανδ σετσ τηε ριγητ σιδε οφ εθυατιον 10.34 το 0. Ωε ασσυµε τηατ τηε εϖολυτιον οφ ϖ αχχορδινγ το εθυατιον 10.34 ισ χαρριεδ ουτ λονγ ενουγη δυρινγ τηε Ε πηασε φορ τηισ το ηαππεν. Τηισ προχεσσ ισ γυαραντεεδ το ⇒νδ ονλψ α λοχαλ, νοτ α γλοβαλ, µαξιµυµ οφ F , ανδ ιτ ισ νοτ γυαραντεεδ το ⇒νδ τηε σαµε λοχαλ µαξιµυµ ον εαχη ιτερατιον. Εθυατιον 10.34 ρεσεµβλεσ τηε / εθυατιον υσεδ ιν χηαπτερ 7 φορ α ⇒ρινγ−ρατε νετωορκ µοδελ. Τηε τερµ β υβ Γβα , ωηιχη χαν βε ωριττεν ιν ϖεχτορ φορµ ασ ΓΤ · υ, αχτσ ασ τηε τοταλ ινπυτ αρισινγ φροµ υνιτσ ωιτη /αχτιϖιτιεσ υ φεδ τηρουγη α φεεδφορωαρδ χουπλινγ µατριξ ΓΤ . Τηε τερµ − β [Γ · ϖ]β Γβα χαν

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

381

_ ΓΤ. Γ

ϖ ΓΤ

υ

Γ

Φιγυρε 10.6 Α νετωορκ φορ σπαρσε χοδινγ. Τηισ νετωορκ ρεπροδυχεσ εθυα− τιον (10.34), υσινγ ρεχυρρεντ ωειγητσ −ΓΤ· Γ ιν τηε ϖ λαψερ ανδ ωειγητσ χοννεχτινγ τηε ινπυτ υνιτσ το τηισ λαψερ τηατ αρε γιϖεν βψ τηε τρανσποσε οφ τηε µατριξ Γ. Τηε ρεϖερσε χοννεχτιονσ φροµ τηε ϖ λαψερ το τηε ινπυτ λαψερ ινδιχατε ηοω τηε µεαν οφ τηε ρεχογνιτιον διστριβυτιον ισ χοµπυτεδ.

βε ιντερπρετεδ ασ α ρεχυρρεντ χουπλινγ οφ τηε ϖ υνιτσ τηρουγη τηε µατριξ −ΓΤ · Γ. Φιναλλψ, τηε τερµ γ′ (vα ) πλαψσ τηε σαµε ρολε ασ τηε τερµ −vα τηατ ωουλδ αππεαρ ιν τηε ρατε εθυατιονσ οφ χηαπτερ 7. Ιφ γ′ (v) ̸= −v, τηισ χαν βε ιντερπρετεδ ασ α µοδι⇒εδ φορµ οφ ⇒ρινγ−ρατε δψναµιχσ. Φιγυρε 10.6 σηοωσ τηε ρεσυλτινγ νετωορκ. Τηε φεεδβαχκ χοννεχτιονσ φροµ τηε ϖ υνιτσ το τηε ινπυτ υνιτσ τηατ δετερµινε τηε µεαν οφ τηε γενερατιϖε διστριβυτιον, Γ · ϖ (εθυατιον 10.30), αρε αλσο σηοων ιν τηισ ⇒γυρε. Αφτερ ϖ(υ ) ηασ βεεν δετερµινεδ δυρινγ τηε Ε πηασε οφ ΕΜ, α δελτα ρυλε (χηαπτερ 8) ισ υσεδ δυρινγ τηε Μ πηασε το µοδιφψ Γ ανδ ιµπροϖε τηε γεν− ερατιϖε µοδελ. Τηε φυλλ λεαρνινγ ρυλε ισ γιϖεν ιν τηε αππενδιξ. Τηε δελτα ρυλε φολλοωσ φροµ µαξιµιζινγ F (ϖ(υ ), G ) ωιτη ρεσπεχτ το Γ. Α χοµπλιχα− τιον αρισεσ ηερε βεχαυσε τηε µατριξ Γ αλωαψσ αππεαρσ µυλτιπλιεδ βψ ϖ. Τηισ µεανσ τηατ τηε βιασ τοωαρδ σµαλλ ϖαλυεσ οφ vα ιµποσεδ βψ τηε πριορ χαν βε εφφεχτιϖελψ νευτραλιζεδ βψ σχαλινγ υπ Γ. Τηισ χοµπλιχατιον ρεσυλτσ φροµ τηε αππροξιµατιον οφ δετερµινιστιχ ρεχογνιτιον. Το πρεϖεντ τηε ωειγητσ φροµ γροωινγ ωιτηουτ βουνδ, χονστραιντσ αππλιεδ ον τηε λενγτησ οφ τηε γεν− / αρε 2 ερατιϖε ωειγητσ φορ εαχη χαυσε, β Γβα , το ενχουραγε τηε ϖαριανχεσ οφ αλλ τηε διφφερεντ vα το βε αππροξιµατελψ εθυαλ (σεε τηε αππενδιξ). Φυρτηερ, ιτ ισ χονϖεντιοναλ το πρεχονδιτιον τηε ινπυτσ βεφορε λεαρνινγ βψ ωηιτενινγ τηεµ σο τηατ ⟨υ⟩ = 0 ανδ ⟨υυ⟩ = Ι. Τηισ τψπιχαλλψ µακεσ λεαρνινγ φαστερ, ανδ ιτ αλσο ενσυρεσ τηατ τηε νετωορκ ισ φορχεδ το ⇒νδ στατιστιχαλ στρυχτυρε βεψονδ σεχονδ ορδερ τηατ ωουλδ εσχαπε σιµπλερ µετηοδσ συχη ασ φαχτορ αναλψσισ ορ πρινχιπαλ χοµπονεντσ αναλψσισ. Ιν τηε χασε τηατ τηε ινπυτ ισ χρε− ατεδ βψ σαµπλινγ (ε.γ., πιξελατινγ αν ιµαγε), µορε σοπηιστιχατεδ φορµσ οφ πρεχονδιτιονινγ χαν βε υσεδ το ρεµοϖε τηε ρεσυλτινγ αρτιφαχτσ. Αππλψινγ τηε σπαρσε χοδινγ µοδελ το ινπυτσ χοµινγ φροµ τηε πιξελ ιντενσι− τιεσ οφ σµαλλ σθυαρε πατχηεσ οφ µονοχηροµε πηοτογραπησ οφ νατυραλ σχενεσ λεαδσ το σελεχτιϖιτιεσ τηατ ρεσεµβλε τηοσε οφ χορτιχαλ σιµπλε χελλσ. Βεφορε στυδψινγ τηισ ρεσυλτ, ωε νεεδ το σπεχιφψ ηοω τηε σελεχτιϖιτιεσ οφ γενερατιϖε µοδελσ, συχη ασ τηε σπαρσε χοδινγ µοδελ, αρε δε⇒νεδ. Τηε σελεχτιϖιτιεσ οφ σενσορψ νευρονσ αρε τψπιχαλλψ δεσχριβεδ βψ ρεχεπτιϖε ⇒ελδσ, ασ ιν χηαπτερ 2. Φορ α χαυσαλ µοδελ, ονε δε⇒νιτιον οφ α ρεχεπτιϖε ⇒ελδ φορ υνιτ α ισ τηε σετ οφ ινπυτσ υ φορ ωηιχη vα ισ λικελψ το τακε λαργε ϖαλυεσ. Ηοωεϖερ, ιτ µαψ βε

382

προϕεχτιϖε ⇒ελδ

Ρεπρεσεντατιοναλ Λεαρνινγ

ιµποσσιβλε το χονστρυχτ ρεχεπτιϖε ⇒ελδσ βψ αϖεραγινγ οϖερ τηεσε ινπυτσ ιν νονλινεαρ µοδελσ, συχη ασ σπαρσε χοδινγ µοδελσ. Φυρτηερµορε, γενερατιϖε µοδελσ αρε µοστ νατυραλλψ χηαραχτεριζεδ βψ προϕεχτιϖε ⇒ελδσ ρατηερ τηαν ρεχεπτιϖε ⇒ελδσ. Τηε προϕεχτιϖε ⇒ελδ ασσοχιατεδ ωιτη α παρτιχυλαρ χαυσε vα χαν βε δε⇒νεδ ασ τηε σετ οφ ινπυτσ τηατ ιτ φρεθυεντλψ γενερατεσ. Τηισ χον− σιστσ οφ αλλ τηε υ ϖαλυεσ φορ ωηιχη Π[υ|vα ; G ] ισ συφ⇒χιεντλψ λαργε ωηεν vα ισ λαργε. Φορ τηε µοδελ οφ ⇒γυρε 10.1, τηε προϕεχτιϖε ⇒ελδσ αρε σιµπλψ τηε χιρχλεσ ιν ⇒γυρε 10.1Χ. Ιτ ισ ιµπορταντ το ρεµεµβερ τηατ προϕεχτιϖε ⇒ελδσ χαν βε θυιτε διφφερεντ φροµ ρεχεπτιϖε ⇒ελδσ. Προϕεχτιϖε ⇒ελδσ φορ τηε Ολσηαυσεν ανδ Φιελδ µοδελ τραινεδ ον νατυραλ σχενεσ αρε σηοων ιν ⇒γυρε 10.7Α, ωιτη ονε πιχτυρε φορ εαχη χοµπονεντ οφ ϖ. Ιν τηισ χασε, τηε προϕεχτιϖε ⇒ελδ φορ vα ισ σιµπλψ τηε µατριξ ελεµεντσ Γαβ πλοττεδ φορ αλλ β ϖαλυεσ. Ιν ⇒γυρε 10.7Α, τηε ινδεξ β ισ πλοττεδ οϖερ α τωο−διµενσιοναλ γριδ ρεπρεσεντινγ τηε λοχατιον οφ τηε ινπυτ υβ ωιτηιν τηε ϖισυαλ ⇒ελδ. Τηε προϕεχτιϖε ⇒ελδσ φορµ α Γαβορ−λικε ρεπρεσεντατιον φορ ιµ− αγεσ, χοϖερινγ α ϖαριετψ οφ σπατιαλ σχαλεσ ανδ οριεντατιονσ. Τηε ρεσεµβλανχε οφ τηισ ρεπρεσεντατιον το τηε ρεχεπτιϖε ⇒ελδσ οφ σιµπλε χελλσ ιν πριµαρψ ϖι− συαλ χορτεξ ισ θυιτε στρικινγ, αλτηουγη τηεσε αρε τηε προϕεχτιϖε ⇒ελδσ οφ τηε µοδελ, νοτ ιτσ ρεχεπτιϖε ⇒ελδσ. Υνφορτυνατελψ, τηερε ισ νο σιµπλε φορµ φορ τηε ρεχεπτιϖε ⇒ελδσ οφ τηε ϖ υνιτσ. Φιγυρε 10.7Β χοµπαρεσ τηε προϕεχτιϖε ⇒ελδ οφ ονε υνιτ ωιτη ρεχεπτιϖε ⇒ελδσ δετερµινεδ βψ πρεσεντινγ ειτηερ δοτσ ορ γρατινγσ ασ ινπυτσ ανδ ρεχορδινγ τηε ρεσπονσεσ. Τηε ρεσπονσεσ το τηε δοτσ διρεχτλψ δετερµινε τηε ρεχεπτιϖε ⇒ελδ, ωηιλε ρεσπονσεσ το τηε γρατινγσ διρεχτλψ δετερµινε τηε Φουριερ τρανσφορµ οφ τηε ρεχεπτιϖε ⇒ελδ. ∆ιφφερενχεσ βετωεεν τηε ρεχεπτιϖε ⇒ελδσ χαλχυλατεδ ον τηε βασισ οφ τηεσε τωο τψπεσ οφ ινπυτ αρε εϖιδεντ ιν τηε ⇒γυρε. Ιν παρτιχυλαρ, τηε ρεχεπτιϖε ⇒ελδ χοµπυτεδ φροµ γρατινγσ σηοωσ µορε σπατιαλ στρυχτυρε τηαν τηε ονε µαππεδ βψ δοτσ. Νεϖερτηελεσσ, βοτη σηοω α ρεσεµβλανχε το τηε προϕεχτιϖε ⇒ελδ ανδ το α τψπ− ιχαλ σιµπλε−χελλ ρεχεπτιϖε ⇒ελδ. Ιν α γενερατιϖε µοδελ, προϕεχτιϖε ⇒ελδσ αρε ασσοχιατεδ ωιτη τηε χαυσεσ υνδερλψινγ τηε ϖισυαλ ιµαγεσ πρεσεντεδ δυρινγ τραινινγ. Τηε φαχτ τηατ τηε χαυσεσ εξτραχτεδ βψ τηε σπαρσε χοδινγ µοδελ ρεσεµβλε Γαβορ πατχηεσ ωιτηιν τηε ϖισυαλ ⇒ελδ ισ σοµεωηατ στρανγε φροµ τηισ περσπεχτιϖε. Ιτ ισ διφ⇒− χυλτ το χονχειϖε οφ ιµαγεσ ασ αρισινγ φροµ συχη λοω−λεϖελ χαυσεσ, ινστεαδ οφ χαυσεσ χουχηεδ ιν τερµσ οφ οβϕεχτσ ωιτηιν τηε ιµαγεσ, φορ εξαµπλε. Φροµ τηε περσπεχτιϖε οφ γοοδ ρεπρεσεντατιον, χαυσεσ τηατ αρε µορε λικε οβϕεχτσ ανδ λεσσ λικε Γαβορ πατχηεσ ωουλδ βε µορε υσεφυλ. Το πυτ τηισ ανοτηερ ωαψ, αλτηουγη τηε πριορ διστριβυτιον οϖερ χαυσεσ βιασεδ τηεµ τοωαρδ µυτυαλ ιν− δεπενδενχε, τηε χαυσεσ προδυχεδ βψ τηε ρεχογνιτιον µοδελ ιν ρεσπονσε το νατυραλ ιµαγεσ αρε νοτ αχτυαλλψ ινδεπενδεντ. Τηισ ισ δυε το τηε στρυχτυρε ιν ιµαγεσ αρισινγ φροµ µορε χοµπλεξ οβϕεχτσ τηαν βαρσ ανδ γρατινγσ. Ιτ ισ υνλικελψ τηατ τηισ ηιγη−ορδερ στρυχτυρε χαν βε εξτραχτεδ βψ α µοδελ ωιτη ονλψ ονε σετ οφ χαυσεσ. Ιτ ισ µορε νατυραλ το τηινκ οφ χαυσεσ ιν α ηιεραρχηι− χαλ µαννερ, ωιτη χαυσεσ ατ α ηιγηερ λεϖελ αχχουντινγ φορ στρυχτυρε ιν τηε χαυσεσ ατ α λοωερ λεϖελ. Τηε µυλτιπλε ρεπρεσεντατιονσ ιν αρεασ αλονγ τηε ϖι− συαλ πατηωαψ συγγεστσ συχη α ηιεραρχηιχαλ σχηεµε, βυτ τηε χορρεσπονδινγ µοδελσ αρε στιλλ ιν τηε ρυδιµενταρψ σταγεσ οφ δεϖελοπµεντ.

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

383

A

B

projective field

receptive field - dots

receptive field - gratings

Φιγυρε 10.7 Προϕεχτιϖε ανδ ρεχεπτιϖε ⇒ελδσ φορ α σπαρσε χοδινγ νετωορκ ωιτη Νυ = Νv = 144. (Α) Προϕεχτιϖε ⇒ελδσ Γαβ ωιτη α ινδεξινγ ρεπρεσεντατιοναλ υνιτσ (τηε χοµ− πονεντσ οφ ϖ), ανδ β ινδεξινγ ινπυτ υνιτσ υ ον α 12 × 12 πιξελ γριδ. Εαχη βοξ ρεπ− ρεσεντσ α διφφερεντ α ϖαλυε, ανδ τηε β ϖαλυεσ αρε ρεπρεσεντεδ ωιτηιν τηε βοξ βψ τηε χορρεσπονδινγ ινπυτ λοχατιον. Ωειγητσ αρε ρεπρεσεντεδ βψ τηε γραψ−σχαλε λεϖελ, ωιτη γραψ ινδιχατινγ 0. (Β) Τηε ρελατιονσηιπ βετωεεν προϕεχτιϖε ανδ ρεχεπτιϖε ⇒ελδσ. Τηε λεφτ πανελ σηοωσ τηε προϕεχτιϖε ⇒ελδ οφ ονε οφ τηε υνιτσ ιν Α. Τηε µιδδλε ανδ ριγητ πανελσ σηοω ιτσ ρεχεπτιϖε ⇒ελδ µαππεδ υσινγ ινπυτσ γενερατεδ βψ δοτσ ανδ βψ γρατινγσ, ρεσπεχτιϖελψ. (Αδαπτεδ φροµ Ολσηαυσεν & Φιελδ, 1997.)

384

Ρεπρεσεντατιοναλ Λεαρνινγ

Ινδεπενδεντ Χοµπονεντσ Αναλψσισ Ασ φορ τηε χασε οφ τηε µιξτυρεσ οφ Γαυσσιανσ µοδελ ανδ φαχτορ αναλψσισ, αν ιντερεστινγ µοδελ εµεργεσ φροµ σπαρσε χοδινγ ασ 9 → 0. Ιν τηισ λιµιτ, τηε γενερατιϖε διστριβυτιον (εθυατιον 10.30) αππροαχηεσ α δ φυνχτιον ανδ αλ− ωαψσ γενερατεσ υ(ϖ ) = Γ · ϖ. Υνδερ τηε αδδιτιοναλ ρεστριχτιον τηατ τηερε αρε ασ µανψ χαυσεσ ασ ινπυτσ, τηε αππροξιµατιον ωε υσεδ φορ τηε σπαρσε χοδ− ινγ µοδελ οφ µακινγ τηε ρεχογνιτιον διστριβυτιον δετερµινιστιχ βεχοµεσ εξαχτ, ανδ τηε ρεχογνιτιον διστριβυτιον τηατ µαξιµιζεσ F ισ

Q [ϖ; υ] = |δετ Ω|−1 δ(υ − Ω−1 · ϖ ) ,

(10.35)

ωηερε Ω = Γ−1 ισ τηε µατριξ ινϖερσε οφ τηε γενερατιϖε ωειγητ # µατριξ. Τηε φαχτορ |δετ Ω| χοµεσ φροµ τηε νορµαλιζατιον χονδιτιον ον Θ, δϖ Θ (ϖ; υ ) = 1. Ατ τηε µαξιµυµ ωιτη ρεσπεχτ το Θ, τηε φυνχτιον F ισ + , ! 1 2 F (Q , G ) = − |υ − Γ · Ω · υ| + γ ([Ω · υ]α ) + λν |δετ Ω| + Κ , 29 α (10.36)

ωηερε Κ ισ ινδεπενδεντ οφ Γ. Υνδερ τηε χονϖεντιοναλ ΕΜ προχεδυρε, ωε ωουλδ µαξιµιζε τηισ εξπρεσσιον ωιτη ρεσπεχτ το Γ, κεεπινγ Ω ⇒ξεδ. Ηοω− εϖερ, τηε νορµαλ προχεδυρε φαιλσ ιν τηισ χασε, βεχαυσε τηε µινιµυµ οφ τηε ριγητ σιδε οφ εθυατιον 10.36 οχχυρσ ατ Γ = Ω−1 , ανδ Ω ισ βεινγ ηελδ ⇒ξεδ, σο Γ χαννοτ χηανγε. Τηισ ισ αν ανοµαλψ οφ χοορδινατε ασχεντ ιν τηισ παρτιχ− υλαρ λιµιτ. Φορτυνατελψ, ιτ ισ εασψ το ⇒ξ τηισ προβλεµ, βεχαυσε ωε κνοω τηατ Ω = Γ−1 προϖιδεσ αν εξαχτ ινϖερσιον οφ τηε γενερατιϖε µοδελ. Τηερεφορε, ινστεαδ οφ ηολδινγ Ω ⇒ξεδ δυρινγ τηε Μ πηασε οφ αν ΕΜ προχεδυρε, ωε κεεπ Ω = Γ−1 ατ αλλ τιµεσ ασ ωε χηανγε Γ. Τηισ σετσ F εθυαλ το τηε αϖεραγε λογ λικελιηοοδ, ανδ τηε προχεσσ οφ οπτιµιζινγ ωιτη ρεσπεχτ το Γ ισ εθυιϖαλεντ το λικελιηοοδ µαξιµιζατιον. Βεχαυσε Ω = Γ−1 , µαξιµιζινγ ωιτη ρεσπεχτ το Ω ισ εθυιϖαλεντ το µαξιµιζινγ ωιτη ρεσπεχτ το Γ, ανδ ιτ τυρνσ ουτ τηατ τηισ ισ εασιερ το δο. Τηερεφορε, ωε σετ Ω = Γ−1 ιν εθυατιον 10.36, ωηιχη χαυσεσ τηε ⇒ρστ τερµ το ϖανιση, ανδ ωριτε τηε ρεµαινινγ τερµσ ασ τηε λογ λικελιηοοδ εξπρεσσεδ ασ α φυνχτιον οφ Ω ινστεαδ οφ Γ, + , ! Λ (Ω ) = γ ([Ω · υ]α ) + λν |δετ Ω| + Κ . (10.37) α

∆ιρεχτ στοχηαστιχ γραδιεντ ασχεντ ον τηισ λογ λικελιηοοδ χαν βε περφορµεδ υσινγ τηε υπδατε ρυλε )1 2 * Ωαβ → Ωαβ + ϵ Ω−1 βα + γ′ (vα )υβ , (10.38) ωηερε ϵ ισ α σµαλλ λεαρνινγ ρατε παραµετερ, ανδ ωε ηαϖε υσεδ τηε φαχτ τηατ ∂ λν |δετ Ω|/∂Ωαβ = [Ω−1 ]βα . Τηε υπδατε ρυλε οφ εθυατιον 10.38 χαν βε σιµπλι⇒εδ βψ υσινγ α χλεϖερ τριχκ. Βεχαυσε ΩΤ Ω ισ α ποσιτιϖε δε⇒νιτε µατριξ (σεε τηε Ματηεµατιχαλ

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

385

Αππενδιξ), τηε ωειγητ χηανγε χαν βε µυλτιπλιεδ βψ ΩΤ Ω ωιτηουτ αφφεχτ− ινγ τηε ⇒ξεδ ποιντσ οφ τηε υπδατε ρυλε. Τηισ µεανσ τηατ τηε αλτερνατιϖε λεαρνινγ ρυλε ) * Ωαβ → Ωαβ + ϵ Ωαβ + γ′ (vα ) [ϖ · Ω]β (10.39)

ηασ τηε σαµε ποτεντιαλ ⇒ναλ ωειγητ µατριχεσ ασ εθυατιον 10.38. Τηισ ισ χαλλεδ α νατυραλ γραδιεντ ρυλε, ανδ ιτ αϖοιδσ τηε µατριξ ινϖερσιον οφ Ω ασ ωελλ ασ προϖιδινγ φαστερ χονϖεργενχε. Εθυατιον 10.39 χαν βε ιντερπρετεδ ασ τηε συµ οφ αν αντι−δεχαψ τερµ τηατ φορχεσ Ω αωαψ φροµ 0, ανδ α γεν− εραλιζεδ τψπε οφ αντι−Ηεββιαν τερµ. Τηε χηοιχε οφ πριορ π[v] ∝ 1/ χοση(v) µακεσ γ′ (v) = − τανη(v) ανδ προδυχεσ τηε ρυλε ) * Ωαβ → Ωαβ + ϵ Ωαβ − τανη(vα ) [ϖ · Ω]β . (10.40)

Τηισ αλγοριτηµ ισ χαλλεδ ινδεπενδεντ χοµπονεντσ αναλψσισ. ϑυστ ασ τηε σπαρσε χοδινγ νετωορκ ισ α νονλινεαρ γενεραλιζατιον οφ φαχτορ αναλψσισ, ιν− δεπενδεντ χοµπονεντσ αναλψσισ ισ α νονλινεαρ γενεραλιζατιον οφ πρινχιπαλ χοµπονεντσ αναλψσισ τηατ αττεµπτσ το αχχουντ φορ νον−Γαυσσιαν φεατυρεσ οφ τηε ινπυτ διστριβυτιον. Τηε γενερατιϖε µοδελ ισ βασεδ ον τηε ασσυµπτιον τηατ υ = Γ · ϖ. Σοµε οτηερ τεχηνιχαλ χονδιτιονσ µυστ βε σατισ⇒εδ φορ ιν− δεπενδεντ χοµπονεντσ αναλψσισ το εξτραχτ ρεασοναβλε χαυσεσ. Σπεχι⇒χαλλψ, τηε πριορ διστριβυτιονσ οϖερ χαυσεσ π[v] ∝ εξπ( γ (v)) µυστ βε νον−Γαυσσιαν ανδ, ατ λεαστ το τηε εξτεντ οφ βεινγ χορρεχτλψ συπερ− ορ συβ−Γαυσσιαν, µυστ φαιτηφυλλψ ρε⇓εχτ τηε αχτυαλ διστριβυτιον οϖερ χαυσεσ. Τηε παρτιχυλαρ φορµ π[v] ∝ 1/ χοση(v) ισ συπερ−Γαυσσιαν, ανδ τηυσ γενερατεσ α σπαρσε πριορ. Τηερε αρε ϖαριαντσ οφ ινδεπενδεντ χοµπονεντσ αναλψσισ ιν ωηιχη τηε πριορ διστριβυτιονσ αρε αδαπτιϖε. Τηε ινδεπενδεντ χοµπονεντσ αλγοριτηµ ωασ συγγεστεδ βψ Βελλ ανδ Σε− ϕνοωσκι (1995) φροµ τηε διφφερεντ περσπεχτιϖε οφ µαξιµιζινγ τηε µυτυαλ ινφορµατιον βετωεεν υ ανδ ϖ ωηεν vα (υ ) = φ ([Ω · υ]α ), ωιτη α παρτιχυλαρ, µονοτονιχαλλψ ινχρεασινγ νονλινεαρ φυνχτιον φ . Μαξιµιζινγ τηε µυτυαλ ινφορµατιον ιν τηισ χοντεξτ ρεθυιρεσ µαξιµιζινγ τηε εντροπψ οφ τηε διστρι− βυτιον οϖερ ϖ. Τηισ, ιν τυρν, ρεθυιρεσ τηε χοµπονεντσ οφ ϖ το βε ασ ινδεπεν− δεντ ασ ποσσιβλε βεχαυσε ρεδυνδανχψ βετωεεν τηεµ ρεδυχεσ τηε εντροπψ. Ιν τηε χασε τηατ φ (v) = γ′ (v), τηε εξπρεσσιον φορ τηε εντροπψ ισ τηε σαµε ασ τηατ φορ τηε λογ λικελιηοοδ ιν εθυατιον 10.37, υπ το χονσταντ φαχτορσ. Τηυσ, µαξιµιζινγ τηε εντροπψ ανδ περφορµινγ µαξιµυµ λικελιηοοδ δενσιτψ εσ− τιµατιον αρε ιδεντιχαλ. Αν αδϖανταγε οφ ινδεπενδεντ χοµπονεντσ αναλψσισ οϖερ οτηερ σπαρσε χοδ− ινγ αλγοριτηµσ ισ τηατ, βεχαυσε τηε ρεχογνιτιον µοδελ ισ αν εξαχτ ινϖερσε οφ τηε γενερατιϖε µοδελ, ρεχεπτιϖε ασ ωελλ ασ προϕεχτιϖε ⇒ελδσ χαν βε χον− στρυχτεδ. ϑυστ ασ τηε προϕεχτιϖε ⇒ελδ φορ vα χαν βε ρεπρεσεντεδ βψ τηε µατριξ ελεµεντσ Γαβ φορ αλλ β ϖαλυεσ, τηε ρεχεπτιϖε ⇒ελδ ισ γιϖεν βψ Ωαβ φορ αλλ β. Το ιλλυστρατε ινδεπενδεντ χοµπονεντσ αναλψσισ, ⇒γυρε 10.8 σηοωσ αν (αδ− µιττεδλψ βιζαρρε) εξαµπλε οφ ιτσ αππλιχατιον το τηε σουνδσ χρεατεδ βψ ταππινγ α τοοτη ωηιλε αδϕυστινγ τηε σηαπε οφ τηε µουτη το ρεπροδυχε α

386

Ρεπρεσεντατιοναλ Λεαρνινγ

A

B

C

frequency (κΗζ)

3

0

5

2.5

t (σ)

D

5

10

G

0

0.4

ϖ0

ϖ0

-0.4

-0.4

1 0

0

0.4

2

0

t (µσ)

E

0

10

5

10

H

5

t (µσ)

10

0

20

0

10

F

0

20

t (µσ)

5

10

I

5

t (µσ)

10

0

5

10

t (µσ)

Φιγυρε 10.8 Ινδεπενδεντ χοµπονεντσ οφ τοοτη−ταππινγ σουνδσ. (Α) Σπεχτρογραµ οφ τηε ινπυτ. (Β−Χ) Ωαϖεφορµσ φορ ηιγη− ανδ λοω−φρεθυενχψ νοτεσ. Τηε µουτη αχτσ ασ α δαµπεδ ρεσοναντ χαϖιτψ ιν τηε γενερατιον οφ τηεσε τονεσ. (∆−Φ) Τηρεε ινδεπενδεντ χοµπονεντσ χαλχυλατεδ ον τηε βασισ οφ 1/80 σ σαµπλεσ τακεν φροµ τηε ινπυτ ατ ρανδοµ τιµεσ. Τηε γραπησ σηοω τηε ρεχεπτιϖε ⇒ελδσ (φροµ Ω) φορ τηρεε ουτπυτ υνιτσ. ∆ ισ ρεπορτεδ το βε σενσιτιϖε το τηε σουνδ οφ αν αιρ χονδιτιονερ. Ε ανδ Φ εξτραχτ τοοτη ταπσ οφ διφφερεντ φρεθυενχιεσ. (Γ−Ι) Τηε ασσοχιατεδ προϕεχτιϖε ⇒ελδσ (φροµ Γ), σηοωινγ τηε ινπυτ αχτιϖιτψ ασσοχιατεδ ωιτη τηε χαυσεσ ιν ∆−Φ. (Αδαπτεδ φροµ Βελλ & Σεϕνοωσκι, 1996.)

τυνε βψ Βεετηοϖεν. Τηε ινπυτ, σαµπλεδ ατ 8 κΗζ, ηασ τηε σπεχτρογραµ σηοων ιν ⇒γυρε 10.8Α. Ιν τηισ εξαµπλε, ωε ηαϖε σοµε ιδεα αβουτ λικελψ χαυσεσ. Φορ εξαµπλε, τηε πλοτσ ιν ⇒γυρεσ 10.8Β ανδ 10.8Χ σηοω ηιγη− ανδ λοω−φρεθυενχψ τοοτη ταπσ, αλτηουγη οτηερ χαυσεσ αρισε φροµ τηε ιµ− περφεχτ ρεχορδινγ χονδιτιονσ (ε.γ., τηε βαχκγρουνδ σουνδ οφ αν αιρ χονδι− τιονερ). Α χλοσε ϖαριαντ οφ τηε ινδεπενδεντ χοµπονεντσ αναλψσισ µετηοδ δεσχριβεδ αβοϖε ωασ υσεδ το εξτραχτ Νv = 100 ινδεπενδεντ χοµπονεντσ. Φιγυρε 10.8∆, 10.8Ε, ανδ 10.8Φ σηοω τηε ρεχεπτιϖε ⇒ελδσ οφ τηρεε οφ τηεσε χοµπονεντσ. Τηε λαστ τωο εξτραχτ παρτιχυλαρ φρεθυενχιεσ ιν τηε ινπυτ. Φιγ− υρε 10.8Γ, 10.8Η, ανδ 10.8Ι σηοω προϕεχτιϖε ⇒ελδσ. Νοτε τηατ τηε προϕεχτιϖε ⇒ελδσ αρε µυχη σµοοτηερ τηαν τηε ρεχεπτιϖε ⇒ελδσ. Βελλ ανδ Σεϕνοωσκι (1997) αλσο υσεδ ϖισυαλ ινπυτ δατα σιµιλαρ το τηοσε υσεδ ιν τηε εξαµπλε οφ ⇒γυρε 10.7, αλονγ ωιτη τηε πριορ π[v] ∝ 1/ χοση(v), ανδ φουνδ τηατ ινδεπενδεντ χοµπονεντσ αναλψσισ εξτραχτσ Γαβορ−λικε ρεχεπτιϖε ⇒ελδσ σιµιλαρ το τηε προϕεχτιϖε ⇒ελδσ σηοων ιν ⇒γυρε 10.7Α.

10.3

Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον

387

ϖ Ω

Γ

υ

Φιγυρε 10.9 Νετωορκ φορ τηε Ηελµηολτζ µαχηινε. Ιν τηε βοττοµ−υπ νετωορκ, ρεπρε− σεντατιοναλ υνιτσ ϖ αρε δριϖεν βψ ινπυτσ υ τηρουγη φεεδφορωαρδ ωειγητσ Ω. Ιν τηε τοπ−δοων νετωορκ, τηε ινπυτσ αρε δριϖεν βψ τηε ϖ υνιτσ τηρουγη φεεδβαχκ ωειγητσ Γ.

Τηε Ηελµηολτζ Μαχηινε Τηε Ηελµηολτζ µαχηινε ωασ δεσιγνεδ το αχχοµµοδατε ηιεραρχηιχαλ αρχηι− τεχτυρεσ τηατ χονστρυχτ χοµπλεξ µυλτιλαψερ ρεπρεσεντατιονσ. Τηε µοδελ ιν− ϖολϖεσ τωο ιντεραχτινγ νετωορκσ, ονε ωιτη παραµετερσ G τηατ ισ δριϖεν ιν τηε τοπ−δοων διρεχτιον το ιµπλεµεντ τηε γενερατιϖε µοδελ, ανδ τηε οτηερ, ωιτη παραµετερσ W , δριϖεν βοττοµ−υπ το ιµπλεµεντ τηε ρεχογνι− τιον µοδελ. Τηε παραµετερσ αρε δετερµινεδ βψ α µοδι⇒εδ ΕΜ αλγοριτηµ τηατ ρεσυλτσ ιν ρουγηλψ σψµµετριχ υπδατεσ φορ τηε τωο νετωορκσ. Ωε χονσιδερ α σιµπλε, τωο−λαψερ, νονλινεαρ Ηελµηολτζ µαχηινε (⇒γ− υρε 10.9) ωιτη βιναρψ υνιτσ, σο τηατ υβ ανδ vα φορ αλλ β ανδ α τακε τηε ϖαλυεσ 0 ορ 1. Φορ τηισ µοδελ, -) *1−vα *v ) (10.41) φ ( γα ) α 1 − φ ( γα ) Π[ϖ; G ] = α

-) ) **υ ) ) **1−υβ Π[υ|ϖ; G ] = φ ηβ + [Γ · ϖ]β β 1 − φ ηβ + [Γ · ϖ]β ,

(10.42)

β

ωηερε γα ισ α γενερατιϖε βιασ ωειγητ φορ ουτπυτ α τηατ χοντρολσ ηοω φρε− θυεντλψ vα = 1, ηβ ισ τηε γενερατιϖε βιασ ωειγητ φορ υβ , ανδ φ ( γ ) = 1/(1 + εξπ(− γ )) ισ τηε στανδαρδ σιγµοιδ φυνχτιον. Τηε γενερατιϖε µοδελ ισ τηυσ παραµετεριζεδ βψ G = (γ, η, Γ ). Αχχορδινγ το τηεσε διστριβυτιονσ, τηε χοµπονεντσ οφ ϖ αρε µυτυαλλψ ινδεπενδεντ, ανδ τηε χοµπονεντσ οφ υ αρε ινδεπενδεντ γιϖεν α ⇒ξεδ ϖαλυε οφ ϖ. Τηε γενερατιϖε µοδελ ισ νονινϖερτιβλε ιν τηισ χασε, σο αν αππροξιµατε ρεχογνιτιον διστριβυτιον µυστ βε χονστρυχτεδ. Τηισ υσεσ α φορµ σιµιλαρ το εθυατιον 10.42, εξχεπτ ωιτη βοττοµ−υπ ωειγητσ Ω ανδ βιασεσ ω, -) ) **v ) ) **1−vα . (10.43) Θ[ϖ; υ, W ] = φ wα + [Ω · υ]α α 1 − φ wα + [Ω · υ]α α

Τηε παραµετερ λιστ φορ τηε ρεχογνιτιον µοδελ ισ W = (ω, Ω ). Τηισ διστρι− βυτιον ισ ονλψ αν αππροξιµατε ινϖερσε οφ τηε γενερατιϖε µοδελ βεχαυσε ιτ ιµπλιεσ τηατ τηε χοµπονεντσ οφ ϖ αρε ινδεπενδεντ ωηεν, ιν φαχτ, γιϖεν α παρτιχυλαρ ινπυτ υ, τηεψ αρε χονδιτιοναλλψ δεπενδεντ δυε το τηε ωαψ τηεψ ιντεραχτ ιν εθυατιον 10.42 το γενερατε υ (τηισ ισ τηε σαµε ασσυµπτιον ασ ιν τηε µεαν−⇒ελδ αππροξιµατε διστριβυτιον φορ τηε Βολτζµανν µαχηινε, εξ− χεπτ τηατ τηε παραµετερσ οφ τηε διστριβυτιον ηερε αρε σηαρεδ βετωεεν αλλ ινπυτ χασεσ).

388

Ρεπρεσεντατιοναλ Λεαρνινγ

Τηε ΕΜ αλγοριτηµ φορ τηισ νονινϖερτιβλε µοδελ ωουλδ χονσιστ οφ αλτερ− νατελψ µαξιµιζινγ τηε φυνχτιον F γιϖεν βψ + , ! Π[ϖ, υ; G ] F (W , G ) = Θ[ϖ; υ, W ] λν (10.44) Θ[ϖ; υ, W ] ϖ ωιτη ρεσπεχτ το τηε παραµετερσ W ανδ G . Φορ τηε Μ πηασε οφ τηε Ηελµηολτζ µαχηινε, τηισ ισ εξαχτλψ ωηατ ισ δονε. Ηοωεϖερ, δυρινγ τηε Ε πηασε, µαξιµιζινγ ωιτη ρεσπεχτ το W ισ προβλεµατιχ βεχαυσε τηε φυνχ− τιον Θ[ϖ; υ, W ] αππεαρσ ιν τωο πλαχεσ ιν τηε εξπρεσσιον φορ F . Τηισ αλσο µακεσ τηε λεαρνινγ ρυλε δυρινγ τηε Ε πηασε τακε α διφφερεντ φορµ φροµ τηατ δυρινγ τηε Μ πηασε. Ινστεαδ, τηε Ηελµηολτζ µαχηινε υσεσ α σιµπλερ ανδ µορε σψµµετριχ αππροξιµατιον το ΕΜ. Τηε αππροξιµατιον το ΕΜ υσεδ βψ τηε Ηελµηολτζ µαχηινε ισ χονστρυχτεδ βψ ρε−εξπρεσσινγ F φροµ εθυατιον 10.10, εξπλιχιτλψ ωριτινγ ουτ τηε αϖεραγε οϖερ ινπυτ δατα ανδ τηε εξπρεσσιον φορ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε, ! F (W , G )=Λ(G ) − Π[υ]∆ΚΛ ( Θ[ϖ; υ, W ], Π[ϖ|υ; G ] ) υ

=Λ (G ) −

! υ

Π[υ]

! ϖ

Θ[ϖ; υ, W ] Θ[ϖ; υ, W ] λν Π[ϖ|υ; G ] %

&

.

(10.45)

Τηισ ισ τηε φυνχτιον τηατ ισ µαξιµιζεδ ωιτη ρεσπεχτ το G δυρινγ τηε Μ πηασε φορ τηε Ηελµηολτζ µαχηινε. Ηοωεϖερ, τηε Ε πηασε ισ νοτ βασεδ ον µαξιµιζινγ εθυατιον 10.45 ωιτη ρεσπεχτ το W . Ινστεαδ, αν αππροξιµατε F φυνχτιον τηατ ωε χαλλ F˜ ισ υσεδ. Τηισ ισ χονστρυχτεδ βψ υσινγ Π[υ; G ] ασ αν αππροξιµατιον φορ Π[υ] ανδ ∆ΚΛ ( Π[ϖ|υ; G ], Θ[ϖ; υ, W ] ) ασ αν αππροξι− µατιον φορ ∆ΚΛ ( Θ[ϖ; υ, W ], Π[ϖ|υ; G ] ) ιν εθυατιον 10.45. Τηεσε αρε λικελψ το βε γοοδ αππροξιµατιονσ ιφ τηε γενερατιϖε ανδ αππροξιµατε ρεχογνιτιον µοδελσ αρε αχχυρατε. Τηυσ, ωε ωριτε ! F˜ (W , G )=Λ(G ) − Π[υ; G ]∆ΚΛ ( Π[ϖ|υ; G ], Θ[ϖ; υ, W ] ) υ

=Λ (G ) −

! υ

Π[υ; G ]

! ϖ

Π[ϖ|υ; G ] λν

%

Π[ϖ|υ; G ] Θ[ϖ; υ, W ]

&

.

(10.46)

ανδ µαξιµιζε τηισ, ρατηερ τηαν F , ωιτη ρεσπεχτ το W δυρινγ τηε Ε πηασε. Τηισ αµουντσ το αϖεραγινγ τηε m⇓ιππεδn Κυλλβαχκ−Λειβλερ διϖεργενχε οϖερ σαµπλεσ οφ υ χρεατεδ βψ τηε γενερατιϖε µοδελ, ρατηερ τηαν ρεαλ δατα σαµ− πλεσ. Τηε αδϖανταγε οφ µακινγ τηεσε αππροξιµατιονσ ισ τηατ τηε Ε ανδ Μ πηασεσ βεχοµε ηιγηλψ σψµµετριχ, ασ χαν βε σεεν βψ εξαµινινγ τηε σεχονδ εθυαλιτιεσ ιν εθυατιονσ 10.45 ανδ 10.46. Λεαρνινγ ιν τηε Ηελµηολτζ µαχηινε προχεεδσ βψ υσινγ στοχηαστιχ σαµπλινγ το ρεπλαχε τηε ωειγητεδ συµσ ιν εθυατιονσ 10.45 ανδ 10.46. Ιν τηε Μ πηασε, αν ινπυτ υ φροµ Π[υ] ισ πρεσεντεδ, ανδ α σαµπλε ϖ ισ δραων φροµ τηε χυρ− ρεντ ρεχογνιτιον διστριβυτιον Θ[ϖ; υ, W ]. Τηεν τηε γενερατιϖε ωειγητσ G αρε χηανγεδ αχχορδινγ το τηε δισχρεπανχψ βετωεεν υ ανδ τηε γενερατιϖε ορ τοπ−δοων πρεδιχτιον φ(η + Γ · ϖ ) οφ υ (σεε τηε αππενδιξ). Τηυσ, τηε γενερ− ατιϖε µοδελ ισ τραινεδ το µακε υ µορε λικελψ το βε γενερατεδ βψ τηε χαυσε

10.4

∆ισχυσσιον

389

ϖ ασσοχιατεδ ωιτη ιτ βψ τηε ρεχογνιτιον µοδελ. Ιν τηε Ε πηασε, σαµπλεσ οφ βοτη ϖ ανδ υ αρε δραων φροµ τηε γενερατιϖε µοδελ διστριβυτιονσ Π[ϖ; G ] ανδ Π[υ|ϖ; G ], ανδ τηε ρεχογνιτιον παραµετερσ W αρε χηανγεδ αχχορδινγ το τηε δισχρεπανχψ βετωεεν τηε σαµπλεδ χαυσε ϖ ανδ τηε ρεχογνιτιον ορ βοττοµ−υπ πρεδιχτιον φ(ω + Ω · υ ) οφ ϖ (σεε τηε αππενδιξ). Τηε ρατιοναλε φορ τηισ ισ τηατ τηε ϖ τηατ ωασ υσεδ βψ τηε γενερατιϖε µοδελ το χρεατε υ ισ α γοοδ χηοιχε φορ ιτσ χαυσε ιν τηε ρεχογνιτιον µοδελ. Τηε τωο πηασεσ οφ λεαρνινγ αρε σοµετιµεσ χαλλεδ ωακε ανδ σλεεπ βεχαυσε λεαρνινγ ιν τηε ⇒ρστ πηασε ισ δριϖεν βψ ρεαλ ινπυτσ υ φροµ τηε ενϖιρον− µεντ, ωηιλε λεαρνινγ ιν τηε σεχονδ πηασε ισ δριϖεν βψ ϖαλυεσ ϖ ανδ υ mφαν− τασιζεδn βψ τηε γενερατιϖε µοδελ. Τηισ τερµινολογψ ισ βασεδ ον σλιγητλψ διφφερεντ πρινχιπλεσ φροµ τηε ωακε ανδ σλεεπ πηασεσ οφ τηε Βολτζµανν µα− χηινε δισχυσσεδ ιν χηαπτερ 8. Τηε σλεεπ πηασε ισ ονλψ αν αππροξιµατιον οφ τηε αχτυαλ Ε πηασε, ανδ γενεραλ χονδιτιονσ υνδερ ωηιχη λεαρνινγ χον− ϖεργεσ αππροπριατελψ αρε νοτ κνοων.

10.4

∆ισχυσσιον

Βεχαυσε οφ τηε ωιδεσπρεαδ σιγνι⇒χανχε οφ χοδινγ, τρανσµιττινγ, στορινγ, ανδ δεχοδινγ ϖισυαλ ιµαγεσ συχη ασ πηοτογραπησ ανδ µοϖιεσ, συβσταν− τιαλ εφφορτ ηασ βεεν δεϖοτεδ το υνδερστανδινγ τηε στρυχτυρε οφ τηισ χλασσ οφ ινπυτσ. Ασ α ρεσυλτ, ϖισυαλ ιµαγεσ προϖιδε αν ιδεαλ τεστινγ γρουνδ φορ ρεπρεσεντατιοναλ λεαρνινγ αλγοριτηµσ, αλλοωινγ υσ το γο βεψονδ εϖαλυατινγ τηε ρεπρεσεντατιονσ τηεψ προδυχε σολελψ ιν τερµσ οφ τηε λογ λικελιηοοδ ανδ θυαλιτατιϖε σιµιλαριτιεσ ωιτη χορτιχαλ ρεχεπτιϖε ⇒ελδσ. Μοστ µοδερν ιµαγε (ανδ αυδιτορψ) προχεσσινγ τεχηνιθυεσ αρε βασεδ ον µυλτι−ρεσολυτιον δεχοµποσιτιονσ. Ιν συχη δεχοµποσιτιονσ, ιµαγεσ αρε ρεπ− ρεσεντεδ βψ τηε αχτιϖιτψ οφ α ποπυλατιον οφ υνιτσ ωιτη σψστεµατιχαλλψ ϖαρψ− ινγ σπατιαλ φρεθυενχψ ανδ οριεντατιον πρεφερενχεσ, χεντερεδ ατ ϖαριουσ λο− χατιονσ ον τηε ιµαγε. Τηε ουτπυτσ οφ τηε ρεπρεσεντατιοναλ υνιτσ αρε γεν− ερατεδ βψ ⇒λτερσ (τψπιχαλλψ λινεαρ) τηατ αχτ ασ ρεχεπτιϖε ⇒ελδσ ανδ αρε παρ− τιαλλψ λοχαλιζεδ ιν βοτη σπαχε ανδ σπατιαλ φρεθυενχψ. Τηε ⇒λτερσ υσυαλλψ ηαϖε σιµιλαρ υνδερλψινγ φορµσ, βυτ τηεψ αρε χαστ ατ διφφερεντ σπατιαλ σχαλεσ ανδ χεντερεδ ατ διφφερεντ λοχατιονσ φορ τηε διφφερεντ υνιτσ. Σψστεµατιχ ϖερσιονσ οφ συχη ρεπρεσεντατιονσ, ιν φορµσ συχη ασ ωαϖελετσ, αρε ιµπορταντ σιγναλ προχεσσινγ τοολσ, ανδ τηερε ισ αν εξτενσιϖε βοδψ οφ τηεορψ αβουτ τηειρ ρεπ− ρεσεντατιοναλ ανδ χοδινγ θυαλιτιεσ. Ρεπρεσεντατιον οφ σενσορψ ινφορµατιον ιν σεπαρατεδ φρεθυενχψ βανδσ ατ διφφερεντ σπατιαλ λοχατιονσ ηασ σιγνι⇒χαντ πσψχηοπηψσιχαλ χονσεθυενχεσ ασ ωελλ. Τηε προϕεχτιϖε ⇒ελδσ οφ τηε υνιτσ ιν τηε σπαρσε χοδινγ νετωορκ σηοων ιν ⇒γυρε 10.7 συγγεστ τηατ τηεψ χονστρυχτ σοµετηινγ λικε α µυλτι−ρεσολυτιον δεχοµποσιτιον οφ ινπυτσ, ωιτη µυλτιπλε σπατιαλ σχαλεσ, λοχατιονσ, ανδ οριεν− τατιονσ. Τηυσ, µυλτι−ρεσολυτιον αναλψσισ γιϖεσ υσ α ωαψ το πυτ ιντο σηαρπερ φοχυσ τηε ισσυεσ αρισινγ φροµ µοδελσ συχη ασ σπαρσε χοδινγ ανδ ινδεπεν− δεντ χοµπονεντσ αναλψσισ. Αφτερ α βριεφ ρεϖιεω οφ µυλτι−ρεσολυτιον δεχοµ−

ωακε−σλεεπ αλγοριτηµ

390

Ρεπρεσεντατιοναλ Λεαρνινγ

A FT

log frequency

space

B

activity Φιγυρε 10.10 Μυλτι−ρεσολυτιον ⇒λτερινγ. (Α) ςερτιχαλ ανδ ηοριζονταλ ⇒λτερσ (λεφτ) ανδ τηειρ Φουριερ τρανσφορµσ (ριγητ) τηατ αρε υσεδ ατ µυλτιπλε ποσιτιονσ ανδ σπατιαλ σχαλεσ το γενερατε α µυλτι−ρεσολυτιον ρεπρεσεντατιον. Τηε ροωσ οφ τηε µατριξ Ω αρε δισπλαψεδ ηερε ιν γραψ σχαλε ον α τωο−διµενσιοναλ γριδ ρεπρεσεντινγ τηε λοχατιον οφ τηε χορρεσπονδινγ ινπυτ. (Β) Λογ φρεθυενχψ διστριβυτιον οφ τηε ουτπυτσ οφ τηε ηιγηεστ σπατιαλ φρεθυενχψ ⇒λτερσ (σολιδ λινε) χοµπαρεδ ωιτη α Γαυσσιαν διστριβυτιον ωιτη τηε σαµε µεαν ανδ ϖαριανχε (δασηεδ λινε) ανδ τηε διστριβυτιον οφ πιξελ ϖαλ− υεσ φορ τηε ιµαγε σηοων ιν ⇒γυρε 10.11Α (δοτ−δασηεδ λινε). Τηε πιξελ ϖαλυεσ οφ τηε ιµαγε ωερε ρεσχαλεδ το ⇒τ ιντο τηε ρανγε. (Αδαπτεδ φροµ Σιµονχελλι & Φρεεµαν, 1995; Καρασαριδισ & Σιµονχελλι, 1996.)

ποσιτιονσ, ωε υσε τηεµ το χονσιδερ ϖαριουσ προπερτιεσ οφ ρεπρεσεντατιοναλ λεαρνινγ φροµ τηε περσπεχτιϖε οφ ινφορµατιον τρανσµισσιον ανδ σπαρσενεσσ, οϖερχοµπλετενεσσ, ανδ ρεσιδυαλ δεπενδενχιεσ βετωεεν ινφερρεδ χαυσεσ.

Μυλτι−ρεσολυτιον ∆εχοµποσιτιον Μανψ µυλτι−ρεσολυτιον δεχοµποσιτιονσ, ωιτη α ϖαριετψ οφ χοµπυτατιοναλ ανδ ρεπρεσεντατιοναλ προπερτιεσ, χαν βε εξπρεσσεδ ασ λινεαρ τρανσφορµα− τιονσ ϖ = Ω · υ, ωηερε τηε ροωσ οφ Ω δεσχριβε ⇒λτερσ, συχη ασ τηοσε ιλλυσ− τρατεδ ιν ⇒γυρε 10.10Α. Φιγυρε 10.11 σηοωσ τηε ρεσυλτ οφ αππλψινγ µυλτι− ρεσολυτιον ⇒λτερσ, χονστρυχτεδ βψ σχαλινγ ανδ σηιφτινγ τηε ⇒λτερσ σηοων ιν ⇒γυρε 10.10Α, το τηε πηοτογραπη ιν ⇒γυρε 10.11Α. ςερτιχαλ ανδ ηοριζον− ταλ ⇒λτερσ σιµιλαρ το τηοσε ιν ⇒γυρε 10.10Α, βυτ ωιτη διφφερεντ σιζεσ, προ− δυχε τηε δεχοµποσιτιον σηοων ιν ⇒γυρεσ 10.11Β−10.11∆ ανδ 10.11Φ−10.11Η ωηεν τρανσλατεδ αχροσσ τηε ιµαγε. Τηε λεϖελ οφ γραψ ινδιχατεσ τηε ουτπυτ γενερατεδ βψ πλαχινγ τηε διφφερεντ ⇒λτερσ οϖερ τηε χορρεσπονδινγ ποιντ ον τηε ιµαγε. Τηεσε ουτπυτσ, πλυσ τηε λοω−πασσ ιµαγε ιν ⇒γυρε 10.11Ε ανδ αν εξτρα ηιγη−πασσ ιµαγε τηατ ισ νοτ σηοων, χαν βε υσεδ το ρεχονστρυχτ τηε ωηολε πηοτογραπη αλµοστ περφεχτλψ τηρουγη α γενερατιϖε προχεσσ τηατ ισ τηε ινϖερσε οφ τηε ρεχογνιτιον προχεσσ.

Χοδινγ Ονε ρεασον φορ υσινγ µυλτι−ρεσολυτιον δεχοµποσιτιονσ ισ τηατ τηεψ οφφερ εφ− ⇒χιεντ ωαψσ οφ ενχοδινγ ϖισυαλ ιµαγεσ, ωηερεασ ραω ϖαλυεσ οφ ινπυτ πιξελσ

10.4

∆ισχυσσιον

391

Α

Β

Χ

∆

Φ

Γ

Η

ϖ

Ε η

Φιγυρε 10.11 Μυλτι−ρεσολυτιον ιµαγε δεχοµποσιτιον. Α γραψ−σχαλε ιµαγε ισ δεχοµ− ποσεδ, υσινγ τηε παιρ οφ ϖερτιχαλ ανδ ηοριζονταλ ⇒λτερσ σηοων ιν ⇒γυρε 10.10. (Α) Τηε οριγιναλ ιµαγε. (Β−∆) Τηε ουτπυτσ οφ συχχεσσιϖελψ ηιγηερ σπατιαλ φρεθυενχψ, ϖερτιχαλλψ οριεντεδ ⇒λτερσ τρανσλατεδ αχροσσ τηε ιµαγε. (Ε) Τηε ιµαγε αφτερ πασ− σαγε τηρουγη α λοω−πασσ ⇒λτερ. (Φ−Η) Τηε ουτπυτσ οφ συχχεσσιϖελψ ηιγηερ σπατιαλ φρεθυενχψ, ηοριζονταλλψ οριεντεδ ⇒λτερσ τρανσλατεδ αχροσσ τηε ιµαγε.

προϖιδε αν ινεφ⇒χιεντ ενχοδινγ. Τηισ ισ ιλλυστρατεδ βψ τηε δοτ−δασηεδ λινε ιν ⇒γυρε 10.10Β, ωηιχη σηοωσ τηατ τηε διστριβυτιον οϖερ τηε ϖαλυεσ οφ τηε ινπυτ πιξελσ οφ τηε ιµαγε ιν ⇒γυρε 10.11Α ισ αππροξιµατελψ ⇓ατ ορ υνιφορµ. Υπ το τηε υσυαλ αδδιτιϖε χονσταντσ ρελατεδ το τηε πρεχισιον ωιτη ωηιχη ⇒λ− τερ ουτπυτσ αρε ενχοδεδ, τηε χοντριβυτιον το τηε χοδινγ χοστ φροµ α σινγλε υνιτ ισ τηε εντροπψ οφ τηε προβαβιλιτψ διστριβυτιον οφ ιτσ ουτπυτ. Τηε δισ− τριβυτιον οϖερ πιξελ ιντενσιτιεσ ισ ⇓ατ, ωηιχη ισ τηε µαξιµυµ εντροπψ δισ− τριβυτιον φορ α ϖαριαβλε ωιτη α ⇒ξεδ ρανγε. Ενχοδινγ τηε ινδιϖιδυαλ πιξελ ϖαλυεσ τηερεφορε ινχυρσ τηε µαξιµυµ ποσσιβλε χοδινγ χοστ. Βψ χοντραστ, τηε σολιδ λινε ιν ⇒γυρε 10.10Β σηοωσ τηε διστριβυτιον οφ τηε ουτπυτσ οφ τηε ⇒νεστ σχαλε ϖερτιχαλλψ ανδ ηοριζονταλλψ τυνεδ ⇒λτερσ (⇒γ− υρεσ 10.11∆ ανδ 10.11Η) ιν ρεσπονσε το ⇒γυρε 10.11Α. Τηε ⇒λτερ ουτπυτσ ηαϖε α σπαρσε διστριβυτιον σιµιλαρ το τηε δουβλε εξπονεντιαλ διστριβυτιον ιν ⇒γυρε 10.5Β. Τηισ διστριβυτιον ηασ σιγνι⇒χαντλψ λοωερ εντροπψ τηαν τηε υνιφορµ διστριβυτιον, σο τηε ⇒λτερ ουτπυτσ προϖιδε α µορε εφ⇒χιεντ ενχοδ− ινγ τηαν πιξελ ϖαλυεσ. Ιν µακινγ τηεσε στατεµεντσ αβουτ τηε διστριβυτιονσ οφ αχτιϖιτιεσ, ωε αρε εθυατινγ τηε ουτπυτ διστριβυτιον οφ α ⇒λτερ αππλιεδ ατ µανψ λοχατιονσ ον α σινγλε ιµαγε ωιτη τηε ουτπυτ διστριβυτιον οφ α ⇒λτερ αππλιεδ ατ α ⇒ξεδ λοχατιον ον µανψ ιµαγεσ. Τηισ ασσυµεσ σπατιαλ τρανσλατιοναλ ινϖαριανχε οφ τηε ενσεµβλε οφ ϖισυαλ ιµαγεσ. Ιµαγεσ ρεπρεσεντεδ βψ µυλτι−ρεσολυτιον ⇒λτερσ χαν βε φυρτηερ χοµπρεσσεδ βψ ρεταινινγ ονλψ αππροξιµατε ϖαλυεσ οφ τηε ⇒λτερ ουτπυτσ. Τηισ ισ χαλλεδ λοσσψ χοδινγ ανδ µαψ χονσιστ οφ ρεπορτινγ ⇒λτερ ουτπυτσ ασ ιντεγερ µυλτι− πλεσ οφ α βασιχ υνιτ. Μακινγ τηε µυλτι−ρεσολυτιον χοδε φορ αν ιµαγε λοσσψ

λοσσψ χοδινγ

392

Ρεπρεσεντατιοναλ Λεαρνινγ

βψ χοαρσελψ θυαντιζινγ τηε ουτπυτσ οφ τηε ηιγηεστ σπατιαλ φρεθυενχψ ⇒λτερσ γενεραλλψ ηασ θυιτε µινιµαλ περχεπτυαλ χονσεθυενχεσ, ωηιλε σαϖινγ συβ− σταντιαλ χοδινγ χοστ (βεχαυσε τηεσε ουτπυτσ αρε µοστ νυµερουσ). Τηισ φαχτ ιλλυστρατεσ τηε ιµπορταντ ποιντ τηατ τρψινγ το βυιλδ γενερατιϖε µοδελσ οφ αλλ ασπεχτσ οφ ϖισυαλ ιµαγεσ µαψ βε υννεχεσσαριλψ διφ⇒χυλτ, βεχαυσε ονλψ χερταιν ασπεχτσ οφ ιµαγεσ αρε αχτυαλλψ ρελεϖαντ. Υνφορτυνατελψ, αβστραχτ πρινχιπλεσ αρε υνλικελψ το τελλ υσ ωηατ ινφορµατιον ιν τηε ινπυτ χαν σαφελψ βε δισχαρδεδ ινδεπενδεντ οφ δεταιλσ οφ ηοω τηε ρεπρεσεντατιονσ αρε το βε υσεδ.

Οϖερχοµπλετε Ρεπρεσεντατιονσ Σπαρσε ρεπρεσεντατιονσ οφτεν ηαϖε µορε ουτπυτ υνιτσ τηαν ινπυτ υνιτσ. Συχη ρεπρεσεντατιονσ, χαλλεδ οϖερχοµπλετε, αρε τηε συβϕεχτ οφ συβσταντιαλ ωορκ ιν µυλτι−ρεσολυτιον τηεορψ. Μανψ ρεασονσ ηαϖε βεεν συγγεστεδ φορ οϖερχοµπλετενεσσ, αλτηουγη νονε οβϖιουσλψ εµεργεσ φροµ τηε ρεθυιρε− µεντ οφ ⇒ττινγ γοοδ προβαβιλιστιχ µοδελσ το ινπυτ δατα. Ονε ιντερεστινγ ιδεα χοµεσ φροµ τηε νοτιον τηατ τηε τασκ οφ µανιπυλατ− ινγ ρεπρεσεντατιονσ σηουλδ βε ινϖαριαντ το τηε γρουπσ οφ σψµµετρψ τρανσ− φορµατιονσ οφ τηε ινπυτ, ωηιχη, φορ ιµαγεσ, ινχλυδε ροτατιον, τρανσλατιον, ανδ σχαλινγ. Χοµπλετε ρεπρεσεντατιονσ αρε µινιµαλ, ανδ σο δο νοτ δενσελψ σαµπλε οριεντατιονσ. Τηισ µεανσ τηατ τηε οπερατιονσ ρεθυιρεδ το µανιπυ− λατε ιµαγεσ οφ οβϕεχτσ πρεσεντεδ ατ ανγλεσ νοτ διρεχτλψ ρεπρεσεντεδ βψ τηε ⇒λτερσ αρε διφφερεντ φροµ τηοσε ρεθυιρεδ ατ τηε ρεπρεσεντεδ ανγλεσ (συχη ασ ηοριζονταλ ανδ ϖερτιχαλ φορ τηε εξαµπλε οφ ⇒γυρε 10.10). Ωηεν α ρεπρεσεν− τατιον ισ οϖερχοµπλετε ιν συχη α ωαψ τηατ διφφερεντ οριεντατιονσ αρε ρεπ− ρεσεντεδ ρουγηλψ εθυαλλψ, ασ ιν πριµαρψ ϖισυαλ χορτεξ, τηε χοµπυτατιοναλ οπερατιονσ ρεθυιρεδ το µανιπυλατε ιµαγεσ αρε µορε υνιφορµ ασ α φυνχτιον οφ ιµαγε οριεντατιον. Σιµιλαρ ιδεασ αππλψ αχροσσ σχαλε, σο τηατ τηε οπερα− τιονσ ρεθυιρεδ το µανιπυλατε λαργε ανδ σµαλλ ιµαγεσ οφ τηε σαµε οβϕεχτ (ασ ιφ ϖιεωεδ φροµ νεαρ ανδ φαρ) αρε λικεωισε σιµιλαρ. Ηοωεϖερ, ιτ ισ ιµποσσιβλε το γενερατε ρεπρεσεντατιονσ τηατ σατισφψ αλλ τηεσε χονστραιντσ περφεχτλψ. Ιν µορε ρεαλιστιχ µοδελσ τηατ ινχλυδε νοισε, οτηερ ρατιοναλεσ φορ οϖερχοµ− πλετενεσσ χοµε φροµ χονσιδερινγ ποπυλατιον χοδεσ, ιν ωηιχη µανψ υνιτσ ρεδυνδαντλψ ρεπορτ ινφορµατιον αβουτ χλοσελψ ρελατεδ θυαντιτιεσ σο τηατ υν− χερταιντψ χαν βε ρεδυχεδ. ∆εσπιτε τηε υβιθυιτψ οφ οϖερχοµπλετε ποπυλατιον χοδεσ ιν τηε βραιν, τηερε αρε φεω ρεπρεσεντατιοναλ λεαρνινγ µοδελσ τηατ προ− δυχε τηεµ σατισφαχτοριλψ. Τηε χοορδινατεδ ρεπρεσεντατιονσ ρεθυιρεδ το χον− στρυχτ ποπυλατιον χοδεσ αρε οφτεν ινχοµπατιβλε ωιτη οτηερ ηευριστιχσ συχη ασ φαχτοριαλ ορ σπαρσε χοδινγ.

Ιντερδεπενδεντ Χαυσεσ Ονε οφ τηε φαιλινγσ οφ µυλτι−ρεσολυτιον δεχοµποσιτιονσ φορ χοδινγ ισ τηατ τηε ουτπυτσ αρε νοτ µυτυαλλψ ινδεπενδεντ. Τηισ µακεσ ενχοδινγ εαχη οφ

10.4

∆ισχυσσιον

393

30

−30 −85

4

85

−0.5 −0.5

4.5

Φιγυρε 10.12 (Α) Γραψ−σχαλε πλοτ οφ τηε χονδιτιοναλ διστριβυτιον οφ τηε ουτπυτ οφ α ⇒λτερ ατ τηε ⇒νεστ σπατιαλ σχαλε (vχ ) γιϖεν τηε ουτπυτ οφ α χοαρσερ ⇒λτερ (v π ) ωιτη τηε σαµε ποσιτιον ανδ οριεντατιον (υσινγ τηε πιχτυρε ιν ⇒γυρε 10.11Α ασ ινπυτ δατα). Εαχη χολυµν ισ σεπαρατελψ νορµαλιζεδ. Τηε πλοτ ηασ α χηαραχτεριστιχ βοω−τιε σηαπε. (Β) Τηε σαµε δατα πλοττεδ ασ τηε χονδιτιοναλ διστριβυτιον οφ λν |vχ | γιϖεν λν |v π |. (Αδαπτεδ φροµ Σιµονχελλι & Αδελσον, 1990; Σιµονχελλι & Σχηωαρτζ, 1999.)

τηε ρεδυνδαντ ⇒λτερ ουτπυτσ ωαστεφυλ. Φιγυρε 10.12 ιλλυστρατεσ συχη αν ιν− τερδεπενδενχε βψ σηοωινγ τηε χονδιτιοναλ διστριβυτιον φορ τηε ουτπυτ vχ οφ α ηοριζονταλλψ τυνεδ ⇒λτερ ατ α ⇒νε σχαλε, γιϖεν τηε ουτπυτ v π οφ α ηοριζον− ταλλψ τυνεδ υνιτ ατ τηε νεξτ χοαρσερ σχαλε. Τηε πλοτσ σηοω γραψ−σχαλε ϖαλυεσ οφ τηε χονδιτιοναλ προβαβιλιτψ δενσιτψ π[vχ |v π ]. Τηε µεαν οφ τηισ διστριβυ− τιον ισ ρουγηλψ 0, βυτ τηερε ισ α χλεαρ χορρελατιον βετωεεν τηε µαγνιτυδε οφ |v π | ανδ τηε ϖαριανχε οφ vχ . Τηισ µεανσ τηατ στρυχτυρε ιν τηε ιµαγε ισ χοορ− δινατεδ αχροσσ διφφερεντ σπατιαλ σχαλεσ, σο τηατ ηιγη ουτπυτσ φροµ α χοαρσε σχαλε ⇒λτερ αρε τψπιχαλλψ αχχοµπανιεδ βψ συβσταντιαλ ουτπυτ (οφ ονε σιγν ορ τηε οτηερ) ατ α ⇒νερ σχαλε. Φολλοωινγ Σιµονχελλι (1997), ωε πλοτ τηε χονδι− τιοναλ διστριβυτιον οφ λν |vχ | γιϖεν λν |v π | ιν ⇒γυρε 10.12Β. Φορ σµαλλ ϖαλυεσ οφ λν |v π |, τηε διστριβυτιον οφ λν |vχ | ισ ⇓ατ, βυτ φορ λαργερ ϖαλυεσ οφ λν |v π | τηε γροωτη ιν τηε ϖαλυε οφ |vχ | ισ χλεαρ. Τηε ιντερδεπενδενχε σηοων ιν ⇒γυρε 10.12 συγγεστσ α φαιλινγ οφ σπαρσε χοδινγ το ωηιχη ωε ηαϖε αλλυδεδ βεφορε. Αλτηουγη τηε πριορ διστριβυτιον φορ σπαρσε χοδινγ στιπυλατεσ ινδεπενδεντ χαυσεσ, τηε χαυσεσ ιδεντι⇒εδ ασ υνδερλψινγ ρεαλ ιµαγεσ αρε νοτ ινδεπενδεντ. Τηε δεπενδενχε αππαρεντ ιν ⇒γυρε 10.12 χαν βε ρεµοϖεδ βψ α νονλινεαρ τρανσφορµατιον ιν ωηιχη τηε ουτπυτσ οφ τηε υνιτσ νορµαλιζε εαχη οτηερ (σιµιλαρ το τηε µοδελ ιντροδυχεδ το εξπλαιν χοντραστ σατυρατιον ιν χηαπτερ 2). Τηισ τρανσφορµατιον χαν λεαδ το µορε χοµπαχτ χοδεσ φορ ιµαγεσ. Ηοωεϖερ, τηε γενεραλ προβλεµ συγγεστσ τηατ σοµετηινγ ισ αµισσ ωιτη τηε ηευριστιχ οφ σεεκινγ ινδεπενδεντ χαυσεσ φορ ρεπρεσεντατιονσ εαρλψ ιν τηε ϖισυαλ πατηωαψ. Τηε µοστ ιµπορταντ δεπενδενχιεσ ασ φαρ ασ χαυσαλ µοδελσ αρε χονχερνεδ αρε τηοσε ινδυχεδ βψ τηε πρεσενχε ιν ιµαγεσ οφ οβϕεχτσ ωιτη λαργε−σχαλε χοορδινατεδ στρυχτυρε. Φινδινγ ανδ βυιλδινγ µοδελσ οφ τηεσε δεπενδεν− χιεσ ισ τηε γοαλ φορ µορε σοπηιστιχατεδ, ηιεραρχηιχαλ ρεπρεσεντατιοναλ λεαρν− ινγ σχηεµεσ αιµεδ υλτιµατελψ ατ οβϕεχτ ρεχογνιτιον ωιτηιν χοµπλεξ ϖισυαλ σχενεσ.

394

10.5

Ρεπρεσεντατιοναλ Λεαρνινγ

Χηαπτερ Συµµαρψ

Ωε ηαϖε πρεσεντεδ α σψστεµατιχ τρεατµεντ οφ εξαχτ ανδ αππροξιµατε µαξ− ιµυµ λικελιηοοδ δενσιτψ εστιµατιον ασ α ωαψ οφ ⇒ττινγ προβαβιλιστιχ γενερ− ατιϖε µοδελσ ανδ τηερεβψ περφορµινγ ρεπρεσεντατιοναλ λεαρνινγ. Ρεχογνι− τιον µοδελσ, ωηιχη αρε τηε στατιστιχαλ ινϖερσεσ οφ γενερατιϖε µοδελσ, σπεχ− ιφψ τηε χαυσεσ υνδερλψινγ αν ινπυτ ανδ πλαψ α χρυχιαλ ρολε ιν λεαρνινγ. Ωε δισχυσσεδ τηε εξπεχτατιον µαξιµιζατιον (ΕΜ) αλγοριτηµ αππλιεδ το ιν− ϖερτιβλε ανδ νονινϖερτιβλε µοδελσ, ινχλυδινγ τηε υσε οφ δετερµινιστιχ ανδ προβαβιλιστιχ αππροξιµατε ρεχογνιτιον µοδελσ ανδ α λοωερ βουνδ ον τηε λογ λικελιηοοδ. Ωε πρεσεντεδ α ϖαριετψ οφ µοδελσ φορ χοντινυουσ ινπυτσ ωιτη δισχρετε, χον− τινυουσ, ορ ϖεχτορ−ϖαλυεδ χαυσεσ. Τηεσε ινχλυδε µιξτυρε οφ Γαυσσιανσ, Κ− µεανσ, φαχτορ αναλψσισ, πρινχιπαλ χοµπονεντσ αναλψσισ, σπαρσε χοδινγ, ανδ ινδεπενδεντ χοµπονεντσ αναλψσισ. Ωε αλσο δεσχριβεδ τηε Ηελµηολτζ µα− χηινε ανδ δισχυσσεδ γενεραλ ισσυεσ οφ µυλτι−ρεσολυτιον ρεπρεσεντατιον ανδ χοδινγ.

sparse coding independent components analysis

P[v; G ] = γv P[u|v; G ] = N (u; gv , 9v )

P[v|u; G ] ∝ γv N (u; gv , 9v )

µv = ⟨ P[v|u; G ]⟩ gv = ⟨ P[v|u; G ]u⟩/γv 9v = ⟨ P[v|u; G ]|u − gv |2 ⟩/( Nu γv )

:) P[v|u; G ] = N (v; W · u,: = >−1 T −1 9 ·G : = I + G ·9

G = C · WT ·(W · C · WT + : )−1 = > : · GT + (I − G · W )· C ·(I − G · W )T 9 = diag G ·:

P[v; G ] = N (v; 0 , 1 ) 9) P[u|v; G ] = N (u; G · v,9 ) * 9 = diag 91 , 92 , . . . , 9 Nu P[v; G ] = N (v; 0 , 1 ) u = G·v ? P[v; G ] ∝ a exp( g (va )) P[u|v; G ] = N (u; G · v, 9) ? P[v; G ] ∝ a exp( g (va )) u = G·v P[v; G ] =

binary Helmholtz machine

P[u|v; G ] =

?) a

*v ) *1−va f ( ga ) a 1 − f ( ga )

*u b × b f b (h + G · v ) ) *1−ub 1 − f b (h + G · v )

?)

) * f b (h + G · v ) = f hb + [G · v]b

9−1 W = : · GT ·9

v = W·u

W = (GT · G )−1 · GT GT ·(u − G · v ) + g′ (v ) = 0 v = W·u

W = G−1

*v ?) Q[v; u, W ] = a f a (w + W · u ) a × ) *1−va 1 − f a (w + W · u ) ) * f a (w + W · u ) = f wa + [W · u]a

C = ⟨uu⟩

G = C · WT ·(W · C · WT )−1 C = ⟨uu⟩ G → G + ϵ(u − G · v )v )/ 2 * )/ 2 * ) 2 * 2 2 0.01 b Gba → b Gba ⟨va − ⟨va ⟩ ⟩/σ

10.6 Αππενδιξ

principal components analysis

Learning Rules

Αππενδιξ

factor analysis

Recognition Model

10.6

mixture of Gaussians

Generative Model

Συµµαρψ οφ Χαυσαλ Μοδελσ

Model

* ) Wab → Wab + ϵ Wab + g′ (va ) [v · W]b

g′ (v) = − tanh(v) if g (v) = − ln cosh(v)

wake: u ∼ P[u] , v ∼ Q[v; u, W ] g → g + ϵ(v − f(g )) h → h + ϵ(u − f(h + G · v )) G → G + ϵ(u − f(h + G · v ))v sleep: v ∼ P[v; G ] , u ∼ P[u|v; G ] w → w + ϵ(v − f(w + W · u )) W → W+ ϵ(v − f(w + W · u ))u

395

9 ) is a multivariate Gaussian Table 1: All models are discussed in detail in the text, and the forms quoted are just for the simplest cases. N (u; g,9 distribution with mean g and covariance matrix 9 (for N (u; g, 9), the variance of each component is 9). For the sparse coding network, σ 2 is a target for the variances of each output unit. For the Helmholtz machine, f (c ) = 1/(1 + exp(−c )), and the symbol ∼ indicates that the indicated variable is drawn from the indicated distribution. Other symbols and distributions are defined in the text.

396

10.7

Ρεπρεσεντατιοναλ Λεαρνινγ

Αννοτατεδ Βιβλιογραπηψ

Τηε λιτερατυρε ον υνσυπερϖισεδ ρεπρεσεντατιοναλ λεαρνινγ µοδελσ ισ εξ− τενσιϖε. Ρεχεντ ρεϖιεωσ, φροµ ωηιχη ωε ηαϖε βορροωεδ ινχλυδε Ηιν− τον (1989), Βισηοπ (1995), Ηιντον & Γηαηραµανι (1997), ανδ Βεχκερ & Πλυµβλεψ (1996). Τηεσε ρεφερενχεσ αλσο δεσχριβε υνσυπερϖισεδ λεαρνινγ µετηοδσ συχη ασ ΙΜΑΞ (Βεχκερ & Ηιντον, 1992) τηατ ⇒νδ στατιστιχαλ στρυχ− τυρε ιν τηε ινπυτσ διρεχτλψ ρατηερ τηαν τηρουγη χαυσαλ µοδελσ (σεε αλσο προϕεχτιον πυρσυιτ, Ηυβερ, 1985). Τηε ⇒ελδ οφ βελιεφ νετωορκσ ορ γραπη− ιχαλ στατιστιχαλ µοδελσ (Πεαρλ, 1988; Λαυριτζεν, 1996; ϑορδαν, 1998) προ− ϖιδεσ αν εϖεν µορε γενεραλ φραµεωορκ φορ προβαβιλιστιχ γενερατιϖε µοδ− ελσ. Απαρτ φροµ Βαρλοω (1961, 1989), εαρλψ ινσπιρατιον φορ υνσυπερϖισεδ λεαρνινγ µοδελσ χαµε φροµ Υττλεψ (1979) ανδ Μαρρ (1970), ανδ φροµ τηε αδαπτιϖε ρεσονανχε τηεορψ (ΑΡΤ) οφ Χαρπεντερ & Γροσσβεργ (1991). Αναλψσισ βψ σψντηεσισ (ε.γ., Νεισσερ, 1967), το ωηιχη γενερατιϖε ανδ ρεχογ− νιτιον µοδελσ αρε χλοσελψ ρελατεδ, ωασ δεϖελοπεδ ιν α στατιστιχαλ χοντεξτ βψ Γρενανδερ (1995), ανδ ωασ συγγεστεδ βψ Μυµφορδ (1994) ασ α ωαψ οφ υν− δερστανδινγ ηιεραρχηιχαλ νευραλ προχεσσινγ. Συγγεστιονσ µαδε ιν ΜαχΚαψ (1956), Πεχε (1992), Καωατο ετ αλ. (1993), ανδ Ραο & Βαλλαρδ (1997) χαν βε σεεν ιν α σιµιλαρ λιγητ. Νοωλαν (1991) ιντροδυχεδ τηε µιξτυρεσ οφ Γαυσσιανσ αρχηιτεχτυρε ιντο νευ− ραλ νετωορκσ. Μιξτυρε µοδελσ αρε χοµµονπλαχε ιν στατιστιχσ ανδ αρε δε− σχριβεδ βψ Τιττερινγτον ετ αλ. (1985). Φαχτορ αναλψσισ ισ δεσχριβεδ βψ Εϖεριττ (1984). Σοµε οφ τηε διφφερενχεσ ανδ σιµιλαριτιεσ βετωεεν φαχτορ αναλψσισ ανδ πρινχιπαλ χοµπονεντσ αναλψ− σισ αρε βρουγητ ουτ ιν ϑολλιφφε (1986), Τιππινγ & Βισηοπ (1999), ανδ Ροωεισ & Γηαηραµανι (1999). Ρυβιν & Τηαψερ (1982) δισχυσσεσ τηε υσε οφ ΕΜ φορ φαχτορ αναλψσισ. Ροωεισ (1998) πρεσεντσ ΕΜ φορ πρινχιπαλ χοµπονεντσ αναλψσισ. Νεαλ & Ηιντον (1998) δεσχριβεσ F ανδ ιτσ ρολε ιν τηε ΕΜ αλγοριτηµ (Βαυµ ετ αλ., 1970; ∆εµπστερ ετ αλ., 1977). ΕΜ ισ χλοσελψ ρελατεδ το µεαν ⇒ελδ µετηοδσ ιν πηψσιχσ, ασ δισχυσσεδ ιν ϑορδαν ετ αλ. (1998) ανδ Σαυλ & ϑορ− δαν (2000). Ηιντον & Ζεµελ (1994) ανδ Ζεµελ (1994) υσε F φορ υνσυπερ− ϖισεδ λεαρνινγ ιν α βαχκπροπαγατιον νετωορκ χαλλεδ τηε αυτοενχοδερ, ανδ τηεσε ρεσυλτσ αρε ρελατεδ το µινιµυµ δεσχριπτιον λενγτη χοδινγ (Ρισαννεν, 1989). Ηιντον ετ αλ. (1995) ανδ ∆αψαν ετ αλ. (1995) υσε F ιν τηε Ηελµηολτζ µαχηινε ανδ τηε ασσοχιατεδ ωακε−σλεεπ αλγοριτηµ. Ολσηαυσεν & Φιελδ (1996) πρεσεντσ τηε σπαρσε χοδινγ νετωορκ βασεδ ον Φιελδaσ (1994) γενεραλ αναλψσισ οφ σπαρσε ρεπρεσεντατιονσ, ανδ Ολσηαυσεν (1996) δεϖελοπσ σοµε οφ τηε λινκσ το δενσιτψ εστιµατιον. Ινδεπενδεντ χοµ− πονεντσ αναλψσισ (ΙΧΑ) ωασ ιντροδυχεδ ασ α προβλεµ βψ Ηερραυλτ & ϑυττεν (1986). Τηε ϖερσιον οφ τηε ΙΧΑ αλγοριτηµ τηατ ωε δεσχριβεδ ισ δυε το Βελλ & Σεϕνοωσκι (1995) ανδ Ροτη & Βαραµ (1996), υσινγ τηε νατυραλ γραδιεντ τριχκ οφ Αµαρι (1999). Τηε δεριϖατιον ωε υσεδ ισ φροµ ΜαχΚαψ (1996). Πεαρλµυτ− τερ & Παρρα (1996) ανδ Ολσηαυσεν (1996) αλσο δεριϖε µαξιµυµ λικελιηοοδ

10.7

Αννοτατεδ Βιβλιογραπηψ

397

ιντερπρετατιονσ οφ ΙΧΑ. Μυλτι−ρεσολυτιον δεχοµποσιτιονσ ωερε ιντροδυχεδ ιντο χοµπυτερ ϖισιον ιν Ωιτκιν (1983) ανδ Βυρτ & Αδελσον (1983). Ωαϖελετ αναλψσισ ισ ρεϖιεωεδ ιν ∆αυβεχηιεσ (1992), Σιµονχελλι ετ αλ. (1992), ανδ Μαλλατ (1998).

This page intentionally left blank

Ματηεµατιχαλ Αππενδιξ

Τηισ βοοκ ασσυµεσ α φαµιλιαριτψ ωιτη βασιχ µετηοδσ οφ λινεαρ αλγεβρα, διφ− φερεντιαλ εθυατιονσ, ανδ προβαβιλιτψ τηεορψ, ασ χοϖερεδ ιν στανδαρδ τεξτσ. Ηερε, ωε δεσχριβε τηε νοτατιον ωε υσε ανδ βριε⇓ψ σκετχη ηιγηλιγητσ οφ ϖαρ− ιουσ τεχηνιθυεσ. Τηε ρεφερενχεσ ιν τηε βιβλιογραπηψ ατ τηε ενδ οφ τηισ απ− πενδιξ προϖιδεσ φυρτηερ ινφορµατιον.

Α.1

Λινεαρ Αλγεβρα

Αν οπερατιον O ον α θυαντιτψ ζ ισ χαλλεδ λινεαρ ιφ, αππλιεδ το ανψ τωο ιν− στανχεσ ζ1 ανδ ζ2 , O (α ζ1 + β ζ2 ) = αO ( ζ1 ) + βO ( ζ2 ) φορ ανψ χονσταντσ α ανδ β. Ιν τηισ σεχτιον, ωε χονσιδερ λινεαρ οπερατιονσ ον ϖεχτορσ ανδ φυνχτιονσ. Ωε δε⇒νε α ϖεχτορ ϖ ασ αν αρραψ οφ Ν νυµβερσ (v1 , v2 , . . . , v Ν ). Τηε νυµ− βερσ vα φορ α = 1, 2, . . . , Ν αρε χαλλεδ τηε χοµπονεντσ οφ τηε ϖεχτορ. Τηεσε αρε σοµετιµεσ λιστεδ ιν α σινγλε Ν−ροω χολυµν ⎞ ⎛ v1 ⎜ v2 ⎟ ⎟ ⎜ (Α.1) ϖ=⎜ . ⎟. ⎝ .. ⎠ vΝ Ωηεν νεχεσσαρψ, ωε ωριτε χοµπονεντ α οφ ϖ ασ [ϖ]α =vα . Ωε υσε 0 το δενοτε τηε ϖεχτορ ωιτη αλλ ιτσ χοµπονεντσ εθυαλ το 0. Σπατιαλ ϖεχτορσ, ωηιχη αρε ρελατεδ το δισπλαχεµεντσ ιν σπαχε, αρε α σπεχιαλ χασε, ανδ ωε δενοτε τηεµ βψ v⃗ ωιτη χοµπονεντσ vξ ανδ v ψ ιν τωο−διµενσιοναλ σπαχε ορ vξ , v ψ , ανδ vζ ιν τηρεε−διµενσιοναλ σπαχε.

Τηε λενγτη ορ νορµ οφ ϖ, |ϖ|, ωηεν σθυαρεδ, χαν βε ωριττεν ασ α δοτ προδ− υχτ,

|ϖ|2 = ϖ · ϖ =

Ν ! α=1

v2α = v21 + v22 + . . . + v2Ν .

Τηε δοτ προδυχτ οφ τωο διφφερεντ Ν−χοµπονεντ ϖεχτορσ, ϖ ανδ υ, ισ

λινεαρ οπερατορ ϖεχτορ ϖ

ζερο ϖεχτορ 0 σπατιαλ ϖεχτορ v⃗ νορµ

(Α.2) δοτ προδυχτ

400

Ματηεµατιχαλ Αππενδιξ

ϖ·υ=

µατριξ Ω

ΩΝρ 2

(Α.3)

...

ΩΝρ Νχ

ωιτη ελεµεντσ Ωαβ φορ α = 1, . . . , Νρ ανδ β = 1, . . . , Νχ . Ιν τηισ τεξτ, τηε προδυχτ οφ α µατριξ ανδ α ϖεχτορ ισ ωριττεν ασ Ω · ϖ. Τηε δοτ ιµπλιεσ µυλτι− πλιχατιον ανδ συµµατιον οϖερ α σηαρεδ ινδεξ, ασ ιτ δοεσ φορ τηε δοτ προδ− υχτ. Ιφ Ω ισ αν Νρ βψ Νχ µατριξ ανδ ϖ ισ α Νχ −χοµπονεντ ϖεχτορ, Ω · ϖ ισ αν Νρ −χοµπονεντ ϖεχτορ ωιτη χοµπονεντσ [Ω · ϖ]α =

µατριξ προδυχτ

vα υα .

α=1

Ματριξ µυλτιπλιχατιον ισ α βασιχ λινεαρ οπερατιον ον ϖεχτορσ. Αν Νρ βψ Νχ µατριξ Ω ισ αν αρραψ οφ Νρ ροωσ ανδ Νχ χολυµνσ ⎛ ⎞ Ω11 Ω12 . . . Ω1Νχ ⎜ Ω21 Ω22 . . . Ω2Νχ ⎟ ⎜ ⎟ Ω=⎜ (Α.4) ⎟ .. ⎝ ⎠ . ΩΝρ 1

µατριξ−ϖεχτορ προδυχτ

Ν !

Νχ !

Ωαβ vβ .

(Α.5)

β=1

Ιν χονϖεντιοναλ µατριξ νοτατιον, τηε προδυχτ οφ α µατριξ ανδ α ϖεχτορ ισ ωριττεν ασ Ωϖ, βυτ ωε πρεφερ το υσε τηε δοτ νοτατιον το αϖοιδ φρεθυεντ οχ− χυρρενχεσ οφ µατριξ τρανσποσεσ (σεε βελοω). Ωε σιµιλαρλψ δενοτε α µατριξ προδυχτ ασ Ω · Μ. Ματριχεσ χαν βε µυλτιπλιεδ ιν τηισ ωαψ ονλψ ιφ τηε νυµ− βερ οφ χολυµνσ οφ Ω, Νχ , ισ εθυαλ το τηε νυµβερ οφ ροωσ οφ Μ. Τηεν, Ω · Μ ισ α µατριξ ωιτη τηε σαµε νυµβερ οφ ροωσ ασ Ω ανδ τηε σαµε νυµβερ οφ χολυµνσ ασ Μ, ανδ ωιτη ελεµεντσ [Ω · Μ]αβ =

Νχ !

Ωαχ Μχβ .

(Α.6)

χ=1

Α ϖεχτορ, ωριττεν ασ ιν εθυατιον Α.1, ισ εθυιϖαλεντ το α ονε−χολυµν, Ν−ροω µατριξ, ανδ τηε ρυλεσ φορ ϖαριουσ µατριξ οπερατιονσ χαν τηυσ βε αππλιεδ το ϖεχτορσ ασ ωελλ. σθυαρε µατριξ ιδεντιτψ µατριξ

Σθυαρε µατριχεσ αρε τηοσε φορ ωηιχη Νρ = Νχ = Ν. Αν ιµπορταντ σθυαρε µατριξ ισ τηε ιδεντιτψ µατριξ Ι ωιτη ελεµεντσ [Ι]αβ = δαβ ,

Κρονεχκερ δελτα

διαγοναλ µατριξ

ωηερε τηε Κρονεχκερ δελτα ισ δε⇒νεδ ασ $ 1 ιφ α = β δαβ = 0 οτηερωισε .

(Α.7)

(Α.8)

Ανοτηερ ιµπορταντ τψπε οφ σθυαρε µατριξ ισ τηε διαγοναλ µατριξ, δε⇒νεδ βψ ⎛ ⎞ η1 0 . . . 0 ⎜ 0 η2 . . . 0 ⎟ ⎜ ⎟ Ω = διαγ(η1 , η2 , . . . , η Ν ) = ⎜ (Α.9) ⎟, .. ⎝ ⎠ . 0 0 . . . ηΝ

Α.1

Λινεαρ Αλγεβρα

401

ωηιχη ηασ χοµπονεντσ Ωαβ = ηα δαβ φορ σοµε σετ οφ ηα , α = 1, 2, . . . , Ν. Τηε τρανσποσε οφ αν Νρ βψ Νχ µατριξ Ω ισ αν Νχ βψ Νρ µατριξ ΩΤ ωιτη ελεµεντσ [ΩΤ ]αβ = Ωβα . Τηε τρανσποσε οφ α χολυµν ϖεχτορ ισ α ροω ϖεχ− τορ, ϖΤ = (v1 v2 . . . v Ν ). Τηισ ισ διστινγυισηεδ βψ τηε αβσενχε οφ χοµµασ φροµ (v1 , v2 , . . . , v Ν ) ωηιχη, φορ υσ, ισ α λιστινγ οφ τηε χοµπονεντσ οφ α χολ− υµν ϖεχτορ. Ιν τηε φολλοωινγ ταβλε, ωε δε⇒νε α νυµβερ οφ οπερατιονσ ιν− ϖολϖινγ ϖεχτορσ ανδ µατριχεσ. Ιν τηε δε⇒νιτιονσ, ωε προϖιδε ουρ νοτατιον ανδ τηε χορρεσπονδινγ εξπρεσσιονσ ιν τερµσ οφ ϖεχτορ χοµπονεντσ ανδ µα− τριξ ελεµεντσ. Ωε αλσο προϖιδε τηε χονϖεντιοναλ µατριξ νοτατιον φορ τηεσε θυαντιτιεσ ασ ωελλ ασ τηε νοτατιον υσεδ βψ ΜΑΤΛΑΒ → , α χοµπυτερ σοφτωαρε παχκαγε χοµµονλψ υσεδ το περφορµ τηεσε οπερατιονσ νυµεριχαλλψ. Φορ τηε ΜΑΤΛΑΒ → νοτατιον (ωηιχη δοεσ νοτ υσε βολδ ορ ιταλιχ σψµβολσ), ωε δε− νοτε τωο χολυµν ϖεχτορσ βψ υ ανδ ϖ, ασσυµινγ τηεψ αρε δε⇒νεδ ωιτηιν ΜΑΤΛΑΒ → βψ ινστρυχτιονσ συχη ασ ϖ =[ϖ(1) ϖ(2) . . . ϖ(Ν)]a. Θυαντιτψ

∆ε⇒νιτιον

νορµ

|ϖ|2 = ϖ · ϖ = α v2α / ϖ · υ = α vα υα

Ματριξ

ΜΑΤΛΑΒ →

ϖΤ ϖ

ϖa∗ϖ

/

δοτ προδυχτ ουτερ προδυχτ µατριξ−ϖεχτορ προδυχτ ϖεχτορ−µατριξ προδυχτ θυαδρατιχ φορµ µατριξ−µατριξ προδυχτ

ϖΤ υ

[ϖυ]αβ = vα υβ / [Ω · ϖ]α = β Ωαβ vβ / [ϖ · Ω]α = β vβ Ωβα / ϖ · Ω · υ = αβ vα Ωαβ υβ / [Ω · Μ]αβ = χ Ωαχ Μχβ

ϖυΤ Ωϖ Τ

ϖ Ω

ϖ∗υa Ω∗ϖ ϖa∗Ω

ϖΤ Ωυ

ϖa∗Ω∗υ

ΩΜ

Ω∗Μ

[ΩΤ ]αβ = Ωβα

τρανσποσε

ϖa∗υ

ΩΤ

Ωa

Σεϖεραλ ιµπορταντ δε⇒νιτιονσ φορ σθυαρε µατριχεσ αρε γιϖεν βελοω. Οπερατιον

Νοτατιον

∆ε⇒νιτιον

ΜΑΤΛΑΒ →

ινϖερσε

Ω−1

inv(Ω)

τραχε

τρΩ

Ω · Ω−1 = Ι / α Ωαα

δετερµιναντ

δετ Ω

σεε ρεφερενχεσ

trace(Ω) det(Ω)

Α σθυαρε µατριξ ηασ αν ινϖερσε ονλψ ιφ ιτσ δετερµιναντ ισ νονζερο. Σθυαρε µατριχεσ ωιτη χερταιν προπερτιεσ αρε γιϖεν σπεχιαλ ναµεσ (ταβλε βελοω). Προπερτψ σψµµετριχ

∆ε⇒νιτιον ΩΤ = Ω Τ

ορ

Ω−1

ορτηογοναλ

Ω =

ποσιτιϖε−δε⇒νιτε

ϖ·Ω·ϖ > 0

♦ Τοπλιτζ

Ωβα = Ωαβ

ορ ΩΤ · Ω = Ι φορ αλλ ϖ ̸= 0

Ωαβ = φ (α − β )

τρανσποσε

402

Ματηεµατιχαλ Αππενδιξ

ωηερε φ (α − β ) ισ ανψ φυνχτιον οφ τηε σινγλε ϖαριαβλε α − β. δελ οπερατορ ∇

Φορ ανψ ρεαλ−ϖαλυεδ φυνχτιον Ε (ϖ ) οφ α ϖεχτορ ϖ, ωε χαν δε⇒νε τηε ϖεχτορ δεριϖατιϖε (ωηιχη ισ σοµετιµεσ χαλλεδ δελ) οφ Ε (ϖ ) ασ τηε ϖεχτορ ∇ Ε (ϖ ) ωιτη χοµπονεντσ [∇ Ε (ϖ )]α =

διρεχτιοναλ δεριϖατιϖε

∂ Ε (ϖ ) . ∂vα

Τηε δεριϖατιϖε οφ Ε (ϖ ) ιν τηε διρεχτιον υ ισ τηεν % & Ε (ϖ + ϵυ ) − Ε (ϖ ) λιµ = υ · ∇ Ε (ϖ ) . ϵ→0 ϵ

(Α.10)

(Α.11)

Ειγενϖεχτορσ ανδ Ειγενϖαλυεσ ειγενϖεχτορ

Αν ειγενϖεχτορ οφ α σθυαρε µατριξ Ω ισ α νονζερο ϖεχτορ ε τηατ σατισ⇒εσ Ω · ε = λε

ειγενϖαλυε

(Α.12)

φορ σοµε νυµβερ λ χαλλεδ τηε ειγενϖαλυε. Ποσσιβλε ϖαλυεσ οφ λ αρε δετερ− µινεδ βψ σολϖινγ τηε πολψνοµιαλ εθυατιον δετ(Ω − λΙ ) = 0 .

(Α.13)

Τψπιχαλλψ, βυτ νοτ αλωαψσ, τηισ ηασ Ν σολυτιονσ ιφ Ω ισ αν Ν βψ Ν µατριξ, ανδ τηεσε χαν βε ειτηερ ρεαλ ορ χοµπλεξ. Χοµπλεξ ειγενϖαλυεσ χοµε ιν χοµπλεξ−χονϕυγατε παιρσ ιφ Ω ηασ ρεαλ−ϖαλυεδ ελεµεντσ. Ωε υσε τηε ινδεξ µ το λαβελ τηε διφφερεντ ειγενϖαλυεσ ανδ ειγενϖεχτορσ, λµ ανδ εµ . Νοτε τηατ µ ιδεντι⇒εσ τηε ειγενϖεχτορ (ανδ ειγενϖαλυε) το ωηιχη ωε αρε ρεφερρινγ; ιτ δοεσ νοτ σιγνιφψ α χοµπονεντ οφ τηε ειγενϖεχτορ εµ . Ιφ ε ισ αν ειγενϖεχτορ, αε ισ αλσο αν ειγενϖεχτορ φορ ανψ νονζερο ϖαλυε οφ α. Ωε χαν υσε τηισ φρεεδοµ το νορµαλιζε ειγενϖεχτορσ σο τηατ |ε| = 1. Ιφ τωο ειγενϖεχτορσ, σαψ ε1 ανδ ε2 , ηαϖε τηε σαµε ειγενϖαλυεσ λ1 = λ2 , τηεψ δεγενεραχψ αρε τερµεδ δεγενερατε. Τηεν, αε1 + βε2 ισ αλσο αν ειγενϖεχτορ ωιτη τηε σαµε ειγενϖαλυε, φορ ανψ α ανδ β τηατ αρε νοτ βοτη 0. Απαρτ φροµ συχη δεγενεραχιεσ, αν Ν βψ Ν µατριξ χαν ηαϖε ατ µοστ Ν ειγενϖεχτορσ, αλτηουγη σοµε µατριχεσ ηαϖε φεωερ. Ιφ Ω ηασ Ν νονδεγενερατε ειγενϖαλυεσ, τηε / λινεαρ ινδεπενδενχε ειγενϖεχτορσ ε1 , . . . , ε Ν αρε λινεαρλψ ινδεπενδεντ, µεανινγ τηατ µ χµ εµ = 0 ονλψ ιφ τηε χοεφ⇒χιεντσ χµ = 0 φορ αλλ µ. Τηεσε ειγενϖεχτορσ χαν βε υσεδ το ρεπρεσεντ ανψ Ν χοµπονεντ ϖεχτορ ϖ τηρουγη τηε ρελατιον ϖ=

Ν !

χ µ εµ ,

(Α.14)

µ=1

βασισ

ωιτη α υνιθυε σετ οφ χοεφ⇒χιεντσ χµ . Τηεψ αρε τηυσ σαιδ το φορµ α βασισ φορ τηε σετ οφ ϖεχτορσ ϖ.

σψµµετριχ µατριξ

Τηε ειγενϖαλυεσ ανδ ειγενϖεχτορσ οφ σψµµετριχ µατριχεσ (φορ ωηιχη ΩΤ = Ω) ηαϖε σπεχιαλ προπερτιεσ, ανδ φορ τηε ρεµαινδερ οφ τηισ σεχτιον, ωε χον−

Α.1

Λινεαρ Αλγεβρα

403

σιδερ τηισ χασε. Τηε ειγενϖαλυεσ οφ α σψµµετριχ µατριξ αρε ρεαλ, ανδ τηε ειγενϖεχτορσ αρε ρεαλ ανδ ορτηογοναλ (ορ χαν βε µαδε ορτηογοναλ ιν τηε χασε οφ δεγενεραχψ). Τηισ µεανσ τηατ, ιφ τηεψ αρε νορµαλιζεδ το υνιτ λενγτη, τηε ειγενϖεχτορσ σατισφψ εµ · εν = δµν .

(Α.15)

ορτηονορµαλ ειγενϖεχτορσ

Το δεριϖε τηισ ρεσυλτ ωε νοτε τηατ, ιφ Ω ισ α σψµµετριχ µατριξ, ωε χαν ωριτε εµ · Ω = Ω · εµ = λµ εµ . Τηερεφορε, αλλοωινγ τηε µατριξ το αχτ ιν βοτη δι− ρεχτιονσ, ωε ⇒νδ εν · Ω · εµ = λµ εν · εµ = λν εν · εµ . Ιφ λµ ̸= λν , τηισ ρεθυιρεσ εν · εµ = 0. Φορ ορτηογοναλ ανδ νορµαλιζεδ (ορτηονορµαλ) ειγενϖεχτορσ, τηε χοεφ⇒χιεντσ ιν εθυατιον Α.14 τακε τηε ϖαλυεσ χ µ = ϖ · εµ .

(Α.16)

Λετ Ε = (ε1 ε2 . . . ε Ν ) βε αν Ν βψ Ν µατριξ ωιτη χολυµνσ φορµεδ φροµ τηε ορτηονορµαλ ειγενϖεχτορσ οφ α σψµµετριχ µατριξ. Φροµ εθυατιον Α.15, τηισ σατισ⇒εσ [ΕΤ · Ε]µν = εµ · εν = δµν . Τηυσ, ΕΤ = Ε−1 , µακινγ Ε αν ορτηογο− ναλ µατριξ. Ε γενερατεσ α τρανσφορµατιον φροµ τηε οριγιναλ µατριξ Ω το α διαγοναλ φορµ, ωηιχη ισ χαλλεδ µατριξ διαγοναλιζατιον, Ε−1 · Ω · Ε = διαγ(λ1 , . . . , λ Ν ) .

(Α.17)

Ω = Ε · διαγ(λ1 , . . . , λ Ν ) · Ε−1 .

(Α.18)

µατριξ διαγοναλιζατιον

Χονϖερσελψ,

Τηε τρανσφορµατιον το ανδ βαχκ φροµ α διαγοναλ φορµ ισ εξτρεµελψ υσε− φυλ βεχαυσε χοµπυτατιονσ ωιτη διαγοναλ µατριχεσ αρε εασψ. ∆ε⇒νινγ Λ = διαγ(λ1 , . . . , λ Ν ), ωε ⇒νδ, φορ εξαµπλε, τηατ Ων = (Ε · Λ · Ε−1 ) · (Ε · Λ · Ε−1 ) · · · (Ε · Λ · Ε−1 )

= Ε · Λν · Ε−1 = Ε · διαγ(λ1ν , . . . , λνΝ ) · Ε−1 .

(Α.19)

Τηισ ρεσυλτ σερϖεσ ασ α βασισ φορ δε⇒νινγ φυνχτιονσ οφ µατριχεσ. Φορ ανψ φυνχτιον φ τηατ χαν βε ωριττεν ασ α ποωερ ορ εξπανδεδ ιν α ποωερ σεριεσ (ινχλυδινγ, φορ εξαµπλε, εξπονεντιαλσ ανδ λογαριτηµσ), φ (Ω ) = Ε · διαγ( φ (λ1 ), . . . , φ (λ Ν )) · Ε−1 .

(Α.20)

Φυνχτιοναλ Αναλογσ Α φυνχτιον v(τ ) χαν βε τρεατεδ ασ ιφ ιτ ωερε α ϖεχτορ ωιτη α χοντινυουσ λαβελ. φυνχτιονσ ασ ϖεχτορσ Ιν οτηερ ωορδσ, τηε φυνχτιον ϖαλυε v(τ ) παραµετεριζεδ βψ τηε χοντινυουσλψ ϖαρψινγ αργυµεντ τ τακεσ τηε πλαχε οφ τηε χοµπονεντ vα λαβελεδ βψ τηε ιντεγερ−ϖαλυεδ ινδεξ α. Ιν αππλψινγ τηισ αναλογψ, # οϖερ α φορ ϖεχτορσ / συµσ αρε ρεπλαχεδ βψ ιντεγραλσ οϖερ τ φορ φυνχτιονσ, α → δτ . Φορ εξαµπλε, τηε φυνχτιοναλ αναλογ οφ τηε σθυαρεδ νορµ ανδ δοτ προδυχτ αρε " ∞ " ∞ δτ v2 (τ ) ανδ δτ v(τ )υ (τ ) . (Α.21) −∞

−∞

404

λινεαρ ιντεγραλ οπερατορ

Ματηεµατιχαλ Αππενδιξ

Τηε αναλογ οφ µατριξ µυλτιπλιχατιον φορ α φυνχτιον ισ τηε λινεαρ ιντεγραλ οπερατορ " ∞ δτ′ Ω (τ, τ′ )v(τ′ ) (Α.22) −∞

ωιτη τηε φυνχτιον ϖαλυεσ Ω (τ, τ′ ) πλαψινγ τηε ρολε οφ τηε µατριξ ελεµεντσ Ωαβ . Τηε αναλογ οφ τηε ιδεντιτψ µατριξ ισ τηε ∆ιραχ δ φυνχτιον δ(τ − τ′ ) δισχυσσεδ ατ τηε ενδ οφ τηισ σεχτιον. Τηε αναλογ οφ α διαγοναλ µατριξ ισ α φυνχτιον οφ τωο ϖαριαβλεσ τηατ ισ προπορτιοναλ το α δ φυνχτιον, Ω (τ, τ′ ) = η (τ )δ(τ − τ′ ), φορ σοµε φυνχτιον η.

φυνχτιοναλ ινϖερσε

Αλλ οφ τηε ϖεχτορ ανδ µατριξ οπερατιονσ ανδ προπερτιεσ δε⇒νεδ αβοϖε ηαϖε φυνχτιοναλ αναλογσ. Οφ παρτιχυλαρ ιµπορτανχε αρε τηε φυνχτιοναλ ινϖερσε (ωηιχη ισ νοτ εθυιϖαλεντ το αν ινϖερσε φυνχτιον) τηατ σατισ⇒εσ " ∞ δτ′′ Ω −1 (τ, τ′′ )Ω (τ′′ , τ′ ) = δ(τ − τ′ ) , (Α.23) −∞

τρανσλατιον ινϖαριανχε λινεαρ ⇒λτερ

♦ ανδ τηε αναλογ οφ τηε Τοπλιτζ µατριξ, ωηιχη ισ α λινεαρ ιντεγραλ οπερατορ τηατ ισ τρανσλατιοναλ−ινϖαριαντ, ανδ τηυσ χαν βε ωριττεν ασ Ω ( τ, τ ′ ) = Κ ( τ − τ ′ ) . Τηε λινεαρ ιντεγραλ οπερατορ τηεν τακεσ τηε φορµ οφ α λινεαρ ⇒λτερ, " ∞ " ∞ ′ ′ ′ δτ Κ (τ − τ )v(τ ) = δτ Κ (τ)v(τ − τ) , −∞

(Α.24)

(Α.25)

−∞

ωηερε ωε ηαϖε µαδε τηε ρεπλαχεµεντ τ′ → τ − τ .

Τηε δ Φυνχτιον ∆εσπιτε ιτσ ναµε, τηε ∆ιραχ δ φυνχτιον ισ νοτ α προπερλψ δε⇒νεδ φυνχτιον, βυτ ρατηερ τηε λιµιτ οφ α σεθυενχε οφ φυνχτιονσ. Ιν τηισ λιµιτ, τηε δ φυνχ− τιον αππροαχηεσ 0 εϖερψωηερε εξχεπτ ωηερε ιτσ αργυµεντ ισ 0, ανδ τηερε ιτ γροωσ ωιτηουτ βουνδ. Τηε ιν⇒νιτε ηειγητ ανδ ιν⇒νιτεσιµαλ ωιδτη οφ τηισ φυνχτιον αρε µατχηεδ σο τηατ ιτσ ιντεγραλ ισ 1. Τηυσ, " δτ δ(τ ) = 1 , (Α.26) προϖιδεδ ονλψ τηατ τηε λιµιτσ οφ ιντεγρατιον συρρουνδ τηε ποιντ τ = 0 (οτη− ερωισε τηε ιντεγραλ ισ 0). Τηε ιντεγραλ οφ τηε προδυχτ οφ α δ φυνχτιον ωιτη ανψ χοντινυουσ φυνχτιον φ ισ " δτ′ δ(τ − τ′ ) φ (τ′ ) = φ (τ ) (Α.27) φορ ανψ ϖαλυε οφ τ χονταινεδ ωιτηιν τηε ιντεγρατιον ιντερϖαλ (ιφ τ ισ νοτ ωιτηιν τηισ ιντερϖαλ, τηε ιντεγραλ ισ 0). Τηεσε τωο ιδεντιτιεσ νορµαλλψ προ− ϖιδε ενουγη ινφορµατιον το υσε τηε δ φυνχτιον ιν χαλχυλατιονσ δεσπιτε ιτσ υνωιελδψ δε⇒νιτιον.

Α.1

Λινεαρ Αλγεβρα

405

Τηε σεθυενχε οφ φυνχτιονσ υσεδ το χονστρυχτ τηε δ φυνχτιον ασ α λιµιτ ισ νοτ υνιθυε. Ιν εσσενχε, ανψ φυνχτιον τηατ ιντεγρατεσ το 1 ανδ ηασ α σινγλε πεακ τηατ γετσ χοντινυαλλψ ναρροωερ ανδ ταλλερ ασ τηε λιµιτ ισ τακεν χαν βε υσεδ. Φορ εξαµπλε, τηε δ φυνχτιον χαν βε εξπρεσσεδ ασ τηε λιµιτ οφ α σθυαρε πυλσε $ 1/%τ ιφ −%τ/2 < τ < %τ/2 δ(τ ) = λιµ (Α.28) 0 οτηερωισε %τ→0 ορ α Γαυσσιαν φυνχτιον @

1

1 δ(τ ) = λιµ √ εξπ − %τ→0 2 2π%τ

%

τ %τ

&2 A

.

(Α.29)

Ιτ ισ µοστ οφτεν εξπρεσσεδ ασ

δ(τ ) =

1 2π

"

∞

δ φυνχτιον δε⇒νιτιον δω εξπ(ιωτ ) .

(Α.30)

−∞

Τηισ υνδερλιεσ τηε ινϖερσε Φουριερ τρανσφορµ, ασ δισχυσσεδ βελοω. Ειγενφυνχτιονσ Τηε φυνχτιοναλ αναλογ οφ τηε ειγενϖεχτορ (εθυατιον Α.12) ισ τηε ειγενφυνχ− τιον ε (τ ) τηατ σατισ⇒εσ " δτ′ Ω (τ, τ′ )ε (τ′ ) = λε (τ ) . (Α.31) Φορ τρανσλατιοναλλψ ινϖαριαντ ιντεγραλ οπερατορσ, Ω (τ, τ′ ) = Κ (τ − τ′ ), τηε ειγενφυνχτιονσ αρε χοµπλεξ εξπονεντιαλσ, %" & " ′ ′ ′ δτ Κ (τ − τ ) εξπ(ιωτ ) = δτ Κ (τ) εξπ(−ιωτ) εξπ(ιωτ ) , (Α.32)

ασ χαν βε σεεν βψ µακινγ τηε χηανγε οφ ϖαριαβλεσ τ = τ − τ′ . Ηερε ι = ανδ τηε χοµπλεξ εξπονεντιαλ ισ δε⇒νεδ βψ τηε ιδεντιτψ εξπ(ιωτ ) = χοσ(ωτ ) + ι σιν(ωτ ) .

√ −1,

(Α.33)

Χοµπαρινγ εθυατιονσ Α.31 ανδ Α.32, ωε σεε τηατ τηε ειγενϖαλυε φορ τηισ ειγενφυνχτιον ισ " λ(ω) = δτ Κ (τ) εξπ(−ιωτ) . (Α.34) Ιν τηισ χασε, τηε χοντινυουσ λαβελ ω τακεσ τηε πλαχε οφ τηε δισχρετε λαβελ µ υσεδ το ιδεντιφψ τηε διφφερεντ ειγενϖαλυεσ οφ α µατριξ. Α φυνχτιοναλ αναλογ οφ εξπανδινγ α ϖεχτορ υσινγ ειγενϖεχτορσ ασ α βασισ (εθυατιον Α.14) ισ τηε ινϖερσε Φουριερ τρανσφορµ, ωηιχη εξπρεσσεσ α φυνχ− τιον ιν αν εξπανσιον υσινγ χοµπλεξ εξπονεντιαλ ειγενφυνχτιονσ ασ α βασισ. Τηε αναλογ οφ εθυατιον Α.16 φορ δετερµινινγ τηε χοεφ⇒χιεντ φυνχτιονσ οφ τηισ εξπανσιον ισ τηε Φουριερ τρανσφορµ.

χοµπλεξ εξπονεντιαλ

406

Ματηεµατιχαλ Αππενδιξ

Φουριερ Τρανσφορµσ Ασ ουτλινεδ ιν τηε πρεϖιουσ σεχτιον, Φουριερ τρανσφορµσ προϖιδε α υσε− φυλ ρεπρεσεντατιον φορ φυνχτιονσ ωηεν τηεψ αρε αχτεδ υπον βψ τρανσλατιον− ινϖαριαντ λινεαρ οπερατορσ. Φουριερ τρανσφορµ

Τηε Φουριερ τρανσφορµ οφ α φυνχτιον φ (τ ) ισ α χοµπλεξ φυνχτιον οφ α ρεαλ αργυµεντ ω γιϖεν βψ " ∞ δτ φ (τ ) εξπ(ιωτ ) . (Α.35) φ˜(ω) = −∞

ινϖερσε Φουριερ τρανσφορµ

Τηε Φουριερ τρανσφορµ φ˜(ω) προϖιδεσ αν αλτερνατιϖε ρεπρεσεντατιον οφ τηε οριγιναλ φυνχτιον φ (τ ) βεχαυσε ιτ χαν βε ινϖερτεδ τηρουγη " ∞ 1 φ (τ ) = δω φ˜(ω) εξπ(−ιωτ ) . (Α.36) 2π −∞ Τηισ προϖιδεσ αν ινϖερσε βεχαυσε " ∞ " ∞ 1 δτ′ φ (τ′ ) εξπ(ιωτ′ ) (Α.37) δω εξπ(−ιωτ ) 2π −∞ −∞ " ∞ " ∞ " ∞ ′ ′ ′ 1 δω εξπ(ιω(τ − τ )) = δτ′ φ (τ′ )δ(τ′ − τ ) = φ (τ ) δτ φ (τ ) = 2π −∞ −∞ −∞ βψ τηε δε⇒νιτιον οφ τηε δ φυνχτιον ιν εθυατιον Α.30. Τηε φυνχτιον φ (τ ) ηασ το σατισφψ α σετ οφ χριτερια χαλλεδ τηε ∆ιριχηλετ χονδιτιονσ φορ τηε ινϖερσιον οφ τηε Φουριερ τρανσφορµ το βε εξαχτ.

χονϖολυτιον

Τηε χονϖολυτιον οφ τωο φυνχτιονσ φ ανδ γ ισ τηε ιντεγραλ " ∞ δτ φ (τ) γ (τ − τ) . η (τ ) =

(Α.38)

−∞

Τηισ ισ σοµετιµεσ δενοτεδ βψ η = φ ∗ γ. Νοτε τηατ τηε οπερατιον οφ µυλ− τιπλψινγ α φυνχτιον βψ α λινεαρ ⇒λτερ ανδ ιντεγρατινγ, ασ ιν εθυατιον Α.25, ισ α χονϖολυτιον. Φουριερ τρανσφορµσ αρε υσεφυλ φορ δεαλινγ ωιτη χονϖολυ− τιονσ βεχαυσε τηε Φουριερ τρανσφορµ οφ α χονϖολυτιον ισ τηε προδυχτ οφ τηε Φουριερ τρανσφορµσ οφ τηε τωο φυνχτιονσ βεινγ χονϖολϖεδ, η˜ (ω) = φ˜(ω) γ˜ (ω) . Το σηοω τηισ, ωε νοτε τηατ " " ∞ δτ εξπ(ιωτ ) η˜ (ω) = −∞

=

"

=

"

∞

∞

δτ φ (τ) γ (τ − τ)

−∞

δτ φ (τ) εξπ(ιωτ)

−∞ ∞

δτ φ (τ) εξπ(ιωτ)

−∞

" "

∞

(Α.39)

(Α.40)

δτ γ (τ − τ) εξπ(ιω(τ − τ))

−∞ ∞

δτ′ γ (τ′ ) εξπ(ιωτ′ ) ωηερε τ′ = τ − τ ,

−∞

Α.1

Λινεαρ Αλγεβρα

407

ωηιχη ισ εθυιϖαλεντ το εθυατιον Α.39. Α ρελατεδ ρεσυλτ ισ Παρσεϖαλaσ τηεο− ρεµ, " ∞ " ∞ 1 δω | φ˜(ω)|2 . (Α.41) δτ | φ (τ )|2 = 2π −∞ −∞ Ιφ φ (τ ) ισ περιοδιχ ωιτη περιοδ Τ (σο τηατ φ (τ + Τ ) = φ (τ ) φορ αλλ τ), ιτ χαν βε ρεπρεσεντεδ βψ α Φουριερ σεριεσ ρατηερ τηαν α Φουριερ ιντεγραλ. Τηατ ισ, φ (τ ) =

∞ !

φ˜κ εξπ(−ι2πκτ/ Τ ) ,

(Α.42)

δτ φ (τ ) εξπ(ι2πκτ/ Τ ) .

(Α.43)

κ=−∞

Παρσεϖαλ[σ τηεορεµ

περιοδιχ φυνχτιον Φουριερ σεριεσ

ωηερε φ˜κ ισ γιϖεν βψ 1 φ˜κ = Τ

"

Τ

0

Ασ ιν τηε χασε οφ Φουριερ τρανσφορµσ, χερταιν χονδιτιονσ ηαϖε το ηολδ φορ τηε σεριεσ το χονϖεργε ανδ το βε εξαχτλψ ινϖερτιβλε. Τηε Φουριερ σεριεσ ηασ προπερτιεσ σιµιλαρ το Φουριερ τρανσφορµσ, ινχλυδινγ α χονϖολυτιον τηεορεµ ανδ α ϖερσιον οφ Παρσεϖαλaσ τηεορεµ. Τηε ρεαλ ανδ ιµαγιναρψ παρτσ οφ α Φουριερ σεριεσ αρε οφτεν σεπαρατεδ, γιϖινγ τηε αλτερνατιϖε φορµ φ (τ ) = φ˜0 +

∞ = ! κ=1

> φ˜κχ χοσ(2πκτ/ Τ ) + φ˜κσ σιν(2πκτ/ Τ )

(Α.44)

ωιτη 1 φ˜0 = Τ 2 φ˜κσ = Τ

Τ

"

δτ φ (τ ) ,

0

"

Τ

2 φ˜κχ = Τ

"

Τ

δτ φ (τ ) χοσ(2πκτ/ Τ ) ,

0

δτ φ (τ ) σιν(2πκτ/ Τ ) .

(Α.45)

0

Ωηεν χοµπυτεδ νυµεριχαλλψ, α Φουριερ τρανσφορµ ισ τψπιχαλλψ βασεδ ον α χερταιν νυµβερ, Ντ , οφ σαµπλεσ οφ τηε φυνχτιον, φ ν = φ (νδ) φορ ν = 0, 1, . . . Ντ − 1. Τηε δισχρετε Φουριερ τρανσφορµ οφ τηεσε σαµπλεσ ισ τηεν υσεδ ασ αν αππροξιµατιον οφ τηε χοντινυουσ Φουριερ τρανσφορµ. Τηε δισ− χρετε Φουριερ τρανσφορµ ισ δε⇒νεδ ασ φ˜µ =

Ν τ −1 !

φ ν εξπ (ι2πνµ/ Ντ ) .

(Α.46)

ν=0

Νοτε τηατ φ˜Ντ +µ = φ˜µ . Αν αππροξιµατιον οφ τηε χοντινυουσ Φουριερ τρανσ− φορµ ισ προϖιδεδ βψ τηε ρελατιον φ˜(2πµ/( Ντ δ)) ≈ δ φ˜µ . Τηε ινϖερσε δισχρετε Φουριερ τρανσφορµ ισ φν =

τ −1 1 Ν! φ˜µ εξπ (−ι2πµν/ Ντ ) . Ντ µ=0

(Α.47)

δισχρετε Φουριερ τρανσφορµ

408

σαµπλινγ τηεορεµ

Ματηεµατιχαλ Αππενδιξ

Τηισ εθυατιον ιµπλιεσ α περιοδιχ χοντινυατιον οφ φ ν ουτσιδε τηε ρανγε 0 ≤ ν < Ντ , σο τηατ φ ν+ Ντ = φ ν φορ αλλ ν. Χονσυλτ τηε ρεφερενχεσ ιν τηε βιβ− λιογραπηψ φορ αν αναλψσισ οφ τηε προπερτιεσ οφ τηε δισχρετε Φουριερ τρανσ− φορµ ανδ τηε θυαλιτψ οφ ιτσ αππροξιµατιον το τηε χοντινυουσ Φουριερ τρανσ− φορµ. Νοτε ιν παρτιχυλαρ τηατ τηερε ισ α διφφερενχε βετωεεν τηε δισχρετε− τιµε Φουριερ τρανσφορµ, ωηιχη ισ τηε Φουριερ τρανσφορµ οφ α σιγναλ τηατ ισ ινηερεντλψ δισχρετε (ι.ε., ισ δε⇒νεδ ονλψ ατ δισχρετε ποιντσ), ανδ τηε δισ− χρετε Φουριερ τρανσφορµ, γιϖεν αβοϖε, ωηιχη ισ βασεδ ον α ⇒νιτε νυµβερ οφ σαµπλεσ οφ αν υνδερλψινγ χοντινυουσ φυνχτιον. Ιφ φ (τ ) ισ βανδ−λιµιτεδ, µεανινγ τηατ φ˜(ω) = 0 φορ |ω| > π/δ, τηε σαµπλινγ τηεορεµ στατεσ τηατ φ (τ ) ισ χοµπλετελψ δετερµινεδ βψ ρεγυλαρ σαµπλεσ σπαχεδ ατ ιντερϖαλσ 1/δ. Φουριερ τρανσφορµσ οφ φυνχτιονσ οφ µορε τηαν ονε ϖαριαβλε ινϖολϖε α διρεχτ εξτενσιον οφ τηε εθυατιονσ γιϖεν αβοϖε το µυλτι−διµενσιοναλ ιντεγραλσ. Φορ εξαµπλε, " " (Α.48) φ˜(ωξ , ω ψ ) = δξ δψ φ ( ξ, ψ ) εξπ(ι (ωξ ξ + ω ψ ψ )). Τηε προπερτιεσ οφ µυλτι−διµενσιοναλ τρανσφορµσ αρε σιµιλαρ το τηοσε οφ ονε− διµενσιοναλ τρανσφορµσ.

Α.2

µινιµιζατιον οφ θυαδρατιχ φορµ

Φινδινγ Εξτρεµα ανδ Λαγρανγε Μυλτιπλιερσ

Αν οπερατιον φρεθυεντλψ ενχουντερεδ ιν τηε τεξτ ισ µινιµιζινγ α θυαδρατιχ φορµ. Ιν τερµσ οφ ϖεχτορσ, τηισ τψπιχαλλψ αµουντσ το ⇒νδινγ τηε µατριξ Ω τηατ µακεσ τηε προδυχτ Ω · ϖ χλοσεστ το ανοτηερ ϖεχτορ υ ωηεν αϖεραγεδ οϖερ α νυµβερ οφ πρεσεντατιονσ οφ ϖ ανδ υ. Τηε φυνχτιον το βε µινιµιζεδ ισ τηε αϖεραγε σθυαρεδ ερρορ ⟨|Ω · ϖ − υ|2 ⟩, ωηερε τηε βραχκετσ δενοτε αϖερ− αγινγ οϖερ αλλ τηε διφφερεντ σαµπλεσ ϖ ανδ υ. Σεττινγ τηε δεριϖατιϖε οφ τηισ εξπρεσσιον ωιτη ρεσπεχτ το Ω (ορ εθυιϖαλεντλψ ιτσ ελεµεντσ Ωαβ ) το 0 γιϖεσ τηε εθυατιον Ω · ⟨ϖϖ⟩ = ⟨υϖ⟩ ορ

Ν ! χ=1

Ωαχ ⟨vχ vβ ⟩ = ⟨υα vβ ⟩ .

(Α.49)

Μανψ ϖαριαντσ οφ τηισ εθυατιον, σολϖεδ βψ α νυµβερ οφ τεχηνιθυεσ, αππεαρ ιν τηε τεξτ.

Λαγρανγε µυλτιπλιερ

Οφτεν, ωηεν α φυνχτιον φ (ϖ ) ηασ το βε µινιµιζεδ ορ µαξιµιζεδ ωιτη ρε− σπεχτ το α ϖεχτορ ϖ, τηερε ισ αν αδδιτιοναλ χονστραιντ ον ϖ τηατ ρεθυιρεσ αν− οτηερ φυνχτιον γ (ϖ ) το βε ηελδ χονσταντ. Τηε στανδαρδ ωαψ οφ δεαλινγ ωιτη τηισ σιτυατιον ισ το ⇒νδ τηε εξτρεµα οφ τηε φυνχτιον φ (ϖ ) + λγ (ϖ ) ωηερε λ ισ α φρεε παραµετερ χαλλεδ α Λαγρανγε µυλτιπλιερ. Ονχε τηισ ισ δονε, τηε ϖαλυε οφ λ ισ δετερµινεδ βψ ρεθυιρινγ γ (ϖ ) το τακε τηε σπεχι⇒εδ ϖαλυε. Τηισ προ− χεδυρε χαν αππεαρ α βιτ µψστεριουσ ωηεν ⇒ρστ ενχουντερεδ, σο ωε προϖιδε α ρατηερ εξτενδεδ δισχυσσιον.

Α.2

Φινδινγ Εξτρεµα ανδ Λαγρανγε Μυλτιπλιερσ

409

Τηε χονδιτιον τηατ χηαραχτεριζεσ αν εξτρεµε ϖαλυε οφ τηε φυνχτιον φ (ϖ ) ισ τηατ σµαλλ χηανγεσ %ϖ (ωιτη χοµπονεντσ %vα ) ιν τηε ϖεχτορ ϖ σηουλδ νοτ χηανγε τηε ϖαλυε οφ τηε φυνχτιον το ⇒ρστ ορδερ ιν %ϖ. Τηισ ρεσυλτσ ιν τηε χονδιτιον Ν ! [∇ φ ]α %vα = 0 ,

(Α.50)

α=1

ωηερε ωε υσε τηε νοτατιον [∇ φ ]α =

∂φ ∂vα

(Α.51)

το µακε τηε εθυατιονσ µορε χοµπαχτ. Ωιτηουτ α χονστραιντ, εθυατιον Α.50 µυστ βε σατισ⇒εδ φορ αλλ %ϖ, ωηιχη χαν οχχυρ ονλψ ιφ εαχη τερµ ιν τηε συµ ϖανισηεσ σεπαρατελψ. Τηυσ, ωε ⇒νδ τηε υσυαλ χονδιτιον φορ αν εξτρεµυµ [∇ φ ] α = 0

(Α.52)

φορ αλλ α. Ηοωεϖερ, ωιτη α χονστραιντ συχη ασ γ (ϖ )= χονσταντ, εθυατιον Α.50 δοεσ νοτ ηαϖε το ηολδ φορ αλλ ποσσιβλε %ϖ, ονλψ φορ τηοσε τηατ σατισφψ τηε χονστραιντ. Τηε χονδιτιον ον %ϖ ιµποσεδ βψ τηε χονστραιντ ισ τηατ γ χαννοτ χηανγε το ⇒ρστ ορδερ ιν %ϖ. Τηερεφορε, Ν ! α=1

[∇ γ]α %vα = 0

(Α.53)

ωιτη τηε σαµε νοτατιον φορ τηε δεριϖατιϖε υσεδ φορ γ ασ φορ φ . Τηε µοστ οβϖιουσ ωαψ το δεαλ ωιτη τηε χονστραιντ εθυατιον Α.53 ισ το σολϖε φορ ονε οφ τηε χοµπονεντσ οφ %ϖ, σαψ %vχ , ωριτινγ

%vχ = −

1 ! [∇ γ]α %vα . [∇ γ]χ α̸=χ

(Α.54)

Τηεν ωε συβστιτυτε τηισ εξπρεσσιον ιντο εθυατιον Α.50 το οβταιν ! [∇ φ ] χ ! [∇ φ ]α %vα − [∇ γ]α %vα = 0 . [∇ γ]χ α̸=χ α̸=χ

(Α.55)

Βεχαυσε ωε ηαϖε ελιµινατεδ τηε χονστραιντ, τηισ εθυατιον µυστ βε σατισ⇒εδ φορ αλλ ϖαλυεσ οφ τηε ρεµαινινγ χοµπονεντσ οφ %ϖ, τηοσε ωιτη α ̸= χ, ανδ τηυσ ωε ⇒νδ [∇ φ ]α −

[∇ φ ] χ [∇ γ]α = 0 [∇ γ]χ

(Α.56)

φορ αλλ α ̸= χ. Τηε δεριϖατιϖεσ οφ φ ανδ γ αρε φυνχτιονσ οφ ϖ, σο τηεσε εθυα− τιονσ χαν βε σολϖεδ το δετερµινε ωηερε τηε εξτρεµυµ ποιντ ισ λοχατεδ. Ιν τηε αβοϖε δεριϖατιον, ωε ηαϖε σινγλεδ ουτ χοµπονεντ χ φορ σπεχιαλ τρεατ− µεντ. Ωε ηαϖε νο ωαψ οφ κνοωινγ υντιλ ωε γετ το τηε ενδ οφ τηε χαλχυλα− τιον ωηετηερ τηε παρτιχυλαρ χ ωε χηοσε λεαδσ το α σιµπλε ορ α χοµπλεξ σετ οφ

410

Ματηεµατιχαλ Αππενδιξ

⇒ναλ εθυατιονσ. Τηε χλεϖερ ιδεα οφ τηε Λαγρανγε µυλτιπλιερ ισ το νοτιχε τηατ τηε ωηολε προβλεµ ισ σψµµετριχ ωιτη ρεσπεχτ το τηε διφφερεντ χοµπονεντσ οφ %ϖ. Χηοοσινγ ονε χ ϖαλυε, ασ ωε διδ αβοϖε, βρεακσ τηισ σψµµετρψ ανδ οφτεν χοµπλιχατεσ τηε αλγεβρα. Το ιντροδυχε τηε Λαγρανγε µυλτιπλιερ, ωε σιµπλψ δε⇒νε ιτ ασ

λ=−

[∇ φ ] χ . [∇ γ]χ

(Α.57)

Ωιτη τηισ νοτατιον, τηε ⇒ναλ σετ οφ εθυατιονσ (Α.56) χαν βε ωριττεν ασ [∇ φ ]α + λ[∇ γ]α = 0 .

(Α.58)

Βεφορε, ωε ηαδ το σαψ τηατ τηεσε εθυατιονσ ηελδ ονλψ φορ α ̸= χ βεχαυσε χ ωασ τρεατεδ διφφερεντλψ. Νοω, ηοωεϖερ, νοτιχε τηατ τηε αβοϖε εθυατιον ωηεν α ισ σετ το χ ισ αλγεβραιχαλλψ εθυιϖαλεντ το τηε δε⇒νιτιον ιν εθυατιον Α.57. Τηυσ, ωε χαν σαψ τηατ εθυατιον Α.58 αππλιεσ φορ αλλ α, ανδ τηισ προϖιδεσ α σψµµετριχ φορµυλατιον οφ τηε προβλεµ οφ ⇒νδινγ αν εξτρεµυµ τηατ οφτεν ρεσυλτσ ιν σιµπλερ αλγεβρα. Τηε ⇒ναλ ρεαλιζατιον ισ τηατ εθυατιον Α.58 φορ αλλ α ισ πρεχισελψ ωηατ ωε ωουλδ ηαϖε δεριϖεδ ιφ ωε ηαδ σετ ουτ ιν τηε ⇒ρστ πλαχε το ⇒νδ αν εξτρεµυµ οφ τηε φυνχτιον φ (ϖ ) + λγ (ϖ ) ανδ φοργοττεν αβουτ τηε χονστραιντ εντιρελψ. Οφ χουρσε τηισ λυνχη ισ νοτ χοµπλετελψ φρεε. Φροµ εθυατιον Α.58, ωε δεριϖε α σετ οφ εξτρεµυµ ποιντσ παραµετεριζεδ βψ τηε υνδετερµινεδ ϖαριαβλε λ. Το ⇒ξ λ, ωε µυστ συβστιτυτε τηισ φαµιλψ οφ σολυτιονσ βαχκ ιντο γ (ϖ ) ανδ ⇒νδ τηε ϖαλυε οφ λ τηατ σατισ⇒εσ τηε χονστραιντ τηατ γ (ϖ ) εθυαλσ τηε σπεχι⇒εδ ϖαλυε. Τηισ προϖιδεσ τηε σολυτιον το τηε χονστραινεδ προβλεµ.

Α.3

∆ιφφερεντιαλ Εθυατιονσ

Τηε µοστ γενεραλ διφφερεντιαλ εθυατιον ωε χονσιδερ τακεσ τηε φορµ δϖ = φ (ϖ ) , δτ

⇒ξεδ ποιντ λιµιτ χψχλε χηαοσ στρανγε αττραχτορ

εθυιλιβριυµ ποιντ

(Α.59)

ωηερε ϖ ισ αν Ν−χοµπονεντ ϖεχτορ οφ τιµε−δεπενδεντ ϖαριαβλεσ, ανδ φ ισ α ϖεχτορ οφ φυνχτιονσ οφ ϖ. Υνλεσσ ιτ ισ υνσταβλε, αλλοωινγ τηε αβσολυτε ϖαλυε οφ ονε ορ µορε οφ τηε χοµπονεντσ οφ ϖ το γροω ωιτηουτ βουνδ, τηισ τψπε οφ εθυατιον ηασ τηρεε χλασσεσ οφ σολυτιονσ. Φορ ονε χλασσ, χαλλεδ σταβλε ⇒ξεδ ποιντσ ορ ποιντ αττραχτορσ, ϖ(τ ) αππροαχηεσ α τιµε−ινδεπενδεντ ϖεχτορ ϖ∞ (ϖ(τ ) → ϖ∞ ) ασ τ → ∞. Ιν α σεχονδ χλασσ οφ σολυτιονσ, χαλλεδ λιµιτ χψχλεσ, ϖ(τ ) βεχοµεσ περιοδιχ ατ λαργε τιµεσ ανδ ρεπεατσ ιτσελφ ινδε⇒νιτελψ. Φορ τηε τηιρδ χλασσ οφ σολυτιονσ, τηε χηαοτιχ ονεσ, ϖ(τ ) νεϖερ ρεπεατσ ιτσελφ βυτ τηε τραϕεχτορψ οφ τηε σψστεµ λιεσ ιν α λιµιτεδ συβσπαχε οφ τηε τοταλ σπαχε οφ αλλοωεδ χον⇒γυρατιονσ χαλλεδ α στρανγε αττραχτορ. Χηαοτιχ σολυτιονσ αρε εξτρεµελψ σενσιτιϖε το ινιτιαλ χονδιτιονσ. Ωε φοχυσ µοστ οφ ουρ αναλψσισ ον ⇒ξεδ ποιντ σολυτιονσ, ωηιχη αρε αλσο χαλλεδ εθυιλιβριυµ ποιντσ. Φορ ϖ∞ το βε α τιµε−ινδεπενδεντ σολυτιον

Α.3 ∆ιφφερεντιαλ Εθυατιονσ

411

οφ εθυατιον Α.59, ωε µυστ ηαϖε φ(ϖ∞ ) = 0. Γενεραλ σολυτιονσ οφ εθυα− τιον Α.59 ωηεν φ ισ νονλινεαρ χαννοτ βε χονστρυχτεδ, βυτ ωε χαν υσε λινεαρ τεχηνιθυεσ το στυδψ τηε βεηαϖιορ οφ ϖ νεαρ α ⇒ξεδ ποιντ ϖ∞ . Ιφ φ ισ λινεαρ, τηε τεχηνιθυεσ ωε υσε ανδ τηε σολυτιονσ ωε οβταιν ασ αππροξιµατιονσ ιν τηε νονλινεαρ χασε αρε εξαχτ. Νεαρ τηε ⇒ξεδ ποιντ ϖ∞ , ωε ωριτε ϖ ( τ ) = ϖ∞ + ϵ ( τ )

(Α.60)

ανδ χονσιδερ τηε χασε ωηεν αλλ τηε χοµπονεντσ οφ τηε ϖεχτορ ϵ αρε σµαλλ. Τηεν, ωε χαν εξπανδ φ ιν α Ταψλορ σεριεσ, φ(ϖ(τ )) ≈ φ(ϖ∞ ) + ϑ · ϵ (τ ) = ϑ · ϵ (τ ) , ωηερε ϑ ισ τηε χαλλεδ τηε ϑαχοβιαν µατριξ ανδ ηασ ελεµεντσ . ∂φ α (ϖ ) .. ϑαβ = . ∂vβ .ϖ=ϖ∞

Ταψλορ σεριεσ

(Α.61) ϑαχοβιαν µατριξ (Α.62)

Ιν τηε σεχονδ εθυαλιτψ οφ εθυατιον Α.61, ωε ηαϖε υσεδ τηε φαχτ τηατ φ(ϖ∞ ) = 0. Υσινγ τηε αππροξιµατιον οφ εθυατιον Α.61, εθυατιον Α.59 βεχοµεσ δϵ = ϑ·ϵ. δτ

(Α.63)

Τηε τεµποραλ εϖολυτιον οφ ϖ(τ ) ισ βεστ υνδερστοοδ βψ εξπανδινγ ϵ ιν τηε βασισ προϖιδεδ βψ τηε ειγενϖεχτορσ οφ ϑ. Ασσυµινγ τηατ ϑ ισ ρεαλ ανδ ηασ Ν λινεαρλψ ινδεπενδεντ ειγενϖεχτορσ ε1 , . . . , ε Ν ωιτη διφφερεντ ειγενϖαλυεσ λ1 , . . . , λ Ν , ωε ωριτε

ϵ (τ ) =

Ν !

χµ (τ )εµ .

(Α.64)

µ=1

Συβστιτυτινγ τηισ ιντο εθυατιον Α.63, ωε ⇒νδ τηατ τηε χοεφ⇒χιεντσ µυστ σατ− ισφψ δχµ = λµ χµ . δτ

(Α.65)

Τηισ προδυχεσ τηε σολυτιον

ϵ (τ ) =

Ν !

χµ (0 ) εξπ(λµ τ )εµ ,

(Α.66)

µ=1

/ ωηερε ϵ (0 ) = µ χµ (0 )εµ . Τηε ινδιϖιδυαλ τερµσ ιν τηε συµ ον τηε ριγητ σιδε οφ εθυατιον Α.66 αρε χαλλεδ µοδεσ. Τηισ σολυτιον ισ εξαχτ φορ εθυα− τιον Α.63, βυτ ισ ονλψ α ϖαλιδ αππροξιµατιον ωηεν αππλιεδ το εθυατιον Α.59 ιφ ϵ ισ σµαλλ. Νοτε τηατ τηε διφφερεντ χοεφ⇒χιεντσ χµ εϖολϖε οϖερ τιµε, ιν− δεπενδεντλψ οφ εαχη οτηερ. Τηισ δοεσ νοτ ρεθυιρε τηε ειγενϖεχτορσ το βε ορτηογοναλ. Ιφ τηε ειγενϖαλυεσ ανδ ειγενϖεχτορσ αρε χοµπλεξ, ϖ(τ ) ωιλλ νονετηελεσσ ρεµαιν ρεαλ ιφ ϖ(0 ) ισ ρεαλ, βεχαυσε τηε χοµπλεξ µοδεσ χοµε

µοδεσ

412

Ματηεµατιχαλ Αππενδιξ

ιν χονϕυγατε παιρσ τηατ χοµβινε το φορµ α ρεαλ φυνχτιον. Εξπρεσσιον Α.66 ισ νοτ τηε χορρεχτ σολυτιον ιφ σοµε οφ τηε ειγενϖαλυεσ αρε εθυαλ. Τηε ρεαδερ σηουλδ χονσυλτ τηε ρεφερενχεσ φορ τηε σολυτιον ιν τηισ χασε. Εθυατιον Α.66 δετερµινεσ ηοω τηε εϖολυτιον οφ ϖ(τ ) ιν τηε νειγηβορηοοδ οφ ϖ∞ δεπενδσ ον τηε ειγενϖαλυεσ οφ ϑ. Ιφ ωε ωριτε λµ = αµ + ιωµ , ) * εξπ(λµ τ ) = εξπ(αµ τ ) χοσ(ωµ τ ) + ι σιν(ωµ τ ) . (Α.67)

Τηισ ιµπλιεσ τηατ µοδεσ ωιτη ρεαλ ειγενϖαλυεσ (ωµ = 0) εϖολϖε εξπονεν− τιαλλψ οϖερ τιµε, ανδ µοδεσ ωιτη χοµπλεξ ειγενϖαλυεσ (ωµ ̸= 0) οσχιλλατε ωιτη α φρεθυενχψ ωµ . Ρεχαλλ τηατ τηε ειγενϖαλυεσ αρε αλωαψσ ρεαλ ιφ ϑ ισ α σψµµετριχ µατριξ. Μοδεσ ωιτη νεγατιϖε ρεαλ ειγενϖαλυεσ (αµ < 0 ανδ ωµ = 0) δεχαψ εξπονεντιαλλψ το 0, ωηιλε τηοσε ωιτη ποσιτιϖε ρεαλ ειγενϖαλ− υεσ (αµ > 0 ανδ ωµ = 0) γροω εξπονεντιαλλψ. Σιµιλαρλψ, τηε οσχιλλατιονσ φορ µοδεσ ωιτη χοµπλεξ ειγενϖαλυεσ αρε δαµπεδ εξπονεντιαλλψ το 0 ιφ τηε ρεαλ παρτ οφ τηε ειγενϖαλυε ισ νεγατιϖε (αµ < 0 ανδ ωµ ̸= 0), ανδ γροω εξπονεν− τιαλλψ ιφ τηε ρεαλ παρτ ισ ποσιτιϖε (αµ > 0 ανδ ωµ ̸= 0).

Σταβιλιτψ οφ τηε ⇒ξεδ ποιντ ϖ∞ ρεθυιρεσ τηε ρεαλ παρτσ οφ αλλ τηε ειγενϖαλυεσ το βε νεγατιϖε (αµ < 0 φορ αλλ µ). Ιν τηισ χασε, τηε ποιντ ϖ∞ ισ α σταβλε ⇒ξεδ− αττραχτορ ποιντ αττραχτορ οφ τηε σψστεµ, µεανινγ τηατ ϖ(τ ) ωιλλ αππροαχη ϖ∞ ιφ ιτ σταρτσ φροµ ανψ ποιντ ιν τηε νειγηβορηοοδ οφ ϖ∞ . Ιφ ανψ ρεαλ παρτ ισ ποσιτιϖε υνσταβλε ⇒ξεδ ποιντ (αµ > 0 φορ ανψ µ), τηε ⇒ξεδ ποιντ ισ υνσταβλε. Αλµοστ ανψ ϖ(τ ) ινιτιαλλψ ιν τηε νειγηβορηοοδ οφ ϖ∞ ωιλλ µοϖε αωαψ φροµ τηατ νειγηβορηοοδ. Ιφ φ ισ λινεαρ, τηε εξπονεντιαλ γροωτη οφ |ϖ(τ ) − ϖ∞ | νεϖερ στοπσ ιν τηισ χασε. Φορ α νονλινεαρ φ , εθυατιον Α.66 δετερµινεσ ωηατ ηαππενσ ονλψ ιν τηε νειγηβορηοοδ οφ ϖ∞ , ανδ τηε σψστεµ µαψ υλτιµατελψ ⇒νδ α σταβλε αττραχτορ αωαψ φροµ ϖ∞ , ειτηερ α ⇒ξεδ ποιντ, α λιµιτ χψχλε, ορ α χηαοτιχ αττραχτορ. Ιν αλλ τηεσε χασεσ, τηε µοδε φορ ωηιχη τηε ρεαλ παρτ οφ λµ τακεσ τηε λαργεστ ϖαλυε δοµινατεσ τηε δψναµιχσ ασ τ → ∞. Ιφ τηισ ρεαλ παρτ ισ εθυαλ το 0, τηε µαργιναλ σταβιλιτψ ⇒ξεδ ποιντ ισ χαλλεδ µαργιναλλψ σταβλε. Ασ µεντιονεδ πρεϖιουσλψ, τηε αναλψσισ πρεσεντεδ αβοϖε ασ αν αππροξιµα− τιον φορ νονλινεαρ διφφερεντιαλ εθυατιονσ νεαρ α ⇒ξεδ ποιντ ισ εξαχτ ιφ τηε οριγιναλ εθυατιον ισ λινεαρ. Ιν τηε τεξτ, ωε φρεθυεντλψ ενχουντερ λινεαρ εθυα− τιονσ οφ τηε φορµ

τ

δv = v∞ − v . δτ

(Α.68)

Τηισ χαν βε σολϖεδ βψ σεττινγ ζ = v − v∞ , ρεωριτινγ τηε εθυατιον ασ δζ/ ζ = −δτ/τ , ανδ ιντεγρατινγ βοτη σιδεσ: % & " ζ (τ ) ζ (τ ) 1 τ (Α.69) τ δζ′ ′ = λν =− . ζ ζ ( 0 ) τ ζ (0 ) Τηισ γιϖεσ ζ (τ ) = ζ (0 ) εξπ(−τ/τ) ορ

v(τ ) = v∞ + (v(0 ) − v∞ ) εξπ(−τ/τ) .

(Α.70)

Ιν σοµε χασεσ, ωε χονσιδερ δισχρετε ρατηερ τηαν χοντινυουσ δψναµιχσ δε− ⇒νεδ οϖερ δισχρετε στεπσ ν = 1, 2, . . . τηρουγη α διφφερενχε ρατηερ τηαν α

Α.4

Ελεχτριχαλ Χιρχυιτσ

413

διφφερεντιαλ εθυατιον. Λινεαριζατιον αβουτ εθυιλιβριυµ ποιντσ χαν βε υσεδ το αναλψζε νονλινεαρ διφφερενχε εθυατιονσ ασ ωελλ ασ διφφερεντιαλ εθυατιονσ, ανδ τηισ ρεϖεαλσ σιµιλαρ χλασσεσ οφ βεηαϖιορ. Ωε ιλλυστρατε διφφερενχε εθυα− τιονσ βψ αναλψζινγ α λινεαρ χασε, ϖ (ν + 1 ) = ϖ (ν ) + Ω · ϖ (ν ) .

διφφερενχε εθυατιον

(Α.71)

Τηε στρατεγψ φορ σολϖινγ τηισ εθυατιον ισ σιµιλαρ το τηατ φορ σολϖινγ διφφερ− εντιαλ εθυατιονσ. Ασσυµινγ Ω ηασ α χοµπλετε σετ οφ λινεαρλψ ινδεπενδεντ ειγενϖεχτορσ ε1 , . . . , ε Ν ωιτη διφφερεντ ειγενϖαλυεσ λ1 , . . . , λ Ν , τηε µοδεσ σεπαρατε, ανδ τηε γενεραλ σολυτιον ισ ϖ(ν ) =

Ν !

µ=1

χ µ ( 1 + λ µ )ν εµ ,

(Α.72)

/ ωηερε ϖ(0 ) = µ χµ εµ . Τηισ ηασ χηαραχτεριστιχσ σιµιλαρ το εθυατιον Α.66. Ωριτινγ λµ = αµ + ιωµ , µοδε µ ισ οσχιλλατορψ ιφ ωµ ̸= 0. Ιν τηε δισχρετε χασε, σταβιλιτψ οφ τηε σψστεµ ισ χοντρολλεδ βψ τηε µαγνιτυδε ) *2 ) *2 |1 + λµ |2 = 1 + αµ + ωµ .

(Α.73)

Ιφ τηισ ισ γρεατερ τηαν 1 φορ ανψ ϖαλυε οφ µ, |ϖ(ν )| → ∞ ασ ν → ∞. Ιφ ιτ ισ λεσσ τηαν 1 φορ αλλ µ, ϖ(ν ) → 0 ιν τηισ λιµιτ.

Α.4

Ελεχτριχαλ Χιρχυιτσ

Βιοπηψσιχαλ µοδελσ οφ σινγλε χελλσ ινϖολϖε εθυιϖαλεντ χιρχυιτσ χοµποσεδ οφ ρεσιστορσ, χαπαχιτορσ, ανδ ϖολταγε ανδ χυρρεντ σουρχεσ. Ωε ρεϖιεω ηερε βασιχ ρεσυλτσ φορ συχη χιρχυιτσ. Φιγυρεσ Α.1Α ανδ Α.1Β σηοω τηε στανδαρδ σψµβολσ φορ ρεσιστορσ ανδ χαπαχιτορσ, ανδ δε⇒νε τηε ρελεϖαντ ϖολταγεσ ανδ χυρρεντσ. Α ρεσιστορ (⇒γυρε Α.1Α) σατισ⇒εσ Οηµaσ λαω, ωηιχη στατεσ τηατ τηε ϖολταγε ςΡ = ς1 − ς2 αχροσσ α ρεσιστανχε Ρ χαρρψινγ α χυρρεντ ΙΡ ισ ςΡ = ΙΡ Ρ .

(Α.74)

Ρεσιστανχε ισ µεασυρεδ ιν οηµσ (7); 1 οηµ ισ τηε ρεσιστανχε τηρουγη ωηιχη 1 αµπερε οφ χυρρεντ χαυσεσ α ϖολταγε δροπ οφ 1 ϖολτ (1 ς = 1 Α × 1 7). Α χαπαχιτορ (⇒γυρε Α.1Β) στορεσ χηαργε αχροσσ αν ινσυλατινγ µεδιυµ, ανδ τηε ϖολταγε αχροσσ ιτ ςΧ = ς1 − ς2 ισ ρελατεδ το τηε χηαργε ιτ στορεσ, ΘΧ , βψ ΧςΧ = ΘΧ ,

(Α.75)

ωηερε Χ ισ τηε χαπαχιτανχε. Ελεχτριχαλ χυρρεντ χαννοτ χροσσ τηε ινσυλατινγ µεδιυµ, βυτ χηαργεσ χαν βε ρεδιστριβυτεδ ον εαχη σιδε οφ τηε χαπαχιτορ, ωηιχη λεαδσ το τηε ⇓οω οφ χυρρεντ. Ωε χαν τακε α τιµε δεριϖατιϖε οφ βοτη σιδεσ οφ εθυατιον Α.75 ανδ υσε τηε φαχτ τηατ χυρρεντ ισ εθυαλ το τηε ρατε οφ

Οηµ[σ λαω

414

Ματηεµατιχαλ Αππενδιξ

A

B ς1 ΙΡ Ρ

ς2

D

C

ς1 ς1 Ι1 ΙΧ +ΘΧ −ΘΧ

Ι2

Ρ1

Ρ2

Χ

ς2

Ιε Ι1

ς

Ρ1

Ι2 Ρ2

ς2

Φιγυρε Α.1 Ελεχτριχαλ χιρχυιτ ελεµεντσ ανδ ρεσιστορ χιρχυιτσ. (Α) Χυρρεντ ΙΡ ⇓οωσ τηρουγη α ρεσιστανχε Ρ, προδυχινγ α ϖολταγε δροπ ς1 − ς2 = ςΡ . (Β) Χηαργε ± ΘΧ ισ στορεδ αχροσσ α χαπαχιτανχε Χ, λεαδινγ το α ϖολταγε ςΧ = ς1 − ς2 ανδ α χυρρεντ ΙΧ . (Χ) Σεριεσ ρεσιστορ χιρχυιτ χαλλεδ α ϖολταγε διϖιδερ. (∆) Παραλλελ ρεσιστορ χιρχυιτ. Ιε ρεπρεσεντσ αν εξτερναλ χυρρεντ σουρχε. Τηε λινεδ τριανγλε σψµβολ ατ τηε βοττοµ οφ τηε χιρχυιτσ ιν Χ ανδ ∆ ρεπρεσεντσ αν ελεχτριχαλ γρουνδ, ωηιχη ισ δε⇒νεδ το βε ατ 0 ϖολταγε.

χηανγε οφ χηαργε, ΙΧ = δΘΧ /δτ, το οβταιν τηε βασιχ ϖολταγε−χυρρεντ ρελα− τιονσηιπ φορ α χαπαχιτορ, δςΧ = ΙΧ . (Α.76) δτ Χαπαχιτανχε ισ µεασυρεδ ιν υνιτσ οφ φαραδσ (Φ), δε⇒νεδ ασ τηε χαπαχιτανχε φορ ωηιχη 1 αµπερε οφ χυρρεντ χαυσεσ α ϖολταγε χηανγε οφ 1 ϖολτ περ σεχονδ (1 Φ × 1 ς/σ = 1 Α). Χ

ς−Ι ρελατιον φορ χαπαχιτορ

Κιρχηηοφφ[σ λαωσ

Τηε ϖολταγεσ ατ διφφερεντ ποιντσ ιν α χιρχυιτ ανδ τηε χυρρεντσ ⇓οωινγ τηρουγη ϖαριουσ χιρχυιτ ελεµεντσ χαν βε χοµπυτεδ υσινγ εθυατιονσ Α.74 ανδ Α.76 ανδ ρυλεσ χαλλεδ Κιρχηηοφφaσ λαωσ. Τηεσε στατε τηατ ϖολταγε διφ− φερενχεσ αρουνδ ανψ χλοσεδ λοοπ ιν α χιρχυιτ µυστ συµ το 0, ανδ τηατ τηε συµ οφ αλλ τηε χυρρεντσ εντερινγ ανψ ποιντ ιν α χιρχυιτ µυστ βε 0. Αππλψινγ τηε σεχονδ οφ τηεσε ρυλεσ το τηε χιρχυιτ ιν ⇒γυρε Α.1Χ, ωε ⇒νδ τηατ Ι1 = Ι2 . Οηµaσ λαω τελλσ υσ τηατ ς1 − ς2 = Ι1 Ρ1 ανδ ς2 = Ι2 Ρ2 . Σολϖινγ τηεσε γιϖεσ ς1 = Ι1 ( Ρ1 + Ρ2 ), ωηιχη τελλσ υσ τηατ ρεσιστορσ αρρανγεδ ιν σεριεσ αδδ, ανδ ς2 = ς1 Ρ2 /( Ρ1 + Ρ2 ), ωηιχη ισ ωηψ τηισ χιρχυιτ ισ χαλλεδ α ϖολταγε διϖιδερ. Ιν τηε χιρχυιτ οφ ⇒γυρε Α.1∆, ωε ηαϖε αδδεδ αν εξτερναλ σουρχε πασσινγ τηε χυρρεντ Ιε . Φορ τηισ χιρχυιτ, Κιρχηηοφφaσ ανδ Οηµaσ λαωσ τελλσ υσ τηατ Ιε = Ι1 + Ι2 = ς/ Ρ1 + ς/ Ρ2 . Τηισ ινδιχατεσ ηοω ρεσιστορσ αδδ ιν παραλλελ, ς = Ιε Ρ1 Ρ2 /( Ρ1 + Ρ2 ). Νεξτ, ωε χονσιδερ τηε ελεχτριχαλ χιρχυιτ ιν ⇒γυρε Α.2Α, ιν ωηιχη α ρεσιστορ ανδ χαπαχιτορ αρε χοννεχτεδ τογετηερ. Κιρχηηοφφaσ λαωσ ρεθυιρε τηατ ΙΧ + ΙΡ = 0. Πυττινγ τηισ τογετηερ ωιτη εθυατιονσ Α.74 ανδ Α.76, ωε ⇒νδ δς ς = ΙΧ = − ΙΡ = − . δτ Ρ

(Α.77)

ς (τ ) = ς (0 ) εξπ(−τ/ ΡΧ ) ,

(Α.78)

Χ Σολϖινγ τηισ γιϖεσ

Α.5

Προβαβιλιτψ Τηεορψ

A

415

B ς

ς ΙΡ

ΙΧ ΙΡ

Ρ

Χ Ρ

ΙΧ Χ

Ιε

Ε Φιγυρε Α.2 ΡΧ χιρχυιτσ. (Α) Χυρρεντ ΙΧ = − ΙΡ ⇓οωσ ιν τηε ρεσιστορ−χαπαχιτορ χιρχυιτ ασ τηε στορεδ χηαργε ισ ρελεασεδ. (Β) Σιµπλε πασσιϖε µεµβρανε µοδελ ινχλυδινγ α ποτεντιαλ Ε ανδ χυρρεντ σουρχε Ιε . Ασ ιν ⇒γυρε Α.1, τηε λινεδ τριανγλεσ ρεπρεσεντ α γρουνδ ορ ποιντ οφ 0 ϖολταγε.

σηοωινγ τηε εξπονεντιαλ δεχαψ (ωιτη τιµε χονσταντ τ = ΡΧ) οφ τηε ινιτιαλ ϖολταγε ς (0 ) ασ τηε χηαργε ον τηε χαπαχιτορ λεακσ ουτ τηρουγη τηε ρεσιστορ. Φιγυρε Α.2Β ινχλυδεσ τωο εξτρα χοµπονεντσ νεεδεδ το βυιλδ α σιµπλε µοδελ νευρον, τηε ϖολταγε σουρχε Ε ανδ τηε χυρρεντ σουρχε Ιε . Υσινγ Κιρχη− ηοφφaσ λαωσ, Ιε − ΙΧ − ΙΡ = 0, ανδ τηε εθυατιον φορ τηε ϖολταγε ς ισ Χ

Ε−ς δς = + Ιε . δτ Ρ

(Α.79)

Ιφ Ιε ισ χονσταντ, τηε σολυτιον οφ τηισ εθυατιον ισ ς (τ ) = ς∞ + (ς (0 ) − ς∞ ) εξπ(−τ/τ) ,

(Α.80)

ωηερε ς∞ = Ε + ΡΙε ανδ τ = ΡΧ. Τηισ σηοωσ εξπονεντιαλ ρελαξατιον φροµ τηε ινιτιαλ ποτεντιαλ ς (0 ) το τηε εθυιλιβριυµ ποτεντιαλ ς∞ ατ α ρατε γοϖερνεδ βψ τηε τιµε χονσταντ τ οφ τηε χιρχυιτ. Φορ τηε χασε Ιε = Ι χοσ(ωτ ), ονχε αν ινιτιαλ τρανσιεντ ηασ δεχαψεδ το 0, ωε ⇒νδ ς (τ ) = Ε +

ΡΙ χοσ(ωτ − φ) , √ 1 + ω2 τ 2

(Α.81)

ωηερε ταν(φ) = ωτ . Εθυατιον Α.81 σηοωσ τηατ τηε χελλ µεµβρανε αχτσ ασ α λοω−πασσ ⇒λτερ, βεχαυσε τηε ηιγηερ τηε φρεθυενχψ ω οφ τηε ινπυτ χυρρεντ, τηε γρεατερ τηε αττενυατιον οφ τηε οσχιλλατιονσ οφ τηε ποτεντιαλ δυε το τηε φαχτορ 1/(1 + ω2 τ 2 )1/2 . Τηε πηασε σηιφτ φ ισ αν ινχρεασινγ φυνχτιον οφ φρεθυενχψ τηατ αππροαχηεσ π/2 ασ ω → ∞.

Α.5

Προβαβιλιτψ Τηεορψ

Προβαβιλιτψ διστριβυτιονσ ανδ δενσιτιεσ αρε δισχυσσεδ εξτενσιϖελψ ιν τηε τεξτ. Ηερε, ωε πρεσεντ α σλιγητλψ µορε φορµαλ τρεατµεντ. Ατ τηε ηεαρτ οφ

416

Ματηεµατιχαλ Αππενδιξ

προβαβιλιτψ τηεορψ λιε τωο οβϕεχτσ: α σαµπλε σπαχε, 7, ανδ α µεασυρε. Ωε βεγιν βψ χονσιδερινγ τηε σιµπλεστ χασε οφ α ⇒νιτε σαµπλε σπαχε. Ηερε, εαχη σαµπλε σπαχε ελεµεντ ω οφ τηε φυλλ σαµπλε σπαχε 7 χαν βε τηουγητ οφ ασ ονε οφ τηε ποσ− 5 προβαβιλιτψ µεασυρε σιβλε ουτχοµεσ οφ α ρανδοµ προχεσσ, φορ εξαµπλε, ονε οφ τηε 6 ποσσιβλε ρεσυλτσ οφ ρολλινγ ⇒ϖε διχε. Τηε µεασυρε ασσιγνσ/α νυµβερ γω το εαχη ουτ− χοµε ω, ανδ τηεσε µυστ σατισφψ 0 ≤ γω ≤ 1 ανδ ω γω = 1.

ρανδοµ ϖαριαβλε

Ωε αρε πριµαριλψ ιντερεστεδ ιν ρανδοµ ϖαριαβλεσ (ωηιχη αρε ινφαµουσλψ νειτηερ ρανδοµ νορ ϖαριαβλε). Α ρανδοµ ϖαριαβλε ισ α µαππινγ φροµ α ρανδοµ ουτχοµε ω το α σπαχε συχη ασ τηε σπαχε οφ ιντεγερσ. Αν εξαµπλε ισ τηε νυµβερ οφ ονεσ τηατ αππεαρ ωηεν ⇒ϖε διχε αρε ρολλεδ. Τψπιχαλλψ, α χαπι− ταλ λεττερ, συχη ασ Σ, ισ υσεδ φορ τηε ρανδοµ ϖαριαβλε, ανδ τηε χορρεσπονδινγ λοωερχασε λεττερ, σ ιν τηισ χασε, ισ υσεδ φορ α παρτιχυλαρ ϖαλυε ιτ µιγητ τακε. Τηε προβαβιλιτψ τηατ Σ τακεσ τηε ϖαλυε σ ισ τηεν ωριττεν ασ Π[Σ = σ]. Ιν τηε τεξτ, ωε τψπιχαλλψ σηορτεν τηισ το Π[σ], βυτ ηερε ωε κεεπ τηε φυλλ νοτατιον (εξχεπτ ιν τηε φολλοωινγ ταβλε). Π[Σ = σ] ισ δετερµινεδ βψ τηε µεασυρεσ οφ τηε εϖεντσ φορ ωηιχη Σ = σ ανδ τακεσ τηε ϖαλυε ! Π[Σ = σ] = γω . (Α.82) ω ωιτη Σ (ω) = σ

Τηε νοτατιον Σ (ω) ρεφερσ το τηε ϖαλυε οφ Σ γενερατεδ βψ τηε ρανδοµ εϖεντ λαβελεδ βψ ω, ανδ τηε συµ ισ οϖερ αλλ εϖεντσ φορ ωηιχη Σ (ω) = σ. Σοµε κεψ στατιστιχσ φορ δισχρετε ρανδοµ ϖαριαβλεσ ινχλυδε τηε φολλοωινγ. Θυαντιτψ µεαν ϖαριανχε χοϖαριανχε

∆ε⇒νιτιον / ⟨σ⟩ = σ Π[σ]σ / ϖαρ( Σ ) = ⟨σ2 ⟩ − ⟨σ⟩2 = σ Π[σ]σ2 − ⟨σ⟩2 / ⟨σ1 σ2 ⟩−⟨σ1 ⟩⟨σ2 ⟩ = σ1 σ2 Π[σ1 , σ2 ]σ1 σ2 −⟨σ1 ⟩⟨σ2 ⟩

Αλιασ σ, E [Σ]

σσ2 , V [Σ] χοϖ( Σ1 , Σ2 )

ωηερε Σ1 ανδ Σ2 αρε τωο ρανδοµ ϖαριαβλεσ δε⇒νεδ οϖερ τηε σαµε σαµπλε σπαχε. Τηισ λινκσ τηε τωο ρανδοµ ϖαριαβλεσ, ιν τηατ ! Π[Σ1 = σ1 , Σ2 = σ2 ] = γω , (Α.83) ω ωιτη Σ1 (ω) = σ1 , Σ2 (ω) = σ2

ανδ προϖιδεσ α βασισ φορ τηεµ το βε χορρελατεδ. Μεανσ αρε αδδιτιϖε,

⟨σ1 + σ2 ⟩ = ⟨σ1 ⟩ + ⟨σ2 ⟩ ,

(Α.84)

βυτ οτηερ θυαντιτιεσ τψπιχαλλψ αρε νοτ, φορ εξαµπλε, ϖαρ( Σ1 + Σ2 ) = ϖαρ( Σ1 ) + ϖαρ( Σ2 ) + 2χοϖ( Σ1 , Σ2 ) . ινδεπενδενχε

(Α.85)

Τωο ρανδοµ ϖαριαβλεσ αρε ινδεπενδεντ ιφ Π[Σ1 = σ1 , Σ2 = σ2 ] = Π[Σ1 = σ1 ]Π[Σ2 = σ2 ] φορ αλλ σ1 ανδ σ2 . Ιφ Σ1 ανδ Σ2 αρε ινδεπενδεντ, χοϖ( Σ1 , Σ2 ) = 0, βυτ τηε χονϖερσε ισ νοτ τρυε ιν γενεραλ.

Α.5

Προβαβιλιτψ Τηεορψ

417

Ιν αδδιτιον το ⇒νιτε, σαµπλε σπαχεσ χαν βε ειτηερ χουνταβλψ ορ υνχουνταβλψ ιν⇒νιτε. Ιν τηε λαττερ χασε, τηερε αρε ϖαριουσ τεχηνιχαλ χοµπλιχατιονσ τηατ αρε δισχυσσεδ ιν τηε ρεφερενχεσ. Υνδερ συιταβλε χονδιτιονσ, α χοντινυουσ ρανδοµ ϖαριαβλε Σ, ωηιχη ισ α µαππινγ φροµ α σαµπλε σπαχε το α χοντινυ− ουσ σπαχε συχη ασ τηε ρεαλ νυµβερσ, ηασ α προβαβιλιτψ δενσιτψ φυνχτιον π[σ] δε⇒νεδ βψ % & Π[σ ≤ Σ ≤ σ + %σ] π[σ] = λιµ . (Α.86) %σ→0 %σ

χοντινυουσ ρανδοµ ϖαριαβλε

προβαβιλιτψ δενσιτψ

Θυαντιτιεσ συχη ασ τηε µεαν ανδ ϖαριανχε οφ α χοντινυουσ ρανδοµ ϖαριαβλε αρε δε⇒νεδ ασ φορ α δισχρετε ρανδοµ ϖαριαβλε, βυτ ινϖολϖε ιντεγραλσ οϖερ προβαβιλιτψ δενσιτιεσ ρατηερ τηαν συµσ οϖερ προβαβιλιτιεσ. Σοµε χοµµονλψ υσεδ δισχρετε ανδ χοντινυουσ διστριβυτιονσ αρε λιστεδ ιν τηε ταβλε βελοω. Ναµε

Ρανγε οφ σ

Προβαβιλιτψ

Μεαν

ςαριανχε

Βερνουλλι

σ = 0 ορ 1

πσ (1 − π )1−σ

π

π (1 − π )

Ποισσον

σ = 0, 1, 2, . . .

α εξπ(−α)/σ!

α

α

Εξπονεντιαλ

σ>0

α εξπ(−ασ )

1/α

1/α2

Γαυσσιαν

−∞ < σ < ∞

N [σ; γ, 9]

γ

9

Χαυχηψ

−∞ < σ < ∞

∗α∗

∗ 1/β2 ∗

σ

β/(π((σ − α)2 + β2 ))

ωηερε

(σ − γ )2 N (σ; γ, 9) = √ εξπ − 29 2π9 1

%

&

.

(Α.87)

Ηερε, ωε υσε 9 το δενοτε τηε ϖαριανχε οφ τηε Γαυσσιαν διστριβυτιον, ωηιχη ισ µορε οφτεν ωριττεν ασ σ 2 . Τηε αστερισκσ ιν τηε εντριεσ φορ τηε Χαυχηψ δισ− τριβυτιον ρε⇓εχτ τηε φαχτ τηατ ιτ ηασ συχη ηεαϖψ ταιλσ τηατ τηε ιντεγραλσ δε⇒ν− ινγ ιτσ µεαν ανδ ϖαριανχε δο νοτ χονϖεργε. Νεϖερτηελεσσ, α ανδ 1/β2 πλαψ σιµιλαρ ρολεσ, ανδ αρε χαλλεδ λοχατιον ανδ σχαλε παραµετερσ ρεσπεχτιϖελψ. Τηε Γαυσσιαν διστριβυτιον ισ παρτιχυλαρλψ ιµπορταντ βεχαυσε οφ τηε χεντραλ λιµιτ τηεορεµ. Χονσιδερ µ χοντινυουσ ρανδοµ ϖαριαβλεσ Σ1 , Σ2 , Σ3 , . . . Σµ τηατ αρε ινδεπενδεντ ανδ ηαϖε ιδεντιχαλ διστριβυτιονσ ωιτη ⇒νιτε µεαν γ ανδ ϖαριανχε σ 2 . ∆ε⇒νινγ Ζµ =

µ 1 ! Σκ , µ κ=1

(Α.88)

τηε χεντραλ λιµιτ τηεορεµ στατεσ τηατ, υνδερ ρατηερ γενεραλ χονδιτιονσ, 7√ 8 " σ µ ( Ζµ − γ ) 1 λιµ Π ≤σ = √ δζ εξπ(−ζ2 /2 ) (Α.89) µ→∞ σ 2π −∞ φορ εϖερψ σ. Τηισ ιµπλιεσ τηατ φορ λαργε µ, Ζµ σηουλδ βε αππροξιµατελψ Γαυσσιαν διστριβυτεδ ωιτη µεαν γ ανδ ϖαριανχε σ 2 / µ.

χεντραλ λιµιτ τηεορεµ

418

Α.6

Ματηεµατιχαλ Αππενδιξ

Αννοτατεδ Βιβλιογραπηψ

Μοστ οφ τηε µατεριαλ ιν τηισ αππενδιξ ισ χοϖερεδ ιν στανδαρδ τεξτσ ον µατη− εµατιχαλ µετηοδσ συχη ασ Ματηεωσ & Ωαλκερ (1970) ανδ Βοασ (1996). ∆ισ− χυσσιον οφ ρελεϖαντ χοµπυτατιοναλ τεχηνιθυεσ, ανδ χοδε φορ ιµπλεµεντ− ινγ τηεµ, ισ αϖαιλαβλε ιν Πρεσσ ετ αλ. (1992). Λινεαρ αλγεβρα ισ χοϖερεδ βψ Στρανγ (1976); λινεαρ ανδ νονλινεαρ διφφερεντιαλ εθυατιονσ, βψ ϑορδαν & Σµιτη (1977); προβαβιλιτψ τηεορψ, βψ Φελλερ (1968); ανδ Φουριερ τρανσφορµσ ανδ τηε αναλψσισ οφ λινεαρ σψστεµσ ανδ ελεχτριχαλ χιρχυιτσ, βψ Σιεβερτ (1986) ανδ Οππενηειµ & Ωιλλσκψ (1997). Ματηεµατιχαλ αππροαχηεσ το βιολογι− χαλ προβλεµσ αρε δεσχριβεδ ιν Εδελστειν−Κεσηετ (1988) ανδ Μυρραψ (1993). Μοδερν τεχηνιθυεσ οφ µατηεµατιχαλ µοδελινγ αρε δεσχριβεδ βψ Γερσηεν− φελδ (1999). Γενεραλ ρεφερενχεσ φορ τηε οτηερ βοδιεσ οφ τεχηνιθυεσ υσεδ ιν τηε βοοκ ιν− χλυδε, φορ στατιστιχσ, Λινδγρεν (1993) ανδ Χοξ & Ηινχκλεψ (1974), ανδ φορ ινφορµατιον τηεορψ, Χοϖερ & Τηοµασ (1991).

Ρεφερενχεσ Αββοττ, ΛΦ (1992) Σιµπλε διαγραµµατιχ ρυλεσ φορ σολϖινγ δενδριτιχ χαβλε προβλεµσ. Πηψσιχα Α185:343^356. Αββοττ, ΛΦ (1994) ∆εχοδινγ νευροναλ ⇒ρινγ ανδ µοδελινγ νευραλ νετ− ωορκσ. Θυαρτερλψ Ρεϖιεω οφ Βιοπηψσιχσ 27:291^331. Αββοττ, ΛΦ, & Βλυµ, ΚΙ (1996) Φυνχτιοναλ σιγνι⇒χανχε οφ λονγ−τερµ ποτεν− τιατιον φορ σεθυενχε λεαρνινγ ανδ πρεδιχτιον. Χερεβραλ Χορτεξ 6:406^416. Αββοττ, ΛΦ, Φαρηι, Ε, & Γυτµανν, Σ (1991) Τηε πατη ιντεγραλ φορ δενδριτιχ τρεεσ. Βιολογιχαλ Χψβερνετιχσ 66:49^60. Αββοττ, ΛΦ, ςαρελα, ϑΑ, Σεν, Κ, & Νελσον, ΣΒ (1997) Σψναπτιχ δεπρεσσιον ανδ χορτιχαλ γαιν χοντρολ. Σχιενχε 275:220^224. Αδελσον, ΕΗ, & Βεργεν, ϑΡ (1985) Σπατιοτεµποραλ ενεργψ µοδελσ φορ τηε περχεπτιον οφ µοτιον. ϑουρναλ οφ τηε Οπτιχαλ Σοχιετψ οφ Αµεριχα Α2:284^299. Αηµεδ, Β, Ανδερσον, ϑΧ, ∆ουγλασ, Ρϑ, Μαρτιν, ΚΑΧ, & Ωηιττεραγε, ∆ (1998) Εστιµατεσ οφ τηε νετ εξχιτατορψ χυρρεντσ εϖοκεδ βψ ϖισυαλ στιµυλα− τιον οφ ιδεντι⇒εδ νευρονσ ιν χατ ϖισυαλ χορτεξ. Χερεβραλ Χορτεξ 8:462^476. Αµαρι, Σ (1999) Νατυραλ γραδιεντ λεαρνινγ φορ οϖερ− ανδ υνδερ−χοµπλετε βασεσ ιν ΙΧΑ. Νευραλ Χοµπυτατιον 11:1875^1883. Αµιτ, ∆ϑ (1989) Μοδελινγ Βραιν Φυνχτιον. Νεω Ψορκ: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. Αµιτ, ∆ϑ, & Τσοδψκσ, Μς (1991α) Θυαντιτατιϖε στυδψ οφ αττραχτορ νευραλ νετωορκσ ρετριεϖινγ ατ λοω σπικε ρατεσ. Ι. Συβστρατε−σπικεσ, ρατεσ ανδ νευ− ροναλ γαιν. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 2:259^273. Αµιτ, ∆ϑ, & Τσοδψκσ, Μς (1991β) Θυαντιτατιϖε στυδψ οφ αττραχτορ νευραλ νετωορκσ ρετριεϖινγ ατ λοω σπικε ρατεσ. ΙΙ. Λοω−ρατε ρετριεϖαλ ιν σψµµετ− ριχ νετωορκσ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 2:275^294. Ανδερσεν, ΡΑ (1989) ςισυαλ ανδ εψε µοϖεµεντ φυνχτιονσ οφ ποστεριορ παρι− εταλ χορτεξ. Αννυαλ Ρεϖιεω οφ Νευροσχιενχε 12:377^403. Ατιχκ, ϑϑ (1992) Χουλδ ινφορµατιον τηεορψ προϖιδε αν εχολογιχαλ τηεορψ οφ σενσορψ προχεσσινγ? Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 3:213^251. Ατιχκ, ϑϑ, Λι, Ζ, & Ρεδλιχη, ΑΝ (1992) Υνδερστανδινγ ρετιναλ χολορ χοδινγ φροµ ⇒ρστ πρινχιπλεσ. Νευραλ Χοµπυτατιον 4:559^572. Ατιχκ, ϑϑ, & Ρεδλιχη, ΑΝ (1990) Τοωαρδσ α τηεορψ οφ εαρλψ ϖισυαλ προχεσσινγ. Νευραλ Χοµπυτατιον 2:308^320. Ατιχκ, ϑϑ, & Ρεδλιχη, ΑΝ (1993) Χονϖεργεντ αλγοριτηµ φορ σενσορψ ρεχεπτιϖε ⇒ελδ δεϖελοπµεντ. Νευραλ Χοµπυτατιον 5:45^60. Βαδδελεψ, Ρ, Αββοττ, ΛΦ, Βοοτη, ΜϑΑ, Σενγπιελ, Φ, Φρεεµαν, Τ, Ωακεµαν, ΕΑ, & Ρολλσ, ΕΤ (1997) Ρεσπονσεσ οφ νευρονσ ιν πριµαρψ ανδ ιντεριορ τεµποραλ ϖισυαλ χορτιχεσ το νατυραλ σχενεσ. Προχεεδινγσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον. Β264:1775^1783.

420

Ρεφερενχεσ

Βαιρ, Ω, & Κοχη, Χ (1996) Τεµποραλ πρεχισιον οφ σπικε τραινσ ιν εξτραστρι− ατε χορτεξ οφ τηε βεηαϖινγ µαχαθυε µονκεψ. Νευραλ Χοµπυτατιον 8:1185^ 1202. Βαιρ, Ω, Κοχη, Χ, Νεωσοµε, ΩΤ, & Βριττεν, ΚΗ (1994) Ποωερ σπεχτρυµ αναλψσισ οφ βυρστινγ χελλσ ιν αρεα ΜΤ ιν τηε βεηαϖινγ µονκεψ. ϑουρναλ οφ Νευροσχιενχε 14:2870^2892. Βαλδι, Π, & Ηειλιγενβεργ, Ω (1988) Ηοω σενσορψ µαπσ χουλδ ενηανχε ρεσο− λυτιον τηρουγη ορδερεδ αρρανγεµεντσ οφ βροαδλψ τυνεδ ρεχειϖερσ. Βιολογ− ιχαλ Χψβερνετιχσ 59:313^318. Βαρλοω, ΗΒ (1961) Ποσσιβλε πρινχιπλεσ υνδερλψινγ τηε τρανσφορµατιον οφ σενσορψ µεσσαγεσ. Ιν ΩΑ Ροσενβλιτη, εδ., Σενσορψ Χοµµυνιχατιον. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Βαρλοω, ΗΒ (1989) Υνσυπερϖισεδ λεαρνινγ. Νευραλ Χοµπυτατιον 1:295^311. Βαρλοω, ΗΒ, & Λεϖιχκ, ΩΡ (1965) Τηε µεχηανισµ οφ διρεχτιοναλλψ σελεχτιϖε υνιτσ ιν τηε ραββιτaσ ρετινα. ϑουρναλ οφ Πηψσιολογψ 193:327^342. Βαρτο, ΑΓ, & ∆υφφ, Μ (1994) Μοντε Χαρλο µατριξ ινϖερσιον ανδ ρεινφορχε− µεντ λεαρνινγ. Ιν Γ Τεσαυρο, ϑ∆ Χοωαν, & ϑ Αλσπεχτορ, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψστεµσ, 6, 598^605. Σαν Ματεο, ΧΑ: Μοργαν Καυφµανν. Βαρτο, ΑΓ, Συττον, ΡΣ, & Ανδερσον, ΧΩ (1983) Νευρονλικε ελεµεντσ τηατ χαν σολϖε διφ⇒χυλτ λεαρνινγ προβλεµσ. ΙΕΕΕ Τρανσαχτιονσ ον Σψστεµσ, Μαν, ανδ Χψβερνετιχσ 13:834^846. Βαρτο, ΑΓ, Συττον, ΡΣ, & Ωατκινσ, ΧϑΧΗ (1990) Λεαρνινγ ανδ σεθυεντιαλ δεχισιον µακινγ. Ιν Μ Γαβριελ, & ϑ Μοορε, εδσ., Λεαρνινγ ανδ Χοµπυ− τατιοναλ Νευροσχιενχε: Φουνδατιονσ οφ Αδαπτιϖε Νετωορκσ, 539^602. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Βατταγλια, ΦΠ, & Τρεϖεσ, Α (1998) Αττραχτορ νευραλ νετωορκσ στορινγ µυλτι− πλε σπαχε ρεπρεσεντατιονσ: Α µοδελ φορ ηιπποχαµπαλ πλαχε ⇒ελδσ. Πηψσιχαλ Ρεϖιεω Ε58:7738^7753. Βαυµ, ΛΕ, Πετριε, Ε, Σουλεσ, Γ, & Ωεισσ, Ν (1970) Α µαξιµιζατιον τεχη− νιθυε οχχυρρινγ ιν τηε στατιστιχαλ αναλψσισ οφ προβαβιλιστιχ φυνχτιονσ οφ Μαρκοϖ χηαινσ. Ανναλσ οφ Ματηεµατιχαλ Στατιστιχσ 41:164^171. Βεαρ, ΜΦ, Χοννορσ, ΒΩ, & Παραδισο, ΜΑ (1996) Νευροσχιενχε: Εξπλορινγ τηε Βραιν. Βαλτιµορε: Ωιλλιαµσ & Ωιλκινσ. Βεχκερ, Σ, & Ηιντον, ΓΕ (1992) Α σελφ−οργανιζινγ νευραλ νετωορκ τηατ δισ− χοϖερσ συρφαχεσ ιν ρανδοµ−δοτ στερεογραµσ. Νατυρε 355:161^163. Βεχκερ, Σ, & Πλυµβλεψ, Μ (1996) Υνσυπερϖισεδ νευραλ νετωορκ λεαρνινγ προχεδυρεσ φορ φεατυρε εξτραχτιον ανδ χλασσι⇒χατιον. Ιντερνατιοναλ ϑουρναλ οφ Αππλιεδ Ιντελλιγενχε 6:185^203. Βελλ, Αϑ, & Σεϕνοωσκι, Τϑ (1995) Αν ινφορµατιον µαξιµισατιον αππροαχη το βλινδ σεπαρατιον ανδ βλινδ δεχονϖολυτιον. Νευραλ Χοµπυτατιον 7:1129^ 1159. Βελλ, Αϑ, & Σεϕνοωσκι, Τϑ (1996) Λεαρνινγ τηε ηιγηερ−ορδερ στρυχτυρε οφ α νατυραλ σουνδ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 7:261^267. Βελλ, Αϑ, & Σεϕνοωσκι, Τϑ (1997) Τηε mινδεπενδεντ χοµπονεντσn οφ νατυραλ σχενεσ αρε εδγε ⇒λτερσ. ςισιον Ρεσεαρχη 37:3327^3338. Βελλµαν, ΡΕ (1957) ∆ψναµιχ Προγραµµινγ. Πρινχετον, Νϑ: Πρινχετον Υνι− ϖερσιτψ Πρεσσ. Βεν−Ψισηαι, Ρ, Βαρ−Ορ, ΡΛ, & Σοµπολινσκψ, Η (1995) Τηεορψ οφ οριεντατιον τυνινγ ιν ϖισυαλ χορτεξ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 92:3844^3848.

Ρεφερενχεσ

421

Βερρψ, Μϑ, & Μειστερ, Μ (1998) Ρεφραχτορινεσσ ανδ νευραλ πρεχισιον. ϑουρναλ οφ Νευροσχιενχε 18: 2200^2211. Βερτσεκασ, ∆Π, & Τσιτσικλισ, ϑΝ (1996) Νευρο−∆ψναµιχ Προγραµµινγ. Βελ− µοντ, ΜΑ: Ατηενα Σχιεντι⇒χ. Βιαλεκ, Ω, ∆εΩεεσε, Μ, Ριεκε, Φ, & Ωαρλανδ, ∆ (1993) Βιτσ ανδ βραινσ: Ινφορµατιον ⇓οω ιν τηε νερϖουσ σψστεµ. Πηψσιχα Α200:581^593. Βιαλεκ Ω, Ριεκε Φ, δε Ρυψτερ ϖαν Στεϖενινχκ ΡΡ, & Ωαρλανδ ∆ (1991) Ρεαδ− ινγ α νευραλ χοδε. Σχιενχε 252:1854^1857. Βιενενστοχκ, ΕΛ, Χοοπερ, ΛΝ, & Μυνρο, ΠΩ (1982) Τηεορψ φορ τηε δεϖελ− οπµεντ οφ νευρον σελεχτιϖιτψ: Οριεντατιον σπεχι⇒χιτψ ανδ βινοχυλαρ ιν− τεραχτιον ιν ϖισυαλ χορτεξ. ϑουρναλ οφ Νευροσχιενχε 2:32^48. Βισηοπ, ΧΜ (1995) Νευραλ Νετωορκσ φορ Παττερν Ρεχογνιτιον. Οξφορδ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Βλυµ, ΚΙ, & Αββοττ, ΛΦ (1996) Α µοδελ οφ σπατιαλ µαπ φορµατιον ιν τηε ηιπποχαµπυσ οφ τηε ρατ. Νευραλ Χοµπυτατιον 8:85^93. Βοασ, ΜΛ (1966) Ματηεµατιχαλ Μετηοδσ ιν τηε Πηψσιχαλ Σχιενχεσ. Νεω Ψορκ: Ωιλεψ. δε Βοερ, Ε, & Κυψπερ, Π (1968) Τριγγερεδ χορρελατιον. ΙΕΕΕ Βιοµεδιχαλ Ενγι− νεερινγ 15:169^179. Βοωερ, ϑΜ, & Βεεµαν, ∆ (1998) Τηε Βοοκ οφ ΓΕΝΕΣΙΣ: Εξπλορινγ Ρεαλιστιχ Νευραλ Μοδελσ ωιτη τηε ΓΕνεραλ ΝΕυραλ ΣΙµυλατιον Σψστεµ. Σαντα Χλαρα, ΧΑ: Τελοσ. Βραιτενβεργ, ς, & Σχηυζ, Α (1991) Ανατοµψ οφ τηε Χορτεξ. Βερλιν: Σπρινγερ− ςερλαγ. Βρεσσλοφφ, ΠΧ, & Χοοµβεσ, Σ (2000) ∆ψναµιχσ οφ στρονγλψ χουπλεδ σπικινγ νευρονσ. Νευραλ Χοµπυτατιον 12:91^129. Βριττεν, ΚΗ, Σηαδλεν, ΜΝ, Νεωσοµε, ΩΤ, & Μοϖσηον, ϑΑ (1992) Τηε αναλ− ψσισ οφ ϖισυαλ µοτιον: Α χοµπαρισον οφ νευροναλ ανδ πσψχηοπηψσιχαλ περφορµανχε. ϑουρναλ οφ Νευροσχιενχε 12:4745^4765. Βροτχηιε ΠΡ, Ανδερσεν ΡΑ, Σνψδερ ΛΗ, & Γοοδµαν Σϑ (1995) Ηεαδ ποσι− τιον σιγναλσ υσεδ βψ παριεταλ νευρονσ το ενχοδε λοχατιονσ οφ ϖισυαλ στιµ− υλι. Νατυρε 375:232^235. Βυρτ, Πϑ, & Αδελσον, ΕΗ (1983) Τηε Λαπλαχιαν πψραµιδ ασ α χοµπαχτ ιµαγε χοδε. ΙΕΕΕ Τρανσαχτιονσ ον Χοµµυνιχατιονσ 31:532^540. Βυσσγανγ, ϑϑ (1952) Χροσσ−χορρελατιον φυνχτιονσ οφ αµπλιτυδε−διστορτεδ Γαυσσιαν σιγναλσ. ΜΙΤ Ρεσεαρχη Λαβορατορψ φορ Ελεχτρονιχ Τεχηνολογψ Ρεπορτ 216:1^14. Βυσσγανγ, ϑϑ (1975) Χροσσ−χορρελατιον φυνχτιονσ οφ αµπλιτυδε−διστορτεδ Γαυσσιαν ινπυτσ. Ιν ΑΗ Ηαδδαδ, εδ., Νονλινεαρ Σψστεµσ. Στρουδσβυργ, ΠΑ: ∆οωδεν, Ηυτχηινσον & Ροσσ. × ψ (1911) Ηιστολογιε δυ Σψστεµε Νερϖευξ δε λ[Ηοµµε ετ δεσ Χαϕαλ, Σ Ραµον ςερτ×εβρ×εσ. (Τρανσλατεδ βψ Λ Αζουλαψ). Παρισ: Μαλοινε. Ενγλιση τρανσλατιον βψ Ν Σωανσον, & ΛΩ Σωανσον (1995) Ηιστολογψ οφ τηε Νερϖουσ Σψστεµσ οφ Μαν ανδ ςερτεβρατεσ. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Χαµπβελλ, ΦΩ, & Γυβισχη, ΡΩ (1966) Οπτιχαλ θυαλιτψ οφ τηε ηυµαν εψε. ϑουρναλ οφ Πηψσιολογψ 186:558^578. Χαρανδινι Μ, Ηεεγερ ∆ϑ, & Μοϖσηον ϑΑ (1996) Λινεαριτψ ανδ γαιν χοντρολ ιν ς1 σιµπλε χελλσ. Ιν ΕΓ ϑονεσ, & ΠΣ Υλινσκι, εδσ. Χερεβραλ Χορτεξ. ςολ. 10, Χορτιχαλ Μοδελσ. Νεω Ψορκ: Πλενυµ Πρεσσ. Χαρανδινι, Μ, & Ρινγαχη, ∆Λ (1997). Πρεδιχτιονσ οφ α ρεχυρρεντ µοδελ οφ οριεντατιον σελεχτιϖιτψ. ςισιον Ρεσεαρχη 37:3061^3071.

422

Ρεφερενχεσ

Χαρπεντερ, ΓΑ, & Γροσσβεργ, Σ, εδσ. (1991) Παττερν Ρεχογνιτιον βψ Σελφ− Οργανιζινγ Νευραλ Νετωορκ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Χηανχε, ΦΣ (2000) Μοδελινγ Χορτιχαλ ∆ψναµιχσ ανδ τηε Ρεσπονσεσ οφ Νευρονσ ιν τηε Πριµαρψ ςισυαλ Χορτεξ. Πη.∆. δισσερτατιον, Βρανδεισ Υνιϖερσιτψ. Χηανχε, ΦΣ, Νελσον, ΣΒ, & Αββοττ, ΛΦ (1998) Σψναπτιχ δεπρεσσιον ανδ τηε τεµποραλ ρεσπονσε χηαραχτεριστιχσ οφ ς1 σιµπλε χελλσ. ϑουρναλ οφ Νευρο− σχιενχε 18:4785^4799. Χηανχε, ΦΣ, Νελσον, ΣΒ, & Αββοττ, ΛΦ (1999) Χοµπλεξ χελλσ ασ χορτιχαλλψ αµπλι⇒εδ σιµπλε χελλσ. Νατυρε Νευροσχιενχε 2:277^282. Χηαυϖιν, Ψ, & Ρυµεληαρτ, ∆Ε, εδσ. (1995) Βαχκ Προπαγατιον: Τηεορψ, Αρχηι− τεχτυρεσ, ανδ Αππλιχατιονσ. Ηιλλσδαλε, Νϑ: Ερλβαυµ. Χηυρχηλανδ, ΠΣ, & Σεϕνοωσκι, Τϑ (1992) Τηε Χοµπυτατιοναλ Βραιν. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Χοηεν, ΜΑ, & Γροσσβεργ, Σ (1983). Αβσολυτε σταβιλιτψ οφ γλοβαλ παττερν φορµατιον ανδ παραλλελ µεµορψ στοραγε βψ χοµπετιτιϖε νευραλ νετωορκσ. ΙΕΕΕ Τρανσαχτιονσ ον Σψστεµσ, Μαν, ανδ Χψβερνετιχσ 13:815^826. Χοµπτε, Α, Βρυνελ, Ν, Γολδµαν−Ρακιχ, ΠΣ, & Ωανγ, Ξϑ (2000) Σψναπτιχ µεχηανισµσ ανδ νετωορκ δψναµιχσ υνδερλψινγ σπατιαλ ωορκινγ µεµ− ορψ ιν α χορτιχαλ νετωορκ µοδελ. Χερεβραλ Χορτεξ 10:910^923. Χοννορ, ϑΑ, & Στεϖενσ, ΧΦ (1971) Πρεδιχτιον οφ ρεπετιτιϖε ⇒ρινγ βεηαϖιουρ φροµ ϖολταγε χλαµπ δατα ον αν ισολατεδ νευρονε σοµα. ϑουρναλ οφ Πηψσιολ− ογψ 213:31^53. Χοννορ, ϑΑ, Ωαλτερ, ∆, & ΜχΚοων, Ρ (1977) Νευραλ ρεπετιτιϖε ⇒ρινγ: µοδι− ⇒χατιονσ οφ τηε Ηοδγκιν−Ηυξλεψ αξον συγγεστεδ βψ εξπεριµενταλ ρεσυλτσ φροµ χρυσταχεαν αξονσ. Βιοπηψσιχαλ ϑουρναλ 18:81^102. Χοϖερ, ΤΜ (1965) Γεοµετριχαλ ανδ στατιστιχαλ προπερτιεσ οφ σψστεµσ οφ λιν− εαρ ινεθυαλιτιεσ ωιτη αππλιχατιον ιν παττερν ρεχογνιτιον. ΙΕΕΕ Τρανσαχτιονσ ον Ελεχτρονιχ Χοµπυτερσ ΕΧ14:326^334. Χοϖερ, ΤΜ, & Τηοµασ, ϑΑ (1991) Ελεµεντσ οφ Ινφορµατιον Τηεορψ. Νεω Ψορκ: Ωιλεψ. Χοξ, ∆Ρ (1962) Ρενεωαλ Τηεορψ. Λονδον: Μετηυεν; Νεω Ψορκ: Ωιλεψ. Χοξ, ∆Ρ, & Ηινχκλεψ, ∆ς (1974) Τηεορετιχαλ Στατιστιχσ. Λονδον: Χηαπµαν & Ηαλλ. Χοξ, ∆Ρ, & Ισηαµ, ς (1980) Ποιντ Προχεσσεσ. Νεω Ψορκ: Χηαπµαν & Ηαλλ. Χραιρ, ΜΧ, Γιλλεσπιε, ∆Χ, & Στρψκερ, ΜΠ (1998) Τηε ρολε οφ ϖισυαλ εξπερι− ενχε ιν τηε δεϖελοπµεντ οφ χολυµνσ ιν χατ ϖισυαλ χορτεξ. Σχιενχε 279:566^ 570. Χροωλεψ, ϑΧ, & Κατζ, ΛΧ (1999) ∆εϖελοπµεντ οφ οχυλαρ δοµινανχε χολυµνσ ιν τηε αβσενχε οφ ρετιναλ ινπυτ. Νατυρε Νευροσχιενχε 2:1125^1130. ∆αν, Ψ, Ατιχκ, ϑϑ, & Ρειδ, ΡΧ (1996) Εφ⇒χιεντ χοδινγ οφ νατυραλ σχενεσ ιν τηε λατεραλ γενιχυλατε νυχλευσ: Εξπεριµενταλ τεστ οφ α χοµπυτατιοναλ τηεορψ. ϑουρναλ οφ Νευροσχιενχε 16:3351^3362. ∆αυβεχηιεσ, Ι (1992) Τεν Λεχτυρεσ ον Ωαϖελετσ. Πηιλαδελπηια: Σοχιετψ φορ Ιν− δυστριαλ ανδ Αππλιεδ Ματηεµατιχσ. ∆αυβεχηιεσ, Ι, Γροσσµανν, Α, & Μεψερ, Ψ (1986) Παινλεσσ νονορτηογοναλ εξπανσιονσ. ϑουρναλ οφ Ματηεµατιχαλ Πηψσιχσ 27:1271^1283. ∆αυγµαν, ϑΓ (1985) Υνχερταιντψ ρελατιον φορ ρεσολυτιον ιν σπαχε, σπατιαλ φρεθυενχψ, ανδ οριεντατιον οπτιµιζατιον βψ τωο−διµενσιοναλ ϖισυαλ χορ− τιχαλ ⇒λτερσ. ϑουρναλ οφ τηε Οπτιχαλ Σοχιετψ οφ Αµεριχα 2:1160^1169. ∆αψαν, Π, Ηιντον, ΓΕ, Νεαλ, ΡΜ, & Ζεµελ, ΡΣ (1995) Τηε Ηελµηολτζ µα− χηινε. Νευραλ Χοµπυτατιον 7:889^904.

Ρεφερενχεσ

423

∆εΑνγελισ, ΓΧ, Οηζαωα, Ι, & Φρεεµαν, Ρ∆ (1995) Ρεχεπτιϖε ⇒ελδ δψναµ− ιχσ ιν τηε χεντραλ ϖισυαλ πατηωαψσ. Τρενδσ ιν Νευροσχιενχε 18:451^458. ∆εµπστερ, ΑΠ, Λαιρδ, ΝΜ, & Ρυβιν, ∆Β (1977) Μαξιµυµ λικελιηοοδ φροµ ινχοµπλετε δατα ϖια τηε ΕΜ αλγοριτηµ. ϑουρναλ οφ τηε Ροψαλ Στατιστιχαλ Σοχι− ετψ Β39:1^38. ∆εστεξηε, Α, Μαινεν, Ζ, & Σεϕνοωσκι, Τ (1994) Σψντηεσισ οφ µοδελσ φορ εξχιταβλε µεµβρανεσ, σψναπτιχ τρανσµισσιον ανδ νευροµοδυλατιον υσινγ α χοµµον κινετιχ φορµαλισµ. ϑουρναλ οφ Χοµπυτατιοναλ Νευροσχιενχε 1:195^ 230. ∆ε ςαλοισ, ΡΛ, & ∆ε ςαλοισ, ΚΚ (1990) Σπατιαλ ςισιον. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. ∆ιχκινσον, Α (1980) Χοντεµποραρψ Ανιµαλ Λεαρνινγ Τηεορψ. Χαµβριδγε: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. ∆ονγ, ∆Ω, & Ατιχκ, ϑϑ (1995) Τεµποραλ δεχορρελατιον: Α τηεορψ οφ λαγγεδ ανδ νονλαγγεδ ρεσπονσεσ ιν τηε λατεραλ γενιχυλατε νυχλευσ. Νετωορκ: Χοµ− πυτατιον ιν Νευραλ Σψστεµσ 6:159^178. ∆ουγλασ, Ρϑ, Κοχη, Χ, Μαηοωαλδ, Μ, Μαρτιν, ΚΑΧ, & Συαρεζ, ΗΗ (1995) Ρεχυρρεντ εξχιτατιον ιν νεοχορτιχαλ χιρχυιτσ. Σχιενχε 269:981^985. ∆ουγλασ, Ρϑ, & Μαρτιν, ΚΑΧ (1998). Νεοχορτεξ. Ιν ΓΜ Σηεπηερδ, εδ., Τηε Σψναπτιχ Οργανισατιον οφ τηε Βραιν. 4τη εδ., 459^509. Οξφορδ: Οξφορδ Υνι− ϖερσιτψ Πρεσσ. ∆οωλινγ, ϑΕ (1987) Τηε Ρετινα: Αν Αππροαχηαβλε Παρτ οφ τηε Βραιν. Χαµ− βριδγε, ΜΑ: Βελλκναπ Πρεσσ. ∆οωλινγ, ϑΕ (1992) Αν Ιντροδυχτιον το Νευροσχιενχε. Χαµβριδγε, ΜΑ: Βελλκ− ναπ Πρεσσ. ∆υδα, ΡΟ, & Ηαρτ, ΠΕ (1973) Παττερν Χλασσι⇒χατιον ανδ Σχενε Αναλψσισ. Νεω Ψορκ: Ωιλεψ. ∆υδα, ΡΟ, Ηαρτ, ΠΕ, & Στορκ, ∆Γ (2000) Παττερν Χλασσι⇒χατιον. Νεω Ψορκ: Ωιλεψ. ∆υρβιν, Ρ, & Μιτχηισον, Γ (1990) Α διµενσιον ρεδυχτιον φραµεωορκ φορ χορτιχαλ µαπσ. Νατυρε 343:644^647. ∆υρβιν, Ρ, & Ωιλλσηαω, ∆ϑ (1987) Αν αναλογυε αππροαχη το τηε τραϖελλινγ σαλεσµαν προβλεµ υσινγ αν ελαστιχ νετ µετηοδ. Νατυρε 326:689^691. Εδελστειν−Κεσηετ, Λ (1988) Ματηεµατιχαλ Μοδελσ ιν Βιολογψ. Νεω Ψορκ: Ραν− δοµ Ηουσε. Ενγελ, ΑΚ, Κονιγ, Π, & Σινγερ, Ω (1991) ∆ιρεχτ πηψσιολογιχαλ εϖιδενχε φορ σχενε σεγµεντατιον βψ τεµποραλ χοδινγ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 88:9136^9140. Ενροτη−Χυγελλ, Χ, & Ροβσον, ϑΓ (1966) Τηε χοντραστ σενσιτιϖιτψ οφ ρετιναλ γανγλιον χελλσ οφ τηε χατ. ϑουρναλ οφ Πηψσιολογψ 187:517^522. Ερµεντρουτ, ΓΒ (1998) Νευραλ νετωορκσ ασ σπατιο−τεµποραλ παττερν−φορµ− ινγ σψστεµσ. Ρεπορτσ ον Προγρεσσ ιν Πηψσιχσ 64:353^430. Ερµεντρουτ, ΓΒ, & Χοωαν, ϑ (1979) Α µατηεµατιχαλ τηεορψ οφ ϖισυαλ ηαλ− λυχινατιον παττερνσ. Βιολογιχαλ Χψβερνετιχσ 34:137^150. Ερωιν, Ε, Οβερµαψερ, Κ, & Σχηυλτεν, Κ (1995) Μοδελσ οφ οριεντατιον ανδ οχυλαρ δοµινανχε χολυµνσ ιν τηε ϖισυαλ χορτεξ: Α χριτιχαλ χοµπαρισον. Νευραλ Χοµπυτατιον 7:425^468. Εϖεριττ, ΒΣ (1984) Αν Ιντροδυχτιον το Λατεντ ςαριαβλε Μοδελσ. Λονδον: Χηαπ− µαν & Ηαλλ. Φελλερ, Ω (1968) Αν Ιντροδυχτιον το Προβαβιλιτψ Τηεορψ ανδ Ιτσ Αππλιχατιον. Νεω Ψορκ: Ωιλεψ.

424

Ρεφερενχεσ

Φερστερ, ∆ (1994) Λινεαριτψ οφ σψναπτιχ ιντεραχτιονσ ιν τηε ασσεµβλψ οφ ρε− χεπτιϖε ⇒ελδσ ιν χατ ϖισυαλ χορτεξ. Χυρρεντ Οπινιον ιν Νευροβιολογψ 4:563^ 568. Φιελδ, ∆ϑ (1987) Ρελατιονσ βετωεεν τηε στατιστιχσ οφ νατυραλ ιµαγεσ ανδ τηε ρεσπονσε προπερτιεσ οφ χορτιχαλ χελλσ. ϑουρναλ οφ τηε Οπτιχαλ Σοχιετψ οφ Αµερ− ιχα Α4:2379^2394. Φιελδ, ∆ϑ (1994) Ωηατ ισ τηε γοαλ οφ σενσορψ χοδινγ? Νευραλ Χοµπυτατιον 6:559^601. ♦ ακ, Π (1989) Αδαπτιϖε νετωορκ φορ οπτιµαλ λινεαρ φεατυρε εξτραχτιον. Φολδι× Ιν Προχεεδινγσ οφ τηε ΙΕΕΕ/ΙΝΝΣ Ιντερνατιοναλ ϑοιντ Χονφερενχε ον Νευραλ Νετωορκσ, 401^405. Νεω Ψορκ: ΙΕΕΕ Πρεσσ. ♦ ακ, Π (1991) Λεαρνινγ ινϖαριανχε φροµ τρανσφορµεδ σεθυενχεσ. Νευραλ Φολδι× Χοµπυτατιον 3:194^200. Φοστερ, ∆ϑ, Μορρισ, ΡΓΜ, & ∆αψαν, Π (2000) Μοδελσ οφ ηιπποχαµπαλλψ δεπενδεντ ναϖιγατιον υσινγ τηε τεµποραλ διφφερενχε λεαρνινγ ρυλε. Ηιπ− ποχαµπυσ 10:1^16. Φρεεµαν, Ωϑ, & Σχηνειδερ, Ω (1982) Χηανγεσ ιν σπατιαλ παττερνσ οφ ραββιτ ολφαχτορψ ΕΕΓ ωιτη χονδιτιονινγ το οδορσ. Πσψχηοπηψσιολογψ 19:44^56. Φριστον, Κϑ, Τονονι, Γ, Ρεεκε, ΓΝ ϑρ, Σπορνσ, Ο, & Εδελµαν, ΓΜ (1994) ςαλυε−δεπενδεντ σελεχτιον ιν τηε βραιν: Σιµυλατιον ιν α σψντηετιχ νευραλ µοδελ. Νευροσχιενχε 59:229^243. Φυστερ, ϑΜ (1995) Μεµορψ ιν τηε Χερεβραλ Χορτεξ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Γαββιανι, Φ, & Κοχη, Χ (1998) Πρινχιπλεσ οφ σπικε τραιν αναλψσισ. Ιν Χ Κοχη, & Ι Σεγεϖ, εδσ., Μετηοδσ οφ Νευροναλ Μοδελινγ, 313^360. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Γαββιανι, Φ, Μετζνερ, Ω, Ωεσσελ, Ρ, & Κοχη, Χ (1996) Φροµ στιµυλυσ εν− χοδινγ το φεατυρε εξτραχτιον ιν ωεακλψ ελεχτριχ ⇒ση. Νατυρε 384:564^567. Γαβορ ∆ (1946) Τηεορψ οφ χοµµυνιχατιον. ϑουρναλ οφ τηε Ινστιτυτιον οφ Ελεχ− τριχαλ Ενγινεερσ 93:429^457. Γαβριελ, Μ, & Μοορε, ϑΩ, εδσ. (1990) Λεαρνινγ ανδ Χοµπυτατιοναλ Νευρο− σχιενχε. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Γαλλιστελ, ΧΡ (1990) Τηε Οργανιζατιον οφ Λεαρνινγ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Γαλλιστελ, ΧΡ, & Γιββον, ϑ (2000) Τιµε, ρατε ανδ χονδιτιονινγ. Πσψχηολογιχαλ Ρεϖιεω 107:289^344. Γεοργοπουλοσ, ΑΠ, Καλασκα, ϑΦ, Χαµινιτι, Ρ, & Μασσεψ, ϑΤ (1982) Ον τηε ρε− λατιονσ βετωεεν τηε διρεχτιονσ οφ τωο−διµενσιοναλ αρµ µοϖεµεντσ ανδ χελλ δισχηαργε ιν πριµατε µοτορ χορτεξ. ϑουρναλ οφ Νευροσχιενχε 2:1527^ 1537. Γεοργοπουλοσ, ΑΠ, Κεττνερ, ΡΕ, & Σχηωαρτζ, ΑΒ (1988) Πριµατε µοτορ χορ− τεξ ανδ φρεε αρµ µοϖεµεντσ το ϖισυαλ ταργετσ ιν τηρεε−διµενσιοναλ σπαχε. ΙΙ. Χοδινγ οφ τηε διρεχτιον οφ µοϖεµεντ βψ α νευροναλ ποπυλατιον. Νευ− ροσχιενχε 8:2928^2937. Γεοργοπουλοσ, ΑΠ, Σχηωαρτζ, ΑΒ, & Κεττνερ, ΡΕ (1986) Νευροναλ ποπυλα− τιον χοδινγ οφ µοϖεµεντ διρεχτιον. Σχιενχε 243:1416^1419. Γερσηενφελδ, ΝΑ (1999) Τηε Νατυρε οφ Ματηεµατιχαλ Μοδελινγ. Χαµβριδγε: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. Γερστνερ, Ω (1998) Σπικινγ νευρονσ. Ιν Ω Μαασσ, & ΧΜ Βισηοπ, εδσ., Πυλσεδ Νευραλ Νετωορκσ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ, 3^54.

Ρεφερενχεσ

425

ϖαν Γισβεργεν, ϑΑΜ, ςαν Οπσταλ, Αϑ, & Ταξ, ΑΜΜ (1987) Χολλιχυλαρ εν− σεµβλε χοδινγ οφ σαχχαδεσ βασεδ ον ϖεχτορ συµµατιον. Νευροσχιενχε 21:541^555. Γλυχκ, ΜΑ, Ρειφσνιδερ, ΕΣ, & Τηοµπσον, ΡΦ (1990) Αδαπτιϖε σιγναλ προ− χεσσινγ ανδ τηε χερεβελλυµ: Μοδελσ οφ χλασσιχαλ χονδιτιονινγ ανδ ςΟΡ αδαπτατιον. Ιν ΜΑ Γλυχκ, & ∆Ε Ρυµεληαρτ, εδσ., Νευροσχιενχε ανδ Χον− νεχτιονιστ Τηεορψ. ∆εϖελοπµεντσ ιν Χοννεχτιονιστ Τηεορψ, 131^185. Ηιλλσδαλε, Νϑ: Ερλβαυµ. Γλυχκ, ΜΑ, & Ρυµεληαρτ, ∆Ε, εδσ. (1990) Νευροσχιενχε ανδ Χοννεχτιονιστ Τηεορψ. Ηιλλσδαλε, Νϑ: Ερλβαυµ. Γολδµαν−Ρακιχ, ΠΣ (1994) Χελλυλαρ βασισ οφ ωορκινγ µεµορψ. Νευρον 14:477^485. Γοοδαλλ, ΜΧ (1960) Περφορµανχε οφ α στοχηαστιχ νετ. Νατυρε 185:557^558. Γοοδηιλλ, Γϑ (1993) Τοπογραπηψ ανδ οχυλαρ δοµινανχε: Α µοδελ εξπλορ− ινγ ποσιτιϖε χορρελατιονσ. Βιολογιχαλ Χψβερνετιχσ 69:109^118. Γοοδηιλλ, Γϑ, & Ριχηαρδσ, Λϑ (1999) Ρετινοτεχταλ µαπσ: Μολεχυλεσ, µοδελσ ανδ µισπλαχεδ δατα. Τρενδσ ιν Νευροσχιενχε 22:529^534. Γοοδηιλλ, Γϑ, & Ωιλλσηαω, ∆ϑ (1990) Αππλιχατιον οφ τηε ελαστιχ νετ αλγο− ριτηµ το τηε φορµατιον οφ οχυλαρ δοµινανχε στριπεσ. Νετωορκ: Χοµπυτα− τιον ιν Νευραλ Σψστεµσ 1:41^61. Γραηαµ, ΝςΣ (1989) ςισυαλ Παττερν Αναλψζερσ. Νεω Ψορκ: Οξφορδ Υνιϖερ− σιτψ Πρεσσ. Γραζιανο, ΜΣΑ, Ηυ, ΞΤ, & Γροσσ, ΧΓ (1997) ςισυοσπατιαλ προπερτιεσ οφ ϖεντραλ πρεµοτορ χορτεξ. ϑουρναλ οφ Νευροπηψσιολογψ 77:2268^2292. Γρεεν, ∆Μ, & Σωετσ, ϑΑ (1966) Σιγναλ ∆ετεχτιον Τηεορψ ανδ Πσψχηοπηψσιχσ. Λοσ Αλτοσ, ΧΑ: Πενινσυλα Πυβλισηινγ. Γρενανδερ, Υ (1995) Ελεµεντσ οφ Παττερν Τηεορψ. Βαλτιµορε: ϑοηνσ Ηοπκινσ Υνιϖερσιτψ Πρεσσ. Γροσσβεργ Σ (1982) Προχεσσινγ οφ εξπεχτεδ ανδ υνεξπεχτεδ εϖεντσ δυρινγ χονδιτιονινγ ανδ αττεντιον: Α πσψχηοπηψσιολογιχαλ τηεορψ. Πσψχηολογιχαλ Ρεϖιεω 89:529^572. Γροσσβεργ, Σ, εδ. (1987) Τηε Αδαπτιϖε Βραιν. ςολσ. 1 ανδ 2. Αµστερδαµ: Ελσε− ϖιερ. Γροσσβεργ, Σ, εδ. (1988) Νευραλ Νετωορκσ ανδ Νατυραλ Ιντελλιγενχε. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Γροσσβεργ, Σ, & Σχηµαϕυκ, ΝΑ (1989) Νευραλ δψναµιχσ οφ αδαπτιϖε τιµ− ινγ ανδ τεµποραλ δισχριµινατιον δυρινγ ασσοχιατιϖε λεαρνινγ. Νευραλ Νετ− ωορκσ 2:79^102. Ηαβερλψ, ΛΒ (1990) Ολφαχτορψ χορτεξ. Ιν ΓΜ Σηεπηερδ, εδ., Τηε Σψναπτιχ Οργανιζατιον οφ τηε Βραιν. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Ηαηνλοσερ, ΡΗ, Σαρπεσηκαρ, Ρ, Μαηοωαλδ, ΜΑ, ∆ουγλασ, Ρϑ, & Σευνγ, ΗΣ (2000) ∆ιγιταλ σελεχτιον ανδ αναλογυε αµπλι⇒χατιον χοεξιστ ιν α χορτεξ− ινσπιρεδ σιλιχον χιρχυιτ. Νατυρε 405:947^951. Ηαµµερ, Μ (1993) Αν ιδεντι⇒εδ νευρον µεδιατεσ τηε υνχονδιτιονεδ στιµ− υλυσ ιν ασσοχιατιϖε ολφαχτορψ λεαρνινγ ιν ηονεψβεεσ. Νατυρε 336:59^63. ϖαν Ηατερεν, ϑΗ (1992) Α τηεορψ οφ µαξιµιζινγ σενσορψ ινφορµατιον. Βιο− λογιχαλ Χψβερνετιχσ 68:23^29. ϖαν Ηατερεν, ϑΗ (1993) Τηρεε µοδεσ οφ σπατιοτεµποραλ πρεπροχεσσινγ βψ εψεσ. ϑουρναλ οφ Χοµπαρατιϖε Πηψσιολογψ Α172:583^591. Ηεββ, ∆Ο (1949) Τηε Οργανιζατιον οφ Βεηαϖιορ: Α Νευροπσψχηολογιχαλ Τηεορψ. Νεω Ψορκ: Ωιλεψ.

426

Ρεφερενχεσ

Ηεεγερ, ∆ϑ (1992) Νορµαλιζατιον οφ χελλ ρεσπονσεσ ιν χατ στριατε χορτεξ. ςι− συαλ Νευροσχιενχε 9:181^198. Ηεεγερ, ∆ϑ (1993) Μοδελινγ σιµπλε−χελλ διρεχτιον σελεχτιϖιτψ ωιτη νορµαλ− ιζεδ, ηαλφ−σθυαρεδ, λινεαρ οπερατορσ. ϑουρναλ οφ Νευροπηψσιολογψ 70:1885^ 1898. Ηενρψ, ΓΗ, ∆ρεηερ, Β, & Βισηοπ, ΠΟ (1974) Οριεντατιον σπεχι⇒χιτψ οφ χελλσ ιν χατ στριατε χορτεξ. ϑουρναλ οφ Νευροπηψσιολογψ 37:1394^1409. Ηερραυλτ, ϑ, & ϑυττεν, Χ (1986) Σπαχε ορ τιµε αδαπτιϖε σιγναλ προχεσσινγ βψ νευραλ νετωορκσ. Ιν ϑΣ ∆ενκερ, εδ., Νευραλ Νετωορκσ φορ Χοµπυτινγ. Νεω Ψορκ: Αµεριχαν Ινστιτυτε φορ Πηψσιχσ. Ηερτζ, ϑ, Κρογη, Α, & Παλµερ, ΡΓ (1991) Ιντροδυχτιον το τηε Τηεορψ οφ Νευραλ Χοµπυτατιον. Ρεδωοοδ Χιτψ, ΧΑ: Αδδισον−Ωεσλεψ. Ηιλλε, Β (1992) Ιονιχ Χηαννελσ οφ Εξχιταβλε Μεµβρανεσ. Συνδερλανδ, ΜΑ: Σιν− αυερ Ασσοχιατεσ. Ηινεσ, ΜΛ (1984) Εφ⇒χιεντ χοµπυτατιον οφ βρανχηεδ νερϖε εθυατιονσ. Ιν− τερνατιοναλ ϑουρναλ οφ Βιοµεδιχαλ Χοµπυτατιον 15:69^76. Ηινεσ, ΜΛ, & Χαρνεϖαλε, ΝΤ (1997) Τηε ΝΕΥΡΟΝ σιµυλατιον ενϖιρον− µεντ. Νευραλ Χοµπυτατιον 9:1179^1209. Ηιντον, ΓΕ (1981) Σηαπε ρεπρεσεντατιον ιν παραλλελ σψστεµσ. Ιν Προχεεδινγσ οφ τηε Σεϖεντη Ιντερνατιοναλ ϑοιντ Χονφερενχε ον Αρτι⇒χιαλ Ιντελλιγενχε, 1088^ 1096. ςανχουϖερ, ΒΧ. Ηιντον, ΓΕ (1984) ∆ιστριβυτεδ Ρεπρεσεντατιονσ. Τεχηνιχαλ ρεπορτ ΧΜΥ−ΧΣ− 84−157, Χοµπυτερ Σχιενχε ∆επαρτµεντ, Χαρνεγιε−Μελλον Υνιϖερσιτψ. Ηιντον, ΓΕ (1989) Χοννεχτιονιστ λεαρνινγ προχεδυρεσ. Αρτι⇒χιαλ Ιντελλιγενχε 40:185^234. Ηιντον, ΓΕ (2000) Τραινινγ Προδυχτσ οφ Εξπερτσ βψ Μινιµιζινγ Χοντραστιϖε ∆ι− ϖεργενχε. Γατσβψ Χοµπυτατιοναλ Νευροσχιενχε Υνιτ, Υνιϖερσιτψ Χολλεγε Λονδον, τεχηνιχαλ ρεπορτ 2000−004. Ηιντον, ΓΕ, ∆αψαν, Π, Φρεψ, Βϑ, & Νεαλ, ΡΜ (1995) Τηε ωακε−σλεεπ αλγο− ριτηµ φορ υνσυπερϖισεδ νευραλ νετωορκσ. Σχιενχε 268:1158^1160. Ηιντον, ΓΕ, & Γηαηραµανι, Ζ (1997) Γενερατιϖε µοδελσ φορ δισχοϖερινγ σπαρσε διστριβυτεδ ρεπρεσεντατιονσ. Πηιλοσοπηιχαλ Τρανσαχτιονσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον. Β352:1177^1190. Ηιντον, ΓΕ, & Σεϕνοωσκι, Τϑ (1986) Λεαρνινγ ανδ ρελεαρνινγ ιν Βολτζµανν µαχηινεσ. Ιν ∆Ε Ρυµεληαρτ, & ϑΛ ΜχΧλελλανδ, εδσ., Παραλλελ ∆ιστριβυτεδ Προχεσσινγ: Εξπλορατιονσ ιν τηε Μιχροστρυχτυρε οφ Χογνιτιον. ςολ. 1, Φουνδα− τιονσ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ, 282−317. Ηιντον, ΓΕ, & Ζεµελ, ΡΣ (1994) Αυτοενχοδερσ, µινιµυµ δεσχριπτιον λενγτη ανδ Ηελµηολτζ φρεε ενεργψ. Ιν ϑ∆ Χοωαν, Γ Τεσαυρο, & ϑ Αλσπεχ− τορ, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψστεµσ, 6, 3^10. Σαν Ματεο, ΧΑ: Μοργαν Καυφµανν. Ηοδγκιν, ΑΛ, & Ηυξλεψ, ΑΦ (1952) Α θυαντιτατιϖε δεσχριπτιον οφ µεµ− βρανε χυρρεντ ανδ ιτσ αππλιχατιον το χονδυχτιον ανδ εξχιτατιον ιν νερϖε. ϑουρναλ οφ Πηψσιολογψ 117:500^544. Ηολτ, ΓΡ, Σοφτκψ, ΓΩ, Κοχη, Χ, & ∆ουγλασ, Ρϑ (1996) Χοµπαρισον οφ δισ− χηαργε ϖαριαβιλιτψ ιν ϖιτρο ανδ ιν ϖιϖο ιν χατ ϖισυαλ χορτεξ νευρονσ. ϑουρναλ οφ Νευροπηψσιολογψ 75:1806^1814. Ηοπ⇒ελδ, ϑϑ (1982) Νευραλ νετωορκσ ανδ σψστεµσ ωιτη εµεργεντ σελεχτιϖε χοµπυτατιοναλ αβιλιτιεσ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 79:2554^2558.

Ρεφερενχεσ

427

Ηοπ⇒ελδ, ϑϑ (1984) Νευρονσ ωιτη γραδεδ ρεσπονσε ηαϖε χολλεχτιϖε χοµ− πυτατιοναλ προπερτιεσ λικε τηοσε οφ τωο−στατε νευρονσ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 81:3088^3092. Ηουκ, ϑΧ, Αδαµσ, ϑΛ, & Βαρτο, ΑΓ (1995) Α µοδελ οφ ηοω τηε βασαλ γανγλια γενερατε ανδ υσε νευραλ σιγναλσ τηατ πρεδιχτ ρεινφορχεµεντ. Ιν ϑΧ Ηουκ, ϑΛ ∆αϖισ, & ∆Γ Βεισερ, εδσ., Μοδελσ οφ Ινφορµατιον Προχεσσινγ ιν τηε Βασαλ Γανγλια, 249^270. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ηουκ, ϑΧ, ∆αϖισ, ϑΛ, & Βεισερ, ∆Γ, εδσ. (1995) Μοδελσ οφ Ινφορµατιον Προχεσσ− ινγ ιν τηε Βασαλ Γανγλια. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ηυβελ, ∆Η (1988) Εψε, Βραιν, ανδ ςισιον. Νεω Ψορκ: ΩΗ Φρεεµαν. Ηυβελ, ∆Η, & Ωιεσελ, ΤΝ (1962) Ρεχεπτιϖε ⇒ελδσ, βινοχυλαρ ιντεραχτιον ανδ φυνχτιοναλ αρχηιτεχτυρε ιν τηε χατaσ ϖισυαλ χορτεξ. ϑουρναλ οφ Πηψσιολογψ 160:106^154. Ηυβελ, ∆Η, & Ωιεσελ, ΤΝ (1968) Ρεχεπτιϖε ⇒ελδσ ανδ φυνχτιοναλ αρχηιτεχ− τυρε οφ τηε µονκεψ στριατε χορτεξ. ϑουρναλ οφ Πηψσιολογψ 195:215^243. Ηυβελ, ∆Η, & Ωιεσελ, ΤΝ (1977) Φυνχτιοναλ αρχηιτεχτυρε οφ µαχαθυε µον− κεψ ϖισυαλ χορτεξ. Προχεεδινγσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον Β198:1^59. Ηυβενερ, Μ, Σηοηαµ, ∆, Γρινϖαλδ, Α, & Βονηοεφφερ, Τ (1997) Σπατιαλ ρελα− τιονσηιπσ αµονγ τηρεε χολυµναρ σψστεµσ ιν χατ αρεα 17. ϑουρναλ οφ Νευρο− σχιενχε 17:9270^9284. Ηυβερ, Πϑ (1985) Προϕεχτιον πυρσυιτ. Ανναλσ οφ Στατιστιχσ 13:435^475. Ηυγυεναρδ, ϑΡ, & ΜχΧορµιχκ, ∆Α (1992) Σιµυλατιον οφ τηε χυρρεντσ ιν− ϖολϖεδ ιν ρηψτηµιχ οσχιλλατιονσ ιν τηαλαµιχ ρελαψ νευρονσ. ϑουρναλ οφ Νευ− ροπηψσιολογψ 68:1373^1383. Ηυµπηρεψ, ∆Ρ, Σχηµιδτ, ΕΜ, & Τηοµπσον, Ω∆ (1970) Πρεδιχτινγ µεα− συρεσ οφ µοτορ περφορµανχε φροµ µυλτιπλε χορτιχαλ σπικε τραινσ. Σχιενχε 170:758^761. Ιντρατορ, Ν, & Χοοπερ, ΛΝ (1992) Οβϕεχτιϖε φυνχτιον φορµυλατιον οφ τηε ΒΧΜ τηεορψ οφ ϖισυαλ χορτιχαλ πλαστιχιτψ: Στατιστιχαλ χοννεχτιονσ, σταβιλιτψ χονδιτιονσ. Νευραλ Νετωορκσ 5:3^17. ϑαχκ, ϑϑΒ, Νοβλε, ∆, & Τσιεν, ΡΩ (1975) Ελεχτριχαλ Χυρρεντ Φλοω ιν Εξχιταβλε Χελλσ. Οξφορδ: Οξφορδ Υνιϖερσιτψ Πρεσσ. ϑαηρ, ΧΕ, & Στεϖενσ, ΧΦ (1990) Α θυαντιτατιϖε δεσχριπτιον οφ ΝΜ∆Α ρεχεπ− τορ χηαννελ κινετιχ βεηαϖιορ. ϑουρναλ οφ Νευροσχιενχε 10:1830^1837. ϑοηνστον, ∆, & Ωυ, ΣΜ (1995) Φουνδατιονσ οφ Χελλυλαρ Νευροπηψσιολογψ. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. ϑολλιφφε, ΙΤ (1986) Πρινχιπαλ Χοµπονεντ Αναλψσισ. Νεω Ψορκ: Σπρινγερ−ςερλαγ. ϑονεσ, ϑ, & Παλµερ, Λ (1987α) Τηε τωο−διµενσιοναλ σπατιαλ στρυχτυρε οφ σιµπλε ρεχεπτιϖε ⇒ελδσ ιν χατ στριατε χορτεξ. ϑουρναλ οφ Νευροπηψσιολογψ 58:1187^1211. ϑονεσ, ϑ, & Παλµερ, Λ (1987β) Αν εϖαλυατιον οφ τηε τωο−διµενσιοναλ Γα− βορ ⇒λτερ µοδελ οφ σιµπλε ρεχεπτιϖε ⇒ελδσ ιν χατ στριατε χορτεξ. ϑουρναλ οφ Νευροπηψσιολογψ 58:1233^1258. ϑορδαν, ∆Ω, & Σµιτη, Π (1977) Νονλινεαρ Ορδιναρψ ∆ιφφερεντιαλ Εθυατιονσ. Οξφορδ: Χλαρενδον Πρεσσ. ϑορδαν, ΜΙ, εδ. (1998) Λεαρνινγ ιν Γραπηιχαλ Μοδελσ. ∆ορδρεχητ: Κλυωερ Αχαδεµιχ Πυβλισηερσ. ϑορδαν, ΜΙ, Γηαηραµανι, Ζ, ϑαακκολα, ΤΣ, & Σαυλ, ΛΚ (1998). Αν ιντρο− δυχτιον το ϖαριατιοναλ µετηοδσ φορ γραπηιχαλ µοδελσ. Ιν ΜΙ ϑορδαν, εδ., Λεαρνινγ ιν Γραπηιχαλ Μοδελσ, 105^162. ∆ορδρεχητ: Κλυωερ Αχαδεµιχ Πυβ− λισηερσ.

428

Ρεφερενχεσ

Καλασκα, ϑΦ, Χαµινιτι, Ρ, & Γεοργοπουλοσ, ΑΠ (1983) Χορτιχαλ µεχηανισµσ ρελατεδ το τηε διρεχτιον οφ τωο−διµενσιοναλ αρµ µοϖεµεντσ: Ρελατιονσ ιν παριεταλ αρεα 5 ανδ χοµπαρισον ωιτη µοτορ χορτεξ. Εξπεριµενταλ Βραιν Ρεσεαρχη 51:247^260. Κανδελ, ΕΡ, & Σχηωαρτζ, ϑΗ, εδσ. (1985) Πρινχιπλεσ οφ Νευραλ Σχιενχε. 2νδ εδ. Νεω Ψορκ: ΜχΓραω−Ηιλλ. Κανδελ, ΕΡ, Σχηωαρτζ, ϑΗ, & ϑεσσελ, ΤΜ, εδσ. (1991) Πρινχιπλεσ οφ Νευραλ Σχιενχε. 3ρδ εδ. Νεω Ψορκ: ΜχΓραω−Ηιλλ. Κανδελ, ΕΡ, Σχηωαρτζ, ϑΗ, & ϑεσσελ, ΤΜ, εδσ. (2000) Πρινχιπλεσ οφ Νευραλ Σχιενχε. 4τη εδ. Νεω Ψορκ: ΜχΓραω−Ηιλλ. Καρασαριδισ, Α, & Σιµονχελλι, ΕΠ (1996) Α ⇒λτερ δεσιγν τεχηνιθυε φορ στεερ− αβλε πψραµιδ ιµαγε τρανσφορµσ. Προχεεδινγσ οφ τηε Ιντερνατιοναλ Χονφερενχε ον Αχουστιχσ, Σπεεχη ανδ Σιγναλ Προχεσσινγ, 2387^2390. Νεω Ψορκ: ΙΕΕΕ. Καωατο, Μ, Ηαψακαµα, Η, & Ινυι, Τ (1993) Α φορωαρδ−ινϖερσε οπτιχσ µοδελ οφ ρεχιπροχαλ χοννεχτιονσ βετωεεν ϖισυαλ χορτιχαλ αρεασ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 4:415^422. Κεαρνσ, Μϑ, & ςαζιρανι, Υς (1994) Αν Ιντροδυχτιον το Χοµπυτατιοναλ Λεαρν− ινγ Τηεορψ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Κεηοε, Εϑ (1977) Εφφεχτσ οφ Σεριαλ Χοµπουνδ Στιµυλι ον Στιµυλυσ Σελεχτιον ιν Χλασσιχαλ Χονδιτιονινγ οφ τηε Ραββιτ Νιχτιτατινγ Μεµβρανε Ρεσπονσε. Πη.∆. δισσερτατιον, Υνιϖερσιτψ οφ Ιοωα. Κεµπτερ Ρ, Γερστνερ Ω, & ϖαν Ηεµµεν ϑΛ (1999) Ηεββιαν λεαρνινγ ανδ σπικινγ νευρονσ. Πηψσιχαλ Ρεϖιεω Ε59:4498^4514. Κοχη, Χ (1998) Βιοπηψσιχσ οφ Χοµπυτατιον: Ινφορµατιον Προχεσσινγ ιν Σινγλε Νευρονσ. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Κοχη, Χ, & Σεγεϖ, Ι, εδσ. (1998) Μετηοδσ ιν Νευροναλ Μοδελινγ: Φροµ Σψναπσεσ το Νετωορκσ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Κονορσκι, ϑ (1967) Ιντεγρατιϖε Αχτιϖιτψ οφ τηε Βραιν. Χηιχαγο: Υνιϖερσιτψ οφ Χηιχαγο Πρεσσ. Λαπιχθυε, Λ (1907) Ρεχηερχηεσ θυαντιτατιϖεσ συρ λaεξχιτατιον ελεχτριθυε δεσ νερφσ τραιτεε χοµµε υνε πολαριζατιον. ϑουρναλ δε Πηψσιολογιε ετ Πατηολογιε Γ×εν×εραλ 9:620^635. Λαυγηλιν, Σ (1981) Α σιµπλε χοδινγ προχεδυρε ενηανχεσ α νευρονaσ ινφορ− µατιον χαπαχιτψ. Ζειτσχηριφτ φυρ ♦ Νατυρφορσχηυνγ 36:910^912. Λαυριτζεν, ΣΛ (1996) Γραπηιχαλ Μοδελσ. Οξφορδ: Χλαρενδον Πρεσσ. Λεε, Χ, Ροηρερ, ΩΗ, & Σπαρκσ, ∆Λ (1988) Ποπυλατιον χοδινγ οφ σαχχαδιχ εψε µοϖεµεντσ βψ νευρονσ ιν τηε συπεριορ χολλιχυλυσ. Νατυρε 332:357^360. Λεεν, ΤΚ (1991) ∆ψναµιχσ οφ λεαρνινγ ιν ρεχυρρεντ φεατυρε−δισχοϖερψ νετ− ωορκσ. Ιν ΡΠ Λιππµανν, ϑΕ Μοοδψ, & ∆Σ Τουρετζκψ, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψστεµσ, 3. Σαν Ματεο, ΧΑ: Μοργαν Καυφ− µανν, 70^76. ΛεΜασσον, Γ, Μαρδερ, Ε, & Αββοττ, ΛΦ (1993) Αχτιϖιτψ−δεπενδεντ ρεγυλα− τιον οφ χονδυχτανχεσ ιν µοδελ νευρονσ. Σχιενχε 259:1915^1917. Λεωισ, ϑΕ, & Κρισταν, ΩΒ (1998) Α νευροναλ νετωορκ φορ χοµπυτινγ ποπυ− λατιον ϖεχτορσ ιν τηε λεεχη. Νατυρε 391:76^79. Λι, Ζ (1995) Μοδελινγ τηε σενσορψ χοµπυτατιονσ οφ τηε ολφαχτορψ βυλβ. Ιν Ε ∆οµανψ, ϑΛ ϖαν Ηεµµεν, & Κ Σχηυλτεν, εδσ., Μοδελσ οφ Νευραλ Νετωορκσ, ςολυµε 2. Νεω Ψορκ: Σπρινγερ−ςερλαγ, 221^251. Λι, Ζ (1996) Α τηεορψ οφ τηε ϖισυαλ µοτιον χοδινγ ιν τηε πριµαρψ ϖισυαλ χορτεξ. Νευραλ Χοµπυτατιον 8:705^730.

Ρεφερενχεσ

429

Λι, Ζ (1998) Α νευραλ µοδελ οφ χοντουρ ιντεγρατιον ιν τηε πριµαρψ ϖισυαλ χορτεξ. Νευραλ Χοµπυτατιον 10:903^940. Λι, Ζ (1999) ςισυαλ σεγµεντατιον βψ χοντεξτυαλ ιν⇓υενχεσ ϖια ιντρα−χορτιχαλ ιντεραχτιονσ ιν τηε πριµαρψ ϖισυαλ χορτεξ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 10:187^212. Λι, Ζ, & Ατιχκ, ϑϑ (1994α) Εφ⇒χιεντ στερεο χοδινγ ιν τηε µυλτισχαλε ρεπρεσεν− τατιον. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 5:157^174. Λι, Ζ, & Ατιχκ, ϑϑ (1994β) Τοωαρδ α τηεορψ οφ τηε στριατε χορτεξ. Νευραλ Χοµ− πυτατιον 6:127^146. Λι, Ζ, & ∆αψαν, Π (1999) Χοµπυτατιοναλ διφφερενχεσ βετωεεν ασψµµετρι− χαλ ανδ σψµµετριχαλ νετωορκσ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 10:59^78. Λι, Ζ, & Ηοπ⇒ελδ, ϑϑ (1989) Μοδελινγ τηε ολφαχτορψ βυλβ ανδ ιτσ νευραλ οσ− χιλλατορψ προχεσσινγσ. Βιολογιχαλ Χψβερνετιχσ 61:379^392. Λινδγρεν, ΒΩ (1993) Στατιστιχαλ Τηεορψ. 4τη εδ. Νεω Ψορκ: Χηαπµαν & Ηαλλ. Λινσκερ, Ρ (1986) Φροµ βασιχ νετωορκ πρινχιπλεσ το νευραλ αρχηιτεχτυρε. Προ− χεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 83:7508^7512, 8390^8394, 8779^8783. Λινσκερ, Ρ (1988) Σελφ−οργανιζατιον ιν α περχεπτυαλ νετωορκ. Χοµπυτερ 21:105^117. Λισµαν, ϑΕ (1997) Βυρστσ ασ α υνιτ οφ νευραλ ινφορµατιον: µακινγ υνρελιαβλε σψναπσεσ ρελιαβλε. Τρενδσ ιν Νευροσχιενχε 20:38^43. Λιυ, Ζ, Γολοωασχη, ϑ, Μαρδερ, Ε, & Αββοττ, ΛΦ (1998) Α µοδελ νευρον ωιτη αχτιϖιτψ−δεπενδεντ χονδυχτανχεσ ρεγυλατεδ βψ µυλτιπλε χαλχιυµ σενσορσ. ϑουρναλ οφ Νευροσχιενχε 18:2309^2320. ΜαχΚαψ, ∆ϑΧ (1996) Μαξιµυµ Λικελιηοοδ ανδ Χοϖαριαντ Αλγοριτηµσ φορ Ινδε− πενδεντ Χοµπονεντσ Αναλψσισ. Υνπυβλισηεδ µανυσχριπτ. ΜαχΚαψ, ∆ϑΧ, & Μιλλερ, Κ∆ (1990) Αναλψσισ οφ Λινσκερaσ αππλιχατιον οφ Ηεββιαν ρυλεσ το λινεαρ νετωορκσ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψσ− τεµσ 1:257^299. ΜαχΚαψ, ∆Μ (1956) Τηε επιστεµολογιχαλ προβλεµ φορ αυτοµατα. Ιν ΧΕ Σηαννον, & ϑ ΜχΧαρτηψ, εδσ., Αυτοµατα Στυδιεσ, 235^251. Πρινχετον, Νϑ: Πρινχετον Υνιϖερσιτψ Πρεσσ. Μαχκιντοση, Νϑ (1983) Χονδιτιονινγ ανδ Ασσοχιατιϖε Λεαρνινγ. Οξφορδ: Οξ− φορδ Υνιϖερσιτψ Πρεσσ. Μαγλεβψ, ΚΛ (1987) Σηορτ−τερµ χηανγεσ ιν σψναπτιχ εφ⇒χαχψ. Ιν Γ Εδελµαν, Ω Γαλλ, & Ω Χοωαν, εδσ., Σψναπτιχ Φυνχτιον, 21^56. Νεω Ψορκ: Ωιλεψ. Μανγελ, Μ, & Χλαρκ, ΧΩ (1988) ∆ψναµιχ Μοδελινγ ιν Βεηαϖιοραλ Εχολογψ. Πρινχετον, Νϑ: Πρινχετον Υνιϖερσιτψ Πρεσσ. Μαλλατ, ΣΓ (1998) Α Ωαϖελετ Τουρ οφ Σιγναλ Προχεσσινγ. Σαν ∆ιεγο, ΧΑ: Αχα− δεµιχ Πρεσσ. Μαρδερ, Ε, & Χαλαβρεσε, ΡΛ (1996) Πρινχιπλεσ οφ ρηψτηµιχ µοτορ παττερν γενερατιον. Πηψσιολογιχαλ Ρεϖιεω 76:687^717. Μαρκραµ, Η, Λυβκε, ϑ, Φροτσχηερ, Μ, & Σακµανν, Β (1997) Ρεγυλατιον οφ σψναπτιχ εφ⇒χαχψ βψ χοινχιδενχε οφ ποστσψναπτιχ ΑΠσ ανδ ΕΠΣΠσ. Σχιενχε 275:213^215. Μαρκραµ, Η, & Τσοδψκσ, Μ (1996) Ρεδιστριβυτιον οφ σψναπτιχ εφ⇒χαχψ βε− τωεεν νεοχορτιχαλ πψραµιδαλ νευρονσ. Νατυρε 382:807^810. Μαρκραµ, Η, Ωανγ, Ψ, & Τσοδψκσ, Μς (1998) ∆ιφφερεντιαλ σιγναλλινγ ϖια τηε σαµε αξον οφ νεοχορτιχαλ πψραµιδαλ νευρονσ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 95:5323^5328.

430

Ρεφερενχεσ

Μαρµαρελισ, ΠΖ, & Μαρµαρελισ, ςΖ (1978) Αναλψσισ οφ Πηψσιολογιχαλ Σψστεµσ: Τηε Ωηιτε−Νοισε Αππροαχη. Νεω Ψορκ: Πλενυµ Πρεσσ. Μαροµ, Σ, & Αββοττ, ΛΦ (1994) Μοδελινγ στατε−δεπενδεντ ιναχτιϖατιον οφ µεµβρανε χυρρεντσ. Βιοπηψσιχαλ ϑουρναλ 67:515^520. Μαρρ, ∆ (1970) Α τηεορψ φορ χερεβραλ νεοχορτεξ. Προχεεδινγσ οφ τηε Ροψαλ Σο− χιετψ οφ Λονδον. Β176:161^234. Μασχαγνι, Μ, & Σηερµαν, Α (1998) Νυµεριχαλ µετηοδσ φορ νευροναλ µοδ− ελινγ. Ιν Χ Κοχη, & Ι Σεγεϖ, εδσ., Μετηοδσ ιν Νευροναλ Μοδελινγ: Φροµ Σψναπσεσ το Νετωορκσ, 569^606. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ματηεωσ, ϑ, & Ωαλκερ, ΡΛ (1970) Ματηεµατιχαλ Μετηοδσ οφ Πηψσιχσ. Νεω Ψορκ: Βενϕαµιν. Μαυκ, Μ∆, & ∆ονεγαν, ΝΗ (1997) Α µοδελ οφ Παϖλοϖιαν χονδιτιονινγ βασεδ ον τηε σψναπτιχ οργανιζατιον οφ τηε χερεβελλυµ. Λεαρνινγ ανδ Μεµ− ορψ 4:130^158. ΜχΧορµιχκ, ∆Α (1990) Μεµβρανε προπερτιεσ ανδ νευροτρανσµιττερ αχ− τιονσ. Ιν ΓΜ Σηεπηερδ, εδ., Τηε Σψναπτιχ Οργανιζατιον οφ τηε Βραιν. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Μεητα, ΜΡ, Βαρνεσ, ΧΑ, & ΜχΝαυγητον, ΒΛ (1997) Εξπεριενχε−δεπενδεντ, ασψµµετριχ εξπανσιον οφ ηιπποχαµπαλ πλαχε ⇒ελδσ. Προχεεδινγσ οφ τηε Να− τιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 94:8918^8921. Μεητα, ΜΡ, Θυιρκ, ΜΧ, & Ωιλσον, Μ (2000) Εξπεριενχε δεπενδεντ ασψµ− µετριχ σηαπε οφ ηιπποχαµπαλ ρεχεπτιϖε ⇒ελδσ. Νευρον 25:707^715. Μιλλερ, Κ∆ (1994) Α µοδελ φορ τηε δεϖελοπµεντ οφ σιµπλε χελλ ρεχεπ− τιϖε ⇒ελδσ ανδ τηε ορδερεδ αρρανγεµεντ οφ οριεντατιον χολυµνσ τηρουγη αχτιϖιτψ−δεπενδεντ χοµπετιτιον βετωεεν ον− ανδ οφφ−χεντερ ινπυτσ. ϑουρ− ναλ οφ Νευροσχιενχε 14:409^441. Μιλλερ, Κ∆ (1996α) Ρεχεπτιϖε ⇒ελδσ ανδ µαπσ ιν τηε ϖισυαλ χορτεξ: Μοδ− ελσ οφ οχυλαρ δοµινανχε ανδ οριεντατιον χολυµνσ. Ιν Ε ∆οµανψ, ϑΛ ϖαν Ηεµµεν, & Κ Σχηυλτεν, εδσ., Μοδελσ οφ Νευραλ Νετωορκσ, ςολυµε 3, 55^78. Νεω Ψορκ: Σπρινγερ−ςερλαγ. Μιλλερ, Κ∆ (1996β) Σψναπτιχ εχονοµιχσ: χοµπετιτιον ανδ χοοπερατιον ιν σψναπτιχ πλαστιχιτψ. Νευρον 17:371^374. Μιλλερ, Κ∆, Κελλερ, ϑΒ, & Στρψκερ, ΜΠ (1989) Οχυλαρ δοµινανχε χολυµν δε− ϖελοπµεντ: Αναλψσισ ανδ σιµυλατιον. Σχιενχε 245:605^615. Μιλλερ, Κ∆, & ΜαχΚαψ, ∆ϑΧ (1994) Τηε ρολε οφ χονστραιντσ ιν Ηεββιαν λεαρν− ινγ. Νευραλ Χοµπυτατιον 6:100^126. Μιναι, ΑΑ, & Λεϖψ, ΩΒ (1993) Σεθυενχε λεαρνινγ ιν α σινγλε τριαλ. Ιντερνα− τιοναλ Νευραλ Νετωορκ Σοχιετψ Ωορλδ Χονγρεσσ οφ Νευραλ Νετωορκσ ΙΙ. Πορτ− λανδ, ΟΡ: Ιντερνατιοναλ Νευραλ Νετωορκ Σοχιετψ, 505^508. Μινσκψ, Μ, & Παπερτ, Σ (1969) Περχεπτρονσ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Μιρενοωιχζ, ϑ, & Σχηυλτζ, Ω (1994) Ιµπορτανχε οφ υνπρεδιχταβιλιτψ φορ ρε− ωαρδ ρεσπονσεσ ιν πριµατε δοπαµινε νευρονσ. ϑουρναλ οφ Νευροπηψσιολογψ 72:1024^1027. Μονταγυε, ΠΡ, ∆αψαν, Π, Περσον, Χ, & Σεϕνοωσκι Τϑ (1995) Βεε φοραγινγ ιν υνχερταιν ενϖιρονµεντσ υσινγ πρεδιχτιϖε Ηεββιαν λεαρνινγ. Νατυρε 377:725^728. Μονταγυε, ΠΡ, ∆αψαν, Π, & Σεϕνοωσκι, Τϑ (1996) Α φραµεωορκ φορ µεσεν− χεπηαλιχ δοπαµινε σψστεµσ βασεδ ον πρεδιχτιϖε Ηεββιαν λεαρνινγ. ϑουρ− ναλ οφ Νευροσχιενχε 16:1936^1947.

Ρεφερενχεσ

431

Μοϖσηον ϑΑ, Τηοµπσον Ι∆, & Τοληυρστ ∆ϑ (1978α) Σπατιαλ συµµατιον ιν τηε ρεχεπτιϖε ⇒ελδσ οφ σιµπλε χελλσ ιν τηε χατaσ στριατε χορτεξ. ϑουρναλ οφ Νευροπηψσιολογψ 283:53^77. Μοϖσηον ϑΑ, Τηοµπσον Ι∆, & Τοληυρστ ∆ϑ (1978β) Σπατιαλ ανδ τεµποραλ χοντραστ σενσιτιϖιτψ οφ νευρονεσ ιν αρεασ 17 ανδ 18 οφ τηε χατaσ ϖισυαλ χορ− τεξ. ϑουρναλ οφ Νευροπηψσιολογψ 283:101^120. Μυµφορδ, ∆ (1994) Νευροναλ αρχηιτεχτυρεσ φορ παττερν−τηεορετιχ προβλεµσ. Ιν Χ Κοχη, & ϑ ∆αϖισ, εδσ., Λαργε−Σχαλε Τηεοριεσ οφ τηε Χορτεξ, 125^152. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Μυρραψ, ϑ∆ (1993) Ματηεµατιχαλ Βιολογψ. Νεω Ψορκ: Σπρινγερ−ςερλαγ. Ναρενδρα, ΚΣ, & Τηαταχηαρ, ΜΑΛ (1989) Λεαρνινγ Αυτοµατα: Αν Ιντροδυχ− τιον. Ενγλεωοοδ Χλιφφσ, Νϑ: Πρεντιχε−Ηαλλ. Νεαλ, ΡΜ (1993) Προβαβιλιστιχ Ινφερενχε Υσινγ Μαρκοϖ Χηαιν Μοντε Χαρλο Μετηοδσ. ∆επαρτµεντ οφ Χοµπυτερ Σχιενχε, Υνιϖερσιτψ οφ Τοροντο, τεχη− νιχαλ τεπορτ ΧΡΓ−ΤΡ−93−1. Νεαλ, ΡΜ, & Ηιντον, ΓΕ (1998) Α ϖιεω οφ τηε ΕΜ αλγοριτηµ τηατ ϕυστι⇒εσ ινχρεµενταλ, σπαρσε, ανδ οτηερ ϖαριαντσ. Ιν ΜΙ ϑορδαν, εδ., Λεαρνινγ ιν Γραπηιχαλ Μοδελσ, 355^368. ∆ορδρεχητ: Κλυωερ Αχαδεµιχ Πυβλισηερσ. Νεισσερ, Υ (1967) Χογνιτιϖε Πσψχηολογψ. Νεω Ψορκ: Αππλετον−Χεντυρψ− Χροφτσ. Νεωσοµε, ΩΤ, Βριττεν, ΚΗ, & Μοϖσηον, ϑΑ (1989) Νευραλ χορρελατεσ οφ α περχεπτυαλ δεχισιον. Νατυρε 341:52^54. Νιχηολλσ, ϑΓ, Μαρτιν, Ρ, & Ωαλλαχε, ΒΓ (1992) Φροµ Νευρον το Βραιν: Α Χελ− λυλαρ ανδ Μολεχυλαρ Αππροαχη το τηε Φυνχτιον οφ τηε Νερϖουσ Σψστεµ. Συνδερ− λανδ, ΜΑ: Σιναυερ Ασσοχιατεσ. Νοωλαν, Σϑ (1991) Σοφτ Χοµπετιτιϖε Αδαπτατιον: Νευραλ Νετωορκ Λεαρνινγ Αλ− γοριτηµσ Βασεδ ον Φιττινγ Στατιστιχαλ Μιξτυρεσ. Πη.∆. δισσερτατιον, Χαρνεγιε− Μελλον Υνιϖερσιτψ. Οβερµαψερ, Κ, & Βλασδελ, ΓΓ (1993) Γεοµετρψ οφ οριεντατιον ανδ οχυ− λαρ δοµινανχε χολυµνσ ιν µονκεψ στριατε χορτεξ. ϑουρναλ οφ Νευροσχιενχε 13:4114^4129. Οβερµαψερ, Κ, Βλασδελ, ΓΓ, & Σχηυλτεν, Κ (1992) Στατιστιχαλ−µεχηανιχαλ αναλψσισ οφ σελφ−οργανιζατιον ανδ παττερν φορµατιον δυρινγ τηε δεϖελοπ− µεντ οφ ϖισυαλ µαπσ. Πηψσιχαλ Ρεϖιεω Α 45:7568^7589. Οϕα, Ε (1982) Α σιµπλι⇒εδ νευρον µοδελ ασ α πρινχιπαλ χοµπονεντ ανα− λψζερ. ϑουρναλ οφ Ματηεµατιχαλ Βιολογψ 16:267^273 ΟaΚεεφε, ϑ, & Ρεχχε, ΜΛ (1993) Πηασε ρελατιονσηιπ βετωεεν ηιπποχαµπαλ πλαχε υνιτσ ανδ τηε ΕΕΓ τηετα ρηψτηµ. Ηιπποχαµπυσ 3:317^330. ΟaΚεεφε, ΛΠ, Βαιρ, Ω, & Μοϖσηον, ϑΑ (1997) Ρεσπονσε ϖαριαβιλιτψ οφ ΜΤ νευρονσ ιν µαχαθυε µονκεψ. Σοχιετψ φορ Νευροσχιενχε Αβστραχτσ 23:1125. Ολσηαυσεν, Β (1996) Λεαρνινγ Λινεαρ, Σπαρσε, Φαχτοριαλ Χοδεσ. ΜΙΤ ΑΙ Λαβ, ΜΙΤ, ΑΙ−µεµο 1580. Ολσηαυσεν, ΒΑ, & Φιελδ, ∆ϑ (1996) Εµεργενχε οφ σιµπλε−χελλ ρεχεπτιϖε ⇒ελδ προπερτιεσ βψ λεαρνινγ α σπαρσε χοδε φορ νατυραλ ιµαγεσ. Νατυρε 381:607^ 609. Ολσηαυσεν, ΒΑ, & Φιελδ, ∆ϑ (1997) Σπαρσε χοδινγ ωιτη αν οϖερχοµπλετε βασισ σετ: Α στρατεγψ εµπλοψεδ βψ ς1? ςισιον Ρεσεαρχη 37:3311^3325. Οππενηειµ, Ας, & Ωιλλσκψ, ΑΣ, ωιτη Ναωαβ, Η (1997) Σιγναλσ ανδ Σψστεµσ. 2νδ εδ. Υππερ Σαδδλε Ριϖερ, Νϑ: Πρεντιχε−Ηαλλ.

432

Ρεφερενχεσ

♦ ακ, Π, Περρεττ, ∆Ι, & Σενγπιελ, Φ (1998) Τηε mιδεαλ ηο− Οραµ, ΜΩ, Φολδι× µυνχυλυσn: ∆εχοδινγ νευραλ ποπυλατιον σιγναλσ. Τρενδσ ιν Νευροσχιενχε 21:259^265. Ορβαν, ΓΑ (1984) Νευροναλ Οπερατιονσ ιν τηε ςισυαλ Χορτεξ. Βερλιν: Σπρινγερ− ςερλαγ. ΟaΡειλλψ, ΡΧ (1996) Βιολογιχαλλψ πλαυσιβλε ερρορ−δριϖεν λεαρνινγ υσινγ λοχαλ αχτιϖατιον διφφερενχεσ: Τηε γενεραλισεδ ρεχιρχυλατιον αλγοριτηµ. Νευραλ Χοµπυτατιον 8:895^938. Παραδισο, ΜΑ (1988) Α τηεορψ φορ τηε υσε οφ ϖισυαλ οριεντατιον ινφορµατιον ωηιχη εξπλοιτσ τηε χολυµναρ στρυχτυρε οφ στριατε χορτεξ. Βιολογιχαλ Χψβερ− νετιχσ 58:35^49. Παρκερ, Αϑ, & Νεωσοµε, ΩΤ (1998) Σενσε ανδ τηε σινγλε νευρον: Προβινγ τηε πηψσιολογψ οφ περχεπτιον. Αννυαλ Ρεϖιεω οφ Νευροσχιενχε 21:227^277. Πατλακ, ϑ (1991) Μολεχυλαρ κινετιχσ οφ ϖολταγε−δεπενδεντ Να+ χηαννελσ. Πηψσιολογιχαλ Ρεϖιεω 71:1047^1080. Πεαρλ, ϑ (1988) Προβαβιλιστιχ Ρεασονινγ ιν Ιντελλιγεντ Σψστεµσ: Νετωορκσ οφ Πλαυ− σιβλε Ινφερενχε. Σαν Ματεο, ΧΑ: Μοργαν Καυφµανν. Πεαρλµυττερ, ΒΑ, & Παρρα, ΛΧ (1996) Α χοντεξτ−σενσιτιϖε γενεραλιζατιον οφ ΙΧΑ. Ιν Σ−Ι Αµαρι, Λ Ξυ, Λ−Ω Χηαν, & Ι Κινγ, εδσ., Προχεεδινγσ οφ τηε Ιν− τερνατιοναλ Χονφερενχε ον Νευραλ Ινφορµατιον Προχεσσινγ 1996, 151^157. Σιν− γαπορε: Σπρινγερ−ςερλαγ. Πεχε, ΑΕΧ (1992) Ρεδυνδανχψ ρεδυχτιον οφ α Γαβορ ρεπρεσεντατιον: Α ποσ− σιβλε χοµπυτατιοναλ ρολε φορ φεεδβαχκ φροµ πριµαρψ ϖισυαλ χορτεξ το λατ− εραλ γενιχυλατε νυχλευσ. Ιν Ι Αλεκσανδερ, & ϑ Ταψλορ, εδσ., Αρτι⇒χιαλ Νευραλ Νετωορκσ, 2, 865^868. Αµστερδαµ: Ελσεϖιερ. Περχιϖαλ, ∆Β, & Ωαλδρον, ΑΤ (1993) Σπεχτραλ Αναλψσισ φορ Πηψσιχαλ Αππλιχα− τιονσ. Χαµβριδγε: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. Πιεπενβροχκ, Χ, & Οβερµαψερ, Κ (1999) Τηε ρολε οφ λατεραλ χορτιχαλ χοµπε− τιτιον ιν οχυλαρ δοµινανχε δεϖελοπµεντ. Ιν ΜΣ Κεαρνσ, ΣΑ Σολλα, & ∆Α Χοην, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψστεµσ, 11. Χαµ− βριδγε, ΜΑ: ΜΙΤ Πρεσσ. Πλυµβλεψ, Μ∆ (1991) Ον Ινφορµατιον Τηεορψ ανδ Υνσυπερϖισεδ Νευραλ Νετ− ωορκσ. Χαµβριδγε Υνιϖερσιτψ Ενγινεερινγ ∆επαρτµεντ, Χαµβριδγε, τεχη− νιχαλ ρεπορτ ΧΥΕ∆/Φ−ΙΝΦΕΝΓ/ΤΡ.78. Πογγιο, ΓΦ, & Ταλβοτ ΩΗ (1981) Μεχηανισµσ οφ στατιχ ανδ δψναµιχ στερε− οπσισ ιν φοϖεαλ χορτεξ οφ τηε ρηεσυσ µονκεψ. ϑουρναλ οφ Πηψσιολογψ 315:469^ 492. Πογγιο, Τ (1990) Α τηεορψ οφ ηοω τηε βραιν µιγητ ωορκ. Χολδ Σπρινγ Ηαρβορ Σψµποσιυµ ον Θυαντιτατιϖε Βιολογψ 55:899^910. Πολλεν, ∆, & Ροννερ, Σ (1982) Σπατιαλ χοµπυτατιονσ περφορµεδ βψ σιµπλε ανδ χοµπλεξ χελλσ ιν τηε ϖισυαλ χορτεξ οφ τηε χατ. ςισιον Ρεσεαρχη 22:101^ 118. Ποορ, Ης (1994) Αν Ιντροδυχτιον το Σιγναλ ∆ετεχτιον ανδ Εστιµατιον, Σεχονδ Εδιτιον. Νεω Ψορκ: Σπρινγερ−ςερλαγ. Πουγετ Α, & Σεϕνοωσκι Τϑ (1995) Σπατιαλ ρεπρεσεντατιονσ ιν τηε παριεταλ χορ− τεξ µαψ υσε βασισ φυνχτιονσ. Ιν Γ Τεσαυρο, ∆Σ Τουρετζκψ & ΤΚ Λεεν, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψστεµσ, 7, 157^164. Σαν Ματεο, ΧΑ: Μοργαν Καυφµανν. Πουγετ, Α, & Σεϕνοωσκι, Τϑ (1997) Σπατιαλ τρανσφορµατιονσ ιν τηε παριεταλ χορτεξ υσινγ βασισ φυνχτιονσ. ϑουρναλ οφ Χογνιτιϖε Νευροσχιενχε 9:222^237.

Ρεφερενχεσ

433

Πουγετ, Α, Ζηανγ, ΚΧ, ∆ενεϖε, Σ, & Λατηαµ, ΠΕ (1998) Στατιστιχαλλψ εφ− ⇒χιεντ εστιµατιον υσινγ ποπυλατιον χοδινγ. Νευραλ Χοµπυτατιον 10:373^ 401. Πρεσσ, ΩΗ, Τευκολσκψ, ΣΑ, ςεττερλινγ, ΩΤ, & Φλαννερψ, ΒΠ (1992) Νυµεριχαλ Ρεχιπεσ ιν Χ. Χαµβριδγε: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. Πριχε, ∆ϑ, & Ωιλλσηαω, ∆ϑ (2000) Μεχηανισµσ οφ Χορτιχαλ ∆εϖελοπµεντ. Οξ− φορδ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Πυρϖεσ, ∆, Αυγυστινε, Γϑ, Φιτζπατριχκ, ∆, Κατζ, ΛΧ, ΛαΜαντια, Α−Σ, Μχ− Ναµαρα, ϑΟ, & Ωιλλιαµσ, ΣΜ, εδσ. (2000) Νευροσχιενχε. Συνδερλανδ ΜΑ: Σιναυερ Ασσοχιατεσ. Ραλλ, Ω (1959) Βρανχηινγ δενδριτιχ τρεεσ ανδ µοτονευρον µεµβρανε ρεσισ− τιϖιτψ. Εξπεριµενταλ Νευρολογψ 2:503^532. Ραλλ, Ω (1977) Χορε χονδυχτορ τηεορψ ανδ χαβλε προπερτιεσ οφ νευρονσ. Ιν Κανδελ, ΕΡ, εδ., Ηανδβοοκ οφ Πηψσιολογψ, ϖολ. 1, 39^97. Βετηεσδα, Μ∆: Αµεριχαν Πηψσιολογψ Σοχιετψ. Ραο, ΡΠΝ, & Βαλλαρδ, ∆Η (1997) ∆ψναµιχ µοδελ οφ ϖισυαλ ρεχογνιτιον πρε− διχτσ νευραλ ρεσπονσε προπερτιεσ ιν τηε ϖισυαλ χορτεξ. Νευραλ Χοµπυτατιον 9:721^763. Ραψµονδ, ϑΛ, Λισβεργερ, ΣΓ, & Μαυκ, Μ∆ (1996) Τηε χερεβελλυµ: Α νευ− ροναλ λεαρνινγ µαχηινε? Σχιενχε 272:1126^1131. Ρεαλ, ΛΑ (1991) Ανιµαλ χηοιχε βεηαϖιορ ανδ τηε εϖολυτιον οφ χογνιτιϖε αρχηιτεχτυρε. Σχιενχε 253:980^986. Ρειχηαρδτ, Ω (1961) Αυτοχορρελατιον: Α πρινχιπλε φορ τηε εϖαλυατιον οφ σεν− σορψ ινφορµατιον βψ τηε χεντραλ νερϖουσ σψστεµ. Ιν ΩΑ Ροσενβλιτη, εδ., Σενσορψ Χοµµυνιχατιον. Νεω Ψορκ: Ωιλεψ. Ρεσχορλα, ΡΑ, & Ωαγνερ, ΑΡ (1972) Α τηεορψ οφ Παϖλοϖιαν χονδιτιονινγ: Τηε εφφεχτιϖενεσσ οφ ρεινφορχεµεντ ανδ νον−ρεινφορχεµεντ. Ιν ΑΗ Βλαχκ & ΩΦ Προκασψ, εδσ., Χλασσιχαλ Χονδιτιονινγ ΙΙ: Χυρρεντ Ρεσεαρχη ανδ Τηεορψ, 64^69. Νεω Ψορκ: Αππλετον−Χεντυρψ−Χροφτσ. Ριεκε Φ, Βοδναρ, ∆Α, & Βιαλεκ, Ω (1995) Νατυραλιστιχ στιµυλι ινχρεασε τηε ρατε ανδ εφ⇒χιενχψ οφ ινφορµατιον τρανσµισσιον βψ πριµαρψ αυδιτορψ αφ− φερεντσ. Προχεεδινγσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον. Β262:259^265. Ριεκε, ΦΜ, Ωαρλανδ, ∆, δε Ρυψτερ ϖαν Στεϖενινχκ, Ρ, & Βιαλεκ, Ω (1997) Σπικεσ: Εξπλορινγ τηε Νευραλ Χοδε. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ρινζελ, ϑ, & Ερµεντρουτ, Β (1998) Αναλψσισ οφ νευραλ εξχιταβιλιτψ ανδ οσχιλ− λατιονσ. Ιν Χ Κοχη & Ι Σεγεϖ, εδσ., Μετηοδσ ιν Νευροναλ Μοδελινγ: Φροµ Σψναπσεσ το Νετωορκσ, 251^292. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ρισσανεν, ϑ (1989) Στοχηαστιχ Χοµπλεξιτψ ιν Στατιστιχαλ Ινθυιρψ. Σινγαπορε: Ωορλδ Σχιεντι⇒χ Πρεσσ. Ροβινσον, ∆Α (1989) Ιντεγρατινγ ωιτη νευρονσ. Αννυαλ Ρεϖιεω οφ Νευρο− σχιενχε 12:33^45. Ροδιεχκ, Ρ (1965) Θυαντιτατιϖε αναλψσισ οφ χατ ρετιναλ γανγλιον χελλ ρε− σπονσεσ το ϖισυαλ στιµυλι. ςισιον Ρεσεαρχη 5:583^601. Ρολλσ, ΕΤ, & Τρεϖεσ, Α (1998) Νευραλ Νετωορκσ ανδ Βραιν Φυνχτιον. Νεω Ψορκ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Ροσενβλαττ, Φ (1958) Τηε περχεπτρον: Α προβαβιλιστιχ µοδελ φορ ινφορµατιον στοραγε ανδ οργανιζατιον ιν τηε βραιν. Πσψχηολογιχαλ Ρεϖιεω 65:386^408. Ροτη, Ζ, & Βαραµ, Ψ (1996) Μυλτιδιµενσιοναλ δενσιτψ σηαπινγ βψ σιγ− µοιδσ. ΙΕΕΕ Τρανσαχτιονσ ον Νευραλ Νετωορκσ 7:1291^1298. Ροϖαµο, ϑ, & ςιρσυ, ς (1984) Ισοτροπψ οφ χορτιχαλ µαγνι⇒χατιον ανδ τοπογ− ραπηψ οφ στριατε χορτεξ. ςισιον Ρεσεαρχη 24:283^286.

434

Ρεφερενχεσ

Ροωεισ, Σ (1998) ΕΜ Αλγοριτηµσ φορ ΠΧΑ ανδ ΣΠΧΑ. Ιν ΜΙ ϑορδαν, Μ Κεαρνσ, & ΣΑ Σολλα, εδσ., Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προχεσσινγ Σψσ− τεµσ, 10, 626^632. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Ροωεισ, Σ, & Γηαηραµανι, Ζ (1999) Α υνιφψινγ ρεϖιεω οφ λινεαρ Γαυσσιαν µοδελσ. Νευραλ Χοµπυτατιον 11:305^345 Ρυβιν, ∆Β, & Τηαψερ, ∆Τ (1982) ΕΜ αλγοριτηµσ φορ ΜΛ φαχτορ αναλψσισ. Πσψχηοµετρικα 47:69^76. δε Ρυψτερ ϖαν Στεϖενινχκ, Ρ, & Βιαλεκ, Ω (1988) Ρεαλ−τιµε περφορµανχε οφ α µοϖεµεντ−σενσιτιϖε νευρον ιν τηε βλοω⇓ψ ϖισυαλ σψστεµ: Χοδινγ ανδ ινφορµατιον τρανσφερ ιν σηορτ σπικε σεθυενχεσ. Προχεεδινγσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον. Β234:379^414. Σακµανν, Β, & Νεηερ, Ε (1983) Σινγλε Χηαννελ Ρεχορδινγ. Νεω Ψορκ: Πλενυµ. Σαλινασ, Ε, & Αββοττ, ΛΦ (1994) ςεχτορ ρεχονστρυχτιον φροµ ⇒ρινγ ρατεσ. ϑουρ− ναλ οφ Χοµπυτατιοναλ Νευροσχιενχε 1:89^107. Σαλινασ, Ε, & Αββοττ, ΛΦ (1995) Τρανσφερ οφ χοδεδ ινφορµατιον φροµ σενσορψ το µοτορ νετωορκσ. ϑουρναλ οφ Νευροσχιενχε 15:6461^6474. Σαλινασ, Ε, & Αββοττ, ΛΦ (1996). Α µοδελ οφ µυλτιπλιχατιϖε νευραλ ρεσπονσεσ ιν παριεταλ χορτεξ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 93:11956^11961. Σαλινασ, Ε, & Αββοττ, ΛΦ (2000) ∆ο σιµπλε χελλσ ιν πριµαρψ ϖισυαλ χορτεξ φορµ α τιγητ φραµε? Νευραλ Χοµπυτατιον 12:313^336. Σαλζµαν, ΧΑ, Σηαδλεν, ΜΝ, & Νεωσοµε, ΩΤ (1992) Μιχροστιµυλατιον ιν ϖισυαλ αρεα ΜΤ: Εφφεχτσ ον διρεχτιοναλ δισχριµινατιον περφορµανχε. ϑουρ− ναλ οφ Νευροσχιενχε 12:2331^2356. Σαµσονοϖιχη, Α, & ΜχΝαυγητον, ΒΛ (1997) Πατη ιντεγρατιον ανδ χογνι− τιϖε µαππινγ ιν α χοντινυουσ αττραχτορ νευραλ νετωορκ µοδελ. ϑουρναλ οφ Νευροσχιενχε 17:5900^5920. Σανγερ, Τ∆ (1994) Τηεορετιχαλ χονσιδερατιονσ φορ τηε αναλψσισ οφ ποπυλατιον χοδινγ ιν µοτορ χορτεξ. Νευραλ Χοµπυτατιον 6:29^37. Σανγερ, Τ∆ (1996) Προβαβιλιτψ δενσιτψ εστιµατιον φορ τηε ιντερπρετατιον οφ νευραλ ποπυλατιον χοδεσ. ϑουρναλ οφ Νευροπηψσιολογψ 76:2790^2793. Σαυλ, ΑΒ, & Ηυµπηρεψ, ΑΛ (1990) Σπατιαλ ανδ τεµποραλ προπερτιεσ οφ λαγγεδ ανδ νονλαγγεδ χελλσ ιν τηε χατ λατεραλ γενιχυλατε νυχλευσ. ϑουρναλ οφ Νευροπηψσιολογψ 68:1190^1208. Σαυλ, ΛΚ, & ϑορδαν, ΜΛ (2000) Αττραχτορ δψναµιχσ ιν φεεδφορωαρδ νευραλ νετωορκσ. Νευραλ Χοµπυτατιον 12:1313^1335. Σχηυλτζ, Ω (1998) Πρεδιχτιϖε ρεωαρδ σιγναλ οφ δοπαµινε νευρονσ. ϑουρναλ οφ Νευροπηψσιολογψ 80:1^27. Σχηυλτζ, Ω, Ροµο, Ρ, Λϕυνγβεργ, Τ, Μιρενοωιχζ, ϑ, Ηολλερµαν, ϑΡ, & ∆ιχκ− ινσον, Α (1995) Ρεωαρδ−ρελατεδ σιγναλσ χαρριεδ βψ δοπαµινε νευρονσ. Ιν ϑΧ Ηουκ, ϑΛ ∆αϖισ, & ∆Γ Βεισερ, εδσ., Μοδελσ οφ Ινφορµατιον Προχεσσινγ ιν τηε Βασαλ Γανγλια, 233^248. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Σχηωαρτζ, ΕΛ (1977) Σπατιαλ µαππινγ ιν τηε πριµατε σενσορψ προϕεχτιον: Αναλψτιχ στρυχτυρε ανδ ρελεϖανχε το περχεπτιον. Βιολογιχαλ Χψβερνετιχσ 25:181^194. Σχλαρ, Γ, & Φρεεµαν, Ρ (1982) Οριεντατιον σελεχτιϖιτψ ιν χατaσ στριατε χορτεξ ισ ινϖαριαντ ωιτη στιµυλυσ χοντραστ. Εξπεριµενταλ Βραιν Ρεσεαρχη 46:457^461. Σχοττ, ∆Ω (1992) Μυλτιϖαριατε ∆ενσιτψ Εστιµατιον: Τηεορψ, Πραχτιχε, ανδ ςισυ− αλιζατιον. Νεω Ψορκ: Ωιλεψ.

Ρεφερενχεσ

435

Σεϕνοωσκι, Τϑ (1977) Στορινγ χοϖαριανχε ωιτη νονλινεαρλψ ιντεραχτινγ νευ− ρονσ. ϑουρναλ οφ Ματηεµατιχαλ Βιολογψ 4:303^321. Σεϕνοωσκι, Τϑ (1999) Τηε βοοκ οφ Ηεββ. Νευρον 24:773^776. Σευνγ, ΗΣ (1996) Ηοω τηε βραιν κεεπσ τηε εψεσ στιλλ. Προχεεδινγσ οφ τηε Να− τιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 93:13339^13344. Σευνγ, ΗΣ, Λεε, ∆∆, Ρεισ, ΒΨ, & Τανκ ∆Ω (2000) Σταβιλιτψ οφ τηε µεµ− ορψ φορ εψε ποσιτιον ιν α ρεχυρρεντ νετωορκ οφ χονδυχτανχε−βασεδ µοδελ νευρονσ. Νευρον 26:259^271. Σευνγ, ΗΣ, & Σοµπολινσκψ, Η (1993) Σιµπλε µοδελσ φορ ρεαδινγ νευροναλ ποπυλατιον χοδεσ. Προχεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 90:10749^10753. Σηαδλεν, ΜΝ, Βριττεν, ΚΗ, Νεωσοµε, ΩΤ, & Μοϖσηον, ϑΑ (1996) Α χοµ− πυτατιοναλ αναλψσισ οφ τηε ρελατιονσηιπ βετωεεν νευροναλ ανδ βεηαϖιοραλ ρεσπονσεσ το ϖισυαλ µοτιον. ϑουρναλ οφ Νευροσχιενχε 16:1486^1510. Σηαδλεν, ΜΝ, & Νεωσοµε ΩΤ (1998) Τηε ϖαριαβλε δισχηαργε οφ χορτιχαλ νευρονσ: Ιµπλιχατιονσ φορ χοννεχτιϖιτψ, χοµπυτατιον, ανδ ινφορµατιον χοδινγ. ϑουρναλ οφ Νευροσχιενχε 18:3870^3896. Σηανκσ, ∆Ρ (1995) Τηε Πσψχηολογψ οφ Ασσοχιατιϖε Λεαρνινγ. Χαµβριδγε: Χαµ− βριδγε Υνιϖερσιτψ Πρεσσ. Σηαννον, ΧΕ, & Ωεαϖερ, Ω (1949) Τηε Ματηεµατιχαλ Τηεορψ οφ Χοµµυνιχα− τιονσ. Υρβανα, ΙΛ: Υνιϖερσιτψ οφ Ιλλινοισ Πρεσσ. Σηεπηερδ, ΓΜ (1997) Νευροβιολογψ. Οξφορδ: Οξφορδ Υνιϖερσιτψ Πρεσσ. Σιεβερτ, ΩΜχΧ (1986) Χιρχυιτσ, Σιγναλσ, ανδ Σψστεµσ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ; Νεω Ψορκ: ΜχΓραω−Ηιλλ. Σιµονχελλι, ΕΠ (1997) Στατιστιχαλ µοδελσ φορ ιµαγεσ: Χοµπρεσσιον, ρεστορα− τιον ανδ σψντηεσισ. Προχεεδινγσ οφ τηε 31στ Ασιλοµαρ Χονφερενχε ον Σιγναλσ, Σψστεµσ ανδ Χοµπυτερσ. Παχι⇒χ Γροϖε, ΧΑ: ΙΕΕΕ Χοµπυτερ Σοχιετψ, 673^ 678. Σιµονχελλι, ΕΠ, & Αδελσον, ΕΗ (1990) Συββανδ ιµαγε χοδινγ. Ιν ϑΩ Ωοοδσ, εδ., Συββανδ Τρανσφορµσ., 143^192 Νορωελλ, ΜΑ: Κλυωερ Αχα− δεµιχ Πυβλισηερσ. Σιµονχελλι, ΕΠ, & Φρεεµαν, ΩΤ (1995) Τηε στεεραβλε πψραµιδ: Α ⇓εξιβλε αρχηιτεχτυρε φορ δεριϖατιϖε χοµπυτατιον. Προχεεδινγσ οφ τηε Ιντερνατιοναλ Χονφερενχε ον Ιµαγε Προχεσσινγ, 444^447. Λοσ Αλαµιτοσ, ΧΑ: ΙΕΕΕ Χοµ− πυτερ Σοχιετψ Πρεσσ. Σιµονχελλι, ΕΠ, Φρεεµαν, ΩΤ, Αδελσον, ΕΗ, & Ηεεγερ, ∆ϑ (1992) Σηιφταβλε µυλτισχαλε τρανσφορµσ. ΙΕΕΕ Τρανσαχτιονσ ον Ινφορµατιον Τηεορψ 38:587^ 607. Σιµονχελλι, ΕΠ, & Σχηωαρτζ, Ο (1999) Μοδελινγ νον−σπεχι⇒χ συππρεσσιον ιν ς1 νευρονσ ωιτη α στατιστιχαλλψ−δεριϖεδ νορµαλιζατιον µοδελ. Ιν ΜΣ Κεαρνσ, ΣΑ Σολλα, & ∆Α Χοην, εδσ. Αδϖανχεσ ιν Νευραλ Ινφορµατιον Προ− χεσσινγ Σψστεµσ, 11, 153^159. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Σνιππε, ΗΠ (1996) Τηεορετιχαλ χονσιδερατιονσ φορ τηε αναλψσισ οφ ποπυλατιον χοδινγ ιν µοτορ χορτεξ. Νευραλ Χοµπυτατιον 8:29^37. Σνιππε, ΗΠ & Κοενδερινκ, ϑϑ (1992α) ∆ισχριµινατιον τηρεσηολδσ φορ χηαν− νελ−χοδεδ σψστεµσ. Βιολογιχαλ Χψβερνετιχσ 66:543−551. Σνιππε, ΗΠ, & Κοενδερινκ, ϑϑ (1992β) Ινφορµατιον ιν χηαννελ−χοδεδ σψσ− τεµσ: Χορρελατεδ ρεχειϖερσ. Βιολογιχαλ Χψβερνετιχσ 67:183^190. Σοφτκψ, ΩΡ, & Κοχη, Χ (1992) Χορτιχαλ χελλσ σηουλδ σπικε ρεγυλαρλψ βυτ δο νοτ. Νευραλ Χοµπυτατιον 4:643^646.

436

Ρεφερενχεσ

Σολοµον, ΡΛ, & Χορβιτ, ϑ∆ (1974) Αν οππονεντ−προχεσσ τηεορψ οφ µοτιϖα− τιον. Ι. Τεµποραλ δψναµιχσ οφ αφφεχτ. Πσψχηολογιχαλ Ρεϖιεω 81:119^145. Σοµερσ, ∆Χ, Νελσον, ΣΒ, & Συρ, Μ (1995) Αν εµεργεντ µοδελ οφ οριεντα− τιον σελεχτιϖιτψ ιν χατ ϖισυαλ χορτιχαλ σιµπλε χελλσ. ϑουρναλ οφ Νευροσχιενχε 15:5448^5465. Σοµπολινσκψ, Η, & Σηαπλεψ, Ρ (1997) Νεω περσπεχτιϖεσ ον τηε µεχηανισµσ φορ οριεντατιον σελεχτιϖιτψ. Χυρρεντ Οπινιον ιν Νευροβιολογψ 7:514^522. Σονγ, Σ, Μιλλερ, Κ∆, & Αββοττ, ΛΦ (2000) Χοµπετιτιϖε Ηεββιαν λεαρνινγ τηρουγη σπικε−τιµινγ δεπενδεντ σψναπτιχ πλαστιχιτψ. Νατυρε Νευροσχιενχε 3:919^926. Στεµµλερ, Μ, & Κοχη, Χ (1999) Ηοω ϖολταγε−δεπενδεντ χονδυχτανχεσ χαν αδαπτ το µαξιµιζε τηε ινφορµατιον ενχοδεδ βψ νευροναλ ⇒ρινγ ρατε. Να− τυρε Νευροσχιενχε 2:521^527. Στεϖενσ, ΧΜ, & Ζαδορ, ΑΜ (1998) Νοϖελ ιντεγρατε−ανδ−⇒ρε−λικε µοδελ οφ ρεπετιτιϖε ⇒ρινγ ιν χορτιχαλ νευρονσ. Ιν Προχεεδινγσ οφ τηε 5τη ϑοιντ Σψµπο− σιυµ ον Νευραλ Χοµπυτατιον. Λα ϑολλα, ΧΑ: Υνιϖερσιτψ οφ Χαλιφορνια ατ Σαν ∆ιεγο. Στρανγ, Γ (1976) Λινεαρ Αλγεβρα ανδ Ιτσ Αππλιχατιονσ. Νεω Ψορκ: Αχαδεµιχ Πρεσσ. Στρονγ, ΣΠ, Κοβερλε, Ρ, δε Ρυψτερ ϖαν Στεϖενινχκ, ΡΡ, & Βιαλεκ, Ω (1998) Εντροπψ ανδ ινφορµατιον ιν νευραλ σπικε τραινσ. Πηψσιχαλ Ρεϖιεω Λεττερσ 80:197^200. Στυαρτ, Γϑ, & Σακµανν, Β (1994) Αχτιϖε προπαγατιον οφ σοµατιχ αχτιον πο− τεντιαλσ ιντο νεοχορτιχαλ πψραµιδαλ χελλ δενδριτεσ. Νατυρε 367:69^72. Στυαρτ, Γϑ, & Σπρυστον, Ν (1998) ∆ετερµιναντσ οφ ϖολταγε αττενυατιον ιν νεοχορτιχαλ πψραµιδαλ νευρον δενδριτεσ. ϑουρναλ οφ Νευροσχιενχε 18:3501^ 3510. Συττον, ΡΣ (1988) Λεαρνινγ το πρεδιχτ βψ τηε µετηοδσ οφ τεµποραλ διφφερ− ενχε. Μαχηινε Λεαρνινγ 3:9^44. Συττον, ΡΣ, & Βαρτο, ΑΓ (1990) Τιµε−δεριϖατιϖε µοδελσ οφ Παϖλοϖιαν χον− διτιονινγ. Ιν Μ Γαβριελ, & ϑΩ Μοορε, εδσ., Λεαρνινγ ανδ Χοµπυτατιοναλ Νευροσχιενχε, 497^537. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Συττον, ΡΣ, & Βαρτο, ΑΓ (1998) Ρεινφορχεµεντ Λεαρνινγ. Χαµβριδγε, ΜΑ: ΜΙΤ Πρεσσ. Σωινδαλε, Νς (1996) Τηε δεϖελοπµεντ οφ τοπογραπηψ ιν τηε ϖισυαλ χορτεξ: Α ρεϖιεω οφ µοδελσ. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 7:161^247. Τηευνισσεν, ΦΕ, & Μιλλερ, ϑΠ (1991) Ρεπρεσεντατιον οφ σενσορψ ινφορµατιον ιν τηε χριχκετ χερχαλ σενσορψ σψστεµ. ΙΙ. Ινφορµατιον τηεορετιχ χαλχυλατιον οφ σψστεµ αχχυραχψ ανδ οπτιµαλ τυνινγ−χυρϖε ωιδτησ οφ φουρ πριµαρψ ιν− τερνευρονσ. ϑουρναλ οφ Νευροπηψσιολογψ 66:1690^1703. Τιππινγ, ΜΕ, & Βισηοπ, ΧΜ (1999) Μιξτυρεσ οφ προβαβιλιστιχ πρινχιπαλ χοµ− πονεντ αναλψζερσ. Νευραλ Χοµπυτατιον 11:443^482. Τιττερινγτον, ∆Μ, Σµιτη, ΑΦΜ, & Μακοϖ, ΥΕ (1985) Στατιστιχαλ Αναλψσισ οφ Φινιτε Μιξτυρε ∆ιστριβυτιονσ. Νεω Ψορκ: Ωιλεψ. Τοοτελλ, ΡΒ, Σιλϖερµαν, ΜΣ, Σωιτκεσ, Ε, & ∆ε ςαλοισ, ΡΛ (1982) ∆εοξψγλυ− χοσε αναλψσισ οφ ρετινοτοπιχ οργανιζατιον ιν πριµατε στριατε χορτεξ. Σχιενχε 218:902^904. Τουρετζκψ, ∆Σ, Ρεδιση, Α∆, & Ωαν, ΗΣ (1993) Νευραλ ρεπρεσεντατιον οφ σπαχε υσινγ σινυσοιδαλ αρραψσ. Νευραλ Χοµπυτατιον 5:869^884.

Ρεφερενχεσ

437

Τροψερ, ΤΩ, & Μιλλερ, Κ∆ (1997) Πηψσιολογιχαλ γαιν λεαδσ το ηιγη ΙΣΙ ϖαρι− αβιλιτψ ιν α σιµπλε µοδελ οφ α χορτιχαλ ρεγυλαρ σπικινγ χελλ. Νευραλ Χοµπυ− τατιον 9:971^ 983. Τσαι, ΚΨ, Χαρνεϖαλε, ΝΤ, Χλαιβορνε, Βϑ, & Βροων, ΤΗ (1994) Εφ⇒χιεντ µαπ− πινγ φροµ νευροανατοµιχαλ το ελεχτροτονιχ σπαχε. Νετωορκ: Χοµπυτατιον ιν Νευραλ Σψστεµσ 5:21^46. Τσοδψκσ, Μς, & Μαρκραµ, Η (1997) Τηε νευραλ χοδε βετωεεν νεοχορτιχαλ πψραµιδαλ νευρονσ δεπενδσ ον νευροτρανσµιττερ ρελεασε προβαβιλιτψ. Προ− χεεδινγσ οφ τηε Νατιοναλ Αχαδεµψ οφ Σχιενχεσ οφ τηε Υνιτεδ Στατεσ οφ Αµεριχα 94:719^723. Τυχκωελλ, ΗΧ (1988) Ιντροδυχτιον το Τηεορετιχαλ Νευροβιολογψ. Χαµβριδγε, ΥΚ: Χαµβριδγε Υνιϖερσιτψ Πρεσσ. Τυρινγ, ΑΜ (1952) Τηε χηεµιχαλ βασισ οφ µορπηογενεσισ. Πηιλοσοπηιχαλ Τρανσαχτιονσ οφ τηε Ροψαλ Σοχιετψ οφ Λονδον Β237:37^72. Τυρριγιανο, Γ, ΛεΜασσον, Γ, & Μαρδερ, Ε (1995) Σελεχτιϖε ρεγυλατιον οφ χυρ− ρεντ δενσιτιεσ υνδερλιεσ σποντανεουσ χηανγεσ ιν τηε αχτιϖιτψ οφ χυλτυρεδ νευρονσ. ϑουρναλ οφ Νευροσχιενχε 15:3640^3652. Υττλεψ, ΑΜ (1979) Ινφορµατιον Τρανσµισσιον ιν τηε Νερϖουσ Σψστεµ. Λονδον: Αχαδεµιχ Πρεσσ. ςαν Εσσεν, ∆Χ, Νεωσοµε, ΩΤ, & Μαυνσελλ, ϑΗΡ (1984) Τηε ϖισυαλ ⇒ελδ ρεπρεσεντατιον ιν στριατε χορτεξ οφ τηε µαχαθυε µονκεψ: Ασψµµετριεσ, ανισοτροπιεσ, ανδ ινδιϖιδυαλ ϖαριαβιλιτψ. ςισιον Ρεσεαρχη 24:429^448. ςαν Σαντεν, ϑΠ, & Σπερλινγ, Γ (1984) Τεµποραλ χοϖαριανχε µοδελ οφ ηυµαν µοτιον περχεπτιον. ϑουρναλ οφ τηε Οπτιχαλ Σοχιετψ οφ Αµεριχα Α1:451^473. ςαρελα, ϑ, Σεν, Κ, Γιβσον, ϑ, Φοστ, ϑ, Αββοττ, ΛΦ, Νελσον, ΣΒ (1997) Α θυαντι− τατιϖε δεσχριπτιον οφ σηορτ−τερµ πλαστιχιτψ ατ εξχιτατορψ σψναπσεσ ιν λαψερ 2/3 οφ ρατ πριµαρψ ϖισυαλ χορτεξ. ϑουρναλ οφ Νευροσχιενχε 17:7926^7940. ςενκατεση, ΣΣ (1986) Επσιλον χαπαχιτψ οφ α νευραλ νετωορκ. Ιν ϑ ∆ενκερ, εδ., Προχεεδινγσ οφ Νευραλ Νετωορκσ φορ Χοµπυτινγ. ΑΙΠ Χονφερενχε Προχεεδ− ινγσ ςολυµε 151, Νεω Ψορκ: Αµεριχαν Ινστιτυτε οφ Πηψσιχσ, 440^445. ςογελσ, Ρ (1990) Ποπυλατιον χοδινγ οφ στιµυλυσ οριεντατιον βψ χορτιχαλ χελλσ. ϑουρναλ οφ Νευροσχιενχε 10:3543^3558. ϖαν ςρεεσωιϕκ, Χ, Αββοττ, ΛΦ, & Ερµεντρουτ, ΓΒ (1994) Ωηεν ινηιβιτιον νοτ εξχιτατιον σψνχηρονιζεσ νευροναλ ⇒ρινγ. ϑουρναλ οφ Χοµπυτατιοναλ Νευ− ροσχιενχε 1:313^321. Ωαλλισ, Γ, & Βαδδελεψ, Ρ (1997) Οπτιµαλ, υνσυπερϖισεδ λεαρνινγ ιν ινϖαρι− αντ οβϕεχτ ρεχογνιτιον. Νευραλ Χοµπυτατιον 9:883^894. Ωανδελλ, ΒΑ (1995) Φουνδατιονσ οφ ςισιον. Συνδερλανδ, ΜΑ: Σιναυερ Ασσο− χιατεσ. Ωανγ, Ξ−ϑ (1994) Μυλτιπλε δψναµιχαλ µοδεσ οφ τηαλαµιχ ρελαψ νευρονσ: Ρηψτηµιχ βυρστινγ ανδ ιντερµιττεντ πηασε−λοχκινγ. Νευροσχιενχε 59:21^ 31. Ωανγ, Ξ−ϑ (1998) Χαλχιυµ χοδινγ ανδ αδαπτιϖε τεµποραλ χοµπυτατιον ιν χορτιχαλ πψραµιδαλ νευρονσ. ϑουρναλ οφ Νευροπηψσιολογψ 79:1549^1566. Ωανγ, Ξ−ϑ, & Ρινζελ, ϑ (1992) Αλτερνατινγ ανδ σψνχηρονουσ ρηψτηµσ ιν ρε− χιπροχαλλψ ινηιβιτορψ µοδελ νευρονσ. Νευραλ Χοµπυτατιον 4:84^97. Ωατκινσ, ΧϑΧΗ (1989) Λεαρνινγ φροµ ∆ελαψεδ Ρεωαρδσ. Πη.∆. δισσερτατιον, Υνιϖερσιτψ οφ Χαµβριδγε. Ωατσον, ΑΒ, & Αηυµαδα, Αϑ (1985) Μοδελ οφ ηυµαν ϖισυαλ−µοτιον σενσ− ινγ. ϑουρναλ οφ τηε Οπτιχαλ Σοχιετψ οφ Αµεριχα Α2:322^342.

438

Ρεφερενχεσ

Ωελικψ, Μ (2000) Χορρελατεδ νευροναλ αχτιϖιτψ ανδ ϖισυαλ χορτιχαλ δεϖελοπ− µεντ. Νευρον 27:427^430. Ωερβλιν, ΦΣ, & ∆οωλινγ, ϑΕ (1969) Οργανιζατιον οφ τηε ρετινα οφ τηε µυδ− πυππψ, Νεχτυρυσ µαχυλοσυσ. ΙΙ. Ιντραχελλυλαρ ρεχορδινγ. ϑουρναλ οφ Νευρο− πηψσιολογψ 32:339^355. Ωιχκενσ, ϑ (1993) Α Τηεορψ οφ τηε Στριατυµ. Νεω Ψορκ: Περγαµον Πρεσσ. Ωιδροω, Β, & Ηοφφ, ΜΕ (1960) Αδαπτιϖε σωιτχηινγ χιρχυιτσ. ΩΕΣΧΟΝ Χον− ϖεντιον Ρεπορτ 4:96^104. Ωιδροω, Β, & Στεαρνσ, Σ∆ (1985) Αδαπτιϖε Σιγναλ Προχεσσινγ. Ενγλεωοοδ Χλιφφσ, Νϑ: Πρεντιχε−Ηαλλ. Ωιενερ, Ν (1958) Νονλινεαρ Προβλεµσ ιν Ρανδοµ Τηεορψ. Νεω Ψορκ: Ωιλεψ. Ωιλλιαµσ, Ρϑ (1992) Σιµπλε στατιστιχαλ γραδιεντ−φολλοωινγ αλγοριτηµσ φορ χοννεχτιονιστ ρεινφορχεµεντ λεαρνινγ. Μαχηινε Λεαρνινγ 8:229^256. Ωιλσον, ΗΡ, & Χοωαν, ϑ∆ (1972) Εξχιτατορψ ανδ ινηιβιτορψ ιντεραχτιονσ ιν λοχαλιζεδ ποπυλατιονσ οφ µοδελ νευρονσ. Βιοπηψσιχαλ ϑουρναλ 12:1^24. Ωιλσον, ΗΡ, & Χοωαν, ϑ∆ (1973) Α µατηεµατιχαλ τηεορψ οφ τηε φυνχτιοναλ δψναµιχσ οφ χορτιχαλ ανδ τηαλαµιχ νερϖουσ τισσυε. Κψβερνετικ 13:55^80. Ωιτκιν, Α (1983) Σχαλε σπαχε ⇒λτερινγ. Ιν Προχεεδινγσ οφ τηε Ιντερνατιοναλ ϑοιντ Χονφερενχε ον Αρτι⇒χιαλ Ιντελλιγενχε, ϖολ. 2, 1019^1022. Σαν Ματεο, ΧΑ: Μοργαν Καυφµανν. ♦ οττερ, ♦ Ωοργ Φ, & Κοχη, Χ (1991) Α δεταιλεδ µοδελ οφ τηε πριµαρψ ϖισυαλ πατηωαψ ιν τηε χατ: Χοµπαρισον οφ αφφερεντ εξχιτατορψ ανδ ιντραχορτιχαλ ινηιβιτορψ χοννεχτιον σχηεµεσ φορ οριεντατιον σελεχτιϖιτψ. ϑουρναλ οφ Νευ− ροσχιενχε 11:1959^1979. Ψυστε, Ρ, & Συρ, Μ (1999) ∆εϖελοπµεντ ανδ πλαστιχιτψ οφ τηε χερεβραλ χορτεξ: Φροµ µολεχυλεσ το µαπσ. ϑουρναλ οφ Νευροβιολογψ 41:1^6. Ζαδορ, Α, Αγµον−Σνιρ, Η, & Σεγεϖ, Ι (1995) Τηε µορπηοελεχτροτονιχ τρανσ− φορµ: Α γραπηιχαλ αππροαχη το δενδριτιχ φυνχτιον. ϑουρναλ οφ Νευροσχιενχε 15:1669^1682. Ζεµελ, ΡΣ (1994) Α Μινιµυµ ∆εσχριπτιον Λενγτη Φραµεωορκ φορ Υνσυπερϖισεδ Λεαρνινγ. Πη.∆. δισσερτατιον, Υνιϖερσιτψ οφ Τοροντο. Ζηανγ, Κ (1996). Ρεπρεσεντατιον οφ σπατιαλ οριεντατιον βψ τηε ιντρινσιχ δψ− ναµιχσ οφ τηε ηεαδ−διρεχτιον χελλ ενσεµβλε: Α τηεορψ. ϑουρναλ οφ Νευρο− σχιενχε 16:2112^2126. Ζηανγ, Κ, & Σεϕνοωσκι, Τ (1999) Νευραλ τυνινγ: Το σηαρπεν ορ βροαδεν? Νευραλ Χοµπυτατιον 11:75^84. Ζηανγ, ΛΙ, Ταο, ΗΩ, Ηολτ, ΧΕ, Ηαρρισ, ΩΑ, & Ποο Μ−µ (1998) Α χριτιχαλ ωινδοω φορ χοοπερατιον ανδ χοµπετιτιον αµονγ δεϖελοπινγ ρετινοτεχταλ σψναπσεσ. Νατυρε 395:37^44. Ζιγµονδ, Μϑ, Βλοοµ, ΦΕ, Λανδισ, ΣΧ, & Σθυιρε, ΛΡ, εδσ. (1998) Φυνδαµεν− ταλ Νευροσχιενχε. Σαν ∆ιεγο: Αχαδεµιχ Πρεσσ. Ζιπσερ, ∆, & Ανδερσεν, ΡΑ (1988) Α βαχκ−προπαγατιον προγραµµεδ νετ− ωορκ τηατ σιµυλατεσ ρεσπονσε προπερτιεσ οφ α συβσετ οφ ποστεριορ παριεταλ νευρονσ. Νατυρε 331:679^684. Ζοηαρψ, Ε (1992) Ποπυλατιον χοδινγ οφ ϖισυαλ στιµυλι βψ χορτιχαλ νευρονσ τυνεδ το µορε τηαν ονε διµενσιον. Βιολογιχαλ Χψβερνετιχσ 66:265^272. Ζυχκερ, ΡΣ (1989). Σηορτ−τερµ σψναπτιχ πλαστιχιτψ. Αννυαλ Ρεϖιεω οφ Νευρο− σχιενχε 12:13^31.

Ινδεξ βολδ φοντσ µαρκ σεχτιονσ ορ συβσεχτιονσ ιν τηε τεξτ ιταλιχ φοντσ µαρκ µαργιν λαβελσ

Α−χυρρεντ, σεε χονδυχτανχεσ αχτιον ποτεντιαλ, 4, σεε αλσο Χοννορ−Στεϖενσ µοδελ Ηοδγκιν−Ηυξλεψ µοδελ προπαγατιον αλονγ α µψελινατεδ αξον, 222 προπαγατιον αλονγ αν υνµψελινατεδ αξον, 220 προπαγατιον ϖελοχιτψ, 222, 223 ρεφραχτορψ περιοδ, σεε ρεφραχτορψ περιοδ σαλτατορψ προπαγατιον, 222 τωο µοϖινγ ιν οπποσιτε διρεχτιονσ, 222 αχτιϖατιον, σεε χονδυχτανχεσ αχτιϖατιον φυνχτιον Φ ( Ισ ), 234, σεε αλσο ⇒ρινγ−ρατε µοδελσ Χοννορ−Στεϖενσ µοδελ, 197, σεε αλσο Χοννορ−Στεϖενσ µοδελ ιντεγρατε−ανδ−⇒ρε µοδελσ, 164, σεε αλσο ιντεγρατε−ανδ−⇒ρε µοδελσ αχτιϖιτψ−δεπενδεντ δεϖελοπµεντ, 293^309, σεε αλσο χαυσαλ µοδελσ φεατυρε−βασεδ µοδελσ αρβορ φυνχτιον, 300 οφ οχυλαρ δοµινανχε, 298 οχυλαρ δοµινανχε στριπεσ, 302 οριεντατιον δοµαινσ, 309 οριεντατιον σελεχτιϖιτψ, 299 αχτορ, 347, σεε αλσο χριτιχ

δελαψεδ ρεωαρδσ, προβλεµ οφ πολιχψ αχτιον µατριξ, 351 αχτιον ϖαλυεσ, 341 αχτορ, διρεχτ, 344, 349 ασ Μοντε Χαρλο µετηοδ, 357 αϖεραγε ρεωαρδ ⟨ρ⟩, 344 χοϖαριανχε ρυλε, τηρεε−τερµ, 351 δελαψεδ ρεωαρδ, τεµποραλ διφφερενχε λεαρνινγ ρυλε φορ, 349, 357 εξπλορατιον−εξπλοιτατιον χοντρολ βψ β, 345 ιµµεδιατε ρεωαρδ, λεαρνινγ ρυλε, 345 µοδελ οφ βασαλ γανγλια, 351 µυλτιπλε αχτιονσ, 345 ρεινφορχεµεντ χοµπαρισον, 345, 349 στοχηαστιχ γραδιεντ ασχεντ, 344 ϖσ. ινδιρεχτ αχτορ, 345 αχτορ, ινδιρεχτ, 342 αχτιον ϖαλυεσ, 342 εξπλορατιον−εξπλοιτατιον χοντρολ βψ β, 341 ϖσ. διρεχτ αχτορ, 345 αχτορ−χριτιχ αλγοριτηµ, 350, σεε αλσο αχτορ χριτιχ δψναµιχ προγραµµινγ γενεραλιζατιονσ, 350 πολιχψ ιτερατιον, 356, σεε αλσο πολιχψ ιτερατιον αδαπτατιον, σεε σπικε−ρατε

440 αδαπτατιον αφτερ−ηψπερπολαριζατιον, σεε χονδυχτανχεσ αλιασινγ, 60 α φυνχτιον, 14, 183, 188, σεε αλσο σψναπτιχ µοδελσ ΑΜΠΑ ρεχεπτορ, σεε σψναπτιχ χονδυχτανχεσ αµπλι⇒χατιον, σελεχτιϖε, σεε αλσο ρεχυρρεντ νετωορκσ φορ οριεντατιον, 252, σεε αλσο σιµπλε χελλ λινεαρ, 246 νονλινεαρ, 251 οσχιλλατορψ, 272 αναλψσισ βψ σψντηεσισ, 396, σεε αλσο χαυσαλ µοδελσ αντι−Ηεββ ρυλε, 310, σεε αλσο χοντραστιϖε Ηεββ ρυλε Γοοδαλλ ρυλε Ηεββ ρυλε λεαρνινγ ρυλεσ αντιδροµιχ προπαγατιον, 221, σεε αλσο αχτιον ποτεντιαλ αρβορ φυνχτιον, 300 ασσοχιαβιλιτψ, 333, σεε αλσο λεαρνινγ ρατε ασσοχιατιϖε µεµορψ, 261 χαπαχιτψ, 262, 264 χοϖαριανχε λεαρνινγ ρυλε, 264 ρεχαλλ, 262 σπυριουσ ⇒ξεδ ποιντσ, 263 σψναπτιχ ωειγητ µατριξ, 263^264 ασψµπτοτιχ χονσιστενχψ, σεε εστιµατιον τηεορψ αττενυατιον, σεε δενδριτεσ, ελεχτριχαλ προπερτιεσ µεµβρανε, ελεχτριχαλ προπερτιεσ αυτοασσοχιατιϖε µεµορψ, σεε ασσοχιατιϖε µεµορψ αυτοχορρελατιον, σεε αλσο χορρελατιον χροσσ−χορρελατιον σπικε−τραιν Θρρ , 28 στιµυλυσ Θσσ , 22, 47 αυτοχοϖαριανχε, 28 αϖεραγε ⇒ρινγ ρατε ⟨ρ⟩, 11 αξον, 4 αζιµυτη, σεε ρετιναλ χοορδινατε

Ινδεξ σψστεµ βαχκπροπαγατιον, 329 βαλανχεδ εξχιτατιον ανδ ινηιβιτιον, σεε ιντεγρατε−ανδ−⇒ρε µοδελσ, ιρρεγυλαρ ⇒ρινγ µοδε βανδωιδτη, 64 βασαλ γανγλια, 351 βασιν οφ αττραχτιον, σεε ποιντ αττραχτορ σταβιλιτψ, νετωορκ βασισ φυνχτιονσ, 244, 317, σεε αλσο φυνχτιον αππροξιµατιον χοµπλετε, 317 οϖερχοµπλετε, 317 βασισ, ϖεχτορ σπαχε, 402 Βαψεσ τηεορεµ, 88, 87^88, 364 Βαψεσιαν δεχισιον, σεε δεχισιον τηεορψ Βαψεσιαν ινφερενχε, σεε εστιµατιον τηεορψ ΒΧΜ λεαρνινγ ρυλε, σεε σλιδινγ τηρεσηολδ λεαρνινγ ρυλε Βερνουλλι διστριβυτιον, 417 βιασ (οφ εστιµατορ), σεε εστιµατιον τηεορψ βιφυρχατιον, σεε σταβιλιτψ, νετωορκ βιτ, 124, σεε αλσο εντροπψ ινφορµατιον Βολτζµανν µαχηινε, 273, 322 Βολτζµανν διστριβυτιον, 274 χοντραστιϖε Ηεββ ρυλε, 324, 325, 326 ενεργψ φυνχτιον, 274, 323, 325 Γιββσ σαµπλινγ, 274, 322, 325, 326 Γλαυβερ δψναµιχσ, 274 Λψαπυνοϖ φυνχτιον, 276 µεαν−⇒ελδ αππροξιµατιον, 274, 325, 372 µεαν−⇒ελδ διστριβυτιον, 275 παρτιτιον φυνχτιον, 274, 323, 325 σλεεπ πηασε, 324, 326 συπερϖισεδ λεαρνινγ, 322 υνσυπερϖισεδ λεαρνινγ, 325 ωακε πηασε, 324, 326 βρανχηινγ, σεε χαβλε τηεορψ

Ινδεξ χοµπαρτµενταλ µοδελσ βυφφερ, Χα2+ , 203 βυρστσ, 34, 198, 199, 200, σεε αλσο χαλχιυµ σπικε Βυσσγανγaσ τηεορεµ, 51, 83 χαβλε εθυατιον, 203, 204, 206 βουνδαρψ χονδιτιονσ, 206 χονσταντ ραδιυσ σεγµεντ, 207 ιµπυλσε yϖελοχιτψa, 211 σολυτιον φορ αν ιν⇒νιτε χαβλε, 208 σολυτιον φορ αν ισολατεδ βρανχηινγ νοδε, σεε αλσο χοµπαρτµενταλ µοδελσ σολυτιον φορ αν ισολατεδ βρανχηινγ νοδε, 211 ϖολταγε αττενυατιον ανδ φρεθυενχψ, 217 χαβλε τηεορψ, 203, 203^223, σεε αλσο χοµπαρτµενταλ µοδελσ 3/2 λαω, 213 βρανχηινγ νοδε, 206, σεε αλσο χαβλε τηεορψ, 3/2 λαω λινεαρ χαβλε, 206 µορπηοελεχτροτονιχ τρανσφορµ, 215 ϖολταγε αττενυατιον, 212, 215 χαλχιυµ βυφφερ, 203 χαλχιυµ χονδυχτανχεσ, σεε χονδυχτανχεσ, Χα2+ χαλχιυµ σπικε, 199 χαλχυλυσ οφ ϖαριατιονσ, 81 Χαυχηψ διστριβυτιον, 380, 417 Χαυχηψ−Σχηωαρζ ινεθυαλιτψ, 120 χαυσαλ κερνελ, σεε ⇒λτερ, χαυσαλ χαυσαλ µοδελσ, 361, σεε αλσο φαχτορ αναλψσισ γενερατιϖε µοδελσ Ηελµηολτζ µαχηινε ΙΧΑ Κ−µεανσ αλγοριτηµ µιξτυρε οφ Γαυσσιανσ ρεχογνιτιον µοδελσ σπαρσε χοδινγ µοδελ υνσυπερϖισεδ λεαρνινγ αναλψσισ βψ σψντηεσισ, 360 χαυσε v, 361 χαυσεσ ασ ρεπρεσεντατιονσ, 360 Γαυσσιαν ανδ νον−Γαυσσιαν, 377

441 γενερατιον, 359, 361 ηευριστιχσ, 360, 363, σεε αλσο ρε−ρεπρεσεντατιον ηιδδεν ϖαριαβλε, 360 ηιεραρχηιχαλ, 382 ινϖερτιβλε, 367 λατεντ ϖαριαβλε, 360 νονινϖερτιβλε, 367 προϕεχτιϖε ⇒ελδσ, 382 ρεχογνιτιον, 360 στρυχτυρε λεαρνινγ, 362 συµµαρψ οφ προβαβιλιτψ διστριβυτιονσ, 368 υνσυπερϖισεδ λεαρνινγ, 363 χεντερ−συρρουνδ στρυχτυρε, 54, 77^78, σεε αλσο ρεχεπτιϖε ⇒ελδ φορ χοντινυουσ αττραχτορ, 259 ιν αχτιϖιτψ−δεπενδεντ δεϖελοπµεντ, 304 ινφορµατιον τηεορψ ανδ, 140 χεντραλ λιµιτ τηεορεµ, 417 χεντραλ παττερν γενερατορ, 201 χερχαλ σψστεµ, 97, σεε αλσο νευραλ χοδινγ χηαννελσ, σεε ιον χηαννελσ χηαοσ, 410 χλασσιχαλ χονδιτιονινγ, 331, 332, σεε αλσο χριτιχ δελαψεδ ρεωαρδσ, προβλεµ οφ ινστρυµενταλ χονδιτιονινγ Ρεσχορλα−Ωαγνερ ρυλε αχθυισιτιον, 333 βλοχκινγ, 334 χονδιτιονεδ στιµυλυσ ανδ ρεσπονσε, 332 εξτινχτιον, 333 ινηιβιτορψ χονδιτιονινγ, 335 οϖερσηαδοωινγ, 335 παρτιαλ ρεινφορχεµεντ, 334 σεχονδαρψ χονδιτιονινγ, 336 υνχονδιτιονεδ στιµυλυσ ανδ ρεσπονσε, 332 χλασσι⇒χατιον, σεε περχεπτρον χλυστερινγ, σεε µιξτυρε οφ Γαυσσιανσ χοδινγ, σεε νευραλ χοδινγ ρε−ρεπρεσεντατιον

442 χοεφ⇒χιεντ οφ ϖαριατιον, σεε ιντερσπικε ιντερϖαλσ, χοεφ⇒χιεντ οφ ϖαριατιον χοινχιδενχε δετεχτιον, 183 χοµπαρτµενταλ µοδελσ, σεε αλσο χαβλε τηεορψ χονδυχτανχε−βασεδ, 195 εθυιϖαλεντ χιρχυιτ, 162, 213^215 µορπηοελεχτροτονιχ τρανσφορµ, 215 µυλτι−χοµπαρτµεντ, 217, 225 Ραλλ µοδελ, 212 ρεδυχτιον, 218 σινγλε χοµπαρτµεντ, 161 χοµπετιτιϖε Ηεββ ρυλε, 304, 306, σεε αλσο Ηεββ ρυλε λεαρνινγ ρυλεσ ρεχυρρεντ νετωορκσ, χοµπετιτιϖε δψναµιχσ χοµπετιτιον ανδ χοοπερατιον, 306 φεατυρε−βασεδ ρυλε, 308 οχυλαρ δοµινανχε στριπεσ, 306 χοµπλεµενταρψ ερρορ φυνχτιον, σεε ερρορ φυνχτιον χοµπλεξ χελλ, 54, 74, σεε αλσο Ηυβελ−Ωιεσελ µοδελ ενεργψ µοδελ, 76 φεεδφορωαρδ µοδελ, 80 ρεχυρρεντ µοδελ, 254 χοµπλεξ εξπονεντιαλ, 405 χοµπλεξ λογαριτηµιχ µαπ, 57, σεε αλσο χορτιχαλ µαγνι⇒χατιον φαχτορ χονδυχτανχεσ, σεε αλσο Χοννορ−Στεϖενσ µοδελ Ηοδγκιν−Ηυξλεψ µοδελ ιον χηαννελσ Χα2+ , Λ, Τ, Ν ανδ Π τψπε, 199 Χα2+ , τρανσιεντ, 198, 225 Χα2+ −δεπενδεντ, 167 Κ+ , Α−τψπε χυρρεντ, 197, 197^198, 200 Κ+ , δελαψεδ−ρεχτι⇒ερ, 168, 171, 175, 197 Κ+ , Χα2+ −δεπενδεντ, 201, 225 Να+ , φαστ, 172, 197 αχτιϖατιον, 168, 172

Ινδεξ ϖαριαβλε µ, 172 ϖαριαβλε ν, 168 αχτιϖε, 161 αφτερ−ηψπερπολαριζατιον (ΑΗΠ), 201 δεαχτιϖατιον, 168, 172 δειναχτιϖατιον, 172 δελαψεδ−ρεχτι⇒ερ, σεε χονδυχτανχεσ, Κ+ ηψπερπολαριζατιον−αχτιϖατεδ, 172 ιναχτιϖατιον, 172 ϖαριαβλε η, 172 ιντεγρατιον οφ γατινγ ϖαριαβλεσ, 192 νονιναχτιϖατινγ, σεε χονδυχτανχε, περσιστεντ πασσιϖε, 161 περσιστεντ, 168 ρεϖερσαλ ποτεντιαλ, σεε ρεϖερσαλ ποτεντιαλ σηυντινγ, 160, 189 σηυντινγ χονδυχτανχεσ ανδ διϖισιον, 189 σψναπτιχ, σεε σψναπτιχ χονδυχτανχεσ τρανσιεντ, 171 ϖολταγε−δεπενδεντ, 166, 167 Χοννορ−Στεϖενσ µοδελ, 196, 224, σεε αλσο Ηοδγκιν−Ηυξλεψ µοδελ Α−χυρρεντ, ρολε ιν, 197 χοντινυουσ αττραχτορ, σεε αλσο σταβιλιτψ, νετωορκ λινεαρ, 247 νονλινεαρ, 251^259 χοντινυουσ λαβελινγ, 136, 240, σεε αλσο ⇒ρινγ−ρατε µοδελσ ρεχυρρεντ νετωορκσ χοµπλεξ χελλ, 255 δενσιτψ οφ χοϖεραγε ρθ , 240 λινεαρ ρεχυρρεντ νετωορκ, 248 νονλινεαρ ρεχυρρεντ νετωορκ, 251 οσχιλλατορψ νετωορκ, 272 σιµπλε χελλ, 252 χοντραστ, 58 χοντραστ σατυρατιον, 73, 393 χοντραστιϖε Ηεββ ρυλε, 322, σεε αλσο αντι−Ηεββ ρυλε Βολτζµανν µαχηινε

Ινδεξ δελτα ρυλε Ηεββ ρυλε λεαρνινγ ρυλεσ Βολτζµανν µαχηινε, 324, 326 δελτα ρυλε, 321 ωακε ανδ σλεεπ πηασεσ, 324 χονϖολυτιον, 406 χοορδινατε τρανσφορµατιον, 241, σεε αλσο γαιν µοδυλατιον χορρελατιον, σεε αλσο αυτοχορρελατιον χροσσ−χορρελατιον ⇒ρινγ−ρατε στιµυλυσ Θrσ , 20, 47 µατριξ Θ, 286 ρεϖερσε, σεε ρεϖερσε χορρελατιον χορρελατιον χοδε, σεε νευραλ χοδινγ χορρελατιον−βασεδ λεαρνινγ ρυλε, 286, σεε αλσο Ηεββ ρυλε λεαρνινγ ρυλεσ πρινχιπαλ χοµπονεντ χορρελατιον µατριξ Θ, 286 χοϖαριανχε λεαρνινγ ρυλε, χοµπαρεδ ωιτη, 288, 298 χορτεξ, σεε νεοχορτεξ χορτιχαλ µαγνι⇒χατιον φαχτορ, 56, σεε αλσο χοµπλεξ λογαριτηµιχ µαπ χορτιχαλ µαπ, 293, 309, σεε αλσο οχυλαρ δοµινανχε στριπεσ οριεντατιον δοµαινσ ρετιναλ χοορδινατε σψστεµ παττερν φορµατιον, 293 χουντερπηασε γρατινγ, 58, 66 χοϖαριανχε λεαρνινγ ρυλε, 287, 288, σεε αλσο Ηεββ ρυλε λεαρνινγ ρυλεσ πρινχιπαλ χοµπονεντ σλιδινγ τηρεσηολδ λεαρνινγ ρυλε, σεε πλαστιχιτψ χορρελατιον−βασεδ λεαρνινγ ρυλε, χοµπαρεδ ωιτη, 288, 298 χοϖαριανχε µατριξ Χ, 288 ινσταβιλιτψ, 288 τηρεε−τερµ φορ διρεχτ αχτορ, 351 χοϖαριανχε, οφ ρανδοµ ϖαριαβλεσ, 416 Χοξ προχεσσ, 34 Χραµ×ερ−Ραο βουνδ, 108, 120, σεε

443 αλσο εστιµατιον τηεορψ Φισηερ ινφορµατιον Χρανκ−Νιχηολσον µετηοδ, 226, σεε αλσο νυµεριχαλ µετηοδσ χριτιχ, 347, σεε αλσο αχτορ δελαψεδ ρεωαρδσ, προβλεµ οφ πολιχψ ασ Μοντε Χαρλο µετηοδ, 356 µοδελ οφ δοπαµινεργιχ αχτιϖιτψ, 339 πρεδιχτιον v(τ ), 336, σεε αλσο πολιχψ ιτερατιον, πολιχψ εϖαλυατιον τεµποραλ διφφερενχε λεαρνινγ ρυλε, 348, 356 χροσσ−χορρελατιον, 28, 314, σεε αλσο αυτοχορρελατιον χορρελατιον χυρρεντ, σεε ιντραχελλυλαρ ελεχτριχαλ προπερτιεσ λεακαγε χυρρεντ µεµβρανε χυρρεντ ∆αλεaσ λαω, 239 δεαχτιϖατιον, σεε χονδυχτανχεσ δεχισιον τηεορψ, 89, σεε αλσο δισχριµιναβιλιτψ εστιµατιον τηεορψ Νεψµαν−Πεαρσον λεµµα σιγναλ δετεχτιον τηεορψ Βαψεσιαν δεχισιον, 96 φαλσε αλαρµ ρατε, 91 ηιτ ρατε, 91 λικελιηοοδ ρατιο τεστ, 95, 112 λοσσ φυνχτιον, 96 περχεπτρον, 314, σεε αλσο περχεπτρον τεστ ποωερ, 91 τεστ σιζε, 91 τωο−αλτερνατιϖε φορχεδ χηοιχε, 93 δεχοδινγ, σεε εστιµατιον τηεορψ νευραλ δεχοδινγ δεχορρελατιον, 135 αντι−Ηεββ ρυλε, 311 Γοοδαλλ ρυλε, 311 δειναχτιϖατιον, σεε χονδυχτανχεσ δελ οπερατορ ∇, 402

444 δελαψεδ ρεωαρδσ, προβλεµ οφ, 332, 340 αχτορ−χριτιχ σολυτιον, 349 δισχουντινγ, 351 δψναµιχ προγραµµινγ σολυτιον, σεε δψναµιχ προγραµµινγ πολιχψ ιτερατιον Μαρκοϖ δεχισιον προβλεµ, 350, 355 µαζε τασκ, 347 ρεχυρσιϖε πρινχιπλε, 337, 356 σεχονδαρψ χονδιτιονινγ, 336 σεθυεντιαλ αχτιον χηοιχε, 346 συµµεδ φυτυρε ρεωαρδ, 336, 347, 355 τεµποραλ διφφερενχε σολυτιον, 337 ωατερ µαζε τασκ, 352 δελαψεδ−ρεχτι⇒ερ, σεε χονδυχτανχεσ, Κ+ δ φυνχτιον, 9, 404 δελτα ρυλε, 319, 320, 381, σεε αλσο χοντραστιϖε Ηεββ ρυλε γραδιεντ δεσχεντ λεαρνινγ ρυλεσ περχεπτρον λεαρνινγ ρυλε Ρεσχορλα−Ωαγνερ ρυλε τεµποραλ διφφερενχε λεαρνινγ ρυλε ασ Ρεσχορλα−Ωαγνερ ρυλε, 333 χοντραστιϖε Ηεββ ρυλε, 321 φυνχτιον αππροξιµατιον, 320 δενδριτεσ, 4 δενδριτεσ, ελεχτριχαλ προπερτιεσ, σεε αλσο χοµπαρτµενταλ µοδελσ µεµβρανε, ελεχτριχαλ προπερτιεσ απιχαλ ϖερσυσ βασαλ δενδριτεσ, 217 ελεχτροτονιχ χοµπαχτνεσσ, 156, 218 ελεχτροτονιχ λενγτη λ, 207, 208, 213 ινπυτ ρεσιστανχε, 209 µορπηοελεχτροτονιχ τρανσφορµ, 215 δενσιτψ εστιµατιον, 322, 368 ανδ οπτιµαλ χοδινγ, 369 µαξιµυµ λικελιηοοδ, 323, 369 συπερϖισεδ λεαρνινγ, 323, σεε αλσο

Ινδεξ συπερϖισεδ λεαρνινγ υνσυπερϖισεδ λεαρνινγ, 325, σεε αλσο υνσυπερϖισεδ λεαρνινγ δεπολαριζατιον, 4, 160 δεπρεσσιον, σψναπτιχ, σεε ΛΤ∆ πλαστιχιτψ διαγοναλιζατιον, µατριξ, 403 διφφερενχε εθυατιον, 413 µοδε, 413 διφφερενχε οφ Γαυσσιανσ, σεε χεντερ−συρρουνδ στρυχτυρε διφφερεντιαλ εντροπψ, σεε εντροπψ, χοντινυουσ ϖαριαβλε διφφερεντιαλ εθυατιον, 410, σεε αλσο ρεχυρρεντ νετωορκσ σταβιλιτψ, νετωορκ µοδε, 411 διφφυσιον εθυατιον, 208, σεε αλσο χαβλε εθυατιον διµενσιον ρεδυχτιον, σεε ρε−ρεπρεσεντατιον ∆ιραχ δ φυνχτιον, σεε δ φυνχτιον διρεχτ αχτορ, σεε αχτορ, διρεχτ διρεχτιον σελεχτιϖιτψ, 72, σεε αλσο ρεχεπτιϖε ⇒ελδ, νονσεπαραβλε διρεχτιοναλ δεριϖατιϖε, 402, σεε αλσο δελ οπερατορ ∇ δισχριµιναβιλιτψ δ′ , 91, 96, σεε αλσο δεχισιον τηεορψ δε⇒νεδ βψ µαξιµυµ λικελιηοοδ, 112 νον−Γαυσσιαν διστριβυτιονσ, 94 δισπαριτψ, 16 δοπαµινεργιχ αχτιϖιτψ, 339 ανδ ρεωαρδ, 339 τεµποραλ διφφερενχε πρεδιχτιον ερρορ µοδελ οφ, 339, σεε αλσο χριτιχ δοτ προδυχτ, 99, 399 δριϖινγ φορχε, 160, σεε αλσο χονδυχτανχεσ ρεϖερσαλ ποτεντιαλ δψναµιχ προγραµµινγ, 347, σεε αλσο πολιχψ ιτερατιον Βελλµαν εθυατιον, 355 εχχεντριχιτψ, σεε ρετιναλ χοορδινατε σψστεµ

Ινδεξ εφ⇒χιενχψ (οφ εστιµατορ), σεε εστιµατιον τηεορψ ειγενσψστεµ, 402 δεγενεραχψ, 402 ειγενφυνχτιον ε (τ ), 405 ειγενϖαλυε λ, 245, 402 ειγενϖεχτορ ε, 245, 402 ειγενϖεχτορ εξπανσιον, 245 ειγενϖεχτορ ορτηονορµαλιτψ, 403 ειγενϖεχτορ, πρινχιπαλ, 294, 376, σεε αλσο ΠΧΑ πρινχιπαλ χοµπονεντ τρανσλατιον ινϖαριανχε, 304, 405 ελαστιχ νετ, σεε φεατυρε−βασεδ µοδελσ ελεχτριχαλ χιρχυιτ τηεορψ, 413 ελεχτροδεσ εξτραχελλυλαρ, 7 πατχη, 6 σηαρπ ιντραχελλυλαρ, 6 ελεχτροτονιχ λενγτη, σεε χαβλε τηεορψ δενδριτεσ, ελεχτριχαλ προπερτιεσ µορπηοελεχτροτονιχ τρανσφορµ ΕΜ (εξπεχτατιον µαξιµιζατιον), 364, σεε αλσο δενσιτψ εστιµατιον ασ χοορδινατε ασχεντ, 370 Ε πηασε, 365 λικελιηοοδ λοωερ βουνδ F , 369 Μ πηασε, 365 τηεορψ οφ, 369 ενεργψ µοδελ, 76, σεε αλσο χοµπλεξ χελλ εντροπψ, 124, 125, σεε αλσο εντροπψ ρατε ινφορµατιον νοισε εντροπψ χοντινυουσ ϖαριαβλε, 130 εντροπψ µαξιµιζατιον, 130, σεε αλσο ηιστογραµ εθυαλιζατιον ινφορµατιον µαξιµιζατιον εφφεχτ οφ νοισε, 138^141 ποπυλατιονσ οφ νευρονσ, 133 σινγλε νευρον, 131 εντροπψ ρατε, 145 εστιµατιον βψ διρεχτ µετηοδ, 146^147 Ποισσον προχεσσ, 146 ΕΠΣΧ (εξχιτατορψ ποστσψναπτιχ

445 χυρρεντ), 181, σεε αλσο σψναπτιχ χονδυχτανχεσ ΕΠΣΠ (εξχιτατορψ ποστσψναπτιχ ποτεντιαλ), 204, σεε αλσο σψναπτιχ χονδυχτανχεσ εθυιλιβριυµ ποιντ, σεε χοντινυουσ αττραχτορ ⇒ξεδ−ποιντ ποιντ αττραχτορ σταβιλιτψ, νετωορκ εθυιλιβριυµ ποτεντιαλ, 158, σεε αλσο ρεϖερσαλ ποτεντιαλ εθυιϖαλεντ χαβλε, σεε χοµπαρτµενταλ µοδελσ, Ραλλ µοδελ εθυιϖαλεντ χιρχυιτ, σεε χοµπαρτµενταλ µοδελσ ερρορ φυνχτιον, 94 ερρορ−χορρεχτινγ λεαρνινγ ρυλεσ, 318, σεε αλσο χοντραστιϖε Ηεββ ρυλε δελτα ρυλε λεαρνινγ ρυλεσ περχεπτρον λεαρνινγ ρυλε τεµποραλ διφφερενχε λεαρνινγ ρυλε εστιµατιον τηεορψ, σεε αλσο Χραµ×ερ−Ραο βουνδ δεχισιον τηεορψ Φισηερ ινφορµατιον νευραλ δεχοδινγ ασψµπτοτιχ χονσιστενχψ, 109 Βαψεσιαν ινφερενχε, 102 βιασ, 107 βιασ−ϖαριανχε τραδεοφφ, 109 εφ⇒χιενχψ, 109 εστιµατιον ερρορ, 108 µαξιµυµ α ποστεριορι (ΜΑΠ) εστιµατε, 107 ινφερενχε, 103 µαξιµυµ λικελιηοοδ (ΜΛ) εστιµατε, 106 ινφερενχε, 103 ρεχυρρεντ νετωορκ ΜΛ ινφερενχε, 258 υνβιασεδ εστιµατορ, 101, 108, 109 ϖαριανχε (οφ εστιµατορ), 108 Ευλερ µετηοδ, 226, σεε αλσο νυµεριχαλ µετηοδσ

446 ρεϖερσε Ευλερ µετηοδ εξχιτατορψ ποστσψναπτιχ χυρρεντ, 181, σεε αλσο σψναπτιχ χονδυχτανχεσ εξχιτατορψ−ινηιβιτορψ νετωορκσ, σεε ρεχυρρεντ νετωορκσ εξερχισεσ, ξιϖ, σεε mitpress.mit.edu/dayan-abbott

εξπεχτατιον µαξιµιζατιον, σεε ΕΜ εξπονεντιαλ διστριβυτιον, 417 δουβλε εξπονεντιαλ διστριβυτιον, 380 εψε ποσιτιον ιντεγρατιον, 248, σεε αλσο ιντεγρατορ, νευραλ φαχιλιτατιον, σψναπτιχ, σεε ΛΤΠ πλαστιχιτψ φαχτορ αναλψσισ, 366, 374, σεε αλσο χαυσαλ µοδελσ ΕΜ αλγοριτηµ, 367, σεε αλσο ΕΜ φαχτοριαλ ρε−ρεπρεσεντατιον, 374 γενερατιον, 374 λεαρνινγ ρυλε, 395 νονλινεαρ, σεε ΙΧΑ σπαρσε χοδινγ µοδελ ΠΧΑ λιµιτ, 375 ρεχογνιτιον µοδελ, 374 ϖσ. ΠΧΑ, 376^377 φαχτοριαλ χοδε, σεε νευραλ χοδινγ φαχτοριαλ ρεπρεσεντατιον, σεε ρε−ρεπρεσεντατιον φαλσε αλαρµ ρατε, σεε δεχισιον τηεορψ Φανο φαχτορ, 27, 27, 32, σεε αλσο σπικε χουντ, διστριβυτιον φεατυρε σελεχτιϖιτψ, σεε νευραλ χοδινγ τυνινγ χυρϖε ρεχεπτιϖε ⇒ελδ φεατυρε−βασεδ µοδελσ, 307, σεε αλσο αχτιϖιτψ−δεπενδεντ δεϖελοπµεντ χοµπετιτιϖε Ηεββ ρυλε, 308 ελαστιχ νετ, 308 φεατυρεσ ιν, 307 οχυλαρ δοµινανχε στριπε δεϖελοπµεντ, 309 οριεντατιον δοµαιν

Ινδεξ δεϖελοπµεντ, 309 σελφ−οργανιζινγ µαπ, 308 σψναπτιχ ωειγητσ ιν, 307 Φεχηνερaσ λαω, 18 φεεδφορωαρδ νετωορκσ, 238, 241, 301, σεε αλσο φυνχτιον αππροξιµατιον χοορδινατε τρανσφορµατιον, σεε χοορδινατε τρανσφορµατιον ⇒λτερ, σεε αλσο νοισε ⇒λτερ σπικε δεχοδινγ Ωιενερ κερνελ χαυσαλ, 14 λινεαρ, 13, 337, 404 ⇒λτερ κερνελ, 13, 46 ⇒ρινγ ρατε, 8, 24, σεε αλσο σπικε χουντ ρατε νευραλ ρεσπονσε φυνχτιον r (τ ), 10 αχτιϖατιον φυνχτιον Φ ( Ισ ), 234 αϖεραγε, 11 εστιµατε rεστ (τ ), 46 εστιµατε ωιτη στατιχ νονλινεαριτψ, 49 εστιµατιον, 11, 45, σεε αλσο νευραλ δεχοδινγ ινσταντανεουσ, 164 ιντερσπικε−ιντερϖαλ, 164 τιµε−δεπενδεντ, 10 ⇒ρινγ−ρατε µοδελσ, 231 αχτιϖατιον φυνχτιον Φ ( Ισ ), 234 χοµπαρισον ωιτη σπικινγ µοδελσ, 230, 274 χοντινυουσ µοδελ, 240 χυρρεντ δψναµιχσ, 235, 260 εξχιτατορψ−ινηιβιτορψ νετωορκσ, 239 ⇒ρινγ ρατε, ρελατιονσηιπ το σψναπτιχ χυρρεντ οφ, 234 µεαν−⇒ελδ Βολτζµανν µαχηινε, 274 ρατε δψναµιχσ, 236, 236 σπαρσε χοδινγ µοδελ, 380 Φισηερ ινφορµατιον, 108, 109, 130, σεε αλσο εστιµατιον τηεορψ φορ νευραλ ποπυλατιον, 110 ⇒ξεδ ποιντ, σεε αλσο χοντινυουσ αττραχτορ ποιντ αττραχτορ

Ινδεξ ρεχυρρεντ νετωορκσ σταβιλιτψ, νετωορκ µαργιναλλψ σταβλε, 412 υνσταβλε, 412 ⇓ψ, µοτιον προχεσσινγ, 23, 117 Φουριερ αναλψσισ ανδ χονϖολυτιον, 406 δισχρετε Φουριερ τρανσφορµ, 407 Φουριερ ιντεγραλσ, 249 σεριεσ, 249, 407 τρανσφορµ, 406, 406 ινϖερσε δισχρετε Φουριερ τρανσφορµ, 407 ινϖερσε Φουριερ τρανσφορµ, 406 ρεχυρρεντ νετωορκ αναλψσισ, 249 φρεε ενεργψ, −F , 369, 370 ασ λοωερ βουνδ ον λογ λικελιηοοδ, 370, 372 φρεθυενχψ δουβλινγ, 74, σεε αλσο χοµπλεξ χελλ φυνχτιον αππροξιµατιον, 316, 317, σεε αλσο συπερϖισεδ λεαρνινγ δελτα ρυλε, 320 γραδιεντ δεσχεντ φορ, 320 νορµαλ εθυατιονσ, 318 φυνχτιοναλ δεριϖατιϖε, 81 Γ−προτειν, 179 ΓΑΒΑ ρεχεπτορ, σεε σψναπτιχ χονδυχτανχεσ Γαβορ φυνχτιον, 62 γαιν µοδυλατιον, 242 βασισ φυνχτιονσ, 244 γαζε διρεχτιον, 243 ποστεριορ παριεταλ χορτεξ, 242 ρεχυρρεντ µοδελ οφ, 256 γαµµα διστριβυτιον, 33 γαπ ϕυνχτιον, 180 γατινγ, οφ ιον χηαννελσ, σεε ιον χηαννελσ Γαυσσιαν διστριβυτιον, 417 συβ− ανδ συπερ−Γαυσσιαν, 379 Γαυσσιαν ωηιτε νοισε, 23, σεε αλσο στιµυλυσ γαζε διρεχτιον, σεε γαιν µοδυλατιον γενερατιϖε µοδελσ, 359, 362, σεε αλσο χαυσαλ µοδελσ

447 ΕΜ ρεχογνιτιον µοδελσ ασ ινϖερσε το ρεχογνιτιον µοδελσ, 364 γενερατιϖε διστριβυτιον π[υ|v; G ], 362 ϕοιντ διστριβυτιον π[v, υ; G ], 363 µαργιναλ διστριβυτιον π[υ; G ], 363 πριορ διστριβυτιον Π[v; G ], 362 Γιββσ σαµπλινγ, 274, σεε αλσο Βολτζµανν µαχηινε στοχηαστιχ νετωορκσ Γλαυβερ δψναµιχσ, 274, σεε αλσο Βολτζµανν µαχηινε στοχηαστιχ νετωορκσ Γολδµαν εθυατιον, 159, σεε αλσο ρεστινγ ποτεντιαλ Γολδµαν−Ηοδγκιν−Κατζ φορµυλα, 160, σεε αλσο ρεστινγ ποτεντιαλ Γοοδαλλ ρυλε, 311, σεε αλσο αντι−Ηεββιαν ρυλε λεαρνινγ ρυλεσ γραδιεντ ασχεντ στοχηαστιχ, 324, 344, 384, σεε αλσο Μοντε Χαρλο µετηοδ γραδιεντ δεσχεντ, 319 νορµαλ εθυατιονσ ανδ, 320 στοχηαστιχ, 320, 333, 334, σεε αλσο Μοντε Χαρλο µετηοδ Γρεενaσ φυνχτιον, 208, σεε αλσο χαβλε εθυατιον Η1 νευρον, οφ ⇓ψ, 23 ρατε εστιµατιον, 47 σπικε δεχοδινγ, 117, σεε αλσο νευραλ δεχοδινγ ηαλφ−ωαϖε ρεχτι⇒χατιον [ ]+ , 14, 16, 50, 250, σεε αλσο τηρεσηολδ φυνχτιον ηεαδ διρεχτιον σψστεµ, 257, σεε αλσο ιντεγρατορ, νευραλ Ηεββ ρυλε, 281, 286, σεε αλσο χοµπετιτιϖε Ηεββ ρυλε χοντραστιϖε Ηεββ ρυλε χορρελατιον−βασεδ λεαρνινγ ρυλε χοϖαριανχε λεαρνινγ ρυλε λεαρνινγ ρυλεσ πρινχιπαλ χοµπονεντ

448 σψναπτιχ νορµαλιζατιον σψναπτιχ χοµπετιτιον αϖεραγεδ, 286 χλασσι⇒χατιον, 315 χοµπετιτιον δε⇒χιτ ιν, 284 δψναµιχ σολυτιον, 294 φυνχτιον αππροξιµατιον, 318 ινσταβιλιτψ, 284, 287, 288 οχυλαρ δοµινανχε δεϖελοπµεντ, 298 οχυλαρ δοµινανχε στριπε δεϖελοπµεντ, 302 οριεντατιον σελεχτιϖιτψ δεϖελοπµεντ, 299 περχεπτρον, 315 συβτραχτιϖελψ νορµαλιζεδ, 290, 296 συπερϖισεδ λεαρνινγ, 313 τιµινγ−βασεδ, 291, 292 Ηελµηολτζ µαχηινε, 387, σεε αλσο Βολτζµανν µαχηινε χαυσαλ µοδελσ αππροξιµατε φρεε ενεργψ −F˜ , 388 αππροξιµατε προβαβιλιστιχ ρεχογνιτιον, 387, σεε αλσο Μοντε Χαρλο µετηοδ φρεε ενεργψ, −F , 388 γενερατιον, 387 λεαρνινγ ρυλε, 395 προβαβιλιστιχ ρεχογνιτιον, 389 ωακε−σλεεπ αλγοριτηµ, 389 ηιδδεν ϖαριαβλε, σεε χαυσαλ µοδελσ ηιστογραµ ιντερσπικε ιντερϖαλ, 32 σπικε−τιµε, 12, σεε αλσο ⇒ρινγ ρατε ηιστογραµ εθυαλιζατιον, 132, σεε αλσο εντροπψ µαξιµιζατιον αντι−Ηεββ ρυλε, 311 Γοοδαλλ ρυλε, 311 ηιτ ρατε, σεε δεχισιον τηεορψ Ηοδγκιν−Ηυξλεψ µοδελ, σεε αλσο Χοννορ−Στεϖενσ µοδελ οφ αχτιον ποτεντιαλ, 173, 198, 220 οφ δελαψεδ−ρεχτι⇒ερ Κ+ χονδυχτανχε, 171, 175 οφ φαστ Να+ χονδυχτανχε, 172, 177

Ινδεξ Ηοπφ βιφυρχατιον, σεε σταβιλιτψ, νετωορκ Ηυβελ−Ωιεσελ µοδελ χοµπλεξ χελλ, 80, σεε αλσο χοµπλεξ χελλ σιµπλε χελλ, 79, σεε αλσο σιµπλε χελλ ηψπερχολυµν, οριεντατιον, 252 ηψπερπολαριζατιον, 4, 160, 172, 198, 199 ΙΧΑ (ινδεπενδεντ χοµπονεντσ αναλψσισ), 384, σεε αλσο χαυσαλ µοδελσ φαχτορ αναλψσισ ασ λιµιτ οφ σπαρσε χοδινγ µοδελ, 384 διρεχτ λικελιηοοδ µαξιµιζατιον, 384 ΕΜ ιναδεθυαχψ, 384 εξαχτ δετερµινιστιχ ρεχογνιτιον, 384 φαχτοριαλ ρε−ρεπρεσεντατιον, 385 φρεε ενεργψ, −F , 384 ινφορµατιον µαξιµιζατιον, 385 λεαρνινγ ρυλε, 395 νατυραλ γραδιεντ λεαρνινγ ρυλε, 385 ιδεαλ οβσερϖερ, σεε δεχισιον τηεορψ εστιµατιον τηεορψ σιγναλ δετεχτιον τηεορψ ινδεπενδενχε, λινεαρ, 402 ινδεπενδενχε, στατιστιχαλ, 416 ινδεπενδεντ−νευρον χοδε, 36, σεε αλσο νευραλ χοδινγ ινδεπενδεντ−σπικε χοδε, 35, σεε αλσο νευραλ χοδινγ ινδιρεχτ αχτορ, σεε αχτορ, ινδιρεχτ ινφορµατιον, 125, 127, σεε αλσο εντροπψ νοισε εντροπψ χοντινυουσ ϖαριαβλε, 130 ινφορµατιον µαξιµιζατιον, 130, 385 λιµιτατιονσ, 135 ρετιναλ γανγλιον χελλ, 135 ινφορµατιον ρατε, 145 εστιµατιον βψ διρεχτ µετηοδ,

Ινδεξ 147^148 ινηοµογενεουσ Ποισσον προχεσσ, σεε Ποισσον προχεσσ ινπυτ ρεσιστανχε, σεε δενδριτεσ, ελεχτριχαλ προπερτιεσ ινστρυµενταλ χονδιτιονινγ, 331, σεε αλσο αχτορ χλασσιχαλ χονδιτιονινγ δελαψεδ ρεωαρδσ, προβλεµ οφ δψναµιχ προγραµµινγ πολιχψ εξπλορατιον−εξπλοιτατιον διλεµµα, 341 φοραγινγ, 340, 342 µαζε τασκ, 347 τωο−αρµεδ βανδιτ, 341 ωατερ µαζε τασκ, 352 ιντεγρατε−ανδ−⇒ρε µοδελσ, 162 αδαπτατιον, 165 ιντεγρατιον, 191 ιρρεγυλαρ ⇒ρινγ µοδε, 189, 236 πασσιϖε, 163 ρεφραχτορψ περιοδ, 165 ρεγυλαρ ⇒ρινγ µοδε, 189 τηρεσηολδ ποτεντιαλ, σεε τηρεσηολδ ποτεντιαλ ωιτη χονσταντ χυρρεντ, 163 ωιτη σψναπτιχ ινπυτ, 188 ιντεγρατορ, νευραλ, 247, σεε αλσο ρεχυρρεντ νετωορκσ εψε ποσιτιον, 248 ιντερνευρον, 4 ιντερσπικε ιντερϖαλσ χοεφ⇒χιεντ οφ ϖαριατιον Χς , 27, 33, 190 διστριβυτιον, 27, 32 ηιστογραµ, 32 ιντραχελλυλαρ ελεχτριχαλ προπερτιεσ χυρρεντ, λονγιτυδιναλ ΙΛ , 155, 204 ρεσιστανχε, λονγιτυδιναλ ΡΛ , 155 ρεσιστιϖιτψ ρΛ , 155, 203 ινϖερτιβλε ρεχογνιτιον µοδελσ, σεε ρεχογνιτιον µοδελσ ιον χηαννελσ, 4, 154, σεε αλσο χονδυχτανχεσ σψναπτιχ χονδυχτανχεσ αχτιϖατιον γατε, 168 γατινγ εθυατιον, 170, 196

449 κινετιχσ, 169 µοδελσ, 175 οπεν προβαβιλιτψ Πι , 168 προβαβιλιστιχ µοδελσ, 176^177 σελεχτιϖιτψ, 154 σινγλε−χηαννελ χονδυχτανχε, 156 στατε διαγραµσ, 175 στατε−δεπενδεντ ιναχτιϖατιον, 177 στοχηαστιχ οπενινγ, 167 συβυνιτσ, 168, 175 ιον πυµπσ, 4, 154, 158, 161, σεε αλσο ρεστινγ ποτεντιαλ ΙΠΣΧ (ινηιβιτορψ ποστσψναπτιχ χυρρεντ), σεε σψναπτιχ χονδυχτανχεσ ΙΠΣΠ (ινηιβιτορψ ποστσψναπτιχ ποτεντιαλ), σεε σψναπτιχ χονδυχτανχεσ ΙΣΙ, σεε ιντερσπικε ιντερϖαλσ ϑαχοβιαν µατριξ, 411 ϑενσενaσ ινεθυαλιτψ, 150 Κ−µεανσ αλγοριτηµ, 373, σεε αλσο χαυσαλ µοδελσ ασ λιµιτ οφ µιξτυρε οφ Γαυσσιανσ, 374 κερνελ, σεε ⇒λτερ κερνελ κερνελ, οπτιµαλ, σεε σπικε δεχοδινγ Ωιενερ κερνελ Κιρχηηοφφaσ λαωσ, 414 ΚΛ διϖεργενχε, σεε Κυλλβαχκ−Λειβλερ διϖεργενχε Κρονεχκερ δελτα, 400, σεε αλσο δ φυνχτιον Κυλλβαχκ−Λειβλερ διϖεργενχε, 128, 150, σεε αλσο εντροπψ ινφορµατιον y⇓ιππεδa ιν Ηελµηολτζ µαχηινε, 388 ανδ φρεε ενεργψ, −F , 370 δενσιτψ εστιµατιον, 323, 368 µεαν−⇒ελδ αππροξιµατιον ανδ, 275, 277 κυρτοσισ, 379, σεε αλσο σπαρσε διστριβυτιονσ

450 Λαγρανγε µυλτιπλιερσ, 408, 408 λατεντ ϖαριαβλε, σεε χαυσαλ µοδελσ λατεραλ γενιχυλατε νυχλευσ, σεε ΛΓΝ λεακαγε χυρρεντ, 161 λεαρνινγ µοδελσ, σεε ρεινφορχεµεντ λεαρνινγ συπερϖισεδ λεαρνινγ υνσυπερϖισεδ λεαρνινγ λεαρνινγ ρατε, 286, 287, σεε αλσο δελτα ρυλε Ρεσχορλα−Ωαγνερ ρυλε ασσοχιαβιλιτψ, 333 οϖερσηαδοωινγ, 335 λεαρνινγ ρυλεσ, σεε αντι−Ηεββ ρυλε ασσοχιατιϖε µεµορψ χοµπετιτιϖε Ηεββ ρυλε χοντραστιϖε Ηεββ ρυλε χορρελατιον−βασεδ λεαρνινγ ρυλε χοϖαριανχε λεαρνινγ ρυλε δελτα ρυλε ερρορ−χορρεχτινγ λεαρνινγ ρυλεσ Γοοδαλλ ρυλε Ηεββ ρυλε Οϕα ρυλε περχεπτρον λεαρνινγ ρυλε πλαστιχιτψ Ρεσχορλα−Ωαγνερ ρυλε σλιδινγ τηρεσηολδ λεαρνινγ ρυλε τεµποραλ διφφερενχε λεαρνινγ ρυλε τιµινγ−βασεδ λεαρνινγ ρυλε τραχε λεαρνινγ ΛΓΝ (λατεραλ γενιχυλατε νυχλευσ), 45, 51 ινφορµατιον τηεορετιχ χηαραχτεριζατιον, 141 ρεσπονσε προπερτιεσ, 77 τηαλαµιχ ρελαψ νευρον, 200 λικελιηοοδ µαξιµιζατιον, 323, 369, σεε αλσο δενσιτψ εστιµατιον λικελιηοοδ ρατιο, 95, σεε αλσο δεχισιον τηεορψ ανδ ΡΟΧ χυρϖε, 95 λικελιηοοδ ρατιο τεστ, σεε δεχισιον τηεορψ Νεψµαν−Πεαρσον λεµµα λιµιτ χψχλε, σεε οσχιλλατιονσ

Ινδεξ ρεχυρρεντ νετωορκσ λινε αττραχτορ, σεε χοντινυουσ αττραχτορ λινεαρ αλγεβρα, 399 λινεαρ ρεσπονσε εστιµατε, 61, σεε αλσο ⇒ρινγ ρατε, εστιµατιον λινεαρ σεπαραβιλιτψ, σεε περχεπτρον λοχαλ χορτιχαλ χιρχυιτσ, σεε ρεχυρρεντ νετωορκσ λογ λικελιηοοδ, 323, 369 λογιστιχ φυνχτιον, 16, σεε αλσο τυνινγ χυρϖε, σιγµοιδαλ ΛΤ∆ (λονγ−τερµ δεπρεσσιον), 184, 282, σεε αλσο λεαρνινγ ρυλεσ πλαστιχιτψ ηετεροσψναπτιχ δεπρεσσιον, 288 ηοµοσψναπτιχ δεπρεσσιον, 288 ιν χερεβελλυµ, 310 τιµινγ−βασεδ, 291 ΛΤΠ (λονγ−τερµ ποτεντιατιον), 184, 282, σεε αλσο λεαρνινγ ρυλεσ πλαστιχιτψ τιµινγ−βασεδ, 291 Λψαπυνοϖ φυνχτιον, 260, 261, σεε αλσο σταβιλιτψ, νετωορκ ασσοχιατιϖε µεµορψ, 263 Βολτζµανν µαχηινε, 275, 276 ΜΑΠ (µαξιµυµ α ποστεριορι) εστιµατιον, σεε εστιµατιον τηεορψ µαργιναλ διστριβυτιον, 363 µαργιναλιζατιον, 363 Μαρκοϖ χηαιν, 274, σεε αλσο Γιββσ σαµπλινγ στοχηαστιχ νετωορκσ Μαρκοϖ δεχισιον προβλεµ, 350, 355, σεε αλσο δελαψεδ ρεωαρδσ, προβλεµ οφ δψναµιχ προγραµµινγ Μαρκοϖ χηαιν αβσορβινγ στατε, 355 Μαρκοϖ µοδελσ οφ ιον χηαννελσ, σεε ιον χηαννελσ οφ σψναπσεσ, σεε σψναπτιχ µοδελσ µαξιµυµ λικελιηοοδ δενσιτψ εστιµατιον, σεε δενσιτψ

Ινδεξ εστιµατιον εστιµατιον, σεε εστιµατιον τηεορψ µαξιµυµ α ποστεριορι εστιµατιον, σεε εστιµατιον τηεορψ µαζε τασκ, 347, σεε αλσο δελαψεδ ρεωαρδσ, προβλεµ οφ ρεινφορχεµεντ λεαρνινγ ωατερ µαζε τασκ ρεινφορχεµεντ λεαρνινγ σολυτιον οφ, 350 µεαν, οφ ρανδοµ ϖαριαβλε, 416 µεαν−⇒ελδ διστριβυτιον, 274, 372, 387, σεε αλσο Βολτζµανν µαχηινε στοχηαστιχ νετωορκσ ⇒ρινγ ρατε µοδελ, 275 µεµβρανε χυρρεντ, 160, 160, σεε αλσο χονδυχτανχεσ ινϕεχτεδ, 161, 208 περ υνιτ αρεα ιµ , 160, 205, 207 σιγν χονϖεντιον, 162 µεµβρανε ποτεντιαλ, 4, 154 µεµβρανε στρυχτυρε, 153, σεε αλσο ιον χηαννελσ µεµβρανε, ελεχτριχαλ προπερτιεσ, σεε αλσο δενδριτεσ, ελεχτριχαλ προπερτιεσ χαπαχιτανχε Χµ , 156, 204 χαπαχιτανχε, σπεχι⇒χ χµ , 156, 204 χονδυχτανχε, 158 χονδυχτανχε, σπεχι⇒χ γι , 160 ⇒λτερινγ, 233, 237 ρεσιστανχε Ρµ , 157 ρεσιστανχε, σπεχι⇒χ ρµ , 158 τιµε χονσταντ τµ , 158, 163, 207, 208, 235 µεµορψ, ασσοχιατιϖε, σεε ασσοχιατιϖε µεµορψ Μεξιχαν ηατ χοννεχτιονσ, σεε χεντερ−συρρουνδ στρυχτυρε µιξτυρε οφ Γαυσσιανσ, 362, 373, σεε αλσο χαυσαλ µοδελσ Ε πηασε, 365 γενερατιον, 373 γενερατιϖε διστριβυτιον, 362 Κ−µεανσ αλγοριτηµ λιµιτ, 374 λεαρνινγ ρυλε, 395 Μ πηασε, 365

451 µαργιναλ διστριβυτιον, 362 µιξινγ προπορτιονσ, 362 πριορ διστριβυτιον, 362 ρεχογνιτιον µοδελ, 373 ρεσπονσιβιλιτιεσ, 365 ΜΛ (µαξιµυµ λικελιηοοδ), σεε µαξιµυµ λικελιηοοδ µοµεντ−γενερατινγ φυνχτιον, 41 Μοντε Χαρλο µετηοδ, 324, 356, 357 µορπηοελεχτροτονιχ τρανσφορµ, 215, 216, σεε αλσο χαβλε τηεορψ χοµπαρτµενταλ µοδελσ µοτιον χοηερενχε, 89 µυλτιπλιχατιον, σεε γαιν µοδυλατιον µυλτιπλιχατιϖε νορµαλιζατιον, 290, σεε αλσο Οϕα ρυλε σψναπτιχ νορµαλιζατιον δψναµιχαλ εφφεχτ οφ, 296 µυλτιρεσολυτιον δεχοµποσιτιον, 389 χοδινγ, 390 χοµπυτατιοναλ τρανσλατιον ινϖαριανχε, 392 οϖερχοµπλετε ρεπρεσεντατιονσ, 392 ρεπρεσεντατιοναλ ιντερδεπενδενχε, 392 µυτυαλ ινφορµατιον, σεε ινφορµατιον µψελιν, 222 νατυραλ γραδιεντ, 385 νατυραλ σχενε στατιστιχσ, 138, 142, 381 νεοχορτεξ, 229, σεε αλσο χορτιχαλ µαπ φεεδφορωαρδ νετωορκσ ρεχυρρεντ νετωορκσ χορτιχαλ χολυµν, 229 ΙΤ (ινφεροτεµποραλ), 378 Μ1, πριµαρψ µοτορ χορτεξ, 15 ΜΤ (µεδιαλ τεµποραλ αρεα), 32, 89 ποστεριορ παριεταλ χορτεξ, 242 πρεµοτορ χορτεξ, σεε χοορδινατε τρανσφορµατιον ς1, πριµαρψ ϖισυαλ χορτεξ, 14, 45,

452 51 Νερνστ εθυατιον, 159, σεε αλσο εθυιλιβριυµ ποτεντιαλ Νερνστ ποτεντιαλ, σεε εθυιλιβριυµ ποτεντιαλ νευραλ χοδινγ, σεε αλσο ρε−ρεπρεσεντατιον χορρελατιον χοδε, 35 φαχτοριαλ χοδε, 134 ινδεπενδεντ−νευρον χοδε, 36 ινδεπενδεντ−σπικε χοδε, 35 ποπυλατιον χοδε, 97 ρατε χοδε, 38 ρεδυνδανχψ, 134 τεµποραλ χοδε, 37 νευραλ δεχοδινγ, σεε αλσο εστιµατιον τηεορψ χαυσαλιτψ χονστραιντ, 115, 117 οπτιµαλ κερνελ, 116, 121 ποπυλατιον ϖεχτορ, 99, 99^101 πρεδιχτιον δελαψ τ0 , 114 ρεχυρρεντ µοδελ, 258 στιµυλυσ εστιµατε, 114 υσινγ σπικε τιµεσ, σεε σπικε δεχοδινγ ϖεχτορ µετηοδ, 99 νευραλ ρεχορδινγσ, 6, σεε αλσο ελεχτροδεσ εξτραχελλυλαρ, 7 ιντραχελλυλαρ, 6 ϖολταγε χλαµπ, 171 νευραλ ρεσπονσε φυνχτιον ρ(τ ), 9, σεε αλσο ⇒ρινγ ρατε νευροµοδυλατορ, 179, 201, σεε αλσο δοπαµινεργιχ αχτιϖιτψ νευροναλ µοδελσ, σεε χοµπαρτµενταλ µοδελσ ⇒ρινγ−ρατε µοδελσ ιντεγρατε−ανδ−⇒ρε µοδελσ νευροτρανσµιττερ, 5, 179, σεε αλσο σψναπσε σψναπτιχ χονδυχτανχεσ ΓΑΒΑ (γ −αµινοβυτψριχ αχιδ), 179 γλυταµατε, 179 Νεψµαν−Πεαρσον λεµµα, 95, 119, σεε αλσο δεχισιον τηεορψ ΝΜ∆Α ρεχεπτορ, σεε σψναπτιχ χονδυχτανχεσ

Ινδεξ νοδεσ οφ Ρανϖιερ, 222, σεε αλσο αχτιον ποτεντιαλ, σαλτατορψ προπαγατιον νοισε, σεε αλσο ϖαριαβιλιτψ αδδιτιϖε, 17 µυλτιπλιχατιϖε, 17 νευροναλ, 17 νοισε εντροπψ, 126, σεε αλσο εντροπψ µυτυαλ ινφορµατιον χοντινυουσ ϖαριαβλε, 130 νοισε ⇒λτερ, 140 νορµ, ϖεχτορ, 399 νυλλχλινε, σεε πηασε πλανε αναλψσισ νυµεριχαλ µετηοδσ, 191, 192, 225, σεε αλσο διφφερεντιαλ εθυατιονσ Ηινεσ µετηοδ, 227 τριδιαγοναλ σολυτιον µετηοδ, 227 Νψθυιστ φρεθυενχψ, 59 οχυλαρ δοµινανχε, 294 Ηεββιαν δεϖελοπµεντ, 298 συβτραχτιϖε νορµαλιζατιον ιν, 299 οχυλαρ δοµινανχε στριπεσ, 294, 302, 309 χοµπετιτιϖε Ηεββ ρυλε, 306 φεατυρε−βασεδ δεϖελοπµενταλ µοδελ, 309 Ηεββιαν δεϖελοπµεντ, 302 ρελατιονσηιπ το οριεντατιον δοµαινσ, 309 οχυλαριτψ, σεε δισπαριτψ οχυλαρ δοµινανχε οχυλαρ δοµινανχε στριπεσ οδορ αναλψσισ, σεε ολφαχτορψ βυλβ ΟΦΦ ρεσπονσεσ, 53 Οηµaσ λαω, 413 Οϕα ρυλε, 290, 296, σεε αλσο Ηεββ ρυλε λεαρνινγ ρυλεσ µυλτιπλιχατιϖε νορµαλιζατιον πρινχιπαλ χοµπονεντ σταβιλιτψ, 291 ολφαχτορψ βυλβ, 270 εξχιτατορψ−ινηιβιτορψ νετωορκ µοδελ οφ, 270 ΟΝ ρεσπονσεσ, 53

Ινδεξ οπεραντ χονδιτιονινγ, σεε ινστρυµενταλ χονδιτιονινγ οπτιχαλ µοδυλατιον τρανσφερ φυνχτιον, 138 οπτιµαλ χοντρολ, σεε δψναµιχ προγραµµινγ οπτιµαλ κερνελ, σεε σπικε δεχοδινγ οριεντατιον πρεφερρεδ θ, 15, 65 οριεντατιον δοµαινσ, 309 φεατυρε−βασεδ δεϖελοπµενταλ µοδελ, 309 λινεαρ ζονεσ, 309 πινωηεελσ, 309 ρελατιονσηιπ το οχυλαρ δοµινανχε στριπεσ, 309 οριεντατιον σελεχτιϖιτψ, σεε χοµπλεξ χελλ οριεντατιον δοµαινσ σιµπλε χελλ ορτηοδροµιχ προπαγατιον, 221, σεε αλσο αχτιον ποτεντιαλ οσχιλλατιονσ, 36, σεε αλσο πηασε πλανε αναλψσισ ρεχυρρεντ νετωορκσ σταβιλιτψ, νετωορκ αµπλι⇒χατιον, σελεχτιϖε, 272 φρεθυενχψ, 268 λιµιτ χψχλε, 269, 410 ολφαχτορψ βυλβ, 270, 272 πηασε−λοχκεδ, 270 ρεχιπροχαλ ινηιβιτιον, 188 οϖερχοµπλετε, σεε βασισ φυνχτιονσ µυλτιρεσολυτιον δεχοµποσιτιον Παρσεϖαλaσ τηεορεµ, 407 πασσιϖε χαβλε µοδελσ, σεε χαβλε εθυατιον χαβλε τηεορψ µορπηοελεχτροτονιχ τρανσφορµ Παϖλοϖιαν χονδιτιονινγ, σεε χλασσιχαλ χονδιτιονινγ ΠΧΑ (πρινχιπαλ χοµπονεντσ αναλψσισ), 297, 375, σεε αλσο χαυσαλ µοδελσ, σεε αλσο πρινχιπαλ χοµπονεντ ασ λιµιτ οφ φαχτορ αναλψσισ, 375 χοµπυτατιοναλ προπερτιεσ, 297,

453 377 ΕΜ, 376 φρεε ενεργψ, −F , 375 γενερατιον, 375 λεαρνινγ ρυλε, 395 ρεχογνιτιον µοδελ, 375 ϖσ. φαχτορ αναλψσισ, 376^377 περχεπτρον, 314, σεε αλσο συπερϖισεδ λεαρνινγ χαπαχιτψ, 316 Ηεββ ρυλε, 315 λινεαρ σεπαραβιλιτψ, 315 περχεπτρον χονϖεργενχε τηεορεµ, 327 περχεπτρον λεαρνινγ ρυλε, 319, 324, 327, σεε αλσο χοντραστιϖε Ηεββ ρυλε δελτα ρυλε λεαρνινγ ρυλεσ περιοδογραµ, 41, σεε αλσο ποωερ σπεχτρυµ πηασε πλανε αναλψσισ, 266, 266, σεε αλσο οσχιλλατιονσ σταβιλιτψ, νετωορκ νυλλχλινε, 266 πηασε−λοχκινγ, σεε οσχιλλατιονσ πλαχε χελλσ, ηιπποχαµπαλ, 36 πλαστιχιτψ ϖια α τιµινγ βασεδ λεαρνινγ ρυλε, 313 ωατερ µαζε, 352 πλαστιχιτψ, 284, σεε αλσο ΛΤ∆, ΛΤΠ λεαρνινγ ρυλεσ χοϖαριανχε ρυλε, 264 δισχρετε υπδατε, 287 µυλτιπλε τιµεχουρσεσ οφ, 281 νον−Ηεββιαν πλαστιχιτψ, 283 σηορτ−τερµ, 184, 184 δεπρεσσιον, 184 φαχιλιτατιον, 184 Ποισσον ινπυτ, 185^187 ποιντ αττραχτορ, 261, 267, 410, 412, σεε αλσο σταβιλιτψ, νετωορκ βασιν οφ αττραχτιον, 261 ποιντ προχεσσ, 25 Ποισσον διστριβυτιον, 26, 417 µεαν ανδ ϖαριανχε, 41 Ποισσον προχεσσ, 25

454 χοµπυτερ σιµυλατιον, 30 εντροπψ ρατε, 146 ηοµογενεουσ, 25, 41 ινηοµογενεουσ, 29, 42 Ποισσον σπικε τραιν αυτοχορρελατιον, 28 ιντερσπικε ιντερϖαλ διστριβυτιον, 27 πολιχψ, 340, σεε αλσο αχτορ στοχηαστιχ, 341, 347 πολιχψ ιτερατιον, 347, 356, σεε αλσο αχτορ−χριτιχ αλγοριτηµ δψναµιχ προγραµµινγ πολιχψ εϖαλυατιον, 348, 348, 356, σεε αλσο χριτιχ πολιχψ ιµπροϖεµεντ, 349, 357, σεε αλσο αχτορ ποπυλατιον χοδε, 97, σεε αλσο νευραλ χοδινγ ποπυλατιον ϖεχτορ, 99, 99^101, σεε αλσο νευραλ δεχοδινγ ποστ−ινηιβιτορψ ρεβουνδ, 198, 200 ποτασσιυµ χονδυχτανχεσ, σεε χονδυχτανχεσ, Κ+ ποτεντιατιον, λονγ−τερµ, σεε ΛΤΠ ποτεντιατιον, σψναπτιχ, σεε ΛΤ∆, ΛΤΠ πλαστιχιτψ ποωερ σπεχτραλ δενσιτψ, σεε ποωερ σπεχτρυµ ποωερ σπεχτρυµ, 22, 40 πρεδιχτιον δελαψ τ0 , σεε νευραλ δεχοδινγ πρεδιχτιον ερρορ φορ δελαψεδ ρεωαρδ, σεε τεµποραλ διφφερενχε πρεδιχτιον ερρορ φορ ιµµεδιατε ρεωαρδ, 333 πρινχιπαλ χοµπονεντ, 294, 296, σεε αλσο ΠΧΑ οχυλαρ δοµινανχε στριπεσ, 304 πριορ προβαβιλιτψ, σεε προβαβιλιτψ προβαβιλιτψ χονδιτιοναλ, 87 ϕοιντ, 88 πριορ, 88 προβαβιλιτψ δενσιτψ, 24, 417, σεε αλσο δενσιτψ εστιµατιον προβαβιλιτψ εθυαλιζατιον, 134 προβαβιλιτψ µεασυρε, 416

Ινδεξ προβαβιλιτψ τηεορψ, 416 σαµπλε σπαχε, 416 προϕεχτιϖε ⇒ελδ, 382, σεε αλσο χαυσαλ µοδελσ πψραµιδαλ χελλ, 4, σεε αλσο νεοχορτεξ χοµπαρτµενταλ ρεδυχτιον, 218, σεε αλσο χοµπαρτµενταλ µοδελσ λονγ τερµ πλαστιχιτψ ιν, 291 µορπηοελεχτροτονιχ τρανσφορµ, 217, σεε αλσο µορπηοελεχτροτονιχ τρανσφορµ σηορτ τερµ πλαστιχιτψ ιν, 184 θυαδρατυρε παιρ, 76, σεε αλσο χοµπλεξ χελλ ενεργψ µοδελ Ραλλ µοδελ, σεε χοµπαρτµενταλ µοδελσ ρανδοµ ϖαριαβλε, 416 χοντινυουσ, 417 χοϖαριανχε, 416 ινδεπενδενχε, 416 µεαν, 416 ϖαριανχε, 416 ρατε χοδε, σεε ⇒ρινγ−ρατε µοδελσ νευραλ χοδινγ ρε−ρεπρεσεντατιον, 359, 359, σεε αλσο χαυσαλ µοδελσ ινφορµατιον τηεορψ ασ ρεχογνιτιον, 360 φαχτοριαλ, 363 ηιεραρχηιχαλ, 382, 393 ιντερδεπενδενχε, 392 λοσσψ ϖσ. λοσσλεσσ, 391 λοω−διµενσιοναλ, 363 οϖερχοµπλετε, 392 σπαρσε, 363 ρεβουνδ, σεε ποστινηιβιτορψ ρεβουνδ ρεχειϖερ οπερατινγ χηαραχτεριστιχ, 92, 92, σεε αλσο δεχισιον τηεορψ σιγναλ δετεχτιον τηεορψ ρεχεπτιϖε ⇒ελδ, 14, 53, σεε αλσο χεντερ−συρρουνδ στρυχτυρε τυνινγ χυρϖε χεντερ ξ0 , ψ0 , 65 διφφερενχε−οφ−Γαυσσιανσ µοδελ, 77

Ινδεξ νονσεπαραβλε, 61, 71 σεπαραβλε, 61 σιζε σξ , σ ψ , 58, 62 σπαχε−τιµε, 61, 68 ρεχογνιτιον µοδελσ, 360, σεε αλσο χαυσαλ µοδελσ ΕΜ γενερατιϖε µοδελσ αππροξιµατε διστριβυτιον Θ, 367, 369 αππροξιµατε, υσινγ F , 372 ασ εξπεχτατιον πηασε οφ ΕΜ, 365 ασ ινϖερσε το γενερατιϖε µοδελσ, 363 δετερµινιστιχ, 360 ινϖερτιβλε, 367, 370 νονινϖερτιβλε, 367 νονινϖερτιβλε δετερµινιστιχ µοδελσ, 371 νονινϖερτιβλε προβαβιλιστιχ µοδελσ, 372 προβαβιλιστιχ, 360 ρεχογνιτιον διστριβυτιον Π[v|υ; G ], 363 ϖαριατιοναλ µετηοδ, 372 ρεχορδινγ, σεε νευραλ ρεχορδινγσ ρεχτι⇒χατιον, σεε ηαλφ−ωαϖε ρεχτι⇒χατιον τηρεσηολδ φυνχτιον ρεχυρρεντ νετωορκσ, 238, 244, 301 χοµπετιτιϖε δψναµιχσ, 255, 305 χοµπλεξ χελλ µοδελ, 254, σεε αλσο χοµπλεξ χελλ χοντινυουσ λαβελινγ, 248 εξχιτατορψ−ινηιβιτορψ νετωορκσ, 265 ⇒ξεδ ποιντ, σεε χοντινυουσ αττραχτορ ποιντ αττραχτορ γαιν µοδυλατιον, 256 λιµιτ χψχλε, 269, σεε αλσο οσχιλλατιονσ λινεαρ, 245 ΜΛ ινφερενχε, 258, σεε αλσο εστιµατιον τηεορψ νονλινεαρ, 250 ολφαχτορψ βυλβ µοδελ, 270 οσχιλλατορψ, 268 σιµπλε χελλ µοδελ, 252, σεε αλσο

455 σιµπλε χελλ σταβιλιτψ, σεε σταβιλιτψ, νετωορκ στεαδψ στατε ϖ∞ , 246 συσταινεδ αχτιϖιτψ, 257, σεε αλσο ιντεγρατορ, νευραλ σψµµετριχ χουπλινγ, 239 ρεφραχτορψ περιοδ, 4, 33, 221, σεε αλσο αχτιον ποτεντιαλ ιντεγρατε−ανδ−⇒ρε µοδελσ ρεγρεσσιον, σεε φυνχτιον αππροξιµατιον ρεινφορχεµεντ λεαρνινγ, 283, 331, 331, σεε αλσο αχτορ−χριτιχ αλγοριτηµ χλασσιχαλ χονδιτιονινγ δψναµιχ προγραµµινγ ινστρυµενταλ χονδιτιονινγ τεµποραλ διφφερενχε λεαρνινγ ασψνχηρονουσ ανδ µοδελ φρεε, 356, 357 εξπλορατιον−εξπλοιτατιον διλεµµα, 341 συβϕεχτιϖε υτιλιτψ, 343 ρελαψ νευρον, σεε τηαλαµιχ ρελαψ νευρον ρενεωαλ προχεσσ, 25 Ρεσχορλα−Ωαγνερ ρυλε, 332, 333, σεε αλσο δελτα ρυλε λεαρνινγ ρυλεσ τεµποραλ διφφερενχε λεαρνινγ ρυλε ανδ γραδιεντ δεσχεντ, 333 ασ δελτα ρυλε, 333 βλοχκινγ, 334 ινδιρεχτ αχτορ, υσε φορ, 342 ινηιβιτορψ χονδιτιονινγ, 335 µυλτιπλε στιµυλι, 334 σεχονδαρψ χονδιτιονινγ διφ⇒χυλτιεσ, 336 ρεσπονσε φυνχτιον, σεε νευραλ ρεσπονσε φυνχτιον ρεσπονσε ϖαριαβιλιτψ, σεε ϖαριαβιλιτψ, ιν σπικε χουντ ρεστινγ ποτεντιαλ, 4, 161, 207 ρετινα, 51 ρετιναλ χιρχυιτρψ, 52 ρετιναλ χοορδινατε σψστεµ, σεε αλσο χοµπλεξ λογαριτηµιχ µαπ

456 αζιµυτη α, 55 εχχεντριχιτψ ϵ, 55 ρετιναλ δισπαριτψ, σεε δισπαριτψ ρετιναλ γανγλιον χελλσ, 52 ινφορµατιον τηεορετιχ χηαραχτεριζατιον, 135 ρεχεπτιϖε ⇒ελδσ, 77 ρεϖερσαλ ποτεντιαλ, 159, σεε αλσο χονδυχτανχεσ εθυιλιβριυµ ποτεντιαλ ρεϖερσε χορρελατιον, 20, 47, σεε αλσο σπικε δεχοδινγ σπικε−τριγγερεδ αϖεραγε Ωιενερ κερνελ χοµπλεξ χελλσ, 74 σιµπλε χελλσ, 60 ρεϖερσε Ευλερ µετηοδ, 226, σεε αλσο νυµεριχαλ µετηοδσ ΡΟΧ, σεε ρεχειϖερ οπερατινγ χηαραχτεριστιχ σαδδλε−νοδε βιφυρχατιον, σεε σταβιλιτψ, νετωορκ σαλτατορψ προπαγατιον, σεε αχτιον ποτεντιαλ σαµπλε σπαχε, 416 σαµπλινγ τηεορεµ, 408, σεε αλσο Νψθυιστ φρεθυενχψ σχορε Ζ (ρ ), 97, σεε αλσο δεχισιον τηεορψ εστιµατιον τηεορψ σεχονδ µεσσενγερ, 179 σεχονδαρψ χονδιτιονινγ, 336, σεε αλσο χλασσιχαλ χονδιτιονινγ δελαψεδ ρεωαρδσ, προβλεµ οφ σελεχτιϖε αµπλι⇒χατιον, σεε αµπλι⇒χατιον, σελεχτιϖε σελφ−οργανιζινγ µαπ, σεε φεατυρε−βασεδ µοδελσ σελφ−συπερϖισεδ λεαρνινγ, σεε υνσυπερϖισεδ λεαρνινγ σηυντινγ, σεε χονδυχτανχεσ, σηυντινγ σιγµοιδαλ φυνχτιον, 50, σεε αλσο τυνινγ χυρϖεσ, σιγµοιδαλ σιγναλ δετεχτιον τηεορψ, 90^97, σεε αλσο δεχισιον τηεορψ σιγναλ−το−νοισε ρατιο, 141, 144

Ινδεξ σιµπλε χελλ, 54, 73, σεε αλσο Ηυβελ−Ωιεσελ µοδελ οριεντατιον σελεχτιϖιτψ φεεδφορωαρδ µοδελ, 79 Ηεββιαν δεϖελοπµεντ, 299 ΙΧΑ δεϖελοπµεντ οφ, 386 ρεχυρρεντ µοδελ, 252 σπαρσε χοδινγ µοδελ δεϖελοπµεντ, 381 σινγλε χηαννελ, σεε ιον χηαννελσ σλεεπ πηασε, σεε Βολτζµανν µαχηινε Ηελµηολτζ µαχηινε σλιδινγ τηρεσηολδ λεαρνινγ ρυλε, 288, σεε αλσο χοϖαριανχε λεαρνινγ ρυλε Ηεββ ρυλε λεαρνινγ ρυλεσ προϕεχτιον πυρσυιτ, 328 σταβιλιτψ, 289 σψναπτιχ χοµπετιτιον, 289 σλιδινγ ωινδοω, 13 σοδιυµ χονδυχτανχεσ, σεε χονδυχτανχεσ, Να+ σοµα, 4 σπαρσε χοδινγ µοδελ, 378, σεε αλσο χαυσαλ µοδελσ φαχτορ αναλψσισ αππροξιµατε δετερµινιστιχ ρεχογνιτιον, 380^381 δψναµιχαλ ρεχογνιτιον, 380 ΕΜ, 381 φαχτοριαλ ρε−ρεπρεσεντατιον, 379 φρεε ενεργψ, −F , 380 γενερατιον, 379 ΙΧΑ λιµιτ, 384 λεαρνινγ ρυλε, 395 µυλτιρεσολυτιον δεχοµποσιτιον, 389, σεε αλσο µυλτιρεσολυτιον δεχοµποσιτιον σπαρσενεσσ πριορ, 380 σψναπτιχ νορµαλιζατιον, 381 σπαρσε διστριβυτιονσ, 378 κυρτοσισ, 379 σπαρσε ρεπρεσεντατιον, σεε ρε−ρεπρεσεντατιον σπαρσενεσσ, 262, σεε αλσο κυρτοσισ σπατιαλ φρεθυενχψ Κ, 58 πρεφερρεδ σπατιαλ φρεθυενχψ κ, 62

Ινδεξ σπατιαλ πηασε ., 58 ινϖαριανχε, 74 πρεφερρεδ σπατιαλ πηασε φ, 62 σπικε, σεε αχτιον ποτεντιαλ σπικε χουντ, 9 διστριβυτιον, 31^32, σεε αλσο Φανο φαχτορ σπικε δεχοδινγ, 113, σεε αλσο εστιµατιον τηεορψ ⇒ρινγ ρατε Ωιενερ κερνελ οπτιµαλ κερνελ, 47, 81 σπικε τραιν, 8, σεε αλσο ιντερσπικε ιντερϖαλσ σπικε χουντ χοµπυτερ σιµυλατιον, 51, σεε αλσο Ποισσον προχεσσ, χοµπυτερ σιµυλατιον σπικε−χουντ ρατε ρ, 9, σεε αλσο ⇒ρινγ ρατε σπικε−ρατε αδαπτατιον, 165, 201, σεε αλσο ιντεγρατε−ανδ−⇒ρε µοδελσ σπικε−τριγγερεδ αϖεραγε Χ (τ), 19, 19, 47, 60, σεε αλσο ⇒ρινγ ρατε, εστιµατιον σπικε δεχοδινγ µυλτιπλε−σπικε τριγγερσ, 23 οτηερ µοµεντσ, 23 σπικινγ προβαβιλιτψ, 10 σπινε, δενδριτιχ, 6, σεε αλσο σψναπσε σταβιλιτψ, νετωορκ, 260, σεε αλσο διφφερεντιαλ εθυατιον βιφυρχατιον Ηοπφ, 269 σαδδλε−νοδε, 269 χοντινυουσ αττραχτορ, 247, 251, σεε αλσο χοντινυουσ αττραχτορ ⇒ξεδ ποιντ, 260, 261, 267, 412, σεε αλσο ποιντ αττραχτορ λινεαρ ινσταβιλιτψ, 246 Λψαπυνοϖ φυνχτιον, 260, σεε αλσο Λψαπυνοϖ φυνχτιον µαργιναλ σταβιλιτψ, 412 νονλινεαρ ινσταβιλιτψ, 252 οσχιλλατιονσ, 268, σεε αλσο οσχιλλατιονσ πηασε πλανε αναλψσισ, 266, σεε αλσο πηασε πλανε αναλψσισ ποιντ αττραχτορ, 260, 261, 267, σεε

457 αλσο ποιντ αττραχτορ σταβιλιτψ µατριξ, 268, 271 στρανγε αττραχτορ, 410 στατιοναρψ στατε, σεε χοντινυουσ αττραχτορ ποιντ αττραχτορ ρεχυρρεντ νετωορκσ σταβιλιτψ, νετωορκ στεαδψ στατε, σεε χοντινυουσ αττραχτορ ποιντ αττραχτορ ρεχυρρεντ νετωορκσ σταβιλιτψ, νετωορκ στιµυλυσ ⇓ασηεδ ορ µοϖινγ ϖσ. στατιχ, 69^70 Γαυσσιαν ωηιτε νοισε, 23 µαξιµαλλψ εφφεχτιϖε, 48, 83 περιοδιχ, 19 ωηιτε−νοισε, 22, 40, 47 ωηιτε−νοισε ιµαγε, 58 στιµυλυσ ρεχονστρυχτιον, σεε σπικε δεχοδινγ στοχηαστιχ γραδιεντ ασχεντ, σεε γραδιεντ ασχεντ στοχηαστιχ γραδιεντ δεσχεντ, σεε γραδιεντ δεσχεντ στοχηαστιχ νετωορκσ Βολτζµανν µαχηινε, 273, 322, σεε αλσο Βολτζµανν µαχηινε Ηελµηολτζ µαχηινε, 388, σεε αλσο Ηελµηολτζ µαχηινε Μαρκοϖ χηαιν Μοντε Χαρλο σαµπλινγ, 274 προβαβιλιστιχ ινπυτ−ουτπυτ ρελατιονσηιπ, 322 ωακε−σλεεπ αλγοριτηµ, 389 στοµατογαστριχ γανγλιον, 201, 201 ΣΤΠ (σηορτ−τερµ ποτεντιατιον), σεε πλαστιχιτψ στρανγε αττραχτορ, 410 στριατυµ, 351 συβτραχτιϖε νορµαλιζατιον, 290, σεε αλσο σψναπτιχ νορµαλιζατιον δψναµιχαλ εφφεχτ οφ, 296, 299 ιν Ηεββ ρυλε, 296 οχυλαρ δοµινανχε δεϖελοπµεντ, 299 συπερϖισεδ λεαρνινγ, 283, 313, σεε

458 αλσο δενσιτψ εστιµατιον συρφαχε αττραχτορ, σεε χοντινυουσ αττραχτορ σψναπσε, 5, σεε αλσο γαπ ϕυνχτιον ιν ιντεγρατε−ανδ−⇒ρε µοδελσ, 188, σεε αλσο ιντεγρατε−ανδ−⇒ρε µοδελσ ινηιβιτορψ ανδ εξχιτατορψ, 160 σψναπτιχ χοµπετιτιον, 284, σεε αλσο πλαστιχιτψ σψναπτιχ νορµαλιζατιον σλιδινγ τηρεσηολδ λεαρνινγ ρυλε οβϖιατιον οφ, 289 τιµινγ−βασεδ λεαρνινγ ρυλε, 293 σψναπτιχ χονδυχτανχεσ, 167, 178, σεε αλσο χονδυχτανχεσ ιον χηαννελσ ΑΜΠΑ, 179, 181 ΓΑΒΑΑ , 180, 182 ΓΑΒΑΒ , 180 ιονοτροπιχ, 179 µεταβοτροπιχ, 179 ΝΜ∆Α, 179, 182, 183 σψναπτιχ χυρρεντ Ισ , 232, 232, σεε αλσο ⇒ρινγ−ρατε µοδελσ σψναπτιχ δεπρεσσιον, σεε ΛΤ∆ πλαστιχιτψ σψναπτιχ φαχιλιτατιον, σεε ΛΤΠ πλαστιχιτψ σψναπτιχ κερνελ, 233, σεε αλσο ⇒λτερ ⇒ρινγ−ρατε µοδελσ σψναπτιχ µοδελσ α φυνχτιον, 182 διφφερενχε οφ εξπονεντιαλσ, 182 εξπονεντιαλ, 181 προβαβιλιστιχ, 180 τρανσµιττερ ρελεασε, 180 σψναπτιχ νορµαλιζατιον, 289, 381, σεε αλσο µυλτιπλιχατιϖε νορµαλιζατιον πλαστιχιτψ συβτραχτιϖε νορµαλιζατιον δψναµιχ ιµποσιτιον, 289, σεε αλσο Οϕα ρυλε ιν συπερϖισεδ λεαρνινγ, 314

Ινδεξ οφ σθυαρε νορµ, 289 οφ συµ, 289 ριγιδ ιµποσιτιον, 289 σψναπτιχ οπεν προβαβιλιτψ Πσ , 179 σψναπτιχ πλαστιχιτψ, σεε πλαστιχιτψ σψναπτιχ ποτεντιατιον, σεε ΛΤΠ πλαστιχιτψ σψναπτιχ ρεχεπτορσ, σεε σψναπτιχ χονδυχτανχεσ σψναπτιχ σατυρατιον, 284, σεε αλσο πλαστιχιτψ δψναµιχαλ εφφεχτ οφ, 295 σψναπτιχ τιµε χονσταντ τσ , 234 σψναπτιχ τρανσµισσιον, 178 σψναπτιχ ωειγητσ, 233, 285, σεε αλσο ⇒ρινγ−ρατε µοδελσ πλαστιχιτψ ασσοχιατιϖε µεµορψ, 263^264, σεε αλσο ασσοχιατιϖε µεµορψ σψνχηρονψ, 36, 188, σεε αλσο οσχιλλατιονσ σψστεµσ ιδεντι⇒χατιον, σεε ρεϖερσε χορρελατιον Ταψλορ σεριεσ, 411 Τ∆ (τεµποραλ διφφερενχε), σεε εντριεσ υνδερ τεµποραλ διφφερενχε τεµποραλ χοδε, σεε νευραλ χοδινγ τεµποραλ διφφερενχε ερρορ, σεε τεµποραλ διφφερενχε πρεδιχτιον ερρορ τεµποραλ διφφερενχε λεαρνινγ ρυλε, 336, 337, 356, σεε αλσο αχτορ−χριτιχ αλγοριτηµ δελαψεδ ρεωαρδσ, προβλεµ οφ λεαρνινγ ρυλεσ ανδ δελτα ρυλε, 337 χριτιχ, 348 ρεχυρσιϖε φορµυλα φορ συµµεδ ρεωαρδ, 337 σεχονδαρψ χονδιτιονινγ, 338 στιµυλυσ τραχεσ, 352 Τ∆(λ) ρυλε, 352 τεµποραλ διφφερενχε πρεδιχτιον ερρορ δ(τ ), 337 διρεχτ αχτορ, υσε φορ, 349 δισχουντεδ, 352

Ινδεξ µοδελ οφ δοπαµινεργιχ αχτιϖιτψ, 339 τεστ ποωερ, σεε δεχισιον τηεορψ τεστ σιζε, σεε δεχισιον τηεορψ τηαλαµιχ ρελαψ νευρον, 200 τηερµαλ ενεργψ, 154 τηρεσηολδ φυνχτιον, 50, 234, σεε αλσο ηαλφ−ωαϖε ρεχτι⇒χατιον τηρεσηολδ ποτεντιαλ, 162, σεε αλσο ιντεγρατε−ανδ−⇒ρε µοδελσ τιγητ φραµε, 318, σεε αλσο βασισ φυνχτιονσ φυνχτιον αππροξιµατιον τιµινγ−βασεδ λεαρνινγ ρυλε, 291, σεε αλσο Ηεββ ρυλε λεαρνινγ ρυλεσ πλαστιχιτψ χαυσαλιτψ, 291 Ηεββιαν, 292 πρεδιχτιον, 311 σψναπτιχ χοµπετιτιον ιν, 293 τεµποραλ ασψµµετρψ, 291 τραχε λεαρνινγ, σεε τραχε λεαρνινγ ♦ Τοπλιτζ µατριξ, σεε τρανσλατιον ινϖαριανχε τραχε λεαρνινγ, 300, 301 τρανσλατιον ινϖαριανχε, 136, 240, 304, 404, σεε αλσο ειγενσψστεµ χοµπυτατιοναλ, 392 ♦ Τοπλιτζ µατριξ, 401 τρανσµιττερ ρελεασε προβαβιλιτψ Πρελ , 179, 184, 185 τρανσµιττερ−γατεδ χηαννελσ, σεε σψναπτιχ χονδυχτανχεσ τριαλ αϖεραγε ⟨ ⟩, 10 τριαλ αϖεραγε ρατε ⟨ρ⟩, σεε ⇒ρινγ ρατε τυνινγ χυρϖε, 14, σεε αλσο φεατυρε−βασεδ µοδελσ νευραλ χοδινγ ρεχεπτιϖε ⇒ελδ βοδψ−βασεδ, 242, 244 χοσινε, 15, 98 δψναµιχ εξτενσιον, 51 Γαυσσιαν, 14 ινϖαριανχε, 254 οπτιµαλ ωιδτη, 110^112 σιγµοιδαλ, 16 τωο−αλτερνατιϖε φορχεδ χηοιχε τεστ,

459 σεε δεχισιον τηεορψ υνβιασεδ εστιµατορ, σεε εστιµατιον τηεορψ υνσυπερϖισεδ λεαρνινγ, 283, 293, 359, σεε αλσο χαυσαλ µοδελσ δενσιτψ εστιµατιον ΕΜ χαυσαλ µοδελσ, 360, 363 ινπυτ ωηιτενινγ, 381 ϖαριαβιλιτψ, σεε αλσο νοισε ιν ΙΣΙ, 27, 189^191, σεε αλσο ιντερσπικε ιντερϖαλσ, χοεφ⇒χιεντ οφ ϖαριατιον σπικε χουντ, 16, σεε αλσο Φανο φαχτορ σπικε τιµεσ, 34 ϖαριανχε (οφ εστιµατορ), σεε εστιµατιον τηεορψ ϖαριανχε (οφ ρανδοµ ϖαριαβλε), 416 ϖαριανχε εθυαλιζατιον, 135 ϖαριατιοναλ µετηοδ, 372 ϖεχτορ δεριϖατιϖε ∇, 402 ϖεχτορ µετηοδ, σεε νευραλ δεχοδινγ ϖελοχιτψ (οφ γρατινγ) πρεφερρεδ ϖελοχιτψ, 72 ϖεντραλ τεγµενταλ αρεα, σεε δοπαµινεργιχ αχτιϖιτψ ϖολταγε αττενυατιον, σεε χαβλε εθυατιον ϖολταγε χλαµπ, σεε νευραλ ρεχορδινγσ ςολτερρα εξπανσιον, 46, 51 ωακε πηασε, σεε Βολτζµανν µαχηινε Ηελµηολτζ µαχηινε ωακε−σλεεπ αλγοριτηµ, 389, σεε αλσο Ηελµηολτζ µαχηινε ωατερ µαζε τασκ, 352, σεε αλσο δελαψεδ ρεωαρδσ, προβλεµ οφ, σεε αλσο µαζε τασκ ρεινφορχεµεντ λεαρνινγ σολυτιον, 354 Ωεβερaσ λαω, 18 ωηιτε νοισε, σεε στιµυλυσ, ωηιτε−νοισε

460 ωηιτε−νοισε κερνελ, 47 ωηιτενινγ ⇒λτερ, 137, 138, σεε αλσο δεχορρελατιον ωηιτενινγ, οφ ινπυτ φορ υνσυπερϖισεδ λεαρνινγ, 381 Ωιενερ εξπανσιον, 46, 51 Ωιενερ κερνελ, 46, σεε αλσο σπικε

Ινδεξ δεχοδινγ, οπτιµαλ κερνελ Ωιενερ−Ηοπφ ⇒λτερ, 117 ωινδοω φυνχτιον, 13 ωιννερ−τακεσ−αλλ, σεε ρεχυρρεντ νετωορκσ, χοµπετιτιϖε δψναµιχσ