Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет [заметки]

1

Астро Теллер, «капитан муншотов» Google (moonshot – полет на Луну, в переносном смысле – смелый и передовой проект), 6 февраля 2015 года сказал, что глубокое обучение помогло снизить потребление энергии на 15 % и тем самым ежегодно экономить компании Google X сотни миллионов долларов. – Прим. авт.

2

Реверсивная инженерия, или обратное проектирование, – исследование объекта с целью понять принцип его работы. – Прим. ред.

3

Перцептрон – математическая или компьютерная модель восприятия информации мозгом. – Прим. ред.

4

В переводе на русский книга вышла в 1965 году. – Прим. ред.

5

В переводе на русский книга вышла в 1971 году. – Прим. ред.

6

«О дивный новый мир, где обитают такие люди!» – «Буря», Шекспир, пер. О. Сорока, 1989. – Прим. авт.

7

Beer Bottle Pass – перевал в горной цепи Люси-Грей-Маунтинс в штате Невада. – Прим. ред.

8

Власич Б. General Motors хочет управлять беспилотными автомобилями будущего. New York Times, 4 июня 2017 года. www.nytimes.com/2017/06/04/business/general-motors-self-driving-cars-mary-barra.html

9

Ингрем К. Невероятный человеческий потенциал, потраченный на дорогу на работу. Washington Post, 24 февраля 2016 года. www.washingtonpost.com/news/wonk/wp/2016/02/25/how-much-of-your-life-youre-wasting-on-your-commute

10

Американские центры обработки данных потребляют все больше энергии. Совет по защите природных ресурсов, 2015. www.nrdc.org/resources/americas-data-centers-consuming-and-wasting-growing-amounts-energy

11

Льюис-Краус Гидеон. New York Times Magazine, 14 декабря 2016 года. www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=0 Hemingway is # 1

12

Цит. по: Хемингуэй Э. Снега Килиманджаро / Перевод с английского Н. А. Волжиной. М., 1968.

13

Перевод оригинала с английского языка на русский, выполненный Google Переводчиком в 2021 году. – Прим. ред.

14

Eugene Onegin. A Novel in Verse by Alexandr Pushkin / Translated from the Russian, with a Commentary, by Vladimir Nabokov. In four volumes. – NY: Pantheon Books, 1964.

15

Ранние попытки приведены в статье «Завышенная эффективность рекуррентных нейронных сетей» по ссылке: karpathy.github.io/2015/05/21/rnn-effectiveness/ – Прим. авт.

16

G. Hinton, L. Deng, G. E. Dahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. Sainath, B. Kingsbury, «Deep Neural Networks for Acoustic Modeling in Speech Recognition», IEEE Signal Processing Magazine, vol. 29, no. 6, pp. 82–97, Nov. 2012.

17

W. Xiong, Wayne Xiong, Jasha Droppo, Xuedong Huang, Frank Seide, Achieving Human Parity in Conversational Speech Recognition, arXiv:1610.0525.

18

Esteva A., Kuprel B., Novoa R. A., Ko J., Swetter S. M., Blau H. M., Thrun S. Dermatologist-Level Classification of Skin Cancer With Deep Neural Networks. Nature 542 (7639), 115–118. 2017.

19

Siddhartha Mukherjee, A. I. Versus M.D. What happens when diagnosis is automated? April 3, 2017 New Yorker. www.newyorker.com/magazine/2017/04/03/ai-versus-md

20

Kales A., Rechtschaffen A. (Eds.) A manual of standardized terminology, techniques and scoring system for sleep stages of human subjects. Allan Rechtschaffen and Anthony Kales, editors. National Institutes of Health publication, no. 204, Bethesda, Md., U. S. National Institute of Neurological Diseases and Blindness, Neurological Information Network, 1968.

21

Sei Chong, Morning Agenda: Big Pay for Hedge Fund Chiefs Despite a Rough Year, New York Times May 16, 2017 www.nytimes.com/2017/05/16/business/dealbook/hedge-funds-amazon-bezos.html

22

За исключением Агентства Национальной Безопасности, в числе сотрудников которого – сотни математиков (Alfred W. Hales, personal communication). – Прим. авт.

23

Сарфраз Манзур. «Гении математики работают на Уолл-стрит. Биржевые маклеры остаются без работы, так как их заменят гении математики, использующие сверхсовременные компьютеры. Но во благо ли это или во вред?» The Telegraph, 23 июля 2013 года.

24

Shaw D. E.; Chao Jack C.; Eastwood Michael P.; Gagliardo Joseph; Grossman J. P.; Ho C. Richard; Ierardi Douglas J.; Kolossváry István; et al. (May 2007). «Anton – компьютер для моделирования молекулярной динамики». International Symposium on Computer Architecture: Proceedings of the 34th annual international symposium on Computer architecture. ACM. 35 (2).

25

Далее – МТИ.

26

Ян Эллисон. «Бывший физик-ядерщик Анри Вельбрук объясняет, как машинное обучение снижает риск высокочастотной торговли», International Business Times, 23 марта 2016 г. www.ibtimes.co.uk/formernuclear-physicist-henri-waelbroeck-explains-how-machine-learning-mitigates-high-frequency1551097

27

Такой подход уже получил имя «электронное расследование» (также «автоматизированный анализ», или technology-assisted review, TAR) – автоматизированный сбор и анализ цифровой информации, релевантной для конкретного судебного процесса. – Прим. ред.

28

Moravčík M., Schmid M., Burch N., Lisý V., Morrill D., Bard N., Davis T., Waugh K., Johanson M., Bowling M. «DeepStack: Expert-level artificial intelligence in heads-up no-limit poker». Science. 356: 508–513 2017. Стандартное отклонение – это половина ширины колоколообразной кривой. Только 16 процентов выборок больше одного стандартного отклонения от среднего. Только один из десяти миллионов образцов имеет более четырех стандартных отклонений от среднего значения. – Прим. авт.

29

Вспоминается сюжет американского фильма «Военные игры 1983 года». – Прим. авт.

30

Silver David; Huang Aja; Maddison Chris J.; Guez Arthur; Sifre Laurent; Driessche George van den; Schrittwieser Julian; Antonoglou, Ioannis; Panneershelvam Veda (2016). «Mastering the game of Go with deep neural networks and tree search». Журнал Nature. 529 (7587): 484–489.

31

«Surveyor-1» приземлился на поверхность Луны 2 июня 1966 года в 6:17:36 UT. Место посадки находилось на равнинной территории в 100-километровом кратере к северу от кратера Флемстид. – Прим. авт.

32

«Ужасное разочарование подростка, проигравшего AlphaGo», Quartz, May 27, 2017. qz.com/993147/the-awful-frustration-of-a-teenage-go-champion-playing-googles-alphago/

33

Paul Mozur, “Beijing Wants A. I. to Be Made in China by 2030,” New York Times, July 20, 2017. www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html?_r=0

34

Выражение «состояние потока», «быть в потоке» означает психическое состояние, в котором человек полностью включен в то, чем он занимается. – Прим. ред.

35

Также текучий, флюидный. – Прим. ред.

36

Говард Гарднер. Структура разума: теория множественного интеллекта. – М.: Вильямс, 2007.

37

Flynn J. R. Massive IQ gains in 14 nations: What IQ tests really measure. Psychological Bulletin. 101, 171–191 (1987).

38

Douglas C. Engelbart, Augmented Intelligence: Smart Systems and the Future of Work and Learning, SRI Summary Report AFOSR-3223, www.dougengelbart.org/pubs/augment-3906.html

39

На русском языке доступно по ссылке https://ru.coursera.org/learn/learnhow. – Прим. ред.

40

Оакли Барбара. «Mindshift. Новая жизнь, профессия и карьера в любом возрасте». Издательство «Питер», 2020.

41

Рынок образования оценивается в 1,3 триллиона долларов и делится на следующие основные секторы: раннее детское образование – 70 миллиардов долларов; начальное и среднее образование – 670 миллиардов долларов; высшее образование – 475 миллиарда долларов. medium.com/students-for-the-future/how-big-is-the-education-market-in-the-us-report-from-whitehouse-91dc313257c5. – Прим. авт.

42

Британский ученый, известный своими работами в области глубинных нейронных сетей. – Прим. ред.

43

Algorithmic retailing: Automatic for the people, журнал The Economist, April 15, 2017, p. 56.

44

Нейронные системы обработки информации. Ранее была аббревиатура NIPS, в 2018 году ее сменили на NeurIPS. Так как данная книга была написана незадолго до переименования, в оригинале и в библиографических ссылках употребляется аббревиатура NIPS, которую мы и будем использовать далее во избежание путаницы. – Прим. ред.

45

По словам Михаэлы Эннис, студентки МТИ в 2016 году, «историю о том, что старшекурсникам МТИ поручили создать компьютерную зрительную систему в качестве летнего проекта, ежегодно рассказывает профессор Винстон. Также он говорит, что его студентом был Сассман». – Прим. авт.

46

Roger Peterson, Guy Mountfort and P.A.D. Hollom, Field Guide to the Birds of Britain and Europe. Peterson Field Guides Series, 2001.

47

Бьюкенен; Шортлиф (1984). «Экспертные системы на основе правил. Эксперименты MYCIN Стэнфордского проекта эвристического программирования. Reading, MA: Addison-Wesley.

48

Сиддхартха Мукерджи. «Искусственный интеллект против медицины: Что случится, когда постановка диагноза станет автоматизированной?» Нью-Йорк, 3 апреля 2017 года. www.newyorker.com/magazine/2017/04/03/ai-versus-md

49

Педро Домингос (2015 год). «Мастер-алгоритм: как поиски Ultimate Learning Machine переделают наш мир». Никто не знает, как измерить здравый смысл, который мы воспринимаем как данность. – Прим. авт.

50

«Коты легче людей и могут группироваться в воздухе, даже если падают спиной вниз». Sechzera Jeri A.; Folsteina Susan E.; Geigera Eric H.; Mervisa Ronald F.; Meehana Suzanne M. (December 1984). «Development and maturation of postural reflexes in normal kittens». Experimental Neurology. 86 (3): Pages 493–505.

51

Stefik M. Strategic computing at DARPA: Overview and assessment. Commun. ACM 28, 7 (July 1985). 690–704.

52

Находится в США, штат Массачусетс. – Прим. ред.

53

А также другие бытовые роботы и несколько линеек роботов-помощников для армии США. – Прим. ред.

54

Сейчас Национальный центр суперкомпьютерных приложений (NCSA) – один из ведущих центров по разработке высокопроизводительных вычислительных систем. – Прим. ред.

55

Tesauro G. Sejnowski T. J. A Parallel Network That Learns to Play Backgammon, Artificial Intelligence Journal, 39, 357–390, 1989.

56

На местном уровне обнаруживаются различия в клеточных свойствах и связях между отдельными частями коры, которые, по-видимому, отражают специализацию разных сенсорных систем и уровней иерархии. – Прим. авт.

57

Wason P. C. (1977). «Self-contradictions». In Johnson-Laird P. N.; Wason P. C. Thinking: Readings in cognitive science. Cambridge: Cambridge University Press.

58

Главная особенность такой архитектуры состоит в том, что память физически разделена и система строится из отдельных модулей, каждый из которых представляет собой полнофункциональный компьютер. – Прим. ред.

59

По Lindsay P. H, Norman D. A. Human Information Processing: An Introduction to Psychology. 2nd ed. New York: Academic Press; 1977.

60

Wiener Norbert (1948). Cybernetics, or Control and Communication in the Animal and the Machine. Cambridge: MIT Press.

61

O. G. Selfridge. «Pandemonium: A paradigm for learning». In D. V. Blake and A. M. Uttley, editors, Proceedings of the Symposium on Mechanisation of Thought Processes, pages 511–529, London, 1959.

62

Пандемониум (обучаемая классифицирующая машина) и демон (процедура, запускаемая автоматически при выполнении некоторых условий) давно стали терминами в сфере IT и утратили метафорическое значение. – Прим. ред.

63

Least Mean Squares. See B. Widrow and S. D. Stearns, Adaptive Signal Processing, PrenticeHall, 1985. LMS: Least Mean Squares.

64

Модель Samsung S6 была выпущена в 2015 году. На 2021 год у флагманских смартфонов производительность достигает триллиона операций в секунду. – Прим. ред.

65

Gray M. S., Lawrence D. T., Golomb B. A., Sejnowski T. J. A Perceptron Reveals the Face of Sex, Neural Computation, 7, 1160–1164, 1995.

66

Golomb B. A., Lawrence D. T., Sejnowski T. J. “SEXNET: A Neural Network Identifies Sex from Human Faces,” Touretzky, D. S. Lippmann, R. (Ed.), Advances in Neural Information Processing Systems, 3, San Mateo, CA: Morgan Kaufmann Publishers, 572–577, 1991.

67

Отсылка к популярному телешоу 1950-х годов Dragnet, показывающее преступников по материалам ФБР. – Прим. авт.

68

Mikel Olazaran (1996). «A Sociological Study of the Official History of the Perceptrons Controversy». Social Studies of Science. 26 (3): 611–659.

69

С 1990 года работает в США. – Прим. ред.

70

Vapnik V. The Nature of Statistical Learning Theory. Springer-Verlag, New York, 1995.

71

Liu W.; Principe J.; Haykin S. (2010). Kernel Adaptive Filtering: A Comprehensive Introduction. Wiley, New Jersey.

72

Christoph von der Malsburg. “The correlation theory of brain function.” Internal Report 81–2, MPI Biophysical Chemistry, 1981. See Reprint in Models of Neural Networks II, chapter 2, pages 95–119. Springer, Berlin, 1994. fias.uni-frankfurt.de/fileadmin/fias/malsburg/publications/vdM_correlation.pdf

73

P. Wolfrum, C. Wolff, J. Lücke, and C. von der Malsburg. “A recurrent dynamic model for correspondence-based face recognition.” Journal of Vision 8, 1–18, 2008.

74

Fukushima, Neocognitron (1980). «A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position». Biological Cybernetics. 36 (4): 93–202.

75

Kohonen Teuvo (1982). «Self-Organized Formation of Topologically Correct Feature Maps». Biological Cybernetics. 43 (1): 59–69.

76

Pearl J. 1988. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. San Mateo, Calif.: Morgan Kaufmann.

77

Hinton G., Anderson J. A. Parallel Models of Associative Memory, Erlbaum (1981).

78

Временная (на 2–4 года) позиция кандидата или доктора наук, который занимается научно-исследовательской деятельностью. – Прим. ред.

79

Горнолыжный курорт в штате Вайоминг, США. – Прим. ред.

80

Sejnowski T. J. David Marr: A Pioneer in Computational Neuroscience Vaina, L. (Ed.), In: Selected Papers of David Marr, Boston, MA: Birkhäuser, 297–301, 1991 58.

81

Marr D., Poggio T. (1976), Cooperative computation of stereo disparity. Science 194: 283–287.

82

Julesz Béla (1971). Foundations of Cyclopean Perception. Chicago: The University of Chicago Press.

83

«Magic Eye» – автостереограммы со скрытой трехмерной структурой, создающей узор, который можно увидеть, расширяя глаза. Кристофер Тайлер создал первые черно-белые автостереограммы в 1979 году. – Прим. авт.

84

Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов / Изд-во «Радио и связь». М., 1987.

85

Теория вероятностей – раздел математики, изучающий закономерности случайных явлений. – Прим. ред.

86

Sejnowski T. J. A Stochastic Model of Nonlinearly Interacting Neurons, Princeton University, Thesis, 1978.

87

Sejnowski T. J. Vernon Mountcastle: Father of Neuroscience, Proceedings of the National Academy of Sciences U.S.A., 112, 6523–6524, 2015.

88

В Университете Хопкинса есть три отделения биофизики: на факультетах медицины и общественного здравоохранения и в Школе искусств и наук Кригера (я был на факультете биофизики Томаса Дженкинса в кампусе Homewood Школы искусств и наук). – Прим. авт.

89

(ориг.) Mind/Brain Institute.

90

Перевод С. Я. Маршака. – Прим. ред.

91

Электрорецепция – способность животных ощущать электрические сигналы окружающей среды. – Прим. ред.

92

Sejnowski T. J., Yodlowski M. L. A Freeze-Fracture Study of the Skate Electroreceptor, Journal of Neurocytology, 11, 897–912, 1982.

93

Sejnowski T. J., Reingold S. C., Kelley D. B. Gelperin, A. Localization of [3H]-2-Deoxyglucose in Single Molluscan Neurones, Nature, 287, 449–451, 1980.

94

Kuffler S. W., Sejnowski T. J. Peptidergic and Muscarinic Excitation At Amphibian Sympathetic Synapses, Journal of Physiology, 341, 257–278, 1983.

95

Разветвленный отросток нейрона, принимающий сигналы от других нейронов. – Прим. ред.

96

System Development Corporation – компания некоммерческих программ в Санта-Монике, работающая по контракту с американской армией. Была основана в 1969 году для распределения доходов от продажи зданий в рамках программы грантов с 1980 по 1988 год. – Прим. авт.

97

Отсылка к английской пословице Не is a good friend that speaks well of us behind our backs. – Тот хороший друг, который о нас за глаза хорошее говорит. – Прим. ред.

98

Лисп-машина – продукт компании Symbolics, предназначенный для написания программ обработки символов ИИ. Тем не менее он был недостаточно хорош для обработки чисел, что было необходимо для моделирования нейронных сетей. – Прим. авт.

99

Мне как участнику президентской программы «Молодой исследователь» предложили хорошую скидку от новой компьютерной компании Ridge, которая продавала компьютеры мощностью VAX-780, что в то время было очень хорошим вариантов для теоретических вычислений. – Прим. авт.

100

Далее – Калтех.

101

Клуб Гельмгольца был создан Фрэнсисом Криком, Вилейануром Рамачандраном и Гордоном Шоу в 1980-х годах и продолжало свою деятельность на протяжении 20 лет. Более подробная история: Aicardi C. Of the Helmholtz Club, SouthCalifornian seedbed for visual and cognitive neuroscience, and its patron Francis Crick, Stud Hist Philos Biol Biomed Sci. 45, 1–11 (2014). – Прим. авт.

102

«Я многому научился у всех, с кем сталкивался. Мне стыдно принимать идеи от людей… Мой самый интенсивный опыт – это Клуб Гельмгольца. Не знаю, слышали ли вы о нем. …Там было, может, человек двадцать. Я никогда не пропустил ни разу. Я находил, кто может меня подменить на занятии, если оно совпадало по времени со встречей в клубе. Но я бы ходил туда в любом случае, потому что это слишком важно, чтобы пропустить». Carver Mead. In: Anderson J. A., Rosenfeld E., editors. Talking nets: An oral history of neural networks. The MIT Press; Cambridge & London: 2000. Р. 238.

103

Desimone R., Albright T. D., Gross C. G., Bruce C. Stimulus-selective properties of inferior temporal neurons in the macaque, J Neurosci. 4: 2051–2062. 1984. У многих исследователей в лаборатории Гросса были бороды, поэтому нейроны в зрительной коре, которые реагировали на ершики для туалета, так же реагировали на бороды. – Прим. авт.

104

Практически всегда один из глаз доминантный, то есть пропускает через себя чуть больший объем информации в визуальную область головного мозга и точнее передает информацию о местоположении объектов. – Прим. ред.

105

Hubel David (1988) Eye, Brain, and Vision. W. H. Freeman & Co., New York, 1988 стр. 191–216.

106

Конец критического периода может быть не таким резким, как считалось ранее, и стереовидение может быть достигнуто у взрослых с исправленным косоглазием после интенсивной практики. Более подробная информация: См.: Barry S. R. (2009). Fixing my gaze: A scientist’s journey into seeing in three dimensions. New York: Basic Books. Я знал «стерео Сью», когда был аспирантом в Принстонском университете. – Прим. авт.

107

Есть несколько исключений из этого правила: гранулярные клетки в зубчатой извилине гиппокампа и нейроны в обонятельной луковице генерируются на протяжении всей жизни. Specter M., Rethinking the Brain, New Yorker, July 23, 2001, www.michaelspecter.com/2001/07/rethinking-the-brain/ – Прим. авт.

108

Sejnowski T. J. How Do We Remember the Past? Brockman, J. (Ed.), In: What We Believe But Cannot Prove: Today's Leading Thinkers on Science in the Age of Certainty, The Free Press, 97–99, 2005; Roger Y. Tsien, Very long-term memories may be stored in the pattern of holes in the perineuronal net, Proceedings of the National Academy of Sciences, USA, 110: 12456–12461 (2013).

109

При болезни Альцгеймера нарушается целостность внеклеточного матрикса, что может способствовать потере долговременной памяти (из личного разговора с нейробиологом Джоном Оллмэном). – Прим. авт.

110

Одна из знаковых черт главного героя юмористического романа «Жизнь и мнения Тристрама Шенди, джентльмена» – его любовь к пространным отступлениям от основной темы. – Прим. ред.

111

Интервью с Гери вы можете найти по ссылке scienceblogs.com/retrospectacle/2006/10/15/sfn-special-lecture-architect-1/ – Прим. авт.

112

Kunsberg B. S., Zucker S. W. Critical Contours: An Invariant Linking Image Flow with Salient Surface Organization, arXiv:1705.07329.

113

Связь между ними объясняется геометрией критических точек и градиентными переходами на поверхностях, называемых комплексом Морса – Смейла. – Прим. авт.

114

Lehky S. R., Sejnowski T. J. Network Model of Shape-from-Shading: Neural Function Arises from Both Receptive and Projective Fields, Nature, 333, 452–454, 1988.

115

Оптогенетика – методика исследования работы нервных клеток, основанная на внедрении в их мембрану специальных каналов – опсинов, реагирующих на возбуждение светом; разработана в 2005 году. – Прим. ред.

116

Sejnowski T. J. What Are the Projective Fields of Cortical Neurons? van Hemmen J. L., Sejnowski T. J. (Ed.), In: 23 Problems in Systems Neuroscience, Oxford University Press, 394–405, 2005.

117

В специальной литературе обычно фигурирует название «зона MT» от англ. middle temporal area. – Прим. ред.

118

Коннекто́м – полное описание структуры связей в нервной системе организма. – Прим. ред.

119

Geddes Linda (20 July 2016). «Human brain mapped in unprecedented detail; nearly 100 previously unidentified brain areas revealed by examination of the cerebral cortex». Nature doi:10.1038/nature.2016.20285.

120

Диффузионная спектральная томография отслеживает направление аксонов, которые составляют белое вещество в коре. – Прим. авт.

121

“Two Foundations Collaborate On Cognitive Neuroscience”, The Scientist, October 1989 www.the-scientist.com/?articles.view/articleNo/10719/title/Two-Foundations-Collaborate-OnCognitive-Neuroscience/

122

С электромагнитными волнами длиной менее одного миллиметра. – Прим. ред.

123

Hasson U., Yang E., Vallines I., Heeger D. J., Rubin N. A hierarchy of temporal receptive windows in human cortex. Journal of Neuroscience 28(10):2539–2550 (2008).

124

«The Organization of Behavior».

125

«Neural networks and physical systems with emergent collective computational abilities».

126

«A learning algorithm for Boltzmann Machines».

127

«Learning internal representations by error-propagation».

128

«Learning to predict by the methods of temporal differences».

129

«An information-maximization approach to blind separation and blind deconvolution».

130

«ImageNet Classification with Deep Convolutional Neural Networks».

131

J. Herault, C. Jutten. Space or time adaptive signal processing by neural network models. In JS Denker (Ed.) Neural Networks for Computing, AIP Conference Proceedings 151 (1), 206–211 (1986).

132

Синонимы: анализ независимых компонент, метод независимых компонент. В специальной литературе, как правило, употребляется аббревиатура ICA (англ. Independent Component Analysis). – Прим. ред.

133

System gets wired up during development: Linsker R (1988). «Self-organization in a perceptual network» IEEE Computer. 21 (3): 105–17.

134

Bell A. J., Sejnowski T. J. “An Information-Maximization Approach to Blind Separation and Blind Deconvolution”, Neural Computation, 7, 1129–1159, 1995.

135

Также важный вклад в разработку независимого компонентного анализа внесли Пьер Комон, Жан-Франсуа Кардозу, Эпо Хиваринен, Эркки Оя, Анджей Цихоцкий, Сюнъити Амари, Ли Тэ Вон, Майкл Левицки и многие другие. Почти все важные открытия совершаются разными способами несколькими исследователями почти одновременно. – Прим. авт.

136

Bell A. J., Sejnowski T. J. “The 'Independent Components' of natural scenes are edge filters,” Vision Research, 37, 3327–3338, 1997.

137

Бруно Ольсхаузен и Дэвид Филд пришли к такому же выводу с другим алгоритмом обучения, основанным на разреженности: BA Olshausen, DJ Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images.” Nature 38: 607, 1996. – Прим. авт.

138

Barlow H. (1961) «Possible principles underlying the transformation of sensory messages» in Sensory Communication, MIT Press.

139

Bell A. J., Sejnowski T. J. “Learning the Higher-Order Structure of a Natural Sound”, Network: Computation in Neural Systems, 7, 261–266, 1996.

140

A. Hyvarinen and P. Hoyer. “Emergence of phase- and shift invariant features by decomposition of natural images into independent feature subspaces”. Neural Computation, 12(7): 1705–1720, 2000.

141

Функция потерь – мера расхождения между истинным значением оцениваемого параметра и оценкой параметра. – Прим. ред.

142

Система с двумя противоположно заряженными полюсами. – Прим. ред.

143

McKeown M. J., Jung T.-P., Makeig S., Brown G. D., Kindermann S. S., Lee T.-W., Sejnowski T. J. “Spatially Independent Activity Patterns in Functional MRI Data During the Stroop Color-Naming Task,” Proceedings of the National Academy of Sciences of the United States of America, U.S.A. 95, 803–810, (1998).

144

Mantini D., Perrucci M. G., Del Gratta C., Romani G. L., Corbetta M. (2007) “Electrophysiological signatures of resting state networks in the human brain.” Proceedings of the National Academy of Sciences of the United States of America, U.S.A 104:13170–13175.

145

Donoho, D.L. (2006). «Compressed sensing». IEEE Transactions on Information Theory. 52 (4): 1289–1306.

146

Возможно, в мозжечке, на уровне мшистых волокнистых входов, сходящихся на дендритах гранулярных клеток: Eagleman D. M., Coenen O. J.-M. D., Mitsner V., Bartol T. M., Bell A. J., Sejnowski T. J. “Cerebellar Glomeruli: Does Limited Extracellular Calcium Implement a Sparse Encoding Strategy?”, Proceedings of the 8th Joint Symposium on Neural Computation, The Salk Institute, 2001.

147

Тони Белл изучает структуру воды с помощью ICA и спектроскопии в ближней инфракрасной области. Он пытается доказать, что вода образует связанные структуры, которые взаимодействуют через свет и образуют питательную среду для биомолекулярной жизни в невидимых до сих пор масштабах. Идея состоит в том, что решение возникает, когда «нейронные схемы» разряжаются в достаточной степени, чтобы распространить связанную информацию из более распределенных атомных сетей внутри клеток по всему телу. – Прим. авт.

148

Минимальное время, за которое большинство нейронов могут сформировать решение, – около 10 миллисекунд, а путь к решению за 1 секунду состоит не более чем из 100 временных шагов. – Прим. авт.

149

В физике электромагнетизма Майкл Фарадей применял «грязные» методы, а Джеймс Клерк Максвелл – «чистые». – Прим. авт.

150

Bullock T. H., and Horridge G. A. 1965. Structure and function in the nervous systems of invertebrates. W.H. Freeman and Co., San Francisco.

151

Chen E., Stiefel K. M., Sejnowski T. J., Bullock T. H. Model of Traveling Waves in a Coral Nerve Network, Journal of Comparative Physiology A, 194(2):195–200, 2008.

152

Levine D. S., Grossberg S. «Visual illusions in neural networks: line neutralization, tilt after effect, and angle expansion». J Theor Biol. 1976 Sep 21; 61(2):477–504.

153

Ermentrout G. B., Cowan J. D. «A mathematical theory of visual hallucination patterns». Biol Cybern. 1979 Oct; 34(3):137–50.

154

Hopfield J. J. «Neural networks and physical systems with emergent collective computational abilities», Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554–2558, April 1982.

155

Алгоритм Марра – Поджио для стереозрения, упомянутый в главе 5, был симметричной сетью, но поскольку они использовали синхронные обновления всех единиц в сети, динамика была намного сложнее, чем с асинхронными обновлениями в сети Хопфилда. Marr D., Palm G., Poggio T., Analysis of a cooperative stereo algorithm. Biol Cybern. 28(4):223–39, 1978. – Прим. авт.

156

Colgin L. L., Leutgeb S., Jezek K., Leutgeb J. K., Moser E. I., McNaughton B.L., Moser M. B. Attractor-map versus autoassociation based attractor dynamics in the hippocampal network». J Neurophysiol. 2010 Jul; 104(1):35–50.

157

Также известна как Bell Laboratories или «Лаборатории Белла», ранее – AT&T Bell Laboratories, Bell Telephone Laboratories. Один из самых знаменитых научно-исследовательских центров по разработке современных технологий в мире. Компания существует с 1925 года. – Прим. ред.

158

Hopfield J. J., Tank D. W. «‘Neural’ computation of decisions in optimization problems». Biol Cybern.; 52(3):141–52. 1985.

159

Ballard D. H., Hinton G. E., Sejnowski T. J. «Parallel Visual Computation», Nature, 306, 21–26, 1983, R. A. Hummel, S. W. Zucker, «On the foundations of relaxation labeling processes», IEEE Trans. Pattern Anal. Machine Intell., 5, 267–287, 1983.

160

Kirkpatrick S.; Gelatt Jr C. D.; Vecchi M. P. (1983). «Optimization by Simulated Annealing». Science. 220 (4598): 671–680.

161

Kienker P. K., Sejnowski T. J., Hinton G. E., Schumacher L. E. “Separating Figure from Ground with a Parallel Network,” Perception, 15, 197–216, 1986.

162

Zhou H., Friedman H. S., von der Heydt R. “Coding of border ownership in monkey visual cortex.” J. Neurosci. 20: 6594–611. 2000.

163

Hebb D. O. (1949). The Organization of Behavior. New York: Wiley & Sons.

164

Ситуация, когда после длительного контакта больного с бредовым расстройством и здорового у здорового начинается аналогичный психоз. – Прим. ред.

165

Sejnowski T. J., Kienker P. K., Hinton G. E. «Learning Symmetry Groups with Hidden Units: Beyond the Perceptron», Physica, 22D, 260–275, 1986.

166

Cohen N. J., Abrams I., Harley W. S., Tabor L., Sejnowski T. J. Skill Learning and Repetition Priming in Symmetry Detection: Parallel Studies of Human Subjects and Connectionist Models, 8th Annual Conference of the Cognitive Science Society, Amherst, MA, 1986.

167

Изменение скорости реакции на воздействие раздражителей при постоянном повторе такого воздействия. – Прим. ред.

168

Yuhas B. P., Goldstein M. H. Jr., Sejnowski T. J., Jenkins R. E. «Neural network models of sensory integration for improved vowel recognition», Proceedings of the IEEE, 78, 1658–1668, 1990.

169

Hinton G. E., Osindero S. and Teh Y. (2006) «A fast learning algorithm for deep belief nets». Neural Computation 18, pp. 1527–1554.

170

Lettvin J. Y., Maturana H. R., McCulloch W. S., Pitts W. H. 1959, “What the frog's eye tells the frog's brain”, Proc. Inst. Rad. Eng., 47, 1940–1951. hearingbrain.org/docs/letvin_ieee_1959.pdf

171

R. R. Salakhutdinov and G. E. Hinton. “Deep Boltzmann machines”. In Proceedings of the International Conference on Artificial Intelligence and Statistics, volume 12, 2009.

172

B. Poole, S. Lahiri, M. Raghu, J. Sohl-Dickstein and S. Ganguli. “Exponential expressivity in deep neural networks through transient chaos.” In Advances In Neural Information Processing Systems, 3360–3368, 2016.

173

Elman J. L., Bates E. A., Johnson M. H., Karmiloff-Smith A., Parisi D. & Plunkett K. Rethinking innateness: A connectionist perspective on development. MIT Press. (1996).

174

Quartz S. R., Sejnowski T. J. Liars Lovers and Heroes: What the New Brain Science Has Revealed About How We Become Who We Are, New York: Harper-Collins, 2002.

175

Quartz S., Sejnowski T. J. “The neural basis of cognitive development: A constructivist manifesto”, Behavioral and Brain Sciences 20(4), 537–596 (1997).

176

Метилирование ДНК – модификация молекулы ДНК присоединением метильной группы (-СH3) без изменения самой нуклеотидной последовательности. Важный механизм адаптации организма к окружающим условиям. – Прим. ред.

177

This is called non-CG methylation. Lister R., Mukamel E. A., Nery J. R., Urich M., Puddifoot C. A., Johnson N. D., Lucero J., Huang Y., Dwork A., Schultz M. D., Tonti-Filippini J., Yu M., Heyn H., Hu S., Wu J. C., Rao A., Esteller M., He C., Haghighi F. G., Sejnowski T. J., Behrens M. M., Ecker J. R. “Global epigenomic reconfiguration during mammalian brain development”, Science, 341, 629, 2013.

178

Кафедра когнитивных наук была основана Доном Норманом, экспертом по человеческим факторам, и имела разнородный факультет. – Прим. авт.

179

Математика, используемая в алгоритме обратного распространения обучения, существовала начиная с 1960-х годов в литературе по теории управления, но наибольшее влияние оказало ее применение к многослойным перцептронам: Bryson A. E. and Y.-C. Ho. Applied Optimal Control, Hempshire Publishing Co., New York. (1975) – Прим. авт.

180

Michael Jordan gives a Here is a magisterial lecture on modern stochastic gradient descent: simons.berkeley.edu/talks/michael-jordan-2017–5-2

181

Rumelhart D. E., Hinton G. E., Williams R. J. “Learning representations by back-propagating errors”. Nature 323, 533 536. 1986.

182

Однажды Бертран Рассел прочитал публичную лекцию по астрономии. В конце лекции пожилая дама в конце зала встала и сказала: «То, что вы нам рассказали, – чушь. Мир на самом деле – это спина гигантской черепахи». Рассел улыбнулся и ответил: «А на чем стоит черепаха?» «Вы очень умный, молодой человек, очень умный, – сказала старушка, – но я знаю ответ на этот вопрос. На другой черепахе». Старушка решила свою проблему с рекурсией, правда, за счет бесконечной регрессии. На практике цикл должен завершиться. – Прим. авт.

183

Вероятно, здесь ошибка автора, потому что в английском языке 26 букв, а не звуков. – Прим. ред.

184

В английском слове «cat» буква «c» читается [k]. – Прим. ред.

185

W. N. Francis, H. Kucera, “A Standard Corpus of Present-Day Edited American English, for use with Digital Computers.” Brown University, 1964, Revised and Amplified, 1979 clu.uni.no/icame/manuals/BROWN/INDEX.HTM

186

Rosenberg C. R., Sejnowski T. J. “Parallel Networks That Learn to Pronounce English Text”, Complex Systems, 1, 145–168, 1987.

187

Запись того, как звучит сеть на разных этапах обучения, можно скачать по ссылке: papers.cnl.salk.edu/~terry/NETtalk/

188

Seidenberg M. S. & McClelland J. L. (1989). “A distributed developmental model of word recognition and naming”. Psychological Review, 96, 523–568.

189

Rumelhart D. E. & McClelland J. (1986). “On learning the past tense of English verbs”. In Parallel Distributed Processing, Volume 2 (eds. D. E. Rumelhart & J. L. McClelland) Cambridge, Mass: MIT Press; McClelland J. L. & Patterson K. (2002). “Rules or Connections in PastTense inflections: What does the evidence rule out?” Trends in Cognitive Sciences, 6(11), 465–472. Pinker S. & Ulman M. T. (2002). “The past and future of the past tense.” Trends in Cognitive Sciences, 6(11), 456–463.

190

Имеется в виду Past Simple Tense – простое прошедшее время. – Прим. ред.

191

Seidenberg M. S. & Plaut D. C. (2014). “Quasiregularity and its discontents: the legacy of the past tense debate.” Cognitive science, 38(6), 1190–1228.

192

Буква «j» обычно дает звук [G], который примерно произносится «дьж», буква «у» может давать несколько звуков – [ai, i, j], – и произносится как «ай», «и» или «й». По правилам фамилия автора должна читаться как Седжновский, но на деле – Сейновски. – Прим. ред.

193

Издательство МТИ находится в Кембридже и специализируется на выпуске изданий научного и технического профиля. – Прим. ред.

194

Zipser D., Andersen R. A. 1988. “A back-propagation programmed network that simulates response properties of a subset of posterior parietal neurons”. Nature 331:679–84.

195

Взрослые с повреждением мозга делают некоторые странные ошибки при чтении слов. Если сеть симулированных нейронов обучена читать, а затем повреждена, у нее поразительно похожее поведение. Geoffrey E. Hinton, David C. Plaut and Tim Shallice, “Simulating Brain Damage”, Scientific American, October 1, 1993. – Прим. авт.

196

Сейчас – Fair Isaac Corporation. – Прим. ред.

197

Srivastava N., Hinton G., Krizhevsky A., Sutskever I. & Salakhutdinov R., “Dropout: A simple way to prevent neural networks from overfitting”. Journal of Machine Learning Research, 15:1929–1958, 2014.

198

Эпоха – один подход, во время которого нейросети предъявляются все обучающие примеры. – Прим. ред.

199

en.wikipedia.org/wiki/Netflix_Prize

200

Carlos A. Gomez-Uribe, Neil Hunt, “The Netflix Recommender System: Algorithms”, Business Value, and Innovation, Journal ACM Transactions on Management Information Systems 6: #13 (2016).

201

Bartol T. M. Jr., Bromer C., Kinney J. P., Chirillo M. A., Bourne J. N., Harris K. M., Sejnowski T. J. “Nanoconnectomic upper bound on the variability of synaptic plasticity”, eLife, 4:e10778, 2015.

202

Если упрощенно, средний уровень «сотня» (0,100) в бейсболе означает 10 процентов успешных ударов. – Прим. ред.

203

Это следует из закона больших чисел в теории вероятностей. Вот почему казино всегда выигрывают в долгосрочной перспективе, даже если могут проиграть в краткосрочной. – Прим. авт.

204

Силу синапса, то есть его способность передавать возбуждение от одного нейрона к другому, можно измерить в битах. От силы синапсов и их числа зависит общая емкость памяти мозга и, соответственно, точность хранимой в ней информации. – Прим. ред.

205

Jasmine Collins, Jascha Sohl-Dickstein, David Sussillo, “Capacity and Trainability in Recurrent Neural Networks”, arXiv:1611.09913 (2016).

206

Опасно придавать слишком большой вес совпадению: «24 часа в сутки, 24 бутылки в ящике. Просто совпадение? Не думаю». Это совпадение отмечается ежегодно в Принстонском университете в день Пола Ньюмана, 24 апреля. – Прим. авт.

207

Приблизительную оценку размерности можно найти, взяв квадратный корень произведения нижней и верхней границ (Лоуренс Вайнштейн и Джон А. Адам. «Оценка: Решение мировых проблем на оборотной стороне салфетки для коктейля», Princeton University Press, Princeton, NJ, 2009). Примем за верхнюю границу общее количество синапсов в коре (100 триллионов), а за нижнюю – количество синапсов на одном нейроне (100 тысяч); получается, что оценочное число синапсов, необходимых для представления сложного объекта, примерно миллиард. Применим то же правило, чтобы найти количество необходимых нейронов: верхняя граница – десять миллиардов, число нейронов в коре головного мозга, а нижняя – один нейрон. Таким образом, количество нейронов, необходимых для представления сложного объекта, составляет 100 тысяч, что также верно для количества нейронов меньше квадратного миллиметра коры. Тем не менее они могут быть широко распространены в различных частях коры. Мы можем оценить количество кортикальных областей, которые должны быть связаны, чтобы это представить: верхняя граница – 100, общее число областей коры головного мозга, а нижняя граница – один, поэтому оценка – 10 кортикальных зон, каждая из которых содержит 10 тысяч нейронов. Новые методы, разрабатываемые в рамках правительственной программы BRAIN, будут закреплять эти цифры экспериментально. – Прим. авт.

208

Автор немного ошибся в подсчетах. По версии компании Global Language Monitor, которая фиксирует распространение слов английского языка по всему миру, число английских слов уже превысило миллиард. В наиболее современной версии Оксфордского словаря, доступной онлайн, уже более 600 тысяч слов. – Прим. ред.

209

Siddhartha Mukherjee A. I., Versus M. D.: “What happens when diagnosis is automated?” New Yorker, April 3, 2017 www.newyorker.com/magazine/2017/04/03/ai-versus-md

210

Daniel Kahneman (2011). Thinking, Fast and Slow. (Farrar, Straus & Giroux, New York).

211

Oakley B., Knafo A., Madhavan G., Wilson D. S., eds (2011) Pathological Altruism (Oxford Univ Press, Oxford).

212

T. S. Kuhn. The Structure of Scientific Revolutions Chicago, IL University of Chicago Press (1970).

213

Pearl J. Probabilistic Reasoning in Intelligent Systems. San Francisco CA: Morgan Kaufmann. 1988.

214

Bengio Y., Lamblin P., Popovici D. & Larochelle H. (2006). “Greedy layer-wise training of deep networks”. In B. Schölkopf, J. Platt & T. Hoffman (Eds.), Advances in neural information processing systems, 19 (pp. 153–160). Cambridge, MA: MIT Press.

215

S. Hochreiter, Y. Bengio, P. Frasconi and J. Schmidhuber. “Gradient flow in recurrent nets: the difficulty of learning long-term dependencies”. In S. C. Kremer and J. F. Kolen, editors, A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001.

216

D. C. Ciresan, U. Meier, L. M. Gambardella, J. Schmidhuber, «Deep big simple neural nets for handwritten digit recognition», Neural Comput., vol. 22, no. 12, pp. 3207–3220, 2010.

217

G. Hinton, L. Deng, G. E. Dahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T. Sainath, B. Kingsbury. «Deep Neural Networks for Acoustic Modeling in Speech Recognition», IEEE Signal Processing Magazine, vol. 29, no. 6, pp. 82–97, Nov. 2012.

218

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. “ImageNet Classification with Deep Convolutional Neural Networks”, Advances in Neural Information Processing Systems 25 (NIPS 2012) papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks

219

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition” arxiv.org/abs/1512.03385.

220

Научно-фантастический фильм Стэнли Кубрика 1968 года по мотивам рассказа Артура Кларка «Часовой». – Прим. ред.

221

Yann LeCun, «Modeles connexionnistes de l'apprentissage» (Connecionist learning models), Universite P. et M. Curie (Paris 6) 1987.

222

База данных MNIST (сокращение от Modified National Institute of Standards and Technology) – объемная база данных образцов рукописного написания цифр, США. – Прим. ред.

223

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, Advances in Neural Information Processing Systems 25 (2012) papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks

224

Matthew D. Zeiler, Rob Fergus, “Visualizing and Understanding Convolutional Networks”, arXiv:1311.2901 (2013).

225

Churchland Patricia Smith (1989). Neurophilosophy: Toward a Unified Science of the Mind-Brain. The MIT Press.

226

Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016).

227

Yamins D. L., DiCarlo J. J. “Using goal-driven deep learning models to understand sensory cortex”. Nat Neurosci. 19(3):356–65 (2016).

228

Funahashi S., Bruce C. J., Goldman-Rakic P. S. (1990) “Visuospatial coding in primate prefrontal neurons revealed by oculomotor paradigms”. J Neurophysiol 63:814–831.

229

Elman J. L. (1990). «Finding Structure in Time». Cognitive Science. 14, 179–211. Jordan M. I. (1986). «Serial Order: A Parallel Distributed Processing Approach» Advances in Psychology 121, 471–495 (1997).

230

Hochreiter S., Schmidhuber J. «Long short-term memory». Neural Computation. 9 (8): 1735–1780 (1997).

231

John Markoff (27 November 2016). “When A. I. Matures, It May Call Jürgen Schmidhuber ‘Dad’ “. The New York Times.

232

Комик Родни Дейнджерфилд известен фразой «Я не получаю никакого уважения!» Редко можно найти кого-то, кто думает, что получает слишком много уважения. – Прим. авт.

233

Реже употребляется форма «генеративные состязательные сети». – Прим. ред.

234

Goodfellow Ian J., Pouget-Abadie Jean, Mirza Mehdi, Xu Bing, Warde-Farley David, Ozair Sherjil, Courville Aaron C. and Bengio Yoshua. “Generative adversarial nets”. Advances in Neural Information Processing Systems, 2014.

235

Schawinski Kevin; Zhang Ce; Zhang Hantian; Fowler Lucas; Santhanam Gokula Krishnan (201702-01). «Generative Adversarial Networks recover features in astrophysical images of galaxies beyond the deconvolution limit». arXiv:1702.00403, 2017.

236

Jonathan Chang, Stefan Scherer, “Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks”, arXiv:1705.02394, 2017.

237

Визуальный эффект в компьютерном графике, при котором один объект на изображении плавно меняется на другой. – Прим. ред.

238

Nguyen Anh, Yosinski Jason, Bengio Yoshua, Dosovitskiy Alexey and Clune Jeff. “Plug & play generative networks: Conditional iterative generation of images in latent space”. arXiv:1612.00005, 2016.

239

Alec Radford, Luke Metz, Soumith Chintala, “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”, arXiv:1511.06434, 2016.

240

Guy Trebay, Miuccia, “Prada and Sylvia Fendi Grapple With the New World”, New York Times, June 19, 2017.

241

Группа данных с присвоенными справочными тегами или выходной информацией. – Прим. ред.

242

Poggio T., R. Rifkin S. Mukherjee and P. Niyogi. «General Conditions for Predictivity in Learning Theory», Nature, 428, 419–422, 2004.

243

Бенджио также является советником нескольких компаний, включая Microsoft, и соучредителем компании Element AI, однако его основные связи – в академических кругах, и он приверженец прогресса науки и общественного блага. – Прим. авт.

244

Сейчас это глобальная исследовательская организация, базирующаяся в Канаде. – Прим. ред.

245

Смотри предисловие в: Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016).

246

Восемнадцать квинтиллионов четыреста сорок шесть квадриллионов семьсот сорок четыре триллиона семьдесят три миллиарда семьсот девять миллионов пятьсот пятьдесят одна тысяча шестьсот пятнадцать. – Прим. ред.

247

Судьба изобретателя шахмат неизвестна. – Прим. авт.

248

Tesauro G., Sejnowski T. J. A Parallel Network That Learns to Play Backgammon, Artificial Intelligence Journal, 39, 357–390, 1989.

249

Richard Sutton (1988). «Learning to predict by the methods of temporal differences». Machine Learning. 3 (1): 9–44.

250

Richard Bellman’s algorithm for dynamic programming. Richard Bellman (1961). Adaptive control processes: a guided tour. Princeton University Press.

251

Ричард Саттон погиб в апреле 2021 года в возрасте 83 лет. – Прим. ред.

252

Саттон Р. С., Барто Э. Г. Обучение с подкреплением / Перевод с английского А. А. Слинкина. М.: ДМК-Пресс, 2020.

253

Tesauro Gerald (1995). “Temporal Difference Learning and TD-Gammon”. Communications of the ACM 38 (3) 58–68.

254

Полный перебор, или метод «грубой силы» (англ. brute force) – метод решения задачи путем перебора всех возможных вариантов. – Прим. ред.

255

Ученые, использующие систематический подход к изучению поведения людей и животных. – Прим. ред.

256

Garcia J., Kimeldorf D. J., Koelling R. A. “Conditioned aversion to saccharin resulting from exposure to gamma radiation.” Science 1955; 122: 157–8.

257

Montague P. R., Dayan P., Sejnowski T. J. “A Framework for Mesencephalic Dopamine Systems Based on Predictive Hebbian Learning”, Journal of Neuroscience, 16(5), 1936–1947, 1996.

258

Schultz W., Dayan P., Montague P. R. (1997) “A neural substrate of prediction and reward”. Science. 275: 1593–9.

259

Tobler P. N., O’Doherty J. P., Dolan R. J., Schultz W. “Human Neural Learning Depends on Reward Prediction Errors in the Blocking Paradigm”. Journal of Neurophysiology.95(1):301–310. 2006.

260

Hammer M., Menzel R. “Learning and memory in the honeybee”. J Neurosci. 15: 1617–30. 1995.

261

Real L. A. 1991. Animal choice behavior and the evolution of cognitive architecture. Science 253:980–86.

262

Montague P. R., Dayan P., Person C., Sejnowski T. J. Bee foraging in uncertain environments using predictive Hebbian learning. Nature 377: 725–728, 1995.

263

Mischel Walter; Ebbesen Ebbe B. (October 1970). «Attention in delay of gratification». Journal of Personality and Social Psychology. 16 (2): 329–337.

264

Atari – американская компания по производству и изданию компьютерных игр, существует с 1972 года. Pong – серия игровых приставок производства Atari, которая выпускалась с 1975 по 1977 год. – Прим. ред.

265

V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, D. Hassabis. “Human-level control through deep reinforcement learning”. Nature 518, 529–533 (2015)

266

Компьютерная игра в жанре стратегии в реальном времени, выпущенная в 1998 году. – Прим. ред.

267

Microsoft приобрела права на игру в 2014 году. В 2020 году Minecraft стала самой продаваемой игрой в истории. – Прим. ред.

268

Haykin S. Cognitive Dynamic Systems Perception Action Cycle, Radar and Radio; Cambridge University Press: New York, NY, USA, 2012.

269

Haykin S., Fuster J. M., Findlay D., Feng S. Cognitive Risk Control for Physical Systems, IEEE Access (в прессе).

270

Reddy G., Celani A., Sejnowski T. J., Vergassola M. Learning to soar in turbulent environments, Proceedings of the National Academy of Sciences of the United States of America, 113 (33), 2016.

271

Изменение высоты полета за единицу времени. – Прим. ред.

272

Doya K., Sejnowski T. J. “A Novel Reinforcement Model of Birdsong Vocalization Learning” In: Tesauro G., Touretzky D. S., Leen T. (Ed.), Advances in Neural Information Processing Systems, 7, MIT Press, Cambridge, MA 101–108, 1995.

273

Doupe A. J., Kuhl P. K. “Birdsong and human speech: common themes and mechanisms”. Annu Rev Neurosci. 22:567–631, 1999.

274

Turrigiano G. (2011). «Too many cooks? Intrinsic and synaptic homeostatic mechanisms in cortical circuit refinement». Annu Rev Neurosci. 34:89–103.

275

Wiskott L., Sejnowski T. J. “Constrained Optimization for Neural Map Formation: A Unifying Framework for Weight Growth and Normalization”, Neural Computation, 10(3), 671–716, 1998.

276

Тело нейрона, в котором находится ядро клетки. – Прим. ред.

277

Anthony J. Bell, “Self-organization in real neurons: Anti-Hebb in 'Channel Space'?” Advances in Neural Information Processing Systems 4, 1991; M. Siegel, E. Marder, L. F. Abbott, “Activity-dependent current distributions in model neurons”, Proc Natl Acad Sci U S A. 91: 11308–11312 (1994).

278

«Brains, Minds and Machines».

279

«Bits and Brains».

280

Темы, обсуждаемые на Конференции, доступны по ссылке: nips.cc

281

Чтобы показать особенности этого языка, вот случайное предложение из недавнего обзора в журнале: «Олигодендроциты представляют собой множество белков, ингибирующих рост аксонов, включая миелин-ассоциированный гликопротеин, ингибитор нейрита-выроста «Nogo», олигодендроцит-миелиновый гликопротеин и семафорины». Bireswar Laha, Ben K. Stafford, Andrew D. Huberman, Regenerating optic pathways from the eye to the brain, Science 356:.1031–1034, 2017. – Прим. авт.

282

Говард Вахтел, нейробиолог из Университета Колорадо в Боулдере, который изучал нервную систему аплизии. – Прим. авт.

283

На 2018 год. 1 Збайт = 10²¹ байт. – Прим. ред.

284

Чаще даже в русскоязычной профильной литературе употребляется термин «data science». – Прим. ред.

285

Официальный сайт: www.sdss.org

286

Orwell George (1949). Nineteen Eighty-Four. A novel. London: Secker & Warburg. Недавно эта книга обрела новый смысл. – Прим. авт.

287

Проект «WiML» был создан в 2006 году и открыл для женщин возможность представлять и продвигать свои исследования в области машинного обучения. Официальный сайт: http://wimlworkshop.org/ – Прим. авт.

288

Критический обзор работы психолога-бихевиориста Берреса Фредерика Скиннера «Вербальное поведение». – Прим. ред.

289

Здесь ошибка автора: указанная статья Клода Шеннона действительно основополагающая в данной области, но вышла она не в 1982, а в 1948 году. – Прим. ред.

290

Сверхбольшие интегральные схемы.

291

Каждый пиксель внутри камеры с таким датчиком работает независимо от других, сообщает об изменениях яркости по мере их возникновения и никак не реагирует, если изменений не было, тогда как в обычной цифровой камере вся картинка фиксируется одномоментно. – Прим. ред.

292

Изучение мозга путем развития инновационных нейротехнологий.

293

В марте 2017 года. – Прим. ред.

294

На сайте Kaggle миллион специалистов по анализу данных соперничают друг с другом, чтобы получить приз за лучший результат. Cade Metzjune, “Uncle Sam Wants Your Deep Neural Networks”, New York Times, June 22, 2017: https://www.nytimes.com/2017/06/22/technology/homeland-security-artificial-intelligence-neural-network.html?_r=0 – Прим. авт.

295

Запись моей лекции смотрите по ссылке: youtu.be/0BDMQuphd-Q – Прим. авт.

296

Проект IBM Watson назван в честь первого директора IBM Томаса Уотсона. – Прим. ред.

297

В России аналог выходит под названием «Своя игра». – Прим. ред.

298

Internet of Things – Интернет вещей – концепция сети передачи данных между физическими объектами («умными вещами»), которым технологии позволяют взаимодействовать друг с другом или с внешней средой. – Прим. ред.

299

В докладе были даны рекомендации и обозначены приоритеты для инновационных технологий, которые помогут продвинуть наше понимание нейронных цепей и поведения: www.braininitiative.nih.gov/2025/ – Прим. авт.

300

Kosik K. S., Sejnowski T. J., Raichle M. E., Ciechanover A., Baltimore D. A path toward understanding neurodegeneration, Science, 353, 872–873, 2016.

301

В фильме «Особое мнение» 2002 года герой Тома Круза, скрываясь от правительства, смог избежать ареста при помощи пересадки глаз. – Прим. авт.

302

Nilekani N., Shah V. Rebooting India – Realizing a Billion Aspirations. Penguin Books India Pt. Ltd, Gurgaon, Haryana, 2015.

303

“Nandan Nilekani, Infosys, on rebooting India,” Financial Times, Jan 22, 2017 www.ft.com/content/058c4b48-d43c-11e6–9341-7393bb2e1b51?mhq5j=e1

304

Gymrek M.; McGuire A. L.; Golan D.; Halperin E.; Erlich Y. (2013). «Identifying Personal Genomes by Surname Inference». Science. 339 (6117): 321–324.

305

Моторный интеллект отвечает за координацию движений и манипуляции с объектами. Подвижный интеллект – способность с помощью логического мышления и анализа решать задачи, выходящие за пределы предыдущего опыта. – Прим. ред.

306

Бактерии прекрасно себя чувствуют в гидротермальных источниках на дне океана при температуре около 400°C. – Прим. авт.

307

Wilson Margaret (2002). «Six Views of Embodied Cognition», Psychonomic Bulletin & Review. 9 (4): 625–636

308

Ruvolo P., Messinger D., Movellan J. Infants Time Their Smiles to Make Their Moms Smile, PLoS One. 10(9):e0136492, 2015.

309

Tanaka F., Cicourel A., Movellan J. R. “Socialization between toddlers and robots at an early childhood education center”, Proc Natl Acad Sci U S A. 104:17954–8, 2007.

310

“Conserve elephants. They hold a scientific mirror up to humans”, Economist, Jun 17th 2017 pp. 72–74. www.economist.com/news/science-and-technology/21723394-biology-and-conservationelephants-conserve-elephants-they-hold

311

Brooks R. A. (1990). «Elephants don't play chess». Robotics and Autonomous Systems. 6: 139–159.

312

Робот был собран в Японии, где к его имени и добавили нейтрально-вежливый суффикс – сан. – Прим. ред.

313

www.youtube.com/watch?v=knRyDcnUc4U

314

papers.cnl.salk.edu/PDFs/Final%20Report%20To%20NSF%20of%20the%20Planning%20Workshop%20on%20Facial%20Expression%20Understanding%201992-4182.pdf

315

Gottman John, Robert Levenson and Erica Woodin. «Facial expressions during marital conflict». Journal of Family Communication 1.1 (2001): 37–57.

316

Donato F., Stewart-Bartlett M., Hager J. C., Ekman P., Sejnowski T. J. “Classifying Facial Actions”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 21(10), 974–989, 1999.

317

Набор вычислительных инструментов для распознавания эмоций. В русскоязычной литературе название системы употребляется без перевода. – Прим. ред.

318

Система, измеряющая количество аудитории телепрограмм в США для определения их популярности, созданная компанией Nielsen Media Research. – Прим. ред.

319

2006 год. – Прим. ред.

320

Meltzoff A. N., Kuhl P. K., Movellan J., Sejnowski T. J. “Foundations for a New Science of Learning,” Science, 325: 284–288, 2009.

321

J. Whitehill, Z. Serpell, Y. Lin, A. Foster, J. R. Movellan. “The faces of engagement: automatic recognition of student engagement from facial expressions.” Trans. Affect. Comput. 5(1), 86–98 (2014). Это была командная работа, в которой также принимали участие Гвен Литтлворт, Линда Саламанка, Айша Фостер и Джуди Райли. – Прим. авт.

322

Rogowsky B. A., Calhoun B. M. & Tallal P. (2015). Matching learning style to instructional method: Effects on comprehension. Journal of Educational Psychology, 107, 64–78. Вебинар по этой теме смотрите по ссылке: youtu.be/p-WEcSFdoMw – Прим. авт.

323

Bloom B. (1984). «The 2 Sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring», Educational Researcher, 13:6(4–16).

324

Markoff J. Virtual and artificial, but 58,000 want course. New York Times (Aug 15, 2011).

325

По разным подсчетам число участников онлайн-курсов за 2020–2021 год выросло в 4–10 раз, без учета студентов и школьников, переведенных на дистанционное обучение. – Прим. ред.

326

Под таким названием книга была выпущена на русском языке в 2015 году. В оригинале она называлась «A Mind for Numbers: How to Excel at Math and Science (Even If You Flunked Algebra)» – «Разум для чисел: как преуспеть в математике и естественных науках (даже если вы завалили алгебру)». – Прим. ред.

327

Курс доступен на официальном сайте: https://www.coursera.org/learn/learning-how-to-learn

328

На 2018 год. – Прим. ред.

329

От англ. Mind shift – смена мировоззрения.

330

Оакли Б., Сейновски Т., Макконвилл А. Уроки на отлично! Как научить ребенка заниматься самостоятельно и с удовольствием / перевод с английского А. Поповой. С.-П.: Питер, 2020.

331

Перевернутый класс – современная образовательная модель, при которой учитель дает материал для самостоятельного изучения дома, а на очном занятии происходит практическое закрепление материала. – Прим. ред.

332

www.coursera.org/learn/mindshift

333

Oakley B., Mindshift: Break Through Obstacles to Learning and Discover Your Hidden Potential, Penguin Publishing Group, 2017; Оакли Б. Mindshift. Новая жизнь, профессия и карьера в любом возрасте. М.: Прогресс-книга, 2020.

334

https://www.lumosity.com/en/

335

Bavelier D. & Green C. S. (2016). “The Brain Boosting Power of Video Games.” Scientific American, 315(1), 156–176.

336

Greg L. West, Kyoko Konishi, Veronique D. Bohbot, “Video Games and Hippocampus-Dependent Learning,” Current Directions in Psychological Science, 26 (2) 152–158 (2017).

337

Anguera J. A., Boccanfuso J., Rintoul J. L., Al-Hashimi O., Faraji F., Janowich J., Kong E., Larraburo Y., Rolle C., Johnston E. & Gazzaley A. (2013). “Video game training enhances cognitive control in older adults”. Nature, 501 (7465), 97–101.

338

В 2020 году созданная ими игра EndeavorRX была одобрена в США для дополнительной терапии СДВГ у детей в возрасте от 8 до 12 лет. Чтобы получить ее, необходим рецепт от врача. Официальный сайт игры: www.endeavorrx.com – Прим. ред.

339

Официальный сайт: www.fastfword.com

340

What Works Clearinghouse. “Beginning Reading intervention report: Fast ForWord”. U.S. Department of Education, Institute of Education Sciences.

341

Подробнее по ссылке: www.brainhq.com

342

Deveau Ozer and Seitz (2014). «Improved Vision and On Field Performance in Baseball through Perceptual Learning», Current Biology, 24(4), R146–7.

343

https://www.ftc.gov/news-events/press-releases/2015/09/ftc-charges-marketers-vision-improvement-app-deceptive-claims

344

Китайская компания, предоставляющая веб-сервисы, и в первую очередь – одноименный поисковик, четвертый по популярности в мире. – Прим. ред.

345

www.recode.net/2016/9/17/12943214/sebastian-thrun-self-driving-talent-pool

346

Джефф Дин – личность настолько легендарная, что его называют Чаком Норрисом от программирования и распространяют в сети шутливые факты о его всемогуществе. – Прим. ред.

347

В 2021 году США все еще остаются на первом месте, но их, обойдя другие страны, стремительно догоняет Китай. – Прим. ред.

348

Джеффри Хинтон – главный научный консультант Vector Institute. Официальный сайт центра: vectorinstitute.ai/ – Прим. авт.

349

P. Mozur and John Markoff, “Is China Outsmarting America in A.I.?” New York Times, May 27, 2017 www.nytimes.com/2017/05/27/technology/china-us-ai-artificial-intelligence.html?_r=0

350

Paul Mozur, “Beijing Wants A. I. to Be Made in China by 2030,” New York Times, July 20, 2017 www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html?_r=0

351

С поправкой на инфляцию: www.space.com/17547-jfk-moon-speech-50years-anniversary.html. Выступление президента Джона Кеннеди «Мы решили отправиться на Луну» в Университете Райса в Хьюстоне 12 сентября 1962: www.youtube.com/watch?v=WZyRbnpGyzQ. Когда 20 июля 1969 года астронавт Нил Армстронг ступил на Луну, средний возраст инженеров НАСА составлял 26 лет, инженеров, которых в школьные годы вдохновила речь Кеннеди. – Прим. авт.

352

«Hello, world! – тестовое сообщение учебной программы из классической книги Брайана Кернигана и Денниса Ритчи «Язык программирования C» (1-е издание) (1978) Englewood Cliffs, NJ: Prentice Hall. – Прим. авт.

353

Видеозаписи выступлений и дискуссий можно найти по адресу: www.youtube.com/channel/UCB65yIb3bl-cFwOB6j1s8Nw – Прим. авт.

354

W. B. Arthur, The Nature of Technology: What it is and How it Evolves, The Free Press, New York (2007).

355

Переменные, которые могут принимать любые значения. – Прим. ред.

356

В данном случае понятие «сложность» относится к общей теории систем и характеризует такое поведение системы, при котором у нее появляются свойства, не присущие ее элементам в отдельности. – Прим. ред.

357

George A. Cowan, Manhattan Project to the Santa Fe Institute: The Memoirs of George A. Cowan. University of New Mexico Press. (2010).

358

Алгоритм PageRank, изобретенный основателями Google Ларри Пейджем и Сергеем Брином, использует ссылки на веб-страницу для определения важности страниц в Интернете. За прошедшее время он был усовершенствован с помощью многоуровневых алгоритмов, чтобы устранить предвзятость при поиске. – Прим. авт.

359

Kramer Adam D. I.; Guillory Jamie E.; Hancock Jeffrey T. (June 17, 2014). «Experimental evidence of massive-scale emotional contagion through social networks». Proceedings of the National Academy of Sciences. 111 (24): 8788–8790.

360

Kauffman Stuart (1993). The Origins of Order: Self Organization and Selection in Evolution. Oxford University Press.

361

Christopher G. Langton. Artificial Life: An Overview. (Editor), MIT Press, 1995.

362

National Research Council. 2007. The Limits of Organic Life in Planetary Systems. Washington, DC: The National Academies Press. Chapter 5: Origin of Life. www.nap.edu/read/11919/chapter/7

363

Мозг человека содержит больше нервных клеток, чем требуется в действительности. Благодаря этому существует нейропластичность – свойство, позволяющее мозгу изменяться по мере накопления опыта и даже восстанавливать утраченные связи после травм. – Прим. ред.

364

McCulloch W. and Pitts W. (1943). “A logical calculus of the ideas immanent in nervous activity”. Bulletin of Mathematical Biophysics, 5:115–133.

365

Компьютер назывался JOHNNIAC, в подражание другому раннему цифровому компьютеру под названием ENIAC. – Прим. авт.

366

Силлимановская лекция – награда, присуждаемая Йельским университетом с 1901 года, дающая лауреату право провести цикл лекций по естественным наукам, истории или морали, которые затем выпускают в виде книги. – Прим. ред.

367

John von Neumann, The Computer and the Brain. New Haven/London: Yale University Press, 1958.

Джон фон Нейман «Вычислительная машина и мозг», перевод Чечина А. М.: АСТ, 2018.

368

Lyne John and Henry Howe «'Punctuated Equilibria': Rhetorical Dynamics of a Scientific Controversy». in Harris R. A. ed. (2007). Landmark Essays on Rhetoric of Science. Mahwah NJ: Hermagoras Press.

369

Holland John (1992). Adaptation in Natural and Artificial Systems. Cambridge, MA: MIT Press.

370

Stiefel K. M., Sejnowski T. J. “Mapping Function onto Neuronal Morphology”, Journal of Neurophysiology, 98: 513–526, 2007.

371

Язык для программирования с одновременным использованием множества парадигм – совокупности идей и понятий, определяющих стиль написания компьютерных программ. – Прим. ред.

372

www.wolframalpha.com

373

Интересное эссе о том, как развивалось мышление Вольфрама, можно найти тут: blog.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/ – Прим. авт.

374

Image identification: blog.stephenwolfram.com/2015/05/wolfram-language-artificial-intelligencethe-image-identification-project/

375

Athenaeum – частный клуб в кампусе Калтеха в Пасадене, основанный в 1930 году. Его членами могут стать преподаватели, аспиранты, старшекурсники, выпускники, попечители и сотрудники института. – Прим. ред.

376

Beckman Auditorium – небольшое здание в стиле нового формализма, созданное известным американским архитектором Эдвардом Дуреллом Стоуном в 1960 году. – Прим. ред.

377

Он покинул пост корпоративного вице-президента Intel в марте 2020 года. – Прим. ред.

378

Сейчас известен как Microsoft Cognitive Toolkit – стандартизированный инструментарий для работы с сетями глубокого обучения и ИИ. – Прим. ред.

379

Фонд, поддерживающий развитие науки и общественного понимания. Основан в 2000 году в Лос-Анджелесе норвежским бизнесменом и филантропом Фредом Калви. – Прим. ред.

380

Roger Blandford, Michael Roukes, Larry Abbott, Terrence Sejnowski (Chair), “Report on the Third Kavli Futures Symposium on Growing High Performance Computing in a Green Environment,” September 9–11, 2010, Tromø, Norway cnl.salk.edu/Media/Kavli-Futures.Final-Report.11.pdf

381

Экзафлопсными называют компьютеры, которые могут выполнять 10¹⁸ вычислительных операций в секунду. – Прим. ред.

382

10¹⁵ операций в секунду.

383

10¹⁵.

384

Соучредитель корпорации Intel. Свой «закон» он сформулировал в 1965 году. – Прим ред.

385

Carver Mead, Lynn Conway, Introduction to VLSI systems, Addison-Wesley, 1980.

386

Mahowald M. A., Mead C. The silicon retina. Scientific American, 264:76–82 (1991).

387

Milton and Francis Clauser Doctoral Prize. Докторская премия имени братьев Клаузеров ежегодно присуждается в Калифорнийском технологическом институте кандидату, чьи исследования демонстрируют высочайшую степень оригинальности и потенциал для открытия новых направлений человеческой мысли. – Прим. ред.

388

Mahowald M., Douglas R. A silicon neuron. Nature 354:515–518 (1991).

389

Строительство продолжалось с 1911 по 1987 год. Девять электростанций имеют общую установленную мощность более 1000 мегаватт. – Прим. ред.

390

Carver Mead. Collective Electrodynamics: Quantum Foundations of Electromagnetism, MIT Press, 2002.

391

Отец Тоби, Макс Дельбрюк, был биофизиком и в 1950-х годах основал молекулярную биологию; в 1969 году он получил Нобелевскую премию. Это еще одно звено между микроэлектроникой и молекулярной биологией, которое будет рассмотрено в главе 18. – Прим. авт.

392

C. Posch, T. Serrano-Gotarredona, B. Linares-Barranco, and T. Delbruck, “Retinomorphic eventbased vision sensors: bioinspired cameras with spiking output,” Proc. IEEE, vol. 102, no. 10, pp. 1470–1484, 2014.

393

Потенциал действия, или спайк, – быстрое колебание мембранного потенциала, возникающее при возбуждении нервных, мышечных, некоторых железистых и растительных клеток. – Прим. ред.

394

Sejnowski T. J. The Book of Hebb, Neuron, 24, 773–776, 1999.

395

Обнаружение совпадений (англ. сoincidence detection) в нейробилогии – процесс, позволяющий нейронам кодировать информацию, выявляя появление близких по времени, но распределенных в пространстве входных сигналов. – Прим. ред.

396

Hebb, D.O. (1949). The Organization of Behavior. New York: Wiley & Sons.

397

Robert F. Service. The brain chip. Science, 345: 614–616, 2014, science.sciencemag.org/content/345/6197/614.full

398

В 2017 году.

399

Recurrent spiking networks: Huh D., Sejnowski T. J. “Gradient Descent for Spiking Neural Networks,” arXiv:1706.04698v1.

400

Boahen K. A. “Neuromorph’s Prospectus”, IEEE Xplore: Computing in Science and Engineering, special issue on the topic “Beyond Moore’s Law” 19(2), 14–28, 2017.

401

Soni J., Goodman R. A Mind at Play: How Claude Shannon Invented the Information Age, (Simon & Schuster: New York) (2017).

402

Предел Шеннона (англ. Shannon limit) – максимальная скорость передачи, для которой имеется возможность исправить ошибки в канале с заданным соотношением сигнала и шумов. – Прим. ред.

403

Golomb S. W. Shift Register Sequences: Secure and Limited-Access Code Generators, Efficiency Code Generators, Prescribed Property Generators, Mathematical Models, World Scientific Publishing Co; 3rd Revised Edition (2017).

404

http://blog.stephenwolfram.com/2016/05/solomon-golomb-19322016/

405

Hedy's Folly: The Life and Breakthrough Inventions of Hedy Lamarr, the Most Beautiful Woman in the World’ by Richard Rhodes, Doubleday, 2012.

406

Gödel, Escher, Bach: An Eternal Golden Braid.

407

Riggs L. A.; Ratliff F.; Cornsweet J. C.; Cornsweet T. M. N. (1953). «The Disappearance of Steadily Fixated Visual Test Objects». Journal of the Optical Society of America. 43 (6): 495.

408

Rajesh P. N. Rao & Dana H. Ballard. (1999). “Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects.” Nature Neuroscience 2, 79–87.

409

Осознание этого подвигло Мида на создание нейроморфных систем, которые, как и мозг, работают в режиме реального времени. Mead C. 1990. Neuromorphic electronic systems. Proc. IEEE 78:1629–36. – Прим. авт.

410

Так же употребляются названия предсказательное кодирование, предиктивное кодирование, прогностическая обработка. – Прим. ред.

411

von Helmholtz Hermann (1867). Handbuch der physiologischen Optik. 3. Leipzig: English translation: Optical Society of America (1924–25): Treatise on Physiological Optics.

412

McClelland J. L. & Rumelhart D. E. “An Interactive Activation Model of Context Effects in Letter Perception: Part 1. An Account of Basic Findings.” Psychological Review, 88(5) 401–436, 1981; “Part 2. The Contextual Enhancement Effect and Some Tests and Extensions of the Model,” Psychological Review, 89 (1) 60–94, 1982.

413

Muller L., Piantoni S., Koller D., Cash S. S., Halgren E., Sejnowski T. J. “Rotating waves during human sleep spindles organize global patterns of activity during the night,” eLife, e17267 (2016).

414

Соединяющая машина.

415

10¹⁵.

416

Выражение означает, что для успеха в долгосрочной перспективе нужно предпринимать необходимые шаги прямо сейчас, а также не жертвовать долгосрочной выгодой ради сиюминутной прибыли. – Прим. ред.

417

Известное высказывание Артура Кларка: «Любая достаточно развитая технология неотличима от магии». – Прим. авт.

418

Глава адаптирована из: Sejnowski T. J. Consciousness, Daedalus, Winter, 144: 123–132, 2015.

419

Francis H. C. Crick, What Mad Pursuit: A Personal View of Scientific Discovery (New York: Basic Books, 1988).

420

Единого общепринятого научного определения сознания не существует. Однако оно включает в себя состояние бодрствования, способность воспринимать то, что находится или происходит вокруг, а также осознание себя и мира. – Прим. авт.

421

Crick F. “The function of the thalamic reticular complex: the searchlight hypothesis.” Proc. Natl. Acad. Sci. USA 81:4586–90, 1984.

422

Francis Crick and Christof Koch, “The Problem of Consciousness,” Scientific American 267 (3) (1992): 10–17; Francis Crick and Christof Koch, “Constraints on Cortical and Thalamic Projections: The NoStrong-Loops Hypothesis,” Nature 391 (1998): 245–250; Francis Crick and Christof Koch, “A Framework for Consciousness,” Nature Neuroscience 6 (2003): 119–126; and Francis Crick, Christof Koch, Gabriel Kreiman, and Itzhak Fried, “Consciousness and Neurosurgery,” Neurosurgery 55 (2) (2004): 273–281.

423

F. Crick and C. F. Koch. “Are We Aware of Neural Activity in Primary Visual Cortex?” Nature 375 (1995): 121–123; Koch C, Massimini M, Boly M & Tononi G (2016) The neural correlates of consciousness: Progress and problems. Nature Review Neuroscience 17: 307–21.

424

Quiroga R. Q., Reddy L., Kreiman G., Koch C. & Fried I. Invariant visual representation by single neurons in the human brain. Nature 435, 1102–1107 (2005).

425

Karl Deisseroth and Mark J. Schnitzer, “Engineering Approaches to Illuminating Brain Structure and Dynamics,” Neuron 80 (2013): 568–577.

426

Valerio Mante, David Sussillo, Krishna V. Shenoy, William T. Newsome, “Context-Dependent Computation by Recurrent Dynamics in Prefrontal Cortex,” Nature 503 (2013): 78–84.

427

Отчет BRAIN 2025 www.nih.gov/science/brain/2025/index.htm

428

Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016).

429

face cells – группа нейронов, которая активнее всего реагирует при распознании лиц. – Прим. ред.

430

L. Chang and D. Y. Tsao. “The code for facial identity in the primate brain.” Cell, 169:1013–1028.e14, 2017.

431

David A. Bulkin and Jennifer M. Groh, “Seeing Sounds: Visual and Auditory Interactions in the Brain,” Current Opinion in Neurobiology 16 (2006): 415–419.

432

David M. Eagleman and Terrence J. Sejnowski, “Motion Integration and Postdiction in Visual Awareness,” Science 287 (2000): 2036–2038.

433

Stephen L. Macknik, Susana Martinez-Conde, and Sandra Blakeslee, Sleights of Mind: What the Neuroscience of Magic Reveals About Our Everyday Deceptions (New York: Henry Holt, 2010).

434

Stanislas Dehaene and Jean-Pierre Changeux, “Experimental and Theoretical Approaches to Conscious Processing,” Neuron 70 (2011): 200–227.

435

Moeller S., Crapse T., Chang L. and Tsao D. Y. The effect of face patch microstimulation on perception of faces and objects Nat. Neurosci. 20, 743–752 (2017).

436

Parvizi J., Jacques C., Foster B. L., Withoft N., Rangarajan V., Weiner K. S. and Grill-Spector K. Electrical stimulation of human fusiform face-selective regions distorts face perception. J. Neurosci. 32, 14915–14920 (2012).

437

Sejnowski T. J. What Are the Projective Fields of Cortical Neurons? van Hemmen J. L. Sejnowski T. J. (Ed.), In: 23 Problems in Systems Neuroscience, Oxford University Press, 394–405, 2005.

438

Leanne Chukoskie, Joseph Snider, Michael C. Mozer, Richard J. Krauzlis, and Terrence J. Sejnowski, “Learning Where to Look for a Hidden Target,” Proceedings of the National Academy of Sciences of the United States of America 110 (2013): 10438–10445.

439

Terrence J. Sejnowski, Howard Poizner, Gary Lynch, Sergei Gepshtein, and Ralph J. Greenspan, “Prospective Optimization,” Proceedings of the Institute of Electrical and Electronic Engineering 102 (2014): 799–811.

440

F. C. Crick, C. Koch, “What is the function of the claustrum?” Philos. Trans. R. Soc. Lond. B Biol. Sci., 360 (2005), 1271–1279.

441

Lincoln T. A., Joyce G. F. (February 2009). «Self-sustained replication of an RNA enzyme». Science. 323 (5918): 1229–32.

442

Cech T. R. (Jul 2012). «The RNA worlds in context». Cold Spring Harbor Perspectives in Biology. 4 (7): a006742.

443

Feldman J. A. (2016). Mysteries of visual experience. arxiv.org/abs/1604.08612

444

Patricia S. Churchland, V. S. Ramachandran, and Terrence J. Sejnowski, “A Critique of Pure Vision,” in Large-Scale Neuronal Theories of the Brain, ed. Christof Koch and Joel D. Davis (Cambridge, Mass.: MIT Press, 1994), 23–60.

445

John Allman (1999). Evolving Brains, New York: Scientific American Library.

446

Skinner B. F. (1971). Beyond freedom and dignity. Hackett Publishing Co., Indianapolis, Indiana.

447

Chomsky N., (1971) The Case Against B. F. Skinner The New York Review of Books, 17: 18–24.

448

Специалист, разрабатывающий инструменты для обработки естественного языка, распознавания текста и речи, системы переводов и т. п. – Прим. ред.

449

Chomsky N. (1980). Rules and representations. Oxford: Basil Blackwell.

450

Gopnik A., Meltzoff A. & Kuhl P. (2000). The scientist in the crib: What early learning tells us about the mind. New York: HarperCollins. Goodman, E. (2003).

451

Мешок слов (англ. Bag of Words) – модель текстов на натуральном языке, в которой каждый документ или текст выглядит как неупорядоченный набор слов без сведений о связях между ними. – Прим. ред.

452

Mikolov T., Sutskever I., Chen K., Corrado G. & Dean J. “Distributed representations of words and phrases and their compositionality.” In Proc. Advances in Neural Information Processing Systems 26 3111–3119 (2013).

453

Это было обращение от МТИ к Институту Макговерна, чтобы убедить их сделать существенный вклад в понимание биологической основы языка и языковых нарушений. – Прим. авт.

454

«Да пребудет с вами сила», – как говорил мастер-джедай Оби-Ван Кеноби в «Звездных войнах». – Прим. авт.

455

Fodor Jerry. «The Mind/Body Problem». Scientific American (244): 124–132.

456

Hassabis D., Kumaran D., Summerfield C., Botvinick M., «Neuroscience-Inspired Artificial Intelligence», Neuron, 95, 245–258 (2017).

457

Neuroeconomics, Second Edition: Decision Making and the Brain: Paul W. Glimcher, Ernst Fehr, Academic Press: New York (2013).

458

Camerer C. Behavior game theory: Experiments in strategic interaction. Princeton University Press. (2003).

459

«Artificial Intelligence Vision: Progress and Non-progress».

460

«Intelligence and Bodies».

461

«Why Natural Language Processing is Now Statistical Natural Language Processing».

462

Синтия Бризил в МТИ и Хавьер Мовеллан разработали социальных роботов, которые взаимодействуют с людьми и используют выражение лица для общения, делая первые шаги к вычислительной теории эмоций. – Прим. авт.

463

«Theory of Neural-Analog Reinforcement Systems and Its Application to the Brain Model Problem».

464

Wolfram S., Farewell Marvin Minsky (1927–2016), Idea Makers Personal Perspectives on the Lives & Ideas of Some Notable People, blog.stephenwolfram.com/2016/01/farewell-marvin-minsky-19272016/

465

Graves A., Wayne G., Reynolds M., Harley T., Danihelka I., Grabska-Barwińska A., Colmenarejo S. G., Grefenstette E., Ramalho T., Agapiou J., Badia A. P., Hermann K. M., Zwols Y., Ostrovski G., Cain A., King H., Summerfield C., Blunsom P., Kavukcuoglu K., Hassabis D. Hybrid computing using a neural network with dynamic external memory. Nature. 2016 538: 471–476.

466

Организмы, используемые в качестве моделей для изучения тех или иных свойств, процессов или явлений живой природы. Полученные данные переносятся на другие организмы. – Прим. ред.

467

www.nobelprize.org/nobel_prizes/medicine/laureates/2002/brenner-lecture.html

468

thesciencenetwork.org/search?program=Reading+the+Human+Genome+with+Sydney+Brenner

469

Имагинальные диски – зачатки ног и усиков у мух. – Прим. авт.

470

Сидней Бреннер опубликовал свою оригинальную историю в Brenner S. «Francisco Crick in Paradiso», Curr Biol. 6(9):1202, 1996: «В Кембридже я делил кабинет с Фрэнсисом Криком в течение двадцати лет. Одно время он интересовался эмбриологией и много думал об имагинальных дисках у мушки-дрозофилы. Однажды он бросил на стол книгу, которую читал, с раздраженным криком: «Бог знает, как работают эти имагинальные диски!» В мгновение ока я увидел, как Крик прибывает на небеса, а Петр приветствует его словами: «О, доктор Крик, вы, должно быть, устали после долгого путешествия. Садитесь, выпейте и расслабьтесь». «Нет, – говорит Крик, – я должен увидеть Бога и задать ему вопрос». После некоторых уговоров ангел соглашается отвести Фрэнсиса к Богу. Они пересекают среднюю часть небес и наконец, перейдя железнодорожные пути, попадают в заваленный хламом сарай с гофрированной железной крышей, в глубине которого возился маленький человечек в комбинезоне с большим гаечным ключом в заднем кармане. «Бог, – произносит ангел, – это доктор Крик. Доктор Крик, это Бог». «Я так рад с вами познакомиться, – говорит Крик. – Я должен задать вам этот вопрос. Как работают имагинальные диски?» «Ну, – приходит ответ, – мы взяли немного этого материала и добавили к нему кое-что еще… на самом деле, мы не знаем, но я могу сказать вам, что мы создавали здесь мух на протяжении двухсот миллионов лет, и никто ни разу не жаловался». – Прим. авт.

471

Сидней Бреннер умер в апреле 2019 года. – Прим. ред.

472

Dobzhansky, Theodosius (March 1973), «Nothing in Biology Makes Sense Except in the Light of Evolution», American Biology Teacher, 35 (3): 125–129, JSTOR 4444260; reprinted in Zetterberg, J. Peter, ed. (1983), Evolution versus Creationism, Phoenix, Arizona: ORYX Press.

473

www.youtube.com/watch?v=C9M5h_tVlc8

474

www.youtube.com/watch?v=L9ITpz4OeOo

475

Nagel, Thomas (1974). «What Is It Like to Be a Bat?» The Philosophical Review. 83 (4): 435–450.

476

Антропогенез изучает происхождение человечества. Официальный сайт: carta.anthropogeny.org – Прим. авт.

477

Группа в Ла-Хойя и CARTA были основаны под руководством Аджита Варки, врача-ученого в Калифорнийском университете в Сан-Диего, увлеченного эволюцией. – Прим. авт.

478

Около 1 % ДНК – это последовательности, кодирующие белки, и 8 % – регуляторные последовательности, связывающие белки. – Прим. авт.

479

Berg Howard C. (2003). E. coli in motion. New York, NY: Springer.

480

Navlakha S. & Bar-Joseph Z. Algorithms in nature: the coka: nvergence of systems biology and computational thinking. Molecular Systems Biology 7, 546 (2011).

481

Отсылка к выражению «тонкий край клина» (англ. thin edge of the wedge) – незначительное изменение, с которого начинается большое развитие. – Прим. ред.

482

Churchland P. S. and Sejnowski T. J. The Computational Brain, 2nd edition, Cambridge, MA: MIT Press (2016). https://mitpress.mit.edu/books/computational-brain

483

Quartz S. R., Sejnowski T. J. Liars, Lovers and Heroes: What the New Brain Science Has Revealed About How We Become Who We Are, New York: Harper-Collins, 2002.

484

Mackintosh N. J. IQ and Human Intelligence (second Ed). Oxford: Oxford University Press. (2012).

485

Griffin D. R. Animal minds. Chicago: University of Chicago Press (1992).

486

Бишоп К. М. Распознавание образов и машинное обучение / Перевод Д. А. Клюшина. М.: Вильямс, 2020.

487

MacKay D. Information Theory, Inference, and Learning Algorithms, Cambridge: Cambridge University Press, 2003.

488

Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практика / Перевод А. А. Слинкина. М.: ДМК Пресс, 2018.

489

Бенджио И., Курвилль А., Гудфеллоу Я. Глубокое обучение / Перевод А. А. Слинкина. М.: ДМК Пресс, 2018.

490

Murphy K. P. Machine Learning: A Probabilistic Perspective, Cambridge, MA: MIT Press (2014).

491

Саттон Р., Барто Э. Обучение с подкреплением / Перевод А. А. Слинкина. М.: ДМК Пресс, 2020.

492

Goldhagen Sarah Williams. Louis Kahn’s Situated Modernism. New Haven, CT: Yale University Press, 2001.

493

Francis Crick. The Astonishing Hypothesis: The Scientific Search for the Soul. Chicago: Charles Scribner's Sons, 1995. Р. 146.