История легенды: голос Хокинга

В июне того же года Хокинг посетил Intel Labs, где Денман и его команда представили ему новую систему — ASTER (Assistive Text EditoR). Intel работала со SwiftKey и включила много документов Хокинга в систему, поэтому в некоторых случаях ему даже не нужно было вводить символ, прежде чем система напишет следующие слова из контекста. — Мы собираемся осторожно применить передовые компьютерные технологии, чтобы улучшить коммуникационную скорость Стивена. Когда iPhone впервые вышел на рынок, люди начали жаловаться на предиктивный текст, но недоверие быстро переросло в радость. После ‘the’ автоматически появляется ‘black’. Чтобы решить проблему пропущенных букв, команда Intel добавила прототип, который интерпретировал бы намерения Хокинга, а не его фактический ввод, используя алгоритм, аналогичный тому, что используется в обработке текстов и мобильных телефонах. «Он один из умнейших парней в мире, но он все же не привык к современным технологиям, — говорит Денман. К сентябрю появилась первая обратная связь: Хокинг не адаптировался к новой системе. Кнопка возврата и та, которая отвечала за промахи по буквам, вводили в недоумение, и их нужно было изменить. Однако и этому умению общаться приходит конец. Он мог серфить Интернет с Firefox и писать лекции с Notepad. — Бывают и случаи, когда он специально хочет сказать что-то случайное. Нам нужно было сосредоточить силы на обучении одного человека». После того как команда Intel представилась, Хауссекер взял на себя инициативу, объяснив, почему они были там и каковы были их планы. — На следующий день он позвонил и подтвердил это. При выборе ‘black’, автоматически появляется ‘hole’. Затем эту систему адаптировал Дэвид Мейсон, инженер и муж одной из медсестер Хокинга, превратив ее в портативную систему, которая может быть установлена на одном из плеч инвалидной коляски. Мы просто остолбенели. Новая система оказалась быстрой и эффективной, но еще оставалось научить Хокинга пользоваться ей. Это CallText 5010, модель, которую дали Хокингу в 1988 году, когда он посетил компанию, производившую их, Speech Plus. Чаще всего эти попытки были неудачными. Может ли Intel как-нибудь помочь?». Он не из тех, кто просто хотел отправлять сообщения. «Мы зажигали буквы на экране и пытались определить выбранную букву по отклику мозга, — вспоминает Вуд. Мартин Кинг, физик, работавший с Хокингом над новой системой связи, связался с калифорнийской компанией Words Plus, которая разрабатывала программу Equalizer, позволявшую пользователям выбирать слова и команды на компьютере, используя ручной кликер. Отслеживание взгляда не работало со взглядом Хокинга из-за его опущенных век. Чтобы облегчить дыхание Хокинга, они также провели трахеотомию, сделав отверстие в горле Хокинга и разместив трубку в его трахее. С помощью этой новой системы Хокинг смог общаться со скоростью порядка 15 слов в минуту. К 2011 году он мог выдать только одно-два слова в минуту, поэтому отправил такое письмо Муру (тому самому, который является автором закона Мура): «Мое устройство речевого ввода очень и очень медленное сейчас. Также есть кнопка ‘mute’, которая позволяет Хокингу отключить его синтезатор. Другой экспериментальный проект, предложенный производителями инвалидной коляски Хокинга в начале этого года, это джойстик, который крепится к подбородку Хокинга и позволяет ему перемещать инвалидную коляску самостоятельно. Для него было крайне важно выражать свои мысли корректно, поэтому даже пунктуация должна была быть правильной. В 1990 году Speech Plus продали Centigram Communications. Мур заметил, что компьютер, который Хокинг использовал для общения, был с процессором AMD, и спросил, не нужен ли ему взамен «настоящий компьютер» с микропроцессором Intel. Хокинг потерял способность говорить в 1985 году, когда подхватил воспаление легких во время поездки в ЦЕРН в Женеве. Мы надеемся, что эта команда совершит прорыв и найдет технику, которая позволит ему общаться на уровне, который был несколько лет назад». Некоторое время Хокинг общался с использованием орфографических карт, терпеливо указывая на буквы и образуя слова, поднимая брови. Прошло еще много месяцев, прежде чем команда Intel придумала версию, которая понравилась Хокингу. Еще до проекта Intel Хокинг экспериментировал с ЭЭГ-датчиками, которые могли бы считывать его мозговые волны и потенциально отправлять команды на компьютер. Мур поручил Джастину Раттнеру, на то время техническому директору Intel, разобраться с проблемой. «Стивен всегда вдохновлял меня, — говорит Денман, тоже использующий инвалидное кресло. Его ассистент тогда же разработал устройство, которым можно было управлять щекой. — Мне очень нравится». «Я смотрел на эти кадры снова и снова», — говорит Денман. Раттнер собрал команду экспертов по взаимодействию человека с компьютером в Intel Labs и привез ее в Кэмбридж на конференцию, посвященную 70-летию Хокинга, 8 января 2012 года. К сентябрю 2013 года, уже при помощи Джонатана Вуда, ассистента Хокинга, они реализовали еще одну итерацию пользовательского интерфейса в компьютере Хокинга. Врачи спрашивали жену Хокинга Джейн, отключать аппарат искусственного жизнеобеспечения или нет. «Ваше текущее программное обеспечение немного устарело, — сказал ему Денман. Похоже, мы нашли его на резервной кассете Nuance». Мы даже не представляли, насколько дизайн будет зависеть от Стивена. В команду из пяти человек вошли Хорст Хауссекер, директор Experience Technology Lab, Лама Нахман, директор Anticipatory Computing Lab и руководитель проекта, и Пит Денман, интерактивный дизайнер. «Он поприветствовал нас и сказал, что очень счастлив видеть нас всех, — говорит Денман. К 2008 году рука Хокинга стала слишком слабой, чтобы использовать кликер. Он изобрел DECtalk, одно из первых устройств для этих задач. Его голос был создан в начале 80-х годов инженером Массачусетского технологического института Деннисом Клаттом, пионером алгоритмов, преобразующих текст в речь. Он мог промазать по букве, удалить ее, снова промазать, снова удалить. ScanSoft приобрела Nuance Communications, многонациональная компания с 35 офисами и 1200 сотрудниками. «Это большой шаг по сравнению с предыдущей версией, — ответил Хокинг. Хауссекер говорил минут двадцать, пока Хокинг внезапно не заговорил. Это ужасно удручало и замедляло процесс ввода. Он привык пользоваться предсказаниями старой предиктивной системы. «Поскольку он управляет переключателем с помощью щеки, если он ест или движется, она создает случайный выход, — объясняет Вуд. С тех пор Intel предоставляет Хокингу настраиваемый персональный компьютер и техническую поддержку, заменяя его компьютер каждые два года. «Я думал, что у нас получилось, мы сделали это», — говорит Денман. В то время Хокинг пользовался компьютерным интерфейсом в виде программы EZ Keys, обновленной версией предыдущих программ, также разработанной Words Plus. Он не смог воспроизвести достаточно сильный сигнал, отличимый от шума». «Мы пришли к выводам, что изменения, которые мы хотим внести, не особо изменят взаимодействие Хокинга с его системой, но все же изменят», — говорит Денман. Это хорошие идеи, но они пока в разработке». Я сказал, что сделаю все, что смогу». Денман думал, что они на верном пути. Женский голос назывался «Прекрасная Бетти» (Beautiful Betty), детский «Крошка Кит» (Kit the Kid), а мужской «Совершенный Пол» (Perfect Paul). Проблема в том, что нужно слишком много времени, чтобы привыкнуть к этому, и нужно доверить системе делать свою работу. Он научился быть достаточно терпеливым, чтобы оставаться перфекционистом. «Иногда я запускал видео с четырехкратной скоростью и все равно находил что-то новое». «Чем больше мы наблюдали за ним и слушали его замечания, тем больше до нас доходило, что он просит нас, в довершение к улучшению скорости связи, дать ему новые функции, которые позволят ему лучше взаимодействовать со своим компьютером», — говорит Нахман. «Я собрал группу специалистов в лабораториях Intel, — заявил Раттнер публике. — На самом деле, оно очень устарело, но вы к нему привыкли, поэтому мы изменили метод работы вашего предиктивного ввода следующего слова, и оно почти всегда определяет нужное слово, даже если введенные вами буквы разительно далеки от него». Она яростно отказывалась. На столе установлена камера, часть рабочего проекта с Intel. Также эта проблема усугублялась перфекционизмом Хокинга. Именно этим голосом говорит Стивен Хокинг. В конце 2012 года команда Intel создала систему, которая записывала взаимодействие Хокинга с его компьютером. Они записали десятки сотен часов видео, которое включало целый спектр различных ситуаций: Стивен печатает, Стивен печатает устало, Стивен использует мышь, Стивен пытается настроить окно нужного размера. Команда Intel решила обновить архаичную систему Хокинга, что потребовало бы создания нового аппаратного обеспечения. Одна стена завалена электронным оборудованием и экспериментальными прототипами. Вуд связался с ней. Чтобы сделать это, ему пришлось проследить путь команды Speech Plus. Карта внутри синтезатора содержит процессор, который превращает текст в речь; это устройство также использовалось для автоматизированных систем ответа на телефонные звонки в 1980-х. Прикрепленный к очкам инфракрасный датчик мог фиксировать движения мышцы щеки Хокинга. Первоначально было записано три голоса: Клатта, его жены и его дочери. Основное изменение, по мнению Денмана, заключалось в самом прототипе. Ему потребовалось двадцать минут, чтобы написать приветствие в 30 слов. «Идея заключается в том, чтобы камера, наведенная на лицо Стивена, считывала не только движения его щеки, но и другие движения лица, — говорит Вуд. В 1988 году, когда Speech Plus дала ему новый синтезатор, голос был настолько другим, что он попросил заменить его оригинальным. Его система предсказания слов была слишком старой. Фраза ‘the black hole’ не требует никакой печати. «Я пытаюсь сделать программную версию голоса Стивена, чтобы мы больше не полагались на эти старые аппаратные карты», — говорит Вуд. — Со мной это работало хорошо, но когда Стивен попробовал, все было насмарку. По большей части это мастерская. Хокинг был слишком болен, чтобы присутствовать на собственном дне рождения, поэтому встретился с экспертами Intel только несколько недель спустя, в своем офисе, в отделе прикладной математики и теоретической физики в Кембриджском университете. — Когда они так сказали, Стивен попытался улыбнуться». — Изначально мы скормили ему множество этих диких идей и перепробовали массу редких технологий». В больнице его перевели на искусственную вентиляцию легких. Новая версия пользовательского интерфейса Хокинга (теперь известная как ACAT — от Assistive Contextually Aware Toolkit) включает контекстные меню, которые обеспечивают Хокинга различными ярлыками, чтобы поговорить, найти что-то или написать письмо; и новым менеджером лекций, который дает ему управление таймингом во время бесед. Он хотел делать это в совершенстве. Однако добавление этой функции может улучшить вашу скорость и позволить вам сосредоточиться на содержании. По материалам Wired Офис Вуда находится рядом с офисом Хокинга. EZ Keys также позволяла Хокингу управлять мышью в Windows и работать с другими приложениями на его компьютере. Первый Equalizer работал на компьютере Apple II, связанном с синтезатором речи, созданном компанией Speech Plus. «У них было программное обеспечение с голосом Стивена из 1986 года. «Стивен любит такое, — говорит Вуд. Кинг обратился к генеральному директору Words Plus Вальтеру Волтошу и спросил, какое программное обеспечение может помочь профессору физики в Англии с боковым амиотрофическим склерозом. — Он может двигать своими челюстями вверх-вниз, вправо-влево, управлять мышью и даже, возможно, своим инвалидным креслом. Изменения включали дополнения вроде кнопки возврата, которую Хокинг мог использовать не только для удаления символов, но и для обратной навигации в интерфейсе; предиктивный алгоритм ввода слов; навигация следующего слова, которая позволяла ему эффективно выбирать слово за словом, вместо того чтобы вводить их. «Я спросил, не Стивен Хокинг ли это, но он не мог назвать мне имя без разрешения, — рассказал Волтош. «Мы думали, что разрабатываем программное обеспечение в обычном смысле, когда ты разворачиваешь сеть и пытаешься вытащить максимум рыбы. — Проблема в контакте подбородка Стивена и джойстика. Она предоставляла ему клавиатуру на экране и базовый алгоритм прогнозирования слов. Мы пытались научить самого известного и умного 72-летнего дедушку на планете новому способу взаимодействия с технологиями». Непостижимым образом, достаточно сильного мозгового сигнала так и не получилось найти. В конце видео стоял вопрос: «Каков уровень ваших волнений или опасений?». В результате Хокинг необратимо потерял способность говорить. Хокинга доставили в больницу Адденбрукс в Кембридже, где врачам удалось сдержать инфекцию. Мы осознали, что проблема была куда более серьезной, чем мы думали». Денман и остальная часть команды поняли, что им нужно начинать по-новому думать о проблеме. С тех пор, Хокинг приноровился отвечать на письма, серфить Интернет, писать книги и общаться, используя всего один мускул. Момент был очень острым. Тем не менее нерв, который позволяет ему двигать пальцами, продолжал деградировать. У него также была веб-камера, которую он использовал со Skype. В целом же Хокинг вполне может ездить самостоятельно. Впервые Стивен Хокинг встретился с Гордоном Муром, одним из основателей Intel, на конференции в 1997 году. К примеру, теперь Хокинг использует адаптивный предсказатель слов лондонского стартапа SwiftKey, который позволяет ему выбирать слово после печати буквы, тогда как предыдущая система требовала от Хокинга двигаться в самый низ интерфейса, чтобы выбрать слово из списка. Она сказала мне, что люди в инвалидном кресле все еще могут делать невероятные вещи. Инженеры установили новый пользовательский интерфейс на компьютер Хокинга. В маленькой серой коробочке хранится единственный экземпляр синтезатора речи Хокинга. Оглядываясь назад, я понимаю, насколько пророческими были эти слова». Она была слишком сложной. Волтош создал раннюю версию Equalizer, чтобы помочь своей крестной матери, которая также страдала от ALS и потеряла способность писать и говорить. Хокинг часто промахивался по клавишам, нажимая букву рядом с той, которую на самом деле хотел нажать. Хокинг очень привязан к своему голосу. Он делает это постоянно, и иногда получается совсем неловко. «Джастин думал, что мы можем использовать технологии вроде распознавания лица, жестов, взгляда и нейрокомпьютерных интерфейсов, — говорит Нахман. Centigram приобрела Lernout and Hauspie Speech Products, которую, в свою очередь, в 2001 году приобрела ScanSoft. — У него никогда не было возможности использовать iPhone. — После того как я сломал шею и оказался парализован, моя мать дала мне копию «Краткой истории времени», которая тогда только вышла. Но в следующем месяце стало понятно, что у Хокинга опять проблемы. Состояние было критическим. Я помню, как однажды он случайно набрал “x x x x”, что в его синтезаторе речи звучало как «эксексексекс». Сначала он жаловался, и только много позже инженеры поняли, почему: он уже знал, какие слова предсказывала его старая система. «Один из его ассистентов назвал это «пыткой ASTER», — вспоминает Денман. Вернувшись в лаборатории Intel спустя месяцы исследований, Денман подготовил 10-минутное видео для Хокинга, в котором демонстрировались новые нейрокомпьютерые прототипы, которые команда хотела попробовать с Хокингом, и попросил его ответить. — Нам было невдомек, что все это время он печатал. Курсор автоматически сканировал клавиатуру по рядам или столбцам, а Хокинг мог выбрать нужный символ движением щеки, останавливающей курсор. Поскольку он не двигает шеей, весьма тяжело подключать и отключать джойстик».