7k
9 лет назад · 10 фото · 1752 просмотров · 62 комментария
Беспилотники получат "право на убийство"? (10 фото)
20 сентября 2016 года на сайте U.S. Departament of Transportation появился документ с названием "Federal Automated Vehicles Policy". Пока это не закон, а предмет для изучения и обсуждения экспертным сообществом, на основе которого и появится похоже - первый в мире Закон об автомобилях с автономным и полуавтономным управлением...
Почему он интересен? Как вы знаете, отечественные производители тоже пытаются создать "беспилотники", но пока у нас и в остальном мире они могут опираться только на разрешение опытной эксплуатации на ограниченном числе дорог общего пользования. Например, в США - на хайвеях в 4 штатах, в Германии - на участках двух автобанов, причем это касается машин с полуавтономным управлением: водитель в некоторых ситуациях лишь может снять руки с руля. Вместе с тем, технический прогресс в ближайшее время может позволить создать автомобили с автономным управлением V поколения (SAE 5). По определению у них водитель может находиться в кабине (и даже не за рулем), но его вмешательство в управление может потребоваться только в случае полного отказа системы. И здесь появляется много проблем. Даже юридических...
Сегодня мы рассмотрим единственный пункт документа - одиннадцатый: Ethical Considerations - "Этические соображения". Чтобы вам не лазить по ссылкам и не разбираться в 160-страничном документе, приведу пару абзацев п.11 на языке оригинала и толкование (кстати, HAV - это принятое обозначение "беспилотников"). Итак:
Three reasonable objectives of most vehicle operators are safety mobility and legality. In most instances, those three objectives can be achieved simultaneously and without conflict. In some cases, achievement of those objectives may come into conflict. For example, most States have a law prohibiting motor vehicles from crossing a double-yellow line in the center of a roadway. When another vehicle on a two-lane road is double-parked or otherwise blocking a vehicle's travel lane, the mobility objective (to move forward toward an intended destination) may come into conflict with safety and legality objectives (e.g., avoiding risk of crash with oncoming car and obeying a law). An HAV confronted with this conflict could resolve it in a few different ways, depending on the decision rules it has been programmed to apply, or even settings applied by a human driver or occupant.
Иными словами, для обеспечения мобильности и не в ущерб безопасности движения, "беспилотники" должны уметь... отступать от требований Правил дорожного движения. На самом деле - это правильно. И на картинке тоже пример со сплошной полосой, которую пришлось пересечь. Хотя это Германия. Однако, как понимаете, если этого разрешения не будет, машина SAE 5 будет стоять, пока не уберут прицеп...
Three reasonable objectives of most vehicle operators are safety mobility and legality. In most instances, those three objectives can be achieved simultaneously and without conflict. In some cases, achievement of those objectives may come into conflict. For example, most States have a law prohibiting motor vehicles from crossing a double-yellow line in the center of a roadway. When another vehicle on a two-lane road is double-parked or otherwise blocking a vehicle's travel lane, the mobility objective (to move forward toward an intended destination) may come into conflict with safety and legality objectives (e.g., avoiding risk of crash with oncoming car and obeying a law). An HAV confronted with this conflict could resolve it in a few different ways, depending on the decision rules it has been programmed to apply, or even settings applied by a human driver or occupant.
Иными словами, для обеспечения мобильности и не в ущерб безопасности движения, "беспилотники" должны уметь... отступать от требований Правил дорожного движения. На самом деле - это правильно. И на картинке тоже пример со сплошной полосой, которую пришлось пересечь. Хотя это Германия. Однако, как понимаете, если этого разрешения не будет, машина SAE 5 будет стоять, пока не уберут прицеп...
Перед следующим абзацем небольшое отступление. Недавно по радио слушал выступление некой пресс-секретарки одно российского производителя автономных систем управления. Дама с гордостью сказала, что наши "беспилотники" будут тормозить даже перед перебегающей собакой, чего европейские не делают. К сожалению, это от недопонимания даже того простого факта, что ни одна из существующих систем активной безопасности не меняет законы физики...
Это было 10 лет назад, Германия, Хоккенхаймринг, курс спецподготовки тренинг-инструкторов: тех, кто в представительствах, у крупных дилеров или в крупных транспортных компаниях отвечает за подготовку и переподготовку водителей автобусов (категория "D" и стаж - для наемного водителя в серьезной компании слишком мало). И так. Базальт, покрытый водой (имитация гололеда), три препятствия (фонтаны воды). Выполняем упражнение на 35, 40 и 45 км/ч (скорость "захода на цель" контролируется электроникой). Используются ABS и система курсовой устойчивости. Задача - объехать препятствие, но первый отворот (влево или вправо) все время меняется. Так вот, на 35 - получалось у всех, на 40 - у некоторых, на 45 и всех - машина начинала скользить, постепенно разворачиваясь поперек направления скольжения... И на реальной дороге ушла бы в кювет или на встречку. Так надо ли всегда тормозить? Ибо это автобус и за спиной 59 жизней (пассажиры есть всегда, даже если сиденья пусты).
Но на SAE 5 это решение должен принять робот...
Это было 10 лет назад, Германия, Хоккенхаймринг, курс спецподготовки тренинг-инструкторов: тех, кто в представительствах, у крупных дилеров или в крупных транспортных компаниях отвечает за подготовку и переподготовку водителей автобусов (категория "D" и стаж - для наемного водителя в серьезной компании слишком мало). И так. Базальт, покрытый водой (имитация гололеда), три препятствия (фонтаны воды). Выполняем упражнение на 35, 40 и 45 км/ч (скорость "захода на цель" контролируется электроникой). Используются ABS и система курсовой устойчивости. Задача - объехать препятствие, но первый отворот (влево или вправо) все время меняется. Так вот, на 35 - получалось у всех, на 40 - у некоторых, на 45 и всех - машина начинала скользить, постепенно разворачиваясь поперек направления скольжения... И на реальной дороге ушла бы в кювет или на встречку. Так надо ли всегда тормозить? Ибо это автобус и за спиной 59 жизней (пассажиры есть всегда, даже если сиденья пусты).
Но на SAE 5 это решение должен принять робот...
Отсюда мы приходим к понятию "Мораль машины". Есть такой Массачусетский Технологический Институт (Massachusetts Institute of Technology, MIT). Так вот его специалисты разработали особый тест и создали специальный сайт moralmachine.mit.edu (язык - английский, но все доступно для понимания, как и выводы). И участникам теста предлагается решить несколько задач. Причем подразумевается, что именно вы должны создать алгоритм, по которому будет работать робот. Несколько примеров для "развлечения" (виноват, но начнем с котиков)
Усложним задачу. Вы с женой в машине или группа лиц (женщины, дети, котик) перебегают дорогу на красный свет. С вами все ясно, с ними - не понятно. Но их явно больше...
Еще больше усложним задачу. Группа лиц (беременная женщина, спортсмены, бизнесмен, котик) переходит дорогу на запрещающий сигнал светофора, а на зеленый: бомжи и грабители. Но социальный статус - не приговор и ПДД они не нарушают...
А если так? Вы готовы принять решение? Красный и зеленый на светофоре пешеходного перехода различаете. И помните, что водитель примет это решение может быть раз в жизни (если Бог милует - вообще никогда). В отличие от разработчика системы управления HAVs...
Что же предлагает U.S. Departament of Transportation (работаем по той же схеме):
Similarly, a conflict within the safety objective can be created when addressing the safety of one car's occupants versus the safety of another car's occupants. In such situations, it may be that the safety of one person may be protected only at the cost of the safety of another person. In such a dilemma situation, the programming of the HAV will have a significant influence over the outcome for each individual involved.
Since these decisions potentially impact not only the automated vehicle and its occupants but also surrounding road users, the resolution to these conflicts should be broadly acceptable. Thus, it is important to consider whether HAVs are required to apply particular decision rules in instances of conflicts between safety, mobility, and legality objectives. Algorithms for resolving these conflict situations should be developed transparently using input from Federal and State regulators, drivers, passengers and vulnerable road users, and taking into account the consequences of an HAV's actions on others.
Да, действительно, здесь пока открыто не обсуждается, что "беспилотник" получит "право на убийство", но некоторые мысли про обеспечение безопасности за счет других лиц и о необходимости применения особых правил принятия решений как бы (и более чем) намекают на такую вероятность.
Так что - простите, Карие Глаза...
Similarly, a conflict within the safety objective can be created when addressing the safety of one car's occupants versus the safety of another car's occupants. In such situations, it may be that the safety of one person may be protected only at the cost of the safety of another person. In such a dilemma situation, the programming of the HAV will have a significant influence over the outcome for each individual involved.
Since these decisions potentially impact not only the automated vehicle and its occupants but also surrounding road users, the resolution to these conflicts should be broadly acceptable. Thus, it is important to consider whether HAVs are required to apply particular decision rules in instances of conflicts between safety, mobility, and legality objectives. Algorithms for resolving these conflict situations should be developed transparently using input from Federal and State regulators, drivers, passengers and vulnerable road users, and taking into account the consequences of an HAV's actions on others.
Да, действительно, здесь пока открыто не обсуждается, что "беспилотник" получит "право на убийство", но некоторые мысли про обеспечение безопасности за счет других лиц и о необходимости применения особых правил принятия решений как бы (и более чем) намекают на такую вероятность.
Так что - простите, Карие Глаза...
Повторюсь: мы обсуждали не закон, а документ для обсуждения. И к сожалению. Объективно у некоторых в России просто свербит от мысли о беспилотниках. Оно понятно: амбициозный проект, неясные перспективы и сроки внедрения, осязаемая господдержка, опять же импортозамещение и "наш ответ пиндосам". А может стоит на ближайшие 10 лет увести эту тему "в тень": НИОКР, лаборатории (которые еще надо создать, как и обучить специалистов), испытания, дискуссии? А то полстраны не газифицировано, дорог нет, но мы туда же. Кстати, имею честь общаться с некоторыми "громкоголосыми". Вопрос об "этических аспектах" HAVs их ставит в тупик. Особенно (виноват) - в Сколково...
p.s. Кстати, те самые три закона робототехники:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
С HAVs мы явно отменяем Пункт первый. А если ОНИ потом отменят остальные?
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
С HAVs мы явно отменяем Пункт первый. А если ОНИ потом отменят остальные?
Пост ни о чём. Беспилотники в состоянии обнаружить препятствие и безопасно остановиться. Тем более будут самостоятельно выбирать скорость движения и не думаю, что они будут метелить 140 км по гололёду. Поэтому подобные ситуации крайне маловероятны.
Как по мне так более насущной проблемой будет являться ситуация, когда техника отказала и произошло дтп. Кто будет нести ответственность? производитель или всё таки водитель.
Беспилотник может обнаружить препятствие если оно не двигается, а если это безумный велосипедист или человек переходящий дорогу в неположенном месте и появившийся буквально из ниоткуда из-за автобуса например.
Разработчики беспилотников не дураки и предусмотрят вероятность появления обезбашенных из-за припаркованных машин и/или столбов. Т.е. среднестатистический водитель будет ехать около 60-70км/ч даже если соседний ряд намертво стоит, беспилотник же в подобной ситуации будет ехать 10-15 км/ч.
Вы не забывайте, машина не может быть невнимательной, уставшей или неадекватной. Да и суть беспилотника в его безопасности как для находящихся в машине, так и для окружающих её!
Вам Дворкович сказал ясно, что в 2035 в России будет телепортация. Так что не парьтесь)
Сперва дороги в порядок привести нужно, потом о беспилотниках думать.
Есть ещё "Нулевой" закон робототехники:
Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.
Тут многие высказываются, типа прям вот взяли и завтра поехали беспилотники по дорогам массово..
Оно же все постепенно.
Вас же не смущает круиз-контроль в машине? Сам держит скорость. А адаптивный круиз? Который сам держит скорость с учетом авто впереди. И сам дергается в пробках.
Далее, активная система удержания полосы движения. По сути на трассе, при наличии разметки, при включенном адаптивном круизе водитель может читать газету или разглядывать сиськи на эрофишках, авто будет ехать само. И это уже сейчас, без каких-либо дурацких законов робототехники и прочей мути.
Фура едет 90км/ч, по хорошей трассе водила может если не поспать, то просто отвлечься. Если он знает, что трасса хорошая, то почему бы и нет. Это лучше, чем засыпать, уставившись в одну точку без возможности отвести взгляд.
распил бабла очередной эти беспилотники ...
покажут путину в новостях гугломобиль, с шильдиком калины на том и закончат.
Еще раз для умников которые отличают кота от камня. Робот кота не будет давить. Либо это тупорылый робот с которым яб на борт не сел. Это что получается? Что если не кот то тогоже размера камень будет лежать и робот даже не вильнув налетит на него нах???
Ну ну. Интересно посмотреть на алгоритм отличающий свернувшегося клубком кота и круглого камня покрытого мхом. Так что уважаемый тут далеко не все так просто как в авиации. Один факт того что авиация уже 100500 лет гоняет с автопилотами, а авто до сих пор в разработках
Я не пойму о чем вообще спор? Нужно еще сотрю доказательств что автопилот на авиа проще чем на авто?
Интересная статья, но с наивным взглядом на мораль и щедро приправленная популистскими фразами типа «право на убийство», «законы робототехники» и прочее.
Смысл документа довольно прост: при реализации беспилотников теоретически возможны ситуации, когда появляется необходимость выбора между различными действиями, все из которых ставят под угрозу жизнь и здоровье людей. В документе говорится, что алгоритмы такого выбора должны обсуждаться и разрабатываться открыто и прозрачно, всё. Ни о каком «праве на убийство» речь не идёт.
Автор, как обычно при обсуждении таких вопросов, напрочь забывает одну простую вещь: ПДД не предусматривает наличие такого выбора для людей. У водителя одно правило: возникла опасная ситуация – снижай скорость вплоть до остановки. Никто не будет судить водителя с формулировкой «Не выполнил манёвр уклонения» или «Не того задавил». Нет пунктов ПДД вида «Если выбираете кого задавить – группу детей или группу пенсионеров, то обязан давить пенсионеров».
Создать беспилотник, ездящий по Правилам, вполне возможно с технической точки зрения, и незачем на него валить этические проблемы, с которыми и люди-то разобраться не могут.
А как грузовик по Правилам объезжать? Вот так и будет. С какой стати он должен сбивать детей, выскочивших на дорогу?
С женщинами тоже пример интересный. А если три беременные с колясками и на железнодорожных путях гуляют, как быть? Давайте уж поезда запретим, там вообще никаких вариантов в сторону вильнуть. И самолёты туда же – а вдруг на беременную женщину упадёт, есть же такая вероятность, да?
И, в конце концов, ну уж безопасную скорость движения беспилотник посчитать сможет получше людей, большинство ДТП происходит из-за нарушения ПДД. Компьютеры никуда не торопятся, не нервничают, не устают, не ездят по принципу «ну я чуть-чуть нарушу, мелочи же». Сколько народу гибнет из-за того, что водители переоценивают свои возможности и водят безответственно, не думали?
там в статье написано что по правилам надо было стоять ждать пока этот грузовик уберут. Детей я имел ввиду, выскочивших на дорогу неожиданно перед машиной, за мячом, например, при учете что у машины будет возможность для уклонения, а она возьмет и собьет ведь все по правилам. А безопасная скорость это какая? Если разрешенная скорость это 60, что она будет плестись километров 30 в час? Безвыходные ситуации не надо ставить в пример. У вас два выбора: сбить беременную женщину по всем правилам, либо разбить машину.
Значит по правилам будет стоять и ждать, пока не уберут, какие варианты? Это закон – стой и жди. Или, по вашему, нормально что человек нарушает правила?
У вас какие-то довольно однобокие представления о беспилотниках. Разрабатывают не только компьютерных водителей, но инфраструктуру – это значит, что автомобиль имеет информацию от соседних автомобилей и от других объектов на дороге. Такие автомобили будут иметь гораздо более полную информацию о происходящем на дороге, погуглите для примера V2V и V2I, много нового узнаете. И да, в условиях ограниченной обзорности скорость надо снижать, да, плестись 30 км/ч, а не думать «Я ж Шумахер, я ж уклонюсь если что». На среднюю скорость это не повлияет.
И забудьте уже этих мифических беременных женщин, прыгающих под колёса из ниоткуда, от которых можно было уклониться. Ну не должно быть так, не видишь обстановку на дороге – не гони! Ну или хоть один пример из жизни приведите. Зато огромное число народу гибнет из-за идиотов за рулём, которые сначала ПДД нарушают, а потом «уклоняются». Вот ваш типичный человечный водитель, избегающий столкновения: сначала скорость за 100 км/ч, а потом раскатывает остановку, потому что «уклонялся» http://www.mk.ru/incident/2016/10/02/voditel-ubivshiy-lyudey-na-ostanovke-ukhodil-ot-stolknoveniya-so-vstrechkoy.htmlhttp://www.mk.ru/incident/2016/10/02/voditel-ubivshiy-lyudey-na-ostanovke-ukhodil-ot-stolknoveniya-so-vstrechkoy.html
Я в целом, то не против автопилотов, просто ситуация на дороге слишком сложная для них и не предсказуемая. это не поезд, который едет от станции до станции. Вот в статье и обсуждается должны ли автомобили следовать строгим правилам или все же иногда нарушать. Есть закон, а есть справедливость. Вот примеры идиотских законов и правил: https://otvet.mail.ru/question/23587969https://otvet.mail.ru/question/23587969
Да, подборка хорошая. Вот только ни единого фрагмента с моральной дилеммой – чью жизнь подвергать опасности. Разве что в начале ролика детки на санках – ну там и ехать надо было медленней, вот и всё.
При этом в вашем же ролике несколько эпизодов, когда водитель избегает столкновения и выезжает на встречку – обычно это заканчивается гораздо более тяжкими последствиями, но вас это не смущает почему-то. Посмотрите на 1:49, 2:50 – могло закончится лобовым столкновением с тяжёлыми последствиями просто потому, что инстинктивно (а не обдуманно!) водители уклоняются от столкновения с идущей впереди машиной. И это уж не говоря о том, что почти во всех эпизодах первопричина – нарушение ДТП, к чему компьютерные водители не склонны.
Так что тут я останусь при своём мнении – уж лучше беспилотники и езда строго по правилам. У нас 23 тысячи человек в прошлом году в ДТП погибло, и почти всегда – из-за нарушений требований ПДД.
Да, и статья вовсе не о «иногда нарушать», прочтите оригинал на английском, а не тупое враньё автора поста.
Поддержу. Зачем нам беспилотники вот прямо сейчас? Без них никак страну не поднять?
у вас в данном вопросе винегрет в голове. "Зачем беспилотные автомобили на дороге прямо сейчас" не означает, что не надо заниматься кибернетикой, робототехникой, электроникой и т.п. Разницу чувствуете?
Во, блин, говорю же - винегрет. Не предлагают перестать. Предлагают не гнаться за другими, лишь бы было. Предлагают выпускать беспилотные авто, когда ИИ достигнет достаточного уровня, чтобы не представлять опасности.
Ну, по крайней мере, я так понял.
Вам успехов.
н-да, с двух раз не дошло, больше не буду пытаться объяснить. конец диалога.
Ну может быть мы технически и приблизились к моменту когда авто будет управляться компьютером, но с точки зрения инфраструктуры...
Мне кажется нужно обеспечить дороги тем уровнем, на котором по ним можно будет двигаться (точнее двигаться беспилотнику) без описанных в статье проблем: пешеходы,ситуации с нарушением разметки, опять же погодные условия,и еще масса проблем.
А так и будет, просто нужен спрос на это. В какой-нибудь Германии это гораздо проще сделать, чем в Индии или Пакистане с их сумасшедшим движением. А как начнут появляться беспилотники, так и дорожную инфраструктуру начнут проектировать и модифицировать с прицелом на компьютерных водителей.
Вот и я про то же)
Полагаю, что для автомобильного движения с его непредсказуемостью - время "беспилотников" еще не пришло.
Уверен, что этой технологии найдется гораздо больше практического применения на железных дорогах. Они практически созданы для такого - фиксированные пути передвижения, строго определенные места остановки для загрузки/выгрузки.
Автоматические поезда - вот где будущее в первую очередь.
Не думаю, что электронике нужно передавать подобные задачи, в виду многих причин. И тем более выпускать такие машины на общие трассы.
Или откапываться из сугроба !
подземные и надземные переходы, ибо нех по проезжей части шляться
Лучше беспилотник, чем пьяный или мажор за рулем
А при любом решении/событии с леталом - кто несет уголовную ответственность? Беспилотник на то и беспилотники, что не должны нарушать и соблюдать скоростной режим. Т.е. ездить так, чтобы не было ситуаций с таким выбором - кого давить.
А то как анекдот:
На занятиях в грузинской автошколе инструктор задает вопрос курсанту:
— Ты едешь на машине по горной дороге. Делаешь поворот и вдруг видишь, что перед тобой на дороге слева стоит бабушка, а справа — красивая девушка. Кого давить будешь?
— Бабушку. — после продолжительной паузы ответил курсант.
— Дурак! Тормоз давить надо!
Разговаривал с "водителями" (на самом деле просто тестеры, сидящие в кабине, причем на заднем сидении) беспилотников, живу в Mountain View, недалеко от Google - они говорят что машинки НИКОГДА не нарушают ПДД в т.ч. лимита скорости и поэтому ездить на них скучно. ;)
Если речь идет о выживании пилота (водителя, пассажира) или выживании посторонних людей, комп должен спасать пилота. Глупо покупать автомобиль, который убьет тебя в критической ситуации, если перед ним на дороге будут два человека. Водитель в такой ситуации максимум сядет. Но срок не смерть.
С другой стороны, внезапно возникший поперек дороги железобетонный блок - редкость, и у пассажиров есть средства защиты - ремни, подушки и т.д. что там еще изобретут на такой случай. Может пену твердующую или мыльные пузыри. У пешеходов всего этого нет. Если выбор между травмой пассажира и смертью пешехода - мой выбор травма.
А вообще можно предоставить выбор владельцу машины. Перед поездкой ткнул в кнопку, режим предпочтений выбран. Выбрал сохранять свою жизнь и собственность в приоритете - ограничение скорости 45, го. Комп тебя по максимум бережет, не в ущерб другим.