Установка лидаров на авто
Лидар: просто о сложном
LIDAR (Light Detection And Ranging — световая система обнаружения и измерения дальности) — технология, которая незаметно, но прочно входит в жизнь автолюбителей. Все больше автомобилей комплектуются лидар-сенсорами, а значит, пришло время рассказать, что здесь к чему. Тем более, что DENSO стоит у истоков автомобильных лидар-технологий.
В середине 1930-х годов был изобретен ЭОП — электронно-оптический преобразователь, в котором электроны, выбитые инфракрасным излучением с фотокатода, разгонялись и фокусировались электромагнитным полем на аноде, буквально рисуя видимое излучение. Технология заинтересовала военных, и на этой основе немецкие и советские конструкторы создали несколько экспериментальных систем ночного видения. Причем немецкая система к концу Второй мировой войны даже пошла в серию. Активный инфракрасный прожектор подсвечивал местность, а оптический приемник улавливал отражение ИК-волн и выводил (пусть и нечеткую) картинку ночной местности.
Приборы ночного видения, созданные на принципе улавливания отраженных в ИК-диапазоне волн, с тех пор прошли долгую эволюцию, и постепенно инфракрасные оптические технологии перестали быть военным эксклюзивом. Принцип взаимодействия с отраженными инфракрасными волнами использует и современный лидар.
Прогресс сделал возможным поместить активный источник инфракрасного излучения и его приемник в компактный корпус. Еще в начале 1990-х годов автомобильным инженерам стало понятно, что при современном росте скоростей и плотности движения необходимо создать технологию автоматического распознавания препятствий впереди машины.
В 1996 году компания DENSO показала оптический датчик, который широким горизонтальным лучом «сканировал» местность впереди машины. Еще через год, в 1997 году, DENSO разработала первый в мире оптический датчик, работающий в двух измерениях. Так компания представила первый лидар современного вида.
Лидар направляет перед собой инфракрасный свет в широком диапазоне (до 180̊) на расстояние до 400 м. Свет частично отражается от препятствий впереди, а частично рассеивается. Отраженный импульс возвращается обратно, где воспринимается фотодиодом. Ток на фотодиоде пропорционален воздействующему свету. На основании принятого цифрового сигнала процессор определяет расстояние до препятствия, а в случае с движущимся впереди автомобилем — и его скорость. Множество ИК-лучей и их одновременная обработка позволяют лидару строить 3D-изображение окружающей обстановки:
Мастер на все руки
Помимо этого, благодаря особенностям отражения, лидар «умеет» читать разметку — она отражает ИК-лучи иначе, чем асфальт. Лидару также под силу определить влажность воздуха, наличие осадков и тумана. Впрочем, при интенсивном дожде и снеге лидар пасует и не может адекватно оценить информацию — инфракрасные лучи хаотично преломляются и отражаются каплями воды в воздухе. По этой причине лидар практически всегда дублируется субмиллиметровым радаром (первенство в установке которого на автомобиль, к слову, также принадлежит DENSO).
Сегодня на основе информации, полученной от оптического датчика-лидара, функционируют многие системы безопасности автомобиля. Это и адаптивный круиз-контроль, и система аварийного торможения, и система распознавания дорожной разметки и удержания в полосе. Большим плюсом лидара по сравнению с радаром является его относительно дешевизна, а также простота и отработанный процесс производства. Лидар можно сравнить с оптической технологией, применяемой в дистанционных пультах для бытовой техники — никто уже давно не удивляется их наличию. Примерно то же ждет лидар в контексте использования в автомобильной промышленности.
Создание все более сложных, умных и надежных систем безопасности — это одна из глобальных целей DENSO. Однако не стоит забывать и о простом. К примеру, о том, что основа основ безопасности автомобиля – это нормальный обзор. Который обеспечивают качественные щетки стеклоочистителя. Подобрать подходящие щетки DENSO можно с помощью электронного каталога.
LIDAR от Mazda. Тестируем, ставим на Lada
Здравствуйте.
В этот раз мне в руки попал самый настоящий LIDAR от автомобиля Mazda CX5, примерно 2012г. выпуска. В этой статье я намерен разобрать модуль и включить его на столе. И самое смешное, я установлю сей LIDAR в Datsun Mido (Лада Калина в девичестве).
Хоть на девайсе и написано LIDAR, по сути это такая лазерная автомобильная рулетка, которая способна измерять расстояние до впереди идущего объекта. Основная функция—Обеспечение срабатывания автоматического торможения в случае опасного сближения с другим автомобилем, или, например, стеной. Устройство является одним из основных в комплексе ADAS автомобилей Mazda и производится компанией Continental (они не только шины делают из резины). Опция ADAS называется CitySafety. Автоматическая система торможения называется у Mazda –SCBS. Дальность обнаружения препятствия 6 м, работает система на скорости до 40 км/ч. По заверениям производителя система поможет предотвратить аварию на скорости до 15 км/ч и снизить тяжесть аварии на скорости до 30 км/ч.
Пример работы системы:
Отмечу что на сайте производителя (ссылка) удалось найти достаточно подробную документацию на модуль. Из документации следует что устройство разрабатывалось не под конкретную марку автомобилей, имеет достаточно развитое внутреннее ПО позволяющее измерять дальность до объекта, а также скорость этого объекта.
Вот выдержка из документации об основных ТТХ:
Характеристики заявленные производителем сенсора:
Приступим к осмотру и препарации
Устройство достаточно компактное, имеет три стеклянных «глаза». Два линзы для приема отраженного излучения и одна линза Френеля для формирования необходимой проекции лазерного луча. Собрано в пластиковом корпусе без использования винтов. Все на клипсах.
Внутренности с нижней стороны
Здесь расположен излучающий ИК элемент –совсем непохожий на лазер. Под излучателем располагается ИК фотодиод, контролирующий наличие излучения. Управляет системой специализированный для automotive применений 16-битный микроконтроллер MC9S12XEG128. Так же с этой стороны расположены элементы импульсного источника питания.
Внутренности с верхней стороны
Здесь мы видим таинственную микросхему от ST, которая, судя по всему, реализует функции лазерного дальномера. CAN трансивер, пустое место под еще один CAN трансивер, две линзы приемника и плату с ИК фотоэлементами. Непосредственно под линзами располагаются два ИК светодиода, которые служат для проверки работоспособности приемника. Эти элементы видно на фото со снятыми линзами. В документации на прибор сказано, что измерения проводятся по трем независимым каналам, мы может в этом убедиться увидев три приемных элемента.
Подключение на столе
Прежде чем подключать устройство согласно даташиту, я определил назначение пинов разъема самостоятельно. Устройство оказалось простым в подключении, потребовалось найти только питание 12В и CAN bus. В документации CAN bus располагался на других пинах, в моем случае они не использовались и пустое место трансивера предназначалось как раз для них. Скорость передачи в моем канале CAN –500 kbit\s, в неиспользуемом, судя по документам—1Mbit\s.
Девайс я подключил к обычному типовому лабораторному источнику а CAN шину к осциллографу Tektronix с декодером CAN. Сразу после включения ток потребления составил 90 мА, со всплесками до 130мА примерно раз в секунду. Сделал вывод о том, что лидар начал включать лазер. CAN шина так же ожила сразу, появился один единственный пакет, который осциллограф с легкостью распознал.
ID: 0x21D
DLC 8 byte
DATA: 0x7F 0x3F 0xFF 0x00 0x00 0x00 0xD2 0x94
Установка в автомобиль и тестирование.
Устанавливать “лидар” в свой авто я стал по аналогии с маздой. Просто приклеил его на двусторонний скотч на лобовое стекло в районе зеркала заднего вида. Питание подал с разъема прикуривателя.
К CAN подключился при помощи сделанного собственноручно 10 лет назад адаптера, совместимого с широкоизвестной программой CAN-Hacker. В отличии от первого включения на столе, первый байт пакета начал сразу активно меняться, пока лидар не зафиксировали на лобовике. Исходя из чего я сделал вывод, что это байт отвечает за измеренное расстояние.
В руководстве по протоколу общения лидара с внешним миром описывается достаточно много передаваемых параметров. В нашем случае удалось добиться только измерения расстояния до впереди находящегося объекта.
Тестирование
Для тестирования в качестве мишени был выбран автомобиль друга. Тест заключался в следующем:
0x7F — цель потеряна
Выяснилось что лидар уверенно измеряет расстояние до цели не более 4х метров. На мой взгляд это не лучший результат для датчика системы экстренного торможения. Возможно, устройство работало в каком-то упрощенном или тестовом режиме и на автомобиле девайс измеряет расстояние в более широком диапазоне. Мы так же проводили эксперимент с большой глянцевой доской белого цвета, в этом случае расстояние измерялось до 5 метров.
Резюме
Mazda Short range LIDAR производства Continental интересное устройство. Хотелось бы что бы диапазон измерения дальности выходил за приделы 4-х метров. Если будет возможность, попробую сконфигурировать его в режим который описан в документации и позволяет измерять большие расстояния и скорости объектов. Возможно получится оживить второй канал CAN. Если вдруг есть кто-то желающий поковырять прибор в Новосибирске, буду рад совместным трудам.
Добавлю, что устройство достаточно легко найти на разборах по цене от 3000 до 6000 рублей.
Каталожный номер: GHP9-67XD0
Ну и напоследок кино про устройство снятое в меру собственных возможностей.
Беспилотный флот Яндекса перешёл на собственные лидары: почему это важно и что в них особенного
Если вы видели наши беспилотные автомобили вживую или на фотографиях, вы наверняка замечали у них на крыше установку, которой нет у обычных машин. Внутри неё, среди прочего, размещается лидар — один из основных сенсоров беспилотного автомобиля. С 2021 года мы используем во всех наших беспилотных автомобилях последнего поколения лидары собственной разработки.
Важная особенность нашего лидара — он может в реальном времени менять свои параметры и адаптироваться под дорожную ситуацию. Например, на скоростных шоссе лучше «видеть» машины вдалеке, а на узких улицах более детально разглядеть пешеходов вблизи автомобиля.
Мы расскажем о том, как в 2019 году начали делать свои лидары, какими характеристиками обладает программируемый лидар и почему собственный сенсор так важен для дальнейшей разработки беспилотных технологий.
Зачем беспилотнику нужен лидар
Лидары, камеры и радары — «глаза» большинства беспилотных автомобилей. С их помощью беспилотная система распознаёт окружающий мир, например сигналы светофоров, автомобили и людей, измеряет размеры окружающих объектов, их скорости и расстояния до них. Благодаря этому у машины есть данные, чтобы понимать, как безопасно перемещаться по дорогам и реагировать на дорожные ситуации.
Один из основных сенсоров беспилотного автомобиля — лидар. Он каждую секунду испускает миллионы безопасных для людей лазерных лучей, которые отражаются от объектов и возвращаются обратно. Получается лидарное облако — совокупность точек, которые создают трёхмерную картину окружающего мира. По отражённым сигналам лидара можно определить форму объектов и расстояние до них с точностью до сантиметра.
Лидар может определять точные очертания объектов на расстоянии в сотни метров — эту информацию не получить с камер и радаров. Ещё лидар «видит» в темноте, а благодаря алгоритмам фильтрации шумов автомобили могут уверенно ориентироваться в пространстве даже в сложных погодных условиях вроде снега или дождя.
Также лидар помогает беспилотному автомобилю понимать своё положение в пространстве — для этого система в реальном времени сравнивает трёхмерный скан окружения с загруженными в систему трёхмерными картами.
Так выглядит изображение с лидара. Можно увидеть дороги, пешеходов, припаркованные машины, стоянку самокатов и другие объекты вокруг беспилотного автомобиля
Первые лидары Яндекса
Изначально мы использовали лидары других компаний, но их возможности были ограничены теми функциями, что закладывает производитель. С 2019 года мы сами проектируем лидары — они помогают нашей системе беспилотного управления лучше решать задачи, с которыми ей приходится сталкиваться.
Мы начали с двух прототипов. Они имели разную конструкцию: первый лидар располагал вращающимся блоком, а второй был неподвижным. Оба наших лидара имели параметры дальности и разрешения сравнимые с лидарами стороннего производителя.
На создание прототипов ушло девять месяцев. Когда лидары были готовы, мы установили их на нескольких беспилотных машинах, чтобы понаблюдать, как они поведут себя в эксплуатации, и сравнить их друг с другом.
Неподвижный лидар лучше проявил себя на испытаниях. Во-первых, такая конструкция в целом надёжнее — в ней нет тяжелой подвижной электронки, поэтому она лучше переносит тряску и морозы. Во-вторых, из-за особенностей конструкции лидар был более гибок в настройке, а задавать нужные параметры можно было как заранее, так и прямо во время поездки, на ходу. Именно эта конструкция легла в основу лидаров, которые мы сейчас устанавливаем на наши машины.
В чём преимущества
Параметры лидара можно менять в реальном времени
Параметры лидара — количество лучей, угол обзора, дальность — можно изменять заранее или во время поездки. За счёт этого беспилотный автомобиль лучше подстраивается под разные дорожные ситуации.
Например, при движении по узким улицам мы можем сконцентрировать большую часть лучей на дороге перед автомобилем, чтобы повысить плотность лидарного облака вблизи и детально разглядеть людей и небольшие объекты, например дорожные конусы.
На широких скоростных трассах наоборот: мы можем сосредоточиться на объектах, которые находятся в отдалении. Это позволяет заранее понять обстановку впереди: где находятся машины, нет ли аварий или дорожных работ. Наш лидар может распознать легковой автомобиль на расстоянии в 200 метров, а фуру на расстоянии в 500 метров.
На картинке ниже — момент выезда беспилотного автомобиля с узкой улицы на широкий проспект. Лидар переключается на сканирование дальних объектов — можно заметить, что автомобили вдалеке стали чётче:
Благодаря лидарам, которые способны отчётливо «видеть» объекты вдалеке, беспилотному автомобилю проще определять своё местоположение. Это особенно важно в зонах с не очень плотной застройкой вокруг дороги — на эстакадах, широких проспектах и шоссе. Автомобиль различает здания на расстоянии 600 метров и получает достаточно данных для сравнения с трёхмерной картой.
Менять параметры лидара можно и для более сложных задач. Например, если алгоритмы сигнализируют, что какой-то объект сложно определить в текущих условиях, мы можем увеличить плотность лидарного облака в этой зоне.
На видео показано, как «видит» мир центральный лидар. Дополнительные лидары по бортам и спереди автомобиля исключены из демонстрации:
Лидар стал надёжнее
В наших лидарах нет подвижной электроники: они меньше изнашиваются со временем и не так подвержены температурным искажениям, как вращающиеся лидары.
Во время тестов наши лидары показали одинаково хорошую работу при температуре от −30 до +30°С. Благодаря этому их можно использовать практически всюду — и в жарких странах, и в местах, где бывает морозная зима.
Доступ к «сырым» данным позволил улучшить распознавание объектов
Имея свой лидар, можно получить доступ к его «сырым» данным — то есть к данным в том виде, какой они имеют до обработки на устройстве. Лидары сторонних производителей такой возможности обычно не дают: в них данные фильтруются на этапе сбора.
«Сырые» данные можно проанализировать и сопоставить с данными с других сенсоров. Это позволяет научиться лучше распознавать окружающий мир. Мы также создаём специализированные наборы данных для сложных и уникальных объектов на дорогах и обучаем на них алгоритмы.
Свои лидары помогают оптимизировать затраты
Лидары, созданные в Яндексе, стоят столько же, сколько и лидары стороннего производителя, которые мы использовали раньше. При этом они лучше подходят для наших задач: «видят» дальше, точнее распознают объекты и способны подстраиваться под разные ситуации на дороге.
На сегодняшний день из всех компаний, которые делают беспилотные автомобили, лишь четыре используют лидары собственной разработки. Яндекс — одна из них.
Сейчас лидарами, разработанными в Яндексе, оснащены все наши беспилотные автомобили четвёртого поколения. Машины проехали с ними уже более полумиллиона километров. Свои лидары мы будем устанавливать и на все новые автомобили.
На создание лидара в общей сложности ушло два с половиной года — это относительно небольшой срок. Мы смогли уложиться в него, потому что к началу разработки уже располагали внушительным флотом беспилотных машин и могли сразу же приступать к тестированию разработок.
Мы продолжаем совершенствовать лидары и разрабатывать новые. Например, сейчас мы тестируем прототипы боковых лидаров для распознавания объектов на близких расстояниях и проектируем основной лидар для наших роботов-курьеров.
Лидарные датчики и будущее автономных автомобилей
Цены на один из ключевых типов датчиков, используемых в автономных автомобилях, стремительно падают.
Технология лидар основывается на применении ближнего ИК-диапазона для обнаружения объектов вокруг автомобиля. Преимущество лазерного радара заключается в том, что он может генерировать точные трехмерные изображения: от автомобилей до светофоров и пешеходов, в широком диапазоне условий и при различных уровнях освещения.
Большинство современных автономных транспортных средств оснащено датчиками двух основных типов: камеры и радары.
В новом беспилотном автомобиле премиум-класса Legend от Honda Motor, оснащенном первой в мире сертифицированной технологией автономного вождения 3-го уровня, используются лидарные датчики.
Однако генеральный директор Tesla Илон Маск, как известно, выступает потив лазерных локаторов. В 2019 году он заявил, что это «дорогие и бесполезные датчики», и назвал их «кучей дорогих примочек».
Такая неприязнь Маска по отношению к лидарной технологии главным образом объясняется тем, что такие датчики долгое время оставались очень дорогими. Комплект для одного транспортного средства стоил целых 70 000 долларов. Он утверждал, что для систем технического зрения беспилотных автомобилей достаточно применять высокотехнологичные камеры.
Действительно, самое большое препятствие на пути к широкому распространению лидаров заключалось в их экономической нецелесообразности.
Однако технологические инновации в значительной степени опровергли предположение, лежащее в основе аргумента Маска. Генеральный директор Velodyne Ананд Гопалан считает, что взгляд Маска на лидарные технологии «устарел на пять-шесть лет».
Velodyne удалось резко снизить затраты на производство своих лазерных локаторов, разработав твердотельные лидары. Новый подход к технологии помог уменьшить размер датчиков, исключить движущиеся части в оптических механизмах и сделать возможным массовое производство, что в итоге снизило затраты.
По мере дальнейшего снижения затрат на изготовление лазерных локаторов в силу массового производства общая стоимость лидаров на одно транспортное средство, вероятно, упадет еще больше.
Высокопроизводительные лидарные датчики Luminar способны точно обнаруживать объекты перед автомобилем на расстоянии до 250 метров и «видеть» обстановку вокруг транспортного средства с точностью восприятия до нескольких сантиметров. Такие датчики также могут обнаруживать темные объекты, такие как черные мусорные мешки или человек в черной одежде, даже на дорогах с минимальной отражающей способностью.
Немецкая Daimler, шведская Volvo Cars, израильское подразделение Intel Mobileye и исследовательское подразделение Toyota Motor применили лидарные датчики Luminar в своих беспилотных прототипах.
Беспилотник на практике: немного деталей про тестовую машину от StarLine
Практика куда интересней теории. Например, для лидара дым и пар из выхлопной трубы впереди идущего авто аналогичен бетонному столбу, а круиз-контроль, через который логично было бы управлять торможением, не адаптирован к движению задним ходом. И таких нюансов множество.
Ниже — небольшой рассказ про устройство беспилотного автомобиля, созданного питерской командой StarLine на базе опенсорсной платформы и цифровой модели дороги.
Мы пошли беседовать с их инженерами потому, что их авто попало в топ-50 проектов Технологического прорыва НТИ, а также выиграло соревнование «Зимний город», где машины с автопилотом проходили на время 50-километровую дистанцию на полигоне с городской обстановкой. Другими словами, это не выставочный образец, который сделал три круга по территории Сколково, а реальная обкатка сложной комбинации платформ и технологий.
Начать рассказ стоит с носителя. Автопроизводители не торопятся давать сторонним компаниям API для управления своими машинами, поэтому строительство беспилотника вне стен автоконцерна всегда начинается с реверс-инжиниринга стандартных моделей.
Выбор носителя и навесного оборудования
Чтобы облегчить управление автомобилем, StarLine подбирал легковушку с автоматом, электроусилителем руля и максимальным количеством автоматических систем помощи водителю — автопарковкой, адаптивным круиз-контролем, ESP, ABS. Выбор пал на Skoda Superb.
Затем выбрали датчики и «органы зрения». Беспилотник ориентируется в пространстве при помощи видеокамер, лидара (для ряда тестов их устанавливали несколько), радара, а также высокоточного приемника ГЛОНАСС/GPS.
Устоявшейся конфигурации всего этого оборудования и мест его размещения на автомобиле пока нет — StarLine, как и другие разработчики подобных проектов, экспериментирует.
Сейчас фронтальные, боковые и тыловые камеры установлены в герметичном боксе на крыше и обеспечивают полный обзор по периметру автомобиля. Бокс защищает объективы и электронику от сырости и городской пыли. В зависимости от погодных условий его либо подогревают, либо охлаждают. При этом объективы смотрят на окружающее пространство через толстое минеральное стекло, которое не обмерзает на морозе.
от так выглядит защищенный блок с камерами и датчиками
Рядом с камерами на крыше оставили место для высокоточного GPS и основного 128-лучевого лидара. Дальность действия последнего всего 100–120 м, поэтому по ходу движения его показания дублируют фронтальным четырехлучевым лидаром с дальностью около 300 м. Он позволяет лучше видеть динамические объекты, а заодно обеспечивает резервирование. Для расчета маневров задним ходом и перестроения между полосами сзади установили еще один лидар.
Сколько лидаров ставить
Когда на квалификации конкурса «Зимний город» из-за сочетания холода и влажности отказал основной лидар, машина доехала до финиша на фронтальном и боковых лидарах, которые на том автомобиле разместили на углах заднего бампера. Они также обеспечивали круговой обзор. Так что эта избыточность уже показала себя с хорошей стороны.
Некоторые проекты беспилотных автомобилей обходятся без лидаров. Но по цифровой модели города без измерения расстояний далеко не уехать. Чтобы позиционировать автомобиль на модели с точностью до 10 см, приходится дополнять данные высокоточного ГЛОНАСС/GPS-приемника результатами лазерной дальнометрии до объектов, зашитых в модели. В теории задачу определения расстояний до характерных особенностей местности можно решить и с помощью стереокамер. Но лидар выигрывает время и существенно экономит аппаратные ресурсы. Он практически мгновенно получает данные о расстояниях до объектов, которые можно использовать и в других алгоритмах.
Не исключено, что уже завтра датчики изменят свое положение на кузове: эксперимент еще не завершен, да и техника развивается. За те пару лет, что существует проект, ассортимент датчиков на рынке стал намного больше, а сами датчики теперь совершеннее.
На некоторые датчики цена упала в десятки раз. Те же высокоточные GPS-приемники еще два года назад стоили порядка 10–20 тыс. долларов, а сейчас их можно приобрести за 50–100 долларов.
Разработчики уже запланировали замену тех двух лидаров на заднем бампере, которые использовали на «Зимнем городе», на конфигурацию из трех: один задний плюс еще два в передних крыльях. Для «Зимнего города» лидары на заднем бампере приходилось выносить далеко за габариты автомобиля, в то время как монтаж на передних крыльях даст большую плотность облака точек при меньших затратах на монтаж.
Дополнительный лидар на заднем бампере
Появляются как более точные инструменты, так и более защищенное исполнение, адаптированное для применения в автотранспорте. После неудачного опыта с поломкой лидара из-за намерзшего конденсата следующий выбирали уже с учетом результатов тестирования на соответствие IP68. В ответ на такой запрос китайцы прислали видео работы лидара в бочке с водой на глубине 1 м — похоже, он подходит для эксплуатации в России.
Управляющая электроника
Архитектура системы модульная. Предусмотрели слой железа и софта, специфичный для данной модели автомобиля и предназначенный для взаимодействия с его агрегатами. А всю остальную электронику и алгоритмы разработчики могут применить и на любой другой машине.
Сложнее всего было интегрировать электронику в автомобиль. Казалось, на старте проекта всё продумали — осталось только провода подключить. Но без сюрпризов и реверс-инжиниринга не обошлось.
Например, изначально механизм торможения автопилота подключили в качестве эдакого адаптивного круиз-контроля. И все было хорошо, пока не потребовалось научить беспилотник ехать задом. Тут-то и выяснилось, что современный автомобиль не умеет ездить задом на «круизе». Пришлось менять логику — врезаться в тормозную систему между главным тормозным цилиндром и системой управления ABS, эмулируя сторонним блоком действия водителя. Блок взяли самый простой из всех, что нашли на рынке, — от Toyota Prius.
Для решения части задач на уровне взаимодействия с автомобилем, например для работы с цифровыми CAN-шинами, StarLine использует компоненты собственного производства. Конкретно в этом случае использовали единственный в беспилотнике компьютер в «автомобильном» исполнении — с защитой от вибраций и температуры. Он мониторит работу остальных блоков. А вот вычислительные системы автопилота — самые обычные с поправкой на резервирование. Разрабатывать под них софт гораздо дешевле и быстрее, а это дает возможность оперативнее проверять гипотезы относительно управления беспилотником.
В системе детекции и классификации объектов, распознавания знаков и сигналов светофоров, предсказания поведения других участников дорожного движения, а также фильтрации данных с датчиков используют пару игровых видеокарт Nvidia 1080Ti.
Электронику собрали внутри рамы из алюминиевого профиля, который прикрепили к кузову через виброгасители. Изначально все это охлаждали воздухом, но так и не решили проблему с отводом тепла из замкнутого пространства. Тогда инженеры перешли на жидкостное охлаждение с дополнительным радиатором снаружи — в нише бампера. Теперь антифриз заливать надо не только под капот, но и в систему управления в багажнике.
Цифровая модель дороги
В базовом варианте автомобиль StarLine ориентируется в пространстве, используя точную цифровую модель дороги. Она позволяет упростить алгоритмы управления и сэкономить на аппаратных ресурсах.
Например, необязательно пытаться «разглядеть» знаки начала и конца населенного пункта — вместо этого достаточно опираться на информацию о том, что мы в городе и здесь разрешена скорость не более 60 км/ч.
Техническое зрение с датчиками, камерами и лидарами дополняет цифровую модель, выявляя отличия реального дорожного движения от карты, — распознает препятствия, знаки, движущиеся в зоне видимости объекты. Если стоит знак о дорожных работах и полоса перекрыта, алгоритм не даст въехать в огороженную зону.
Чтобы подход с управлением через цифровую модель был применим, эту модель надо постоянно актуализировать. Для этого данные о дорожных работах и других помехах должны оперативно попадать в цифровую модель где-то в «облаке», а автомобиль — так же быстро получать их. И вот здесь StarLine рассчитывает на процессы цифровизации, которые параллельно идут в городской инфраструктуре. Многие конкурирующие проекты не закладываются на них, но StarLine считает, что эти технологии ближе, чем кажется.
В той же Москве уже внедрили цифровую модель дорог. Этим проектом занимается Мостранспроект.
Любые изменения в организации дорожного движения, вплоть до ремонта водопровода, попадают в эту модель до того, как их начинают осуществлять. И беспилотный транспорт вполне может использовать эти данные.
Оперативно доставлять изменения цифровой модели беспилотнику предполагается через взаимодействие с инфраструктурой V2I — vehicle to infrastructure. Хотя готовых масштабных решений V2I в российских городах пока нет, уже работают пилотные проекты, демонстрирующие простейшие сценарии — взаимодействие транспортного средства со светофорами для получения информации об их состоянии и рекомендованной скорости движения.
В Питере подобные решения внедряют сразу две компании. Со светофорами одной из них автопилот StarLine уже обменивается информацией. Таких объектов в городе сейчас установлено около десятка.
Глобально же V2X — идея обмена информацией между автомобилем и чем бы то ни было — находится на стадии войны стандартов. StarLine возлагает на эту идею большие надежды. В городе V2X может сделать беспилотные автомобили агентами оперативного обновления цифровой модели дороги и контроля инфраструктуры.
Если в модели знак есть, а на практике автомобили его не распознают, вероятно, что-то с ним не так: погнут, сломан, занесен снегом. Беспилотник может не только получать информацию о состоянии дорог, но и информировать транспортные службы о проблемах.
А на трассе V2X можно использовать, чтобы уточнить положение автомобиля в полосе на сложных участках. Вокруг трассы у нас традиционно однотипный лес на сотни километров, поэтому беспилотник не может применять методы локализации по окружающим объектам: рядом с дорожным полотном их просто нет. Зато можно использовать объекты RSU (road side unit) с собственными высокоточными GPS-приемниками для трансляции на борт автомобиля поправок позиционирования. При небольшом расстоянии до RSU итоговая погрешность будет минимальной — единицы сантиметров.
Платформа и алгоритмы управления
В основе беспилотника — опенсорсная платформа Autoware. На момент начала работы это был самый развитый проект с открытым исходным кодом, который помог команде погрузиться в тонкости построения подобных систем. Кстати, популярную платформу Nvidia Drive рассматривали, но отвергли из-за недостатка гибкости — выбрали легко модифицируемое решение.
По мере развития своего автомобиля команда разобрала Autoware по винтикам и шаг за шагом переписала его, опираясь на тонкости ПДД и результаты собственных испытаний.
На текущем этапе в ПО беспилотника используют ROS поверх Linux. Большинство программных модулей реализуют на С++. В качестве вспомогательного инструмента, например для быстрого прототипирования решений, широко используют Python. Для тестирования применяют Docker-контейнеры. Для хранения пространственных данных — геопривязанных облаков точек — используют PostgreeSQL. В скором времени StarLine планирует предоставить доступ к этим данным сообществу разработчиков.
Проблемы на практике: когда лидар путает дым из трубы с бетонным столбом
На первый взгляд алгоритм движения по дороге прост. Беспилотный автомобиль следует ПДД буквально. В сомнительных ситуациях, когда опытный водитель на уровне интуиции мог бы спланировать маневр для предотвращения аварии с нарушением (например, быстро перестроиться в соседнюю полосу), беспилотник будет тормозить до полной остановки. Кажется, что все банально, особенно если учесть, что консультируют разработчиков раллисты, хорошо знакомые с физикой процесса. Сложности, как обычно, в деталях.
Беспилотному автомобилю необходимо определять окружающие его объекты — видеть с помощью всех имеющихся датчиков их положение и скорость, а также классифицировать, чтобы предсказать движение в ближайшие секунды. Одно из основных требований — учитывать погодные условия, т. е. не «срабатывать» на снег и туман, зато фиксировать потенциально опасные объекты вне зависимости от силы ветра и осадков.
Фото с соревнований «Зимний город», где машина StarLine первой прошла дистанцию 50 км
Наматывая тестовые часы в Питере, автомобиль StarLine проходит жесткую школу выживания в условиях, когда с утра может быть солнце и –10, а вечером +1 и ливень.
В отличие от солнечной Калифорнии, где тестируют известные зарубежные проекты, здесь то светофор снегом засыплет, то лед на дороге помешает реализовать расчетную траекторию, то неожиданно аквапланирование на лужах подключится. Шаг за шагом это «подкручивает» и усложняет алгоритмы расчета движения.
В этом году условия позволили разработчикам от души поработать с фильтром снега, и сейчас алгоритм довольно хорошо «переваривает» сильный снегопад.
Любопытно, что гораздо сложнее оказалось отфильтровать облака выхлопов, которые в морозную безветренную погоду на перекрестке оставляют за собой автомобили. Для лидара это непрозрачные препятствия, из-за которых нельзя начинать движение.
Впервые столкнувшись с такой погодой, автомобиль остался на месте, когда весь поток уехал на свой зеленый, оставив «развешенные» в воздухе препятствия. Победить это удалось, только дополнив данные лидара изображениями с камер и данными с других датчиков.
Отдельная история — учет действий систем помощи вождению, которые есть в современных автомобилях и активируются при езде в сложных условиях. Например, если срабатывает ESP, на низком уровне автомобиль просто не даст увеличить газ, пока не будет сцепления с дорогой. Системе управления надо учитывать этот момент и не пытаться выжать газ на полную. Это знание тоже пришло из практики — из экспериментов на грунтовке.
В целом в сложных условиях вождения именно набор датчиков, работающих по разным физическим принципам, обеспечивает уверенное движение. Данные с одних сенсоров работают как инструмент проверки на валидность информации с других.
Простейший пример — обход ошибок спутниковой навигации. В Питере, как и в любом крупном городе, есть зоны, где сигнал спутниковой навигации не принимается или принимается слабо. Это тоннели и многоэтажная застройка, а также пятна на карте вокруг военных объектов, где присутствуют радиопомехи в широком диапазоне частот.
Автомобиль фиксирует моменты, когда данные с GPS начинают расходиться с логикой. Для прохода таких участков он применяет алгоритмы, позволяющие определить свое местоположение по окружающим объектам (с использованием цифровой модели дороги), а также считает пройденное расстояние по числу оборотов всех колес — использует одометрию. В совокупности с использованием инерциальной навигации и визуальной одометрии с камер это позволяет доехать до конца тоннеля или пересечь локальный «бермудский треугольник».
Катаясь по городу в разных погодных и дорожных условиях, StarLine накопил огромный опыт. Сейчас за рулем всегда присутствует оператор, который в любой момент может перехватить управление — «перерулить» алгоритмы беспилотника. Это работает как круиз-контроль на современных машинах. Достаточно совершить любое действие: повернуть руль, газануть, нажать на тормоз — и автопилот отключается.
Беспилотник готов ехать в полностью автономном режиме, но только по свободному городу и предполагая, что остальные участники движения соблюдают ПДД. С пробками пока проблемы. Часть водителей «творчески» трактуют ПДД, поэтому тяжело предсказать, как в следующую минуту будут маневрировать автомобили по соседству. Учить автопилот предугадывать «езду по понятиям» команда StarLine планирует через machine learning. Нейросети будут обучать на результатах анализа видеозаписей движения. Посмотрим, пропустит ли он после этого наглеца из правого ряда под стрелкой.
В целом проект можно рассматривать как научный эксперимент и обкатку технологий. Но уже к концу года автомобиль имеет шанс проехать по улицам города с пустым водительским сиденьем — при поддержке удаленного оператора.
Lexus уже на другой платформе — Baidu Apollo
У StarLine есть второй проект беспилотного автомобиля — на базе китайской опенсорсной платформы Baidu Apollo. В отличие от первого, он больше смотрит на камеры, чем на данные лидара и цифровую модель дороги. И практика пока не дает однозначного ответа на вопрос, какой из подходов лучше.