Jaké komponenty detekce chodců se obvykle používají?

División de Sistemas en Ingeniería Electrónica (DSIE), Universidad Politécnica de Cartagena, Campus Muralla del Mar, s/n, Cartagena 30202, Španělsko; se.tcpu@zednanref.solrac (C.F.); se.tcpu@zarrob.luar (R.B.); se.tcpu@osnola.ogeid (D.A.)

* Korespondence: se.tcpu@orravan.jordep; Tel.: +34-968-32-6546
† Tito autoři se na této práci podíleli stejnou měrou.
Přijato 2016. října 31; Přijato 2016. prosince 15.
Copyright © 2016 autorů; držitel licence MDPI, Basilej, Švýcarsko.

Tento článek je otevřeným článkem distribuovaným za podmínek licence Creative Commons Attribution (CC-BY) (http://creativecommons.org/licenses/by/4.0/).

Abstraktní

Tento článek popisuje automatizovaný systém založený na senzorech pro detekci chodců v aplikaci autonomního vozidla. Přestože je vozidlo vybaveno širokou sadou senzorů, článek se zaměřuje na zpracování informací generovaných senzorem Velodyne HDL-64E LIDAR. Mračno bodů generovaných senzorem (více než 1 milion bodů za otáčku) je zpracováno pro detekci chodců výběrem krychlových tvarů a aplikací algoritmů strojového vidění a strojového učení na projekce XY, XZ a YZ bodů obsažených v krychle. Práce se týká vyčerpávající analýzy výkonu tří různých algoritmů strojového učení: k-Nearest Neighbors (kNN), klasifikátor Naïve Bayes (NBC) a Support Vector Machine (SVM). Tyto algoritmy byly trénovány s 1931 vzorky. Konečný výkon metody, měřený na reálné dopravní scenérii, která obsahovala 16 chodců a 469 vzorků nechodců, vykazuje senzitivitu (81.2 %), přesnost (96.2 %) a specificitu (96.8 %).

Klíčová slova: detekce chodců, 3D senzor LIDAR, strojové vidění a strojové učení

1. Úvod

Autonomní řízení je prezentováno jako vysoce rušivý prvek pro silniční dopravní prostředky, který může ovlivnit aspekty tak zásadní, jako je bezpečnost silničního provozu a samotná mobilita. Za posledních 10 let došlo k technologickému vývoji, který umožnil postupné začleňování různých pokročilých asistenčních systémů řidiče (ADAS) a také vznik různých prototypů schopných cestovat přiměřeně autonomním způsobem.

Autonomní automobil je vozidlo, které je schopné vnímat své okolí a navigovat bez lidského zásahu [1]. Autonomní vozidla slibují radikální změnu osobní i průmyslové dopravy. Zvýší se bezpečnost provozu, protože autonomní systémy mají na rozdíl od lidských řidičů rychlejší reakční doby a jsou odolné vůči únavě. Sníží se tak počet dopravních kolizí, mrtvých a zraněných cestujících a poškození životního prostředí. K dispozici by byly nové obchodní modely, jako je mobilita jako služba, jejímž cílem je být levnější než vlastnictví automobilu. Vozidla by mohla být využívána efektivněji, což by snížilo mzdové náklady na přepravu zboží a osob (protože by nebylo zapotřebí řidiče) a umožnilo příjemnější přesuny. Konečně, díky internetovému připojení a automobilovým sítím by bylo možné přijmout kooperativní přístup mezi vozidly, kdy by vozidla a silniční jednotky sdílely informace v sítích peer-to-peer. Tyto sítě by snížily dopravní zácpy ve městech a na silnicích, zlepšily bezpečnost a dokonce by snížily potřebu pojištění vozidel. Práce [1] přezkoumává tuto technologii, argumentuje společenskými výhodami, které může přinést, pokud je nasazena na trh, a diskutuje o některých klíčových zbývajících technologických překážkách. Na tomto poli nepracují jen velké ICT společnosti jako Google, ale všichni velcí výrobci automobilů také investují obrovské částky do výzkumu a vývoje, aby do roku 2020 prodávali autonomní auta.

ČTĚTE VÍCE

Proč můj klakson nefunguje na mém Jeepu 2016?

Ačkoli některé prognózy [2] uvádějí, že do roku 2040 budou na silnicích dominovat automobily bez řidiče, zdá se, že šíření plně autonomních vozidel (AV) je stále vzdálenou realitou kvůli technologickým faktorům (jako je nutnost zlepšit výkon za určitých okolností s cílem maximalizovat bezpečnost AV v pohybu, nebo nutnost zajistit zabezpečení samotných počítačových systémů AV před případnými kybernetickými útoky), ekonomické faktory (jako nutnost snížit náklady na novou technologii nebo nutnost přizpůsobit silniční infrastrukturu k novým vozidlům), právní faktory (nutnost nové legislativy pokrývající aspekty, jako jsou pojištění, certifikace nebo soukromí), stejně jako sociologické faktory (jako je nutnost čelit aspektům, jako je změna návyků, ztráta zaměstnání nebo ztráta autonomie) [3].

Jedním z technologických aspektů, na který je nutné se zaměřit, je detekce chodců AV. Chodci představují jednoho z nejvíce nepředvídatelných herců ve scéně se silničním provozem. Systémy situačního povědomí tedy vyžadují více pozornosti. Identifikace, sledování a pokud je to možné, predikce pohybu je základem pro předcházení nebezpečí pro lidi a také pro zvýšení důvěry společnosti v AV. Detekce chodců byla identifikována jako jeden z nejdůležitějších problémů, kterým AV čelí. Podle [4] zemřelo 26,000 1.4 lidí a 1 milionu bylo zraněno při více než 5 milionu nehod, které studovala Evropská komise. Situace je víceméně podobná v USA [35,000], kde při více než 2.44 milionu nehod hlášených úřadům v roce 6.3 zemřelo 2015 XNUMX lidí a XNUMX milionu bylo zraněno.

Tento článek popisuje Cloud Incubator Car (CIC), autonomní vozidlo založené na Renaultu Twizy, vyvinuté División de Sistemas e Ingeniería Electrónica z Universidad Politécnica de Cartagena, a senzorový systém, který je vybaven pro detekci chodců. Konkrétně se tento článek zaměřuje na skener HDL-64E 3D Laser Imaging Detection and Ranging (LIDAR) od společnosti Velodyne (Morgan Hill, CA, USA) a algoritmy strojového vidění a strojového učení, které zpracovávají více než jeden milion bodů za sekundu. generuje za účelem přesné detekce chodců kolem vozidla.

1.1. Detekce chodců

Detekce chodců byla řešena vybavením různých systémů senzorů na vozidlech a dokonce fúzí dat generovaných některými z nich. Kamery a stereoskopické strojové vidění, laserové senzory, průletové kamery a 3D laserové senzory jsou některé příklady druhů senzorů používaných k dosažení tohoto cíle. Přes veškerý relevantní vývoj v oblasti detekce chodců tento úkol stále představuje značné problémy. Jedním z nich je dosažení spolehlivého výkonu za velmi proměnlivých světelných podmínek, jaké se vyskytují za skutečných jízdních podmínek.

ČTĚTE VÍCE

Jak rychle jede Supra Mk4 za hodinu?

Detekce chodců byla studována v minulých letech, kdy k jejich detekci byly přednostně využívány vizuální informace. Některé velmi vyčerpávající přehledy o současném stavu techniky lze nalézt v [6,7]. Práce uvedené v těchto článcích se většinou týkají metod počítačového vidění pro detekci chodců na snímcích a zkoumají nejznámější algoritmy a soubory dat. Algoritmy detekce a počítání chodců obvykle sledují přímý nebo nepřímý přístup. Přímé přístupy spoléhají na segmentaci chodců a sledování každého jednotlivce na scéně, což obvykle vyžaduje silné algoritmy počítačového vidění [8]. Nepřímý přístup je založen na mapě, odhaduje počet chodců na scéně podle oblastí [9].

Pokud jde o přímé přiblížení, k detekci chodců byly použity různé vizuální prvky, jako jsou stereoskopické informace [10], pohyb (např. optický tok) [11] nebo vzhled (např. místní prvky, jako je histogram orientovaných přechodů [12] ]). Použití tohoto druhu histogramů představuje jeden z nejvýznamnějších pokroků ve zlepšení algoritmů, které detekují chodce. Jiné druhy přístupů se spoléhají na hierarchickou strukturu detekce, která kombinuje různé typy senzorů pro zlepšení rychlosti detekce. „Rychlé“ senzory se používají k detekci oblastí zájmu a „pomalé“ senzory pak vyhledávají chodce v těchto oblastech. Práce popsaná v [13] využívá levný běžně dostupný LIDAR (36° horizontální zorné pole s rozlišením 0.08°, 7.125° vertikální zorné pole s 1.425° rozlišením) senzor pro detekci oblastí zájmu, IK -VGA barevná kamera M44H (Toshiba, San José, CA, USA) pro pořizování snímků pouze těchto oblastí a konvoluční klasifikátor neuronové sítě, ve kterém je integrována extrakce funkcí jako skrytá vrstva samotného klasifikátoru, aby se potvrdilo, zda existuje chodec v regionu. Ačkoli jeho použití prokázalo uspokojivý výkon na vysoce kvalitních sadách obrázků, výsledky ve skutečných jízdních prostředích nejsou tak uspokojivé [6]. Nástup senzorů LIDAR na trh umožnil jejich použití jako detektory objektů. Senzory LIDAR jsou obvykle vyrobeny ze sady laserových zářičů otáčejících se uvnitř pouzdra. Vracejí měření rozsahu pro různé horizontální a vertikální úhly, ale protože jsou tvořeny „diskrétním“ počtem laserů, oblasti mezi měřenými body nejsou snímány. Obecně tedy není možné plně rekonstruovat základní geometrii snímaného objektu. Kromě toho je prostředí měřeno v různých časových okamžicích, což ještě více brání zpracování dat. Navzdory výše uvedeným nevýhodám jsou senzory LIDAR široce používány díky své přesnosti v několika typech aplikací, nejen v autonomní navigaci [14], ale také při generování modelu tunelu metra [15], v přesném zemědělství [16] a identifikaci silničního značení [ 17], abychom zmínili jen některé.

ČTĚTE VÍCE

Jaké jsou top značky automobilů v Evropě?

1.2. Detekce chodců pomocí 3D informací LIDAR

Zavedení senzorů LIDAR 3D s vysokým rozlišením prokázalo proveditelnost této technologie pro detekci chodců za skutečných jízdních podmínek. Jeden z prvních pokusů o detekci chodců pomocí LIDAR 3D je popsán v práci Premebida [18] a byl proveden pomocí vícevrstvého LIDARu. Autor používá metodu vícenásobné klasifikace k detekci chodců v rozsahu 30 m. Svou metodu zakládá na linearitě a kruhovosti 2D dat (data rozsahu) pro extrakci příznaků; rozšířením této metody na 3D data se výrazně prodlouží doba výpočtu. Spinello [19] poté pracoval s 3D mračnem bodů a rozděluje jej do různých 2D mračen bodů. Ty se získávají řezáním 3D mračna bodů v různých výškách, což Spinellovi pomáhá určit, zda asociace bodů mohou nebo nemusí být součástí chodce. Tato metoda vykazuje velkou citlivost na pozorovací vzdálenost a není doporučena pro ADAS. Navarro-Serment [20] představuje metodu, která extrahuje informace z mračna bodů získaného pomocí LIDARu s vysokým rozlišením rozdělením mraku na tři části odpovídající trupu a nohám chodce. Tento proces používá rozptyly 3D bodů každé součásti jako rozlišovací prvek. Výhodou, kterou lze vyzdvihnout, je nízká výpočetní zátěž, která je však nepohodlná kvůli slabému chování, které má při zvýšení pozorovací vzdálenosti.

3D LIDAR vyvinutý společností DENSO (horizontální zorné pole 40° s rozlišením 0.1°, vertikální zorné pole 4° s rozlišením 1°) je popsán v [21]. Autoři také popisují aplikaci detekce chodců pomocí laseru, založenou na době letu, intenzitě a šířce laserového signálu a provádějící sledování kandidátů na chodce pomocí interagujícího vícemodelového filtru pro výpočet polohy, rychlosti a zrychlení. kandidátů. Autoři svou práci zaměřují na detekci chodců, jejichž trajektorie může kolidovat s autem.

Nedávno Kidono [22] navrhl metodu rovněž založenou na analýze 3D mračna bodů získaného pomocí LIDARu s vysokým rozlišením. Na rozdíl od předchozích autorů Kidono nerozděluje mrak, ale spíše vytváří shluky bodů podle kritérií výšky s ohledem na základní rovinu a blízkost/řídkost mezi nimi a dosahuje segmentace různých objektů ve scénáři. Autor pak klasifikuje objekty, které jsou chodci, tím, že z každé části segmentovaných bodů extrahuje různé prvky. Tato metoda podle jejích autorů nabízí dobrou míru rozpoznání chodců v dosahu 50 m.

ČTĚTE VÍCE

Co se změnilo po krizi v roce 2008?

2. Materiály a metody

Tato část stručně popisuje CIC a algoritmus vyvinutý pro zpracování mračna bodů generovaných 3D LIDARem za účelem detekce chodců kolem vozidla.

2.1. Autonomní vozidlo CIC

Obrázek 1 ukazuje hlavní součásti architektury autonomních vozů a jejich vztah. Každá z těchto částí je popsána v následujících podkapitolách.

Účastníci
Antonio M. López, David Gerónimo, Javier Marín, David Vázquez, Yainuvis Socarrás, Alejandro González, Yiaolong Xu.

Přidružené projekty
Výzkumné projekty španělského ministerstva školství a vědy (MEC) TRA2004-06702/AUT, TRA2007-62526/AUT, TRA2011-29454-C03-00.
CONSOLIDER-INGENIO 2010 CSD2007-00018

Popis
Nehody chodců jsou druhým zdrojem dopravních zranění a úmrtí v Evropské unii. V tomto smyslu se pokročilé asistenční systémy pro řidiče (ADAS) a zejména systémy ochrany chodců (PPS) staly důležitou oblastí výzkumu pro zlepšení bezpečnosti provozu. Samozřejmě, aby se předešlo srážkám s chodci, musí být detekováni, protože kamerové senzory jsou klíčové díky bohatému množství podnětů a vysokému rozlišení, které poskytují.

V současné době existují dvě hlavní linie práce, jedna založená na snímcích viditelného spektra a druhá, motivovaná především noční dobou, založená na tepelném infračerveném záření. První z nich nashromáždilo více literatury, protože snazší dostupnost CCD nebo CMOS snímačů pracujících ve viditelném spektru, jejich levnější cena, lepší poměr signálu k šumu a rozlišení a protože většina nehod se stává ve dne. V současné době pracujeme s těmito obrazy viditelného spektra.

V této souvislosti vznikají potíže s úlohou detekce chodců pro PPS jak z práce s mobilní platformou ve venkovním prostředí, opakující se výzvou ve všech aplikacích ADAS, tak z jednání s tak rozdílnou třídou, jako jsou chodci. Obtíže lze shrnout následovně:

cíle mají velmi vysokou variabilitu v rámci třídy (např. oblečení, osvětlení, vzdálenost, velikost atd.);
pozadí může být nepřehledné a měnit se v milisekundách;
cíle a kamera obvykle sledují různé neznámé pohyby;
a vyžaduje se rychlá reakce systému spolu s velmi robustní odezvou.

Následující obrázky odpovídají navržené architektuře detekce chodců, kterou navrhujeme. Je rozdělen do šesti různých kroků, z nichž každý má své vlastní odpovědnosti uvnitř systému. V tuto chvíli se zabýváme pouze prvními třemi, tedy předzpracováním, segmentací popředí a klasifikací. Prostřední obrázek znázorňuje techniku výpočtu roviny, která je zaměřena na definování sady oken velikosti pro chodce ležících na 3D zemi. Cílem je odhadnout orientaci vozovky související s kamerou pomocí RANSAC na projekci 3D stereo bodů Y-Z. Tou pravou je fáze klasifikace, kde jsou vybraná okna klasifikována jako pro chodce/nechodce pomocí AdaBoost a dvou kombinovaných sad funkcí.

ČTĚTE VÍCE

Kolik vodíkových aut je v Německu?

Podprojekty

Detekce chodců na základě barev

V tomto projektu hodnotíme prostor oponentních barev (OPP) jako biologicky inspirovanou alternativu pro detekci člověka. Zejména krmením prostoru OPP v základním rámci Dalal et al. pro detekci člověka (založené na RGB, HOG a lineární SVM) nebo v rámci Part Base Model pro detekci objektů od Pedra Felzenszwalba et al., získáme lepší detekční výkon než při použití RGB prostoru.

Detekce osob na základě kamery je prvořadým zájmem kvůli jejím potenciálním aplikacím. Úkol je to obtížný kvůli velké rozmanitosti pozadí (scénáře, osvětlení), ve kterých se osoby vyskytují, a také jejich proměnlivosti v rámci třídy (póza, oblečení, okluze). Ve skutečnosti je osoba ve třídě jedním z účastníků populární výzvy tříd vizuálních objektů PASCAL (VOC). Průlom v této výzvě, pokud jde o detekci osob, je zásluhou Felzenszwalba et al. Tito autoři navrhli částečně založený detektor, který se opírá o histogramy orientovaných gradientů (HOG) a latentní podpůrné vektorové stroje (LatSVM), aby se naučil model celého lidského těla a jeho základních částí a také jejich relativní polohu. Vzhledem k tomu, že přístup Felzenszwalba a kol. objevily se nové varianty, které obvykle vedly ke složitějším modelům. Zaměřujeme se na problematiku, která dosud nevzbudila dostatečný zájem. Zejména poukazujeme na skutečnost, že HOG se obvykle vypočítává z barevného prostoru RGB, ale existují i jiné možnosti a zaslouží si odpovídající prozkoumání. V tomto článku se zabýváme prostorem RGB barevným prostorem soupeře (OPP), který je inspirován systémem lidského vidění. Vypočítáme HOG na vrcholu OPP, poté vytrénujeme a otestujeme částečně založený lidský klasifikátor od Felzenszwalba et al. . pomocí PASCAL protokolů výzvy VOC a databáze osob. Naše experimenty ukazují, že OPP překonává RGB. Zkoumáme také možné rozdíly mezi typy scénářů: vnitřní, městské a venkovské. Je zajímavé, že naše experimenty naznačují, že přínosy OPP s ohledem na RGB přicházejí hlavně pro scénáře v interiéru a na venkově, ve kterých byl lidský vizuální systém navržen evolucí.