A method for learning a sensor fusion network for sensor fusion of an autonomous vehicle performing a cooperative driving is provided. The method includes steps of: allowing a learning device, (a) to input (i) a driving image including the autonomous vehicle, m cooperatively-driving vehicles, and second virtual vehicles and (ii) sensor status information on n sensors in the m cooperatively-driving vehicles into the sensor fusion network, to generate sensor fusion probabilities of sensor values of the n sensors being transmitted, (b) input a road-driving video into a detection network, to detect the second virtual vehicles, pedestrians, and lanes and output nearby object information, and input sensor values and the nearby object information into a drive network, to generate moving direction probabilities and drive the autonomous vehicle and (c) acquire traffic condition information, generate a reward, and learn the sensor fusion network.
본 발명은 협업 주행을 수행하는 자율 주행 차량의 센서 퓨전(Sensor Fusion)을 위한 센서 퓨전 네트워크를 학습하는 방법이 제공된다. 상기 방법에는 학습장치가, (a) (i) 상기 자율 주행 차량, m개의 협업 주행 차량 및 제2 가상 차량을 포함하는 주행 이미지 및 (ii) 상기 m개의 협업 주행 차량의 n개의 센서에 대한 센서 상태 정보를 상기 센서 퓨전 네트워크에 입력하여, n개의 센서의 센서값을 전송할 확률값인 센서 퓨전 확률값을 생성하도록 하는 단계, (b) 도로 주행 영상을 검출 네트워크에 입력하여, 상기 제2 가상 차량, 보행자 및 차선을 검출하여 주변 객체 정보를 출력하도록 하며, 센서값과 상기 주변 객체 정보를 주행 네트워크에 입력하여, 이동 방향 확률값을 생성하여 상기 자율 주행 차량을 운행하도록 하는 단계; 및 (c) 교통 상황 정보를 획득하고, 리워드를 생성하며 상기 센서 퓨전 네트워크를 학습하는 단계;를 포함한다.
METHOD AND DEVICE FOR PERFORMING MULTIPLE AGENT SENSOR FUSION IN COOPERATIVE DRIVING BASED ON REINFORCEMENT LEARNING
강화 학습에 기초하여 협업 주행에서 다중 에이전트 센서 퓨전을 수행하는 방법 및 장치
2020-08-07
Patent
Elektronische Ressource
Koreanisch
Europäisches Patentamt | 2021
Europäisches Patentamt | 2020
|