A method for learning a sensor fusion network for sensor fusion of an autonomous vehicle performing a cooperative driving is provided. The method includes steps of: allowing a learning device, (a) to input (i) a driving image including the autonomous vehicle, m cooperatively-driving vehicles, and second virtual vehicles and (ii) sensor status information on n sensors in the m cooperatively-driving vehicles into the sensor fusion network, to generate sensor fusion probabilities of sensor values of the n sensors being transmitted, (b) input a road-driving video into a detection network, to detect the second virtual vehicles, pedestrians, and lanes and output nearby object information, and input sensor values and the nearby object information into a drive network, to generate moving direction probabilities and drive the autonomous vehicle and (c) acquire traffic condition information, generate a reward, and learn the sensor fusion network.

    본 발명은 협업 주행을 수행하는 자율 주행 차량의 센서 퓨전(Sensor Fusion)을 위한 센서 퓨전 네트워크를 학습하는 방법이 제공된다. 상기 방법에는 학습장치가, (a) (i) 상기 자율 주행 차량, m개의 협업 주행 차량 및 제2 가상 차량을 포함하는 주행 이미지 및 (ii) 상기 m개의 협업 주행 차량의 n개의 센서에 대한 센서 상태 정보를 상기 센서 퓨전 네트워크에 입력하여, n개의 센서의 센서값을 전송할 확률값인 센서 퓨전 확률값을 생성하도록 하는 단계, (b) 도로 주행 영상을 검출 네트워크에 입력하여, 상기 제2 가상 차량, 보행자 및 차선을 검출하여 주변 객체 정보를 출력하도록 하며, 센서값과 상기 주변 객체 정보를 주행 네트워크에 입력하여, 이동 방향 확률값을 생성하여 상기 자율 주행 차량을 운행하도록 하는 단계; 및 (c) 교통 상황 정보를 획득하고, 리워드를 생성하며 상기 센서 퓨전 네트워크를 학습하는 단계;를 포함한다.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    METHOD AND DEVICE FOR PERFORMING MULTIPLE AGENT SENSOR FUSION IN COOPERATIVE DRIVING BASED ON REINFORCEMENT LEARNING


    Weitere Titelangaben:

    강화 학습에 기초하여 협업 주행에서 다중 에이전트 센서 퓨전을 수행하는 방법 및 장치


    Beteiligte:
    KIM KYE HYEON (Autor:in) / KIM YONG JOONG (Autor:in) / KIM HAK KYOUNG (Autor:in) / NAM WOON HYUN (Autor:in) / BOO SUK HOON (Autor:in) / SUNG MYUNG CHUL (Autor:in) / SHIN DONG SOO (Autor:in) / YEO DONG HUN (Autor:in) / RYU WOO JU (Autor:in) / LEE MYEONG CHUN (Autor:in)

    Erscheinungsdatum :

    2020-08-07


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Koreanisch


    Klassifikation :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G06V / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS / H04W WIRELESS COMMUNICATION NETWORKS , Drahtlose Kommunikationsnetze




    METHOD AND APPARATUS FOR EXECUTING MULTIPLE AGENT SENSOR FUSION BY COOPERATIVE TRAVEL BASED ON REINFORCEMENT LEARNING

    KIM KYE-HYEON / KIM YONG-JUN / KIM HAK KYOUNG et al. | Europäisches Patentamt | 2020

    Freier Zugriff


    Multi-agent Cooperative Search based on Reinforcement Learning

    Sun, Yinjiang / Zhang, Rui / Liang, Wenbao et al. | IEEE | 2020


    Mastering Cooperative Driving Strategy in Complex Scenarios using Multi-Agent Reinforcement Learning

    Liang, Qingyi / Jiang, Zhengmin / Yin, Jianwen et al. | IEEE | 2023