• LimSim++:多模態大模型在自動駕駛中的新舞臺

    發表于:2024-3-13 09:16

    字體: | 上一篇 | 下一篇 | 我要投稿

     作者:汽車人    來源:自動駕駛之心

    分享:
      仿真器簡介
      隨著多模態大語言模型((M)LLM)在人工智能領域掀起研究熱潮,其在自動駕駛技術中的應用逐漸成為關注的焦點。這些模型通過強大的廣義理解和邏輯推理能力,為構建安全可靠的自動駕駛系統提供了有力支持。雖然已有閉環仿真平臺如HighwayEnv、CARLA和NuPlan等,能夠驗證LLM在自動駕駛中的表現,但用戶通常需要自行適配這些平臺,這不僅提高了使用門檻,也限制了LLM能力的深入挖掘。
      為了克服這一挑戰,上海人工智能實驗室的智能交通平臺組推出了**LimSim++**,這是一款專為(M)LLM設計的自動駕駛閉環仿真平臺。LimSim++的推出,旨在為自動駕駛領域的研究者提供一個更加適宜的環境,以全面探索LLM在自動駕駛技術中的潛力。該平臺能夠提取并處理來自SUMO和CARLA等仿真環境的場景信息,將其轉化為LLM所需的多種輸入形式,包括圖像信息、場景認知和任務描述。此外,LimSim++還具備運動原語轉換功能,能根據LLM的決策快速生成合適的行駛軌跡,實現閉環仿真。更重要的是,LimSim++為LLM創造了一個持續學習的環境,通過評估決策結果并提供反饋,幫助LLM不斷優化駕駛策略,提高Driver Agent的駕駛性能。
      仿真器特點
      LimSim++在自動駕駛仿真領域具有顯著特點,為(M)LLM驅動的Driver Agent提供了理想的閉環仿真和持續學習環境。
      · LimSim++支持多種駕駛場景的模擬,如十字路口、匝道和環島等,確保Driver Agent能夠在各種復雜路況下接受挑戰。這種多樣化的場景設置有助于LLM獲取更豐富的駕駛經驗,提高其在真實環境中的適應能力。
      · LimSim++支持多種模態輸入的大語言模型。LimSim++不僅提供基于規則的場景信息生成,同時可以與CARLA聯調,能夠提供豐富的視覺輸入,滿足(M)LLM在自動駕駛中的視覺感知需求。
      · LimSim++注重持續學習能力。LimSim++集成了評估、反思和記憶等模塊,幫助(M)LLM在仿真過程中不斷積累經驗,優化決策策略。
      創建屬于自己的Driver Agent
      LimSim++為用戶提供了豐富的接口,可以滿足Driver Agent的定制需求,提高了LimSim++開發的靈活性,并且降低了使用門檻。
      Prompt構建
      LimSim++支持用戶自定義prompt,從而改變輸入給(M)LLM的文本信息,包括角色設置、任務要求、場景描述等信息。
      LimSim++提供了基于json格式的場景描述模板,支持用戶零代碼進行prompt的修改,無需考慮信息提取的具體實現。
      決策評估模塊
      LimSim++提供了對(M)LLM決策結果進行評估的baseline,用戶可以通過改變權重參數來調節評價偏好。
      框架的靈活性
      LimSim++支持用戶為(M)LLM添加自定義的工具庫,例如感知工具、數值處理工具等等。
      快速上手
      Step 0:安裝SUMO(Version≥v1.15.0,  ubuntu)
      sudo add-apt-repository ppa:sumo/stable
      sudo apt-get update
      sudo apt-get install sumo sumo-tools sumo-doc
      Step 1:下載LimSim++源碼壓縮包,解壓后切換到正確分支
      git clone https://github.com/PJLab-ADG/LimSim.git
      git checkout -b LimSim_plus
      Step 2:安裝依賴 (要求裝有conda)
      cd LimSim
      conda env create -f environment.yml
      Step 3: 運行仿真
      單獨運行仿真
      python ExampleModel.py
      使用LLM進行自動駕駛
      export OPENAI_API_KEY='your openai key'
      python ExampleLLMAgentCloseLoop.py
      使用VLM進行自動駕駛
      # Terminal 1
      cd path-to-carla/
      ./CarlaUE4.sh
      # Termnial 2
      cd path-to-carla/
      cd PythonAPI/util/
      python3 config.py --map Town06
      # Termnial 2
      export OPENAI_API_KEY='your openai key'
      cd path-to-LimSim++/
      python ExampleVLMAgentCloseLoop.py
      你是否對AI技術感興趣,想通過掌握AI技術高效完成測試工作?現在私聊恬恬圈/甜甜圈,或識別下方二維碼,添加天天圈,回復“AI”,了解更多關于AI的內容↓↓↓
      本文內容不用于商業目的,如涉及知識產權問題,請權利人聯系51Testing小編(021-64471599-8017),我們將立即處理
    《2023軟件測試行業現狀調查報告》獨家發布~

    關注51Testing

    聯系我們

    快捷面板 站點地圖 聯系我們 廣告服務 關于我們 站長統計 發展歷程

    法律顧問:上海蘭迪律師事務所 項棋律師
    版權所有 上海博為峰軟件技術股份有限公司 Copyright©51testing.com 2003-2024
    投訴及意見反饋:webmaster@51testing.com; 業務聯系:service@51testing.com 021-64471599-8017

    滬ICP備05003035號

    滬公網安備 31010102002173號

    久久97久久97精品免视_欧洲国产伦久久久久久_91麻豆精品国产自产在线观_伊人久久大香线蕉综合av