چکیده:
سیستم حمل و نقل و راهبری از مهمترین فاکتورها در افزایش رفاه اجتماعی، توسعه و آبادانی هر کشوری میباشد. امروزه
علاوه بر افزایش حجم ترافیکی وسایل نقلیه، تقاضا برای حمل و نقل ایمن و کارا، نیز افزایش یافته است. این امر باعث
شده امروزه با مشکلاتی از جمله افزایش مدت زمان تلف شده، آلودگی محیط زیست، گرم شدن کره زمین، افزایش
بیماریها ازجمله سرطان ریه، افزایش مصرف سوخت و مسدود شدن تقاطعها رو به رو باشیم.
در این میان چراغ راهنمایی، بدون شک یکی از آشناترین و مهمترین وسایل در کنترل، تنظیم عبور و مرور وسایل نقلیه
و افزایش ایمنی سطح تقاطعها میباشد. امروزه با افزایش وسایل نقلیه به طور پیوسته، محدودیت در منابع ارائه شده
توسط زیر ساختهای فعلی و ماهیت غیرخطی، پویا و تصادفی جریان ترافیکی، استفاده از روشهای یادگیری تقویتی،
الگوریتم ژنتیک، منطق فازی و شبکه عصبی در کنترل هوشمند ترافیک حائز اهمیت است.
در این پایاننامه، استراترژی کنترل بر پایه انتخاب نوع چراغ و مدت زمان فاز سبز برای رسیدن به یک تعادل زیربهینه در
تقاطعها میباشد. این تعادل، میبایست قابلیت تطبیقپذیری با رفتار تغییرپذیر با زمان و تصادفی بودن ترافیک را داشته
باشد. بنابراین هدف سیستم کنترلی، افزایش ظرفیت اداره کردن یک تقاطع یا شبکه، کاهش حجم ترافیک وسایل نقلیه،
متوسط زمان تاخیر خودروها، ارجحیت دادن به خودروهای اضطراری و کنترل تصادفات است. در این پایاننامه، دو نوع
محیط ترافیک شبیهسازی شده است. در محیط اول یک تقاطع منفرد و در محیط دوم یک شبکه متشکل از چند تقاطع)نه
تقاطع، پنج تقاطع و دو تقاطع(شبیهسازی شده است. برای نزدیکتر کردن مدل شبیهسازی شده به مدل واقعی، اهمیت)تعداد ورودی و خروجی خودروها(هر خیابان از تقاطع نسبت به خیابان دیگر متفاوت است، در میزان خروجی و ورودی
خودروها در هر خیابان، نسبت به عمل چراغ راهنمایی از توزیع نرمال استفاده شده است. همچنین در طول مدت زمان
شبیهسازی اغتشاشهایی از جمله، تصادف و ساعت اوج ترافیک نیز لحاظ شده است.
برای کنترل سیگنال ترافیک، از الگوریتم ژنتیک 1 استفاده شده است که نسبت به روش کلاسیک، ثابت زمانی عملکرد
بهتری دارد. اما به دلیل کند بودن، نیازمند به مدل ریاضی محیط و عدم تطبیقپذیر با محیط روش کاربردی نیست. برای
حل این مشکلات از یادگیری تقویتی استفاده شده است. در کنترل ترافیک به کمک یادگیری تقویتی، سناریوهای مختلفی
از جمله یادگیری تقویتی 24 کنشی، 40 کنشی، مقایسه روشهای آموزشی عامل یادگیرنده)یادگیری Q2 ، سارسا 3 و
مسیرهای شایستگی 4 (و کنترل ترافیک با درنظر گرفتن خودروهای اضطراری بررسی شده است. در ادامه به بررسی کنترل
سیگنال ترافیک در شبکههای ترافیکی پرداخته شده است و سه روش یادگیری تقویتی چند عامله تک سطحی، یادگیری
1 GA
2 Q-learning
3 Sarsa
4 Eligibility Traces
ب
تقویتی چند عامله دو سطحی و یاگیری تقویتی نش، مورد بررسی قرار گرفت. در ادامه با ترکیب روشهای هوشمند از
جمله یادگیری تقویتی، الگوریتم ژنتیک، منطق فازی 1 و شبکه عصبی 2 عملکرد سیستم کنترلی ترافیک بهبود یافته است و
مشکلاتی از جمله، عدم تعیین بهینه نرخ یادگیری و نرخ فراموشی، تعداد زیاد عملها و حالات عامل یادگیرنده برطرف
شد. در نهایت به سیستم کنترل ترافیک با یادگیری تقویتی، قابلیت تشخیص، شناسایی و کنترل خطا 3 اضافه شده است.برای
تشخیص و کنترل خطا در حسگرها و چراغهای راهنمایی از مدل ریاضی چند ورودی چند خروجی و متغیر با زمان،
فیلتر کالمن، یادگیری تقویتی و الگوریتم ژنتیک استفاده شده است.
1 Fuzzy