صفحه محصول - پروپوزال پایان نامه پیش بینی بورس با داده کاوی

پروپوزال پایان نامه پیش بینی بورس با داده کاوی (docx) 1 صفحه

دسته بندی : تحقیق

نوع فایل : Word (.docx) ( قابل ویرایش و آماده پرینت )

تعداد صفحات: 1 صفحه

قسمتی از متن Word (.docx) :

پیش بینی قیمت سهام با استفاده از داده کاوی و شبکه های عصبی علیرضا جندقیان استاد راهنما: دکتر امیر عباس نجفی پایان نامه کارشناسی ارشد رشته مهندسی صنایع گرایش مهندسی مالی شهریور 1393 پیش بینی قیمت سهام با استفاده از داده کاوی و شبکه های عصبی علیرضا جندقیان استاد راهنما: دکتر امیرعباس نجفی پایان نامه کارشناسی ارشد رشته مهندسی صنایع گرایش مهندسی مالی شهریور 1393 تقدیم به : پدر و مادر عزیزم که در تمام مراحل زندگی پشتیبانم بودند \* mergeformatتاسيس 1307دانشگاه صنعتي خواجه نصيرالدين طوسيتأییدیه هیأت داورانشماره: تاريخ:هیأت داوران پس از مطالعه پایان‌نامه و شرکت در جلسه دفاع از پایان نامه تهیه شده تحت عنوان : پیش بینی قیمت سهام با استفاده از داده کاوی و شبکه های عصبی توسط آقای علیرضا جندقیان ، صحت و کفایت تحقیق انجام شده را برای اخذ درجه کارشناسی ارشد در رشته مهندسی صنایع گرایش مهندسی مالی در تاريخ ......../6/ 1393 مورد تأیید قرار می‌دهند.1- استاد راهنماجناب آقای دکتر امیرعباس نجفیامضاء2- استاد مشاورجناب آقای / سرکار خانم دکتر ..........................................امضاء3- ممتحن داخلیجناب آقای / سركار خانم دکتر ..........................................امضاء4- ممتحن خارجیجناب آقای / سركار خانم دکتر ..........................................امضاء5- معاونت آموزشی و تحصیلات تکمیلی دانشکدهجناب آقای دکتر عماد روغنیانامضاء -4823976540529/10/1387-42160029/10/1387-4216 \* mergeformatتاسيس 1307دانشگاه صنعتي خواجه نصيرالدين طوسياظهارنامه دانشجوشماره: تاريخ:اینجانب علیرضا جندقیان دانشجوی کارشناسی ارشد رشته مهندسی صنایع گرایش مهندسی مالی دانشکده مهندسی صنایع دانشگاه صنعتي خواجه نصیرالدین طوسی گواهی می‌نمایم که تحقیقات ارائه شده در پایان‌نامه با عنوان پیش بینی قیمت سهام با استفاده از داده کاوی و شبکه های عصبی با راهنمايي استاد محترم جناب آقاي دكتر امیرعباس نجفی، توسط شخص اینجانب انجام شده و صحت واصالت مطالب نگارش شده در این پایان‌نامه مورد تأیید می‌باشد، و در مورد استفاده از کار دیگر محققان به مرجع مورد استفاده اشاره شده است. بعلاوه گواهی می‌نمایم که مطالب مندرج در پایان نامه تا کنون برای دریافت هیچ نوع مدرک یا امتیازی توسط اینجانب یا فرد دیگری در هیچ جا ارائه نشده است و در تدوین متن پایان‌نامه چارچوب (فرمت) مصوب دانشكده مهندسي صنايع را بطور کامل رعایت کرده‌ام. چنانچه در هر زمان خلاف آنچه گواهي نموده‌ام مشاهده گردد خود را از آثار حقيقي و حقوقي ناشي از دريافت مدرك کارشناسی ارشد محروم مي‌دانم و هيچگونه ادعائي نخواهم داشت.امضاء دانشجو:تاریخ: -5524506858029/10/1387-42170029/10/1387-4217 \* mergeformatتاسيس 1307دانشگاه صنعتي خواجه نصيرالدين طوسيحق طبع و نشر و مالکیت نتایجشماره: تاريخ:1- حق چاپ و تکثیر این پایان‌نامه متعلق به نویسنده آن می‌باشد. هرگونه کپی برداری بصورت کل پایان‌نامه یا بخشی از آن تنها با موافقت نویسنده یا کتابخانه دانشکده مهندسی صنایع دانشگاه صنعتی خواجه نصیرالدین طوسی مجاز می‌باشد.ضمناً متن این صفحه نیز باید در نسخه تکثیر شده وجود داشته باشد.2- کلیه حقوق معنوی این اثر متعلق به دانشگاه صنعتی خواجه نصیرالدین طوسی می‌باشد و بدون اجازه کتبی دانشگاه به شخص ثالث قابل واگذاری نیست.همچنین استفاده از اطلاعات و نتایج موجود در پایان نامه بدون ذکر مراجع مجاز نمی‌باشد. -48514016383029/10/1387-42140029/10/1387-4214 تشکر و قدردانی : به این وسیله از زحمات بی دریغ استاد گرامی، جناب دکتر نجفی کمال تشکر را به خاطر سعه صدر و راهنمایی هایشان دارم چکیده بازار سرمایه، به دلیل داشتن خواص بسیاری از جمله عدم نیاز به سرمایه زیاد و سوددهی بالا به بستر مناسبی برای سرمایه گذاری تبدیل شده است. به همین دلایل، رشد این بازارها با سرعت چشمگیری در حال افزایش است. همین امر باعث تقاضای بالاتر برای اطلاعات، تلاش بیشتر برای پیش بینی و ابداع مدل های جدید برای پیش بینی آینده بازار شده است. پیش بینی بازار سرمایه به دلیل وجود انبوهی از سرمایه گذاران با دیدگاه های متفاوت و اثرگذار بودن تعداد زیادی از متغیرها که عملا بررسی همه آنها ممکن نیست، کاری دشوار و چالش برانگیز می باشد. به همین دلایل، مدل های پیش بینی جدید معرفی شده و مدل های پیش بینی قبلی ارتقا می یابند و یا با یکدیگر ترکیب می شوند. به طور کلی می توان گفت که تلاش های صورت گرفته تا زمان فعلی، در سه دسته برای پیش بینی بازار سرمایه قرار می گیرند. دسته اول از تحلیل تکنیکی، دسته دوم از تحلیل بنیادین و دسته سوم از مدل های ریاضی استفاده می کنند. تلاش برای افزایش قابلیت های مدل های موجود با استفاده از تلفیق این مدل ها با یکدیگر، روند تازه ای است که نتایج رضایت بخشی را نیز به دنبال داشته است. بیشتر این تلاش ها در جهت پیش بینی قیمت ها برای یک دوره جلوتر با استفاده از تحلیل تکنیکی و تحلیل بنیادی در چارجوب مدل های ریاضی و هوش مصنوعی قرار می گیرند. در همین راستا در پژوهش پیش رو به تلفیق تحلیل تکنیکی، تحلیل به وسیله مدل های سری زمانی و داده کاوی پرداخته و برای اولین بار به پیش بینی دو قیمت برای دوره آینده می پردازیم. مدل های مذکور در قالب شبکه عصبی با یکدیگر تلفیق شده و نتایج نشان دهنده برتری عملکرد شبکه عصبی نسبت به مدل رگرسیون چند متغیره و مدل های سری زمانی دارند. کلمات کلیدی : پیش بینی؛ شبکه عصبی؛ داده کاوی؛ سری زمانی؛ تحلیل تکنیکی؛ رگرسیون چند متغیره فهرست مطالب TOC \o "1-3" \h \z \u فصل اول : کلیات تحقیق PAGEREF _Toc398330810 \h 11-1- مقدمه PAGEREF _Toc398330812 \h 21-2- نظریه کارایی بازار سرمایه PAGEREF _Toc398330813 \h 31-3- ابعاد مختلف بازار سرمایه و ابزارهای پیش بینی PAGEREF _Toc398330814 \h 61-4- پژوهش‌های مشابه PAGEREF _Toc398330815 \h 111-5- ضرورت انجام تحقیق و اهمیت تحقیق PAGEREF _Toc398330816 \h 161-6- اهداف تحقیق PAGEREF _Toc398330817 \h 171-7- ساختار تحقیق PAGEREF _Toc398330818 \h 17فصل دوم : ادبیات تحقیق PAGEREF _Toc398330819 \h 182-1- مقدمه PAGEREF _Toc398330821 \h 192-1-1- تحلیل تکنیکی PAGEREF _Toc398330822 \h 212-1-2- تحلیل بنیادین PAGEREF _Toc398330823 \h 212-1-3- تحلیل توسط مدل‌های علمی PAGEREF _Toc398330824 \h 222-2- آیا بازار سرمایه پیش بینی پذیر است؟ PAGEREF _Toc398330825 \h 262-2-1- نظریه کارایی بازار سرمایه PAGEREF _Toc398330826 \h 262-2-2- فروض نظریه کارایی بازار PAGEREF _Toc398330827 \h 332-2-3- انتقادات وارد شده به نظریه کارایی بازار سرمایه PAGEREF _Toc398330828 \h 352-2-4- پاسخ نظریه کارا PAGEREF _Toc398330829 \h 362-2-5- نتیجه گیری PAGEREF _Toc398330830 \h 372-3- داده کاوی PAGEREF _Toc398330831 \h 392-3-1- مقدمه PAGEREF _Toc398330832 \h 392-3-2- مفهوم داده کاوي PAGEREF _Toc398330833 \h 412-3-4- اهداف داده کاوی PAGEREF _Toc398330834 \h 432-3-5- داده کاوي و رابطه آن با علم آمار PAGEREF _Toc398330835 \h 492-4- شبکه عصبی PAGEREF _Toc398330836 \h 512-4-1- معرفی: PAGEREF _Toc398330837 \h 512-4-2- کاربرد شبکه های عصبی PAGEREF _Toc398330838 \h 522-4-3- تعریف پایه شبکه های عصبی PAGEREF _Toc398330839 \h 522-4-4- ویژگی های شبکه عصبی PAGEREF _Toc398330840 \h 552-5- تحلیل تکنیکال PAGEREF _Toc398330841 \h 682-5-1- مقدمه: PAGEREF _Toc398330842 \h 682-5-2- اندیکاتورهای تحلیل تکنیکال PAGEREF _Toc398330843 \h 702-6- مرور پژوهش های مشابه PAGEREF _Toc398330844 \h 732-6-1- کاربرد شبکه عصبی در پیش بینی قیمت سهام PAGEREF _Toc398330845 \h 732-6-2- کاربرد شبکه عصبی در تعیین استراتژی مبادله سهام PAGEREF _Toc398330846 \h 812-6-3- کاربرد داده کاوی در بازار سهام PAGEREF _Toc398330847 \h 882-6-4- کاربرد شبکه عصبی و داده کاوی در پیش بینی قیمت سهام PAGEREF _Toc398330848 \h 90فصل سوم : روش تحقیق PAGEREF _Toc398330849 \h 943-1- مقدمه PAGEREF _Toc398330851 \h 953-2- جمع آوری داده ها PAGEREF _Toc398330852 \h 993-3- پیش پردازش داده ها PAGEREF _Toc398330853 \h 993-3-1- کاهش سطری داده ها PAGEREF _Toc398330854 \h 1003-3-2- ساخت اطلاعات مورد نیاز PAGEREF _Toc398330855 \h 1023-3-3- انتخاب داده ها و کاهش ستونی PAGEREF _Toc398330856 \h 1083-4- طراحی شبکه عصبی برای پیش بینی قیمت سهم PAGEREF _Toc398330857 \h 1113-4-1- ساختار شبکه PAGEREF _Toc398330858 \h 1113-4-2- الگوریتم یادگیری PAGEREF _Toc398330859 \h 1133-4-3- توابع فعال سازی PAGEREF _Toc398330860 \h 1143-5- مدل های رقیب و معیارهای سنجش PAGEREF _Toc398330861 \h 1143-6- جمع بندی PAGEREF _Toc398330862 \h 115فصل چهارم : نتایج عددی PAGEREF _Toc398330863 \h 1164-1- مقدمه PAGEREF _Toc398330865 \h 1174-2- جمع آوری داده ها و تشکیل پایگاه داده PAGEREF _Toc398330866 \h 1174-3- پیش پردازش داده ها PAGEREF _Toc398330867 \h 1184-3-1- کاهش سطری داده ها PAGEREF _Toc398330868 \h 1184-3-2- ساخت اطلاعات مورد نیاز PAGEREF _Toc398330869 \h 1214-3-3- انتخاب داده ها و کاهش ستونی پایگاه داده PAGEREF _Toc398330870 \h 1284-4- طراحی شبکه عصبی PAGEREF _Toc398330871 \h 1344-5- اجرای شبکه عصبی و مقایسه نتایج PAGEREF _Toc398330872 \h 1354-6- جمع بندی PAGEREF _Toc398330873 \h 141فصل پنجم : نتیجه گیری PAGEREF _Toc398330874 \h 1425-1- مقدمه PAGEREF _Toc398330876 \h 1435-2- جمع بندی تحقیق PAGEREF _Toc398330877 \h 1435-3- نتایج و نوآوری های تحقیق PAGEREF _Toc398330878 \h 1445-4- پیشنهادات برای تحقیقات آتی PAGEREF _Toc398330879 \h 145 فهرست جدول ها TOC \h \z \t "ali,1" جدول 2-1 : توابع فعالسازی نرون های مختلف در شبکه های عصبی PAGEREF _Toc398328581 \h 49 جدول 4-2 : شرح اندیکاتورهای معروف تحلیل تکنیکال PAGEREF _Toc398328582 \h 61 جدول 4-2 : شرح اندیکاتورهای معروف تحلیل تکنیکال : ادامه جدول PAGEREF _Toc398328583 \h 62 جدول 3-1 : صنایع و شرکت های انتخاب شده جهت انجام پژوهش PAGEREF _Toc398328584 \h 85 جدول 3-2 : اندیکاتورهای به کار رفته در پژوهش PAGEREF _Toc398328585 \h 89 جدول 4-1 : تغییرات تعداد رکوردهای پایگاه های ساخته شدن پس از حذف داده های مغشوش PAGEREF _Toc398328586 \h 102 جدول 4-2 : تغییرات تعداد رکوردهای پایگاه های ساخته شده، پس از حذف داده های پرت PAGEREF _Toc398328587 \h 103 جدول 4-3 : سری های زمانی ساخته شده توسط اندیکاتورهای تحلیل تکنیکال PAGEREF _Toc398328588 \h 104 جدول 4-4 : بهترین lag شرکت های حاضر در صنعت بانک و مؤسسات مالی با بانک پارسیان PAGEREF _Toc398328589 \h 105 جدول 4-5 : بهترین lag شرکت های حاضر در صنعت شیمیایی با صنایع شیمیایی فارس PAGEREF _Toc398328590 \h 106 جدول 4-5 : بهترین lag شرکت های حاضر در صنعت شیمیایی با صنایع شیمیایی فارس : ادامه جدول PAGEREF _Toc398328591 \h 107 جدول 4-6 : بهترین lag شرکت های حاضر در صنعت فلزات اساسی با فولاد مبارکه اصفهان PAGEREF _Toc398328592 \h 107 جدول 4-6 : بهترین lag شرکت های حاضر در صنعت فلزات اساسی با فولاد مبارکه اصفهان : ادامه جدول PAGEREF _Toc398328593 \h 108 جدول 4-7 : تغییرات تعداد رکوردهای پایگاه های ساخته شده، پس از حذف داده های مغشوش اندیکاتورها PAGEREF _Toc398328594 \h 109 جدول 4-8 : اندیکاتورهای انتخاب شده توسط روش رگرسیون پله ای برای ورود به شبکه عصبی PAGEREF _Toc398328595 \h 110 جدول 4-9 : دسته بندی اندیکاتورهای مشابه PAGEREF _Toc398328596 \h 111 جدول 4-10 : اندیکاتورهای انتخاب شده از دسته ها برای ورود به شبکه عصبی PAGEREF _Toc398328597 \h 111 جدول 4-11 : داده های تخصیص داده شده به شبکه عصبی در هر پایگاه PAGEREF _Toc398328598 \h 116 جدول 4-12 : مقایسه نتایج به دست آمده از شبکه عصبی و مدل های رقیب برای سهام بانک پارسیان PAGEREF _Toc398328599 \h 120 جدول 4-13 : مقایسه نتایج به دست آمده از شبکه عصبی و مدل های رقیب برای سهام صنایع شیمیای فارس PAGEREF _Toc398328600 \h 120 جدول 4-14 : مقایسه نتایج به دست آمده از شبکه عصبی و مدل های رقیب برای سهام فولاد مبارکه اصفهان PAGEREF _Toc398328601 \h 121 فهرست شکل ها TOC \h \z \t "ali2,1" شکل 1-1 : دسته بندی کلی تحلیل های کاربردی در بازار سرمایه PAGEREF _Toc398329316 \h 21 شكل2-2 : ساختار شبكه عصبي پيش رو (غير بازگشتي) باسه لايه ،لايه ورودي ، لايه مياني و لايه خروجي PAGEREF _Toc398329317 \h 45 شكل2-3 : ساختار شبكه عصبي برگشتي با سه لايه ، لايه هاي دوم و سوم برگشتي مي باشند. PAGEREF _Toc398329318 \h 45 شکل 2-4 : مدل یک نرون خطی و غیرخطی(خطی یا غیر خطی بودن به نوع تابع فعال ساز بستگی دارد) PAGEREF _Toc398329319 \h 47 شکل2-5 : نحوه عملکرد بایاس در خروجی ترکیب کننده خطی PAGEREF _Toc398329320 \h 48 شکل 2-6 : توابع فعالسازی(الف) حدآستانه، (ب) خطی تکه‌ای، (ج) سیگموئید تک قطبی، (د)گوسین، (ه) خطی (و) سیگموئید دوقطبی PAGEREF _Toc398329321 \h 50 شکل 2-7 : شبکه پیشرو با یک لایه فعال (خروجی) PAGEREF _Toc398329322 \h 51 شکل 2-8 : شبکه عصبی پیشرو با یک لایه مخفی و یک لایه خروجی PAGEREF _Toc398329323 \h 52 شکل 2-9 : شبکه عصبی بازگشتی بدون حلقه خودپسخور و نرون‌های میانی PAGEREF _Toc398329324 \h 53 شکل 2-10 : شبکه بازگشتی با نرونهای مخفیبا حجم حافظه بالاتر PAGEREF _Toc398329325 \h 54 شکل 2-11 : یک شبکه عصبی با سه نرون و دولایه فعال PAGEREF _Toc398329326 \h 56 شکل 3-1 : شمای کلی مراحل انجام تحقیق PAGEREF _Toc398329327 \h 84 شکل 3-1 : شباهت سری های سفید و سیاه با در نظر گرفتن lag PAGEREF _Toc398329328 \h 92 شکل 4-1 : قیمت های بسته شدن سهام بانک پارسیان و بانک کارآفرین PAGEREF _Toc398329329 \h 113 شکل 4-2 : قیمت های بسته شدن سهام پتروشیمی خارک و صنایع شیمیایی فارس PAGEREF _Toc398329330 \h 114 شکل 4-3 : قیمت های بسته شدن سهام فولاد مبارکه اصفهان و فولاد خوزستان PAGEREF _Toc398329331 \h 115 شکل 4-4 : شبکه عصبی ساخته شده توسط نرم افزار متلب PAGEREF _Toc398329332 \h 116 شکل 4-5 : قیمت های پایین پیش بینی شده و واقعی برای سهام بانک پارسیان PAGEREF _Toc398329333 \h 117 شکل 4-6 : قیمت های بالای پیشش بینی شده و واقعی برای سهام بانک پارسیان PAGEREF _Toc398329334 \h 117 شکل 4-7 : قیمت های پایین پیش بینی شده و واقعی برای سهام صنایع شیمیایی فارس PAGEREF _Toc398329335 \h 118 شکل 4-8 : قیمت های بالای پیش بینی شده و واقعی برای سهام صنایع شیمیایی فارس PAGEREF _Toc398329336 \h 118 شکل 4-9 : قیمت های پایین پیش بینی شده و واقعی برای سهام فولاد مبارکه اصفهان PAGEREF _Toc398329337 \h 119 شکل 4-10 : قیمت های بالای پیش بینی شده و واقعی برای سهام فولاد مبارکه اصفهان PAGEREF _Toc398329338 \h 119 TOC \p " " \h \z \t "ali2,1" فصل اول کلیات تحقیق مقدمه عدم قطعیت در بازار سرمایه به معنای تفاوت مقادیر مورد انتظار و مقادیری است که در واقعیت اتفاق می‌افتند. طراحی روش‌های تحلیل و پیش‌بینی مختلف در بازار سرمایه نیز به دلیل بالا بودن این مقدار و نیاز به دانستن قیمت‌ها در آینده با قطعیت بیشتر یا عدم قطعیت کمتر بوده است. برای کسب سود در بازار سرمایه، سرمایه‌گذاران همواره به دنبال پیدا کردن سهم مناسب جهت سرمایه‌گذاری و قیمت مناسب برای خرید و فروش بوده‌اند و لذا تمام مدل‌های پیش بینی مطرح شده همواره به دنبال پاسخ دادن به سه سؤال اساسی بوده‌اند؛ چه سهمی، در چه محدوده زمانی و در چه قیمتی خریداری شود و یا به فروش برسد. قبل از بررسی پاسخ‌های داده شده به این سؤالات، باید به سؤال جدی‌تری پاسخ داد. از جمله اینکه آیا پیش بینی بازارهای مالی ممکن است؟! همچنین، در ادامه باید به این موضوع پرداخته شود که در صورت پیش بینی پذیر بودن بازار سرمایه، باید به بررسی ابعاد مختلف بازار سرمایه و متدهایی که در هر زمینه برای پیش بینی ارائه شده است، پرداخت. در ادامه باید بررسی کرد که چه متدهایی کارایی لازم برای این پیش‌بینی را دارند و آیا ترکیب این متدها به صورت کلی ممکن است یا خیر. در ادامه خواهیم دید که می‌توان ابزار به کار گرفته شده در پیش بینی تمام ابعاد بازار سرمایه را در سه دسته کلی متدهای تکنیکال، متدهای بنیادین و متدهای ریاضی، شامل متدهای کلاسیک سری زمانی و رگرسیون و متدهای هوش مصنوعی قرار داد. در این پژوهش، با بررسی تمام موارد بالا و امکان سنجی تلفیق متدهای به کارگرفته شده جهت پیش بینی قیمت، به سؤالات مطرح شده پاسخ داده خواهد شد و برای اولین بار، به پیش بینی دو قیمت برای دوره‌های جلوتر پرداخته می شود؛ قیمت بالا و قیمت پایین سهام. به این وسیله، سفته بازان می‌توانند با به کارگیری این متد، با دقت قابل قبولی به پیش‌بینی قیمت پرداخته و از طریق نوسان گیری، کسب سود کنند. 1-2- نظریه کارایی بازار سرمایه قبل از (فاما 1970)، همه فقط به دنبال پاسخ دادن به سؤالات سه گانه ذکر شده در بازار سرمایه بوده اند. با مطرح شدن نظریه کارایی بازار سرمایه فاما، سؤال بزرگ دیگری نیز پیش روی سرمایه‌گذاران و تحلیل‌گران قرار گرفت؛ آیا اصلا تحلیل و پیش بینی آینده بازار سهام ممکن است؟! فاما با طرح نظریه کارایی بازار سرمایه، بازار را متشکل از سرمایه گذارانی فرض کرد که همگی به اطلاعات یکسانی از گذشته و حال دسترسی دارند. اطلاعات سیاسی، اقتصادی، نهانی و ... . در واقع برای باور کردن نظریه فاما حتی لازم نیست همه سرمایه گذاران به اطلاعات یکسانی دسترسی داشته باشند، تنها لازم است تعداد زیادی از سرمایه گذاران به این اطلاعات به صورت یکسان و مساوی دسترسی داشته باشند. زمانی که اطلاعات در دسترس مساوی باشند، ابزارهای تحلیل و پیش بینی نیز یکسان باشند؛ هیچ سرمایه گذاری نمی‌تواند سود غیر عادی کسب کند. برای مثال، اگر اولین نفری که اطلاعات نهانی دارد، قصد خرید یک سهم را بکند؛ در مدت زمانی که در پی انجام این امر است، فروشندگان از این اطلاعات مطلع شده و سهم خود را گران‌تر از قبل می‌فروشند. لذا فرصت کسب سود غیر عادی وجود ندارد. تعریف دقیق و کامل بازار کارای سرمایه نیز عبارت است از: بازاری که سرعت انتقال اطلاعات در آن بسیار زیاد باشد. لذا فاما سه نوع از کارایی را تعریف می‌کند، بازار کارای ضعیف که سرعت انتقال اطلاعات در آن کم است ولی همچنان امکان کسب سود غیرعادی با استفاده از اطلاعات گذشته ممکن نیست. بازار کارای متوسط که سرعت نقل اطلاعات در آن زیاد است و امکان کسب سود غیر عادی با استفاده از اطلاعات حال ممکن نیست. بازار کارای قوی که سرعت انتقال اطلاعات در آن بسیار زیاد بوده و حتی دارندگان اطلاعات نهانی نیز فرصت کسب سود غیر عادی ندارند. در نهایت فاما نتیجه می‌گیرد که نوسان قیمت در بازار تصادفی بوده و امکان پیش‌بینی آن موجود نیست. پس از مطرح شدن نظریه کارایی بازار سرمایه، سرمایه گذاران بازار سرمایه به دو دسته تقسیم شدند. دسته‌ای که به کارایی بازار اعتقاد داشتند، به سرمایه گذاری های بلند مدت روی آوردند، دلیل این امر این بود که این دسته امکان کسب سود از طریق پیش بینی بازار را منتفی دانسته و لذا فرصتی برای کسب سود غیر عادی از طریق خرید و فروش کوتاه مدت وجود ندارد. دسته دیگر سرمایه گذاران به این نظریه اعتقاد ندارند و به آن انتقادهایی دارند. این دسته به پیش بینی بازار سرمایه اعتقاد داشته و لذا از مدل‌های مختلفی برای این پیش‌بینی‌ها استفاده کرده‌اند. این دسته، علاوه بر سرمایه گذاری‌های بلند مدت، به سرمایه گذاری‌های کوتاه مدت و میان مدت نیز پرداخته و از طریق خرید و فروش‌های پیوسته، تلاش در کسب سود غیر عادی می‌کنند. از جمله انتقادهایی که به نظریه کارایی بازار سرمایه وارد است، می‌توان به قواعد مشهور بازار سرمایه اشاره کرد. از جمله این قواعد می‌توان به پایین آمدن قیمت‌ها به صورت عمومی در پایان هفته‌ها اشاره کرد؛ دلیل این امر این است که در روزهای تعطیل ممکن است اتفاقات ناخوشایندی رخ دهد که باعث افت شدید قیمت‌ها در ابتدای هفته بعد منجر شود. قاعده دیگر پایین آمدن قیمت‌ها در انتهای سال است. به صورت عمومی بازدهی سهامی که P/E بالاتری دارند، بالاتر است. این قواعد که به صورت عرف بازار درآمده‌اند از جمله نقدهایی است که سرمایه گذاران به نظریه کارایی بازار سرمایه که پیش بینی را غیرممکن می‌داند وارد می‌دانند. انتقاد دیگر سرمایه گذاران، این است که روندهای فصلی، دوره‌ای و خطی و غیرخطی از طریق مدل‌های اقتصادسنجی و سری زمانی کاملا قابل شناسایی و مشهود است. از نظر تجربی، بسیاری از سرمایه گذاران با استفاده از تحلیل‌های تکنیکال و بنیادین به کسب سود می‌پردازند. (پوا 2008) در مقاله‌ای به بررسی روندهای موجود در بازار سرمایه پرداخته و اظهار می‌دارد که از نقطه نظر عملی این نظریه صحیح نبوده و نظریه کارایی بازار سرمایه، در یک بازار کاملا ایده آل صحت دارد. لذا با توجه به انتقادهای ذکر شده و فرصت‌های عملی درک شده در بازار توسط سرمایه گذاران، در این مقاله فرض پیش بینی پذیر بودن بازار سرمایه مورد قبول قرار گرفته و به اولین سؤال مطرح شده به این صورت پاسخ می‌دهیم. 1-3- ابعاد مختلف بازار سرمایه و ابزارهای پیش بینی حال که به پیش بینی پذیر بودن بازار اعتقاد پیدا می‌کنیم، زمان پاسخ دادن به سؤالات سه گانه مطرح شده می‌رسد، چه سهمی، چه محدوده زمانی و چه قیمتی. برای پاسخ دادن به این سؤال از مدل‌های بسیار متنوعی استفاده شده است. مدل‌های که به پیش بینی سهم مورد نظر می‌پردازند عموما با استفاده از تحلیل‌های بنیادین و روش‌های کلاسیک پیش بینی مثل اقتصاد سنجی و سری زمانی مورد بررسی قرار می‌گیرند. مدل‌هایی که به محدوده زمانی می‌پردازند، در پی یافتن استراتژی خاصی برای معاملات هستند و از مدل‌های تحلیل و پیش بینی تکنیکال یا مدل‌های توسعه یافته هوش مصنوعی بهره می‌برند. در پاسخ به سؤال چه قیمتی، دسته بسیار بزرگی از مدل‌ها به کار می‌آیند. مدل‌های کلاسیک، تحلیل‌های بنیادی، تحلیل‌های تکنیکی و الگوریتم‌های هوش مصنوعی. در این مقاله ما به طور دقیق در پی پاسخ به سؤال سوم، یعنی پیش بینی قیمت هستیم، بیشترین گوناگونی در حوزه پیش بینی نیز در این حوزه است. در ادامه به اختصار به توضیح کوتاهی از انواع مدل‌های پیش بینی و دلیل انتخاب شبکه های عصبی به عنوان مدل منتخب می‌پرازیم. مدل‌های پیش‌بینی قیمت سهام را می‌توان به صورت کلی در سه دسته جای داد، تحلیل‌های تکنیکال، تحلیل‌های بنیادین و تحلیل‌های با استفاده از الگوریتم‌های هوش مصنوعی. تحلیل تکنیکال با مطالعه روند تغییرات گذشته قیمت سهام و با این پیش فرض که اتفاقات گذشته در آینده تکرار می‌شود به پیش‌بینی می‌پردازد. در واقع چارتیست‌ها یا همان تکنیکال کاران اعتقاد دارند که تنها چیزی که قیمت سهام را تغییر می‌دهد میزان تقاضا و عرضه در بازار است. در واقع این دسته اعتقاد دارند که قیمت سهام تحت تأثیر هر عامل دیگر بنیادین اقتصادی که تغییر کنند، این عوامل تنها روی عرضه و تقاضا در بازار تأثیر دارند و لذا با پیش بینی این مقادیر می‌توان قیمت‌ها را نیز پیش بینی کرد. دو مدل کلی به کار گرفته شده توسط این دسته عبارتند از تطابق الگوها و استفاده از اندیکاتورها؛ الگوها در واقع روند‌های تغییر قیمت در گذشته هستند که با توجه به اعتقاد به تکرار شدن آنها در آینده می‌توان از انطباق آنها برای پیش بینی آینده استفاده کرد. اندیکاتورها نیز مدل‌های ریاضی هستند که با استفاده از شاخص‌های قیمتی مثل قیمت باز و بسته شدن و حجم مبادلات انجام شده، عرضه و تقاضا و در نهایت قیمت را پیش‌بینی می‌نمایند. تحلیل بنیادین با شناسایی عوامل مؤثر بر قیمت سهام و تحلیل تأثیر هر کدام به پیش‌بینی قیمت می‌پردازد. فاندامنتال کاران یا همان استفاده‌کنندگان از تحلیل بنیادین اعتقاد دارند که عوامل بسیار زیادی در قیمت سهام تأثیر دارند. قیمت‌های جهانی محصولاتی که کمپانی‌ها تولید می‌کنند، قیمت مواد اولیه مورد نیاز آنها و سایر عوامل سیاسی و اقتصادی تأثیرگذار در فروش و سود کمپانی از جمله این عوامل هستند. به طور کلی تحلیل‌هایی که در این حوزه صورت می‌گیرند عبارتند از تحلیل صورت‌های مالی که به دو صورت افقی (مقایسه صورت‌های مالی در طی سالیان مختلف و تحلیل تغییرات آنها) و عمودی (تحلیل عناصر موجود در صورت مالی و مقایسه آنها و بررسی نسبت‌های مالی) و همچنین مدل‌های کلاسیک پیش‌بینی نظیر رگرسیون (پیدا کردن رابطه میان قیمت سهام و متغیرهایی که تعریف می‌گردند) و سری زمانی (شناخت سیکل‌ها و روندهای موجود در قیمت سهام). الگوریتم‌های هوش مصنوعی که استفاده از آنها به سرعت در حال رشد میان سرمایه گذاران است در واقع تلفیقی از تمام روش‌های پیش بینی ذکر شده با توانایی برازش منحنی‌های غیرخطی با درجه بالا است. این الگوریتم ها قابلیت کار با تعداد زیادی از متغیرها و پیدا کردن رابطه مناسب میان این متغیرها را دارند. آنگونه که ذکر شد، عوامل تأثیر گذار در قیمت سهام بسیار زیاد هستند و مدل‌های کلاسیک و تحلیل‌های قدیمی و تجربی پاسخگوی این تعداد عوامل نیستند. برای پیش بینی‌های کوتاه مدت عموما از مدل‌های کلاسیک سری زمانی و تحلیل تکنیکال استفاده می‌شود، هر کدام از این دو، تعداد زیادی الگوریتم دیگر را شامل می‌شوند که کار جمع بندی و نتیجه گیری را دشوار می‌کند. الگوریتم‌های هوش مصنوعی این قدرت را دارند که تمام این تحلیل‌ها را با یکدیگر به وسیله وزن دهی‌های بهینه ترکیب کرده و یک جواب یکتا و بهینه را ارائه دهد. از میان الگوریتم‌های هوش مصنوعی، استفاده از شبکه‌های عصبی در مبحث پیش بینی بسیار زیاد است. این امر به دلیل قابلیت شبکه عصبی در کار با تعداد زیادی متغیر، برازش بسیار دقیقی از سری زمانی، تحت تأثیر داده‌های پرت قرار نگرفتن، عدم محدودیت برای درجه خاصی از غیر‌خطی بودن و انعطاف پذیر بودن شبکه در مقابل تغییرات پارامترهای مدل می‌باشد. از جمله اقبالی که به این مدل‌ها شده است می‌توان به تاوارس و همکاران (2010)، فاریا و همکاران (2009)، تسای و چیو (2009) و کارا و همکاران (2011) اشاره کرد که در تحقیقات خود، شبکه‌های عصبی را از مدل‌های کلاسیک و دیگر الگوریتم‌های هوش مصنوعی برتر می‌دانند. اولیویرا و همکاران (2013) در بررسی جامعی که روی بازار بورس برزیل انجام دادند، به این نتیجه رسیدند که شبکه عصبی از ماشین‌های بردار پشتیبان (SVM) و سری زمانی در امر پیش بینی قیمت کارا هستند. با توجه به دلایل ذکر شده و نتایج گرفته شده در سایر تحقیقات که قسمتی از آنها ذکر شد، در این مقاله، ما نیز شبکه‌های عصبی را جهت پیش بینی قیمت سهام انتخاب می‌کنیم. نکته مهم در استفاده از شبکه‌های عصبی این است که این شبکه ها در ابتدا با استفاده از 75 درصد داده ها (به صورت عمومی) وارد فرآیند یادگیری می‌شوند. در این مرحله به دلیل قابلیت بالای شبکه عصبی جهت برازش منحنی‌های پیچیده، ممکن است شبکه مدل را پیچیده‌تر از آنی که هست شناسایی کند. این امر باعث می‌شود که مقادیر پیش‌بینی به مقادیر واقعی نزدیک‌تر شوند و تخمین دقیق‌تری در مرحله آموزش صورت گیرد. نکته در اینجاست که حدی از تغییرات و اختلاف میان مقادیر پیش بینی و واقعی به خاطر تصادفی بودن این تغییرات است. در تمام مدل‌های پیش‌بینی این جزء تصادفی وجود دارد ولی شبکه‌های عصبی برای تخمین این مقادیر، از تعداد متغیرهای زیادتری استفاده می‌کنند در حالی که این مقادیر تصادفی بوده و پیش بینی پذیر نیستند. این خاصیت که به آن بیش برازش می‌گویند بزرگترین مشکل شبکه‌های عصبی می‌باشد. برای از بین بردن این بیش برازش، باید ورودی‌های شبکه عصبی را کاهش داد. به عبارتی باید اجازه بیش برازش را به شبکه‌های عصبی نداد. در این مقاله برای این کاهش تعداد متغیرها از داده کاوی استفاده شده است. داده کاوی علم کاوش داده‌ها جهت کشف دانش است. علم داده کاوی با ارائه راهکارهای مختلف، اولین رکن استفاده از داده‌ها جهت کشف دانش را حذف داده‌های اضافی و شاخ و برگ‌های غیر ضروری می‌داند و لذا در این مقاله از چند تکنیک داده کاوی که در ادامه شرح داده خواهد شد استفاده گردیده است. همچنین، همانگونه که ذکر شد، مدل‌هایی که برای پیش بینی‌های کوتاه مدت مورد استفاده قرار می‌گیرند، مدل ‌های سری زمانی و تحلیل‌های تکنیکال می‌باشند. از آنجا که ما قصد پیش بینی قیمت بسته شدن سهام را به صورت روزانه داریم نیز، با تلفیق این دو مدل، با استفاده از اندیکاتورهای تحلیل تکنیکال و قیمت‌های روزهای قبل به پیش بینی می‌پردازیم. قسمت دوم این مقاله به تحقیقات مشابه، قسمت سوم به تعریف فرآیند و روش انجام تحقیق، قسمت چهارم به نتایج تحقیق، قسمت پنجم نتیجه گیری و قسمت ششم به منابع تخصیص یافته است. 1-4- پژوهش‌های مشابه لو و همکاران (2014) پس از بررسی دلایل بیش برازش و تعمیم نامناسب شبکه‌های عصبی، با اعمال تغییراتی در شبکه عصبی و به کار بردن کلاسی از تأخیر سازنده RBF شبکه‌های عصبی؛ موفق شده است که شبکه عصبی با دقت بیشتر و البته تعداد نرون های کمتر در لایه پنهان شبکه عصبی ساخته و نتایج آن را در دنیای واقعی امتحان کرده است. لاهمیری (2013) با به کاربردن تبدیلات گسسته ویولت (SWT) و تقسیم سری زمانی قیمتی به دو بخش ماژور و مینور، نتیجه می‌گیرد که بخش ماژور در واقع دارای فراوانی و پراکندگی پایین تری بوده و برای پیش بینی روند بلند مدت قیمت سهام مناسب است. وی پس از تبدیلات مذکور، با استفاده از شبکه‌های عصبی بازخور برگشتی، به پیش بینی قیمت سهام پرداخته و با بررسی تئوری خود در 15 پایگاه داده، نتیجه می‌گیرد که الگوریتم پیشنهادی وی از مدلهای ARMA و RW عملکرد بهتری دارد. تیکنور (2013) با در نظر گرفتن قیمت‌های روزانه و اندیکاتورهای تحلیل تکنیکال به عنوان ورودی شبکه عصبی، قیمت بسته شدن روز بعد را پیش بینی می‌کند. وی با بیان پیچیدگی‌های موجود در روند تغییرات قیمت سهام و مشکلات پیش بینی آن، برای جلوگیری از بیش برازش و بیش آموزش پیشنهاد می‌کند که شبکه عصبی توسط الگوریتم بیزین کنترل شده و برای مدل‌های با پیچیدگی بالا جریمه هایی تعیین گردد تا از بیش برازش و بیش آموزش جلوگیری شود. وی صحت ادعای خود را در سهام‌های مایکروسافت و گلدمن به بوته آزمایش می‌گذارد. بیسون (2014) با بیان این مسئله که سرمایه گذاری در بازار سهام، به دلیل بازده خوب آن همواره مورد توجه سرمایه گذاران بوده است؛ کسب بازده و سود مناسب در این بازار را منوط به دانستن و پیش بینی کردن نقاط بازگشت قیمت می‌دانند. لذا پیش بینی قیمت سهام در روزهای آینده را مهمترین امر در راه رسیدن به این مهم می داند. وی با استفاده از فیلتر کلمن، داده ها را پیش پردازش کرده و با شبکه‌های عصبی دینامیک به پیش بینی قیمت می پردازد. وی برای اثبات کارایی مدل پیشنهادی، چهار سهم از بازار سهام هند؛ بمبئی را انتخاب و بررسی کرده است. الیویرا (2013) با مهم دانستن این مسئله که پیش بینی جهت تغییر قیمت سهام سهم به سزایی در تنظیم سیاست‌های معامله گران دارد، پیشنهاد می‌کند که با استفاده از داده‌های تاریخی در مدل‌های ریاضی می‌توان به صحت و دقت خوبی در پیش بینی رسید. وی با بیان این مسئله که سه نوع تحلیل سری زمانی، تکنیکال و فاندمنتال برای تحلیل داده های تاریخی به کار گرفته می شوند، شبکه عصبی طراحی می‌کند که داده‌های ورودی آن، از ورودی های هر سه تحلیل ذکر شده می‌باشد. در واقع وی هر سه تحلیل را با هم یکی کرده و از قابلیت های هر کدام استفاده می‌کند. همچنین پیشنهاد می‌کند که استفاده محض از تمام داده‌ها باعث بیش برازش و پایین آمدن دقت شبکه می‌شود و لذا با استفاده از تکنیک های متعدد داده کاوی، داده ها را پیش پردازش می‌کند. وی صحت گفته‌های خود را در بازار سهام برزیل تأیید می‌کند. کارا و همکاران (2011) با بیان این مسئله که پیش بینی جهت تغییرات قیمت سهام امری چالش برانگیز و در صورت صحت بسیار پر سود است، بسط مدل‌های ریاضی برای این مهم را به دلیل پیچیدگی‌های ذاتی بازار سهام بسیار مشکل می‌داند. وی با استفاده از اندیکاتورهای تحلیل تکنیکال به عنوان ورودی، کارکرد و نتایج عملکرد دو الگوریتم دسته بندی شبکه های عصبی و ماشین های بردار پشتیبان را بررسی کرده و با مقایسه نتایج، کارکرد شبکه های عصبی را بهتر و مفید تر می‌یابد. جاسمی و همکاران (2011) شبکه‌های عصبی را به همراه تحلیل تکنیکال و نمودارهای شمعی ژاپنی به کار می برد، وی در پژوهشی به جای اینکه با شبکه‌های عصبی قیمت و یا اندیکاتورها را پیش بینی کند، در صدد پیش بینی و برازش یک مدل رگرسیون می‌باشد که متغیرهای مستقل آن، اندیکاتورهای تکنیکی و متغیر مستقل آن روند کوتاه مدت قیمت است. اندیکاتورهای تکنیکی توسط دو روش داده‌های خام و تحلیل تکنیکال به ترتیب به تعداد پانزده و بیست و چهار عدد تعریف شده‌اند. در نهایت با آزمایش بر روی داده‌های حاضر در یاهو فایننس به این نتیجه می‌رسد که نتایج پیش بینی به این روش بسیار کارآمدتر از متدهای کلاسیک است. چانگ (2012) با ارائه مدل جدیدی از شبکه‌های عصبی تحت عنوان شبکه عصبی نیمه متصل به پیش بینی قیمت سهام به وسیله اندیکاتورهای تکنیکال می‌پردازد. این شبکه جدید، از نظر تابع فعال سازی، تعداد لایه‌ها و اتصال نرون‌ها با شبکه های عصبی معمول تفاوت دارد. نخست اینکه اتصال داشتن یا نداشتن دو نرون با هم تصادفی تعیین می‌گردد. تفاوت دوم در تصادفی بودن تعداد لایه ها نیز می‌باشد و سرانجام تابع فعال سازی نیز به جای سیگموید، تابع سینوسی انتخاب می‌گردد. وی برای اثبات کارآمدی الگوریتم پیشنهادی، آن را از سه نظر امتحان می‌کند. اوّل دقت پیش بینی آن را یعنی تفاوت مقادیر پیش بینی شده و مقادیر واقعی سنجیده، سپس از نظر بیش برازش با مدل‌های معمولی شبکه عصبی مقایسه کرده و در نهایت عملکرد آن را با سایر الگوریتم‌های رقیب مقایسه کرده است. لو (2010) با این مقدمه که پیش بینی قیمت سهام و اساسا پیش بینی در تمام بازارهای مالی کاری سخت و چالش برانگیز است، استدلال می‌کند که این امر به دلیل وجود اغتشاش فراوان در میان داده‌های پیش بینی کننده است. وی پیشنهاد می‌کند که با به کار بردن آنالیز متغیر مستقل یکپارچه؛ در ابتدا باید در میان داده‌های پیش بینی کننده آنهایی که مستقل هستند را یافته، اغتشاش موجود در آنها را از بین برده و پس از آن ورودی ها را به منظور پیش بینی قیمت به شبکه عصبی داد. وی برای اثبات مدعای خود دو شاخص بازار بورس تایلند و نیکی را انتخاب کرده و با مقایسه عملکرد الگوریتم پیشنهادی با اغتشاش زدایی توسط امواج ویولت و سپس به کار بردن شبکه‌های عصبی بازخور بازگشتی و همچنین با شبکه‌های عصبی معمولی بدون فیلترینگ و همچنین قدم زدن تصادفی؛ الگوریتم پیشنهادی را کارا می‌یابد. وانگ و همکاران (2011) نیز اظهار می‌دارد که پیش بینی قیمت سهام به دلیل بالا بودن تعداد متغیرهای مستقل امری مشکل و چالشی است. وی پیشنهاد می‌کند در ابتدا توسط الگوریتم WDBP با استفاده از ویولت اغتشاشات موجود میان داده ها از بین رفته و توسط شبکه‌های عصبی پس خور بازگشتی، پیش بینی انجام گیرد. همچنین برای اثبات الگوریتم پیشنهادی خود، آن را در بازار شانگهای به بوته آزمایش گذاشته و عملکرد بهتر الگوریتم پیشنهادی را نسبت به شبکه عصبی پس خور بازگشتی تصدیق می‌نماید. 1-5- ضرورت انجام تحقیق و اهمیت تحقیق همانگونه که پیش‌تر و در ادبیات موضوعی دیده شد، پیش بینی قیمت بالا و قیمت پایین برای یک دوره جلوتر، پیش از این انجام نشده است و خلاء وجود مدلی برای پیش بینی که به طور عملی قابل استفاده باشد، احساس می شود. پیش از این، در پژوهش های مشابه، تنها قیمت بسته شدن پیش بینی می شده است و این در حالی است که پیش بینی کننده سهم، ممکن است مالک سهام نباشد. در این حالت، پیش بینی کننده توانایی عملی برای استفاده از مدل را ندارد. دلیل این امر این است که وی احتمالا مجبور است، سهام را با همان قیمتی که پیش بینی می کند، خریداری کند. لذا در این پژوهش، به پیش بینی دو قیمت بالا و پایین پرداخته شده و توسط آن، پیش بینی کننده این فرصت را دارد که در قیمت پایین سهام را خریداری کرده و در قیمت بالا آن را بفروشد. 1-6- اهداف تحقیق اهداف اصلی این پژوهش عبارتند از : شناسایی مؤثرترین اندیکاتورهای تحلیل تکنیکال برای پیش بینی قیمت سهام مورد نظر داده کاوی سری های زمانی برای تشخیص شبیه ترین سری زمانی به سری زمانی هدف، جهت پیش‌بینی تغییرات آینده سهام هدف، با استفاده از تغییرات گذشته قیمت سهم مشابه طراحی و ساخت شبکه عصبی برای پیش بینی قیمت‌های بالا و پایین سهام مورد نظر 1-7- ساختار تحقیق در ادامه این پژوهش و در فصل دوم، به معرفی شبکه های عصبی و انواع آن، داده کاوی و نقش آن در پیش پردازش داده ها و داده کاوی سری‌های زمانی و اندیکاتورهای تحلیل تکنیکال می‌پردازیم. در فصل سوم به بیان روش تحقیق انجام شده با جزئیات کامل، شامل مراحل سه گانه پیش پردازش و ساخت اطلاعات و ابزارهای به کارگرفته شده در هر مرحله، معماری شبکه عصبی و الگوریتم‌های فعال سازی و همچنین الگوریتم‌های رقیب خواهیم پرداخت. در فصل چهارم، نتایج عملی به دست آمده از داده کاوی سری‌های زمانی و ساخت شبکه عصبی، به تفصیل توضیح داده می‌شود و نتایج به دست آمده، با نتایج الگوریتم‌های رقیب مقایسه می گردد. در انتها و در فصل پنجم، به بررسی نتایج و پیشنهادات برای تحقیقات آتی خواهیم پرداخت فصل سوم روش تحقیق 3-1- مقدمه آنگونه که در فصل دوم این پژوهش بررسی شد، شبکه های عصبی توانایی بسیار خوبی برای تخمین و برازش مدل های پیچیده غیر خطی دارند. مشکلی که در این میان وجود دارد این است که این شبکه ها اغلب دچار بیش برازش می شوند. به این معنا که مدل را پیچیده تر از آنچه که هست تخمین می زنند. این اتفاق به این دلیل می افتد که بسیاری از نوسانات موجود در قیمت سهام به دلایل خاصی اتفاق می افتند که یا قابل پیش بینی نیست و یا این دلایل بسیار زود گذر بوده و تکرار پذیر نیستند. به صورت مشخص، هیچ مدل پیش بینی نمی تواند کاملا درست به مدل اصلی برازش شود و لذا در تمام مدل ها و متدهای پیش بینی مقدار باقی مانده و اختلاف حاصل بین مقدار پیش بینی و مقدار واقعی را تا حدی طبیعی دانسته و آن را به عنوان جزء تصادفی قلمداد می کنند که به هیچ صورتی قابل پیش بینی نیست؛ دلایل این امر همانگونه که گفته شد، پیش بینی پذیر نبودن عوامل رقم زننده مقدار تصادفی و تکرار ناپذیر بودن آنها است. بنابراین می توان گفت که مدل اصلی داده های واقعی به حدی که به نظر می رسد پیچیده نیست، و نوسانات حول آن جنبه تصادفی داشته و قسمتی از مدل واقعی به حساب نمی آیند. در واقع مدل اصلی ساده تر از آنچه که به نظر می آید است. شبکه های عصبی اما با توجه به قدرت بسیار زیاد در برازش، تلاش می کنند تا این جزء تصادفی را به صفر برسانند و برای این کار مدل را پیچیده تر از حد واقعی آن تخمین می زنند. این مسئله در مورد داده های آموزشی شبکه عصبی مشکلی ایجاد نمی کند. اما در هنگام کار با داده های آزمون، خطای مدل را بالا برده و دقت شبکه پایین تخمین زده می شود. برای جلوگیری از این مشکل، از ابزارهای متعدد معرفی شده توسط علم داده کاوی که به اختصار در فصل دوم توضیح داده شد بهره گرفته می شود. این ابزارها، آن دسته از داده ها را که دارای جزء تصادفی زیادی می باشند، شناسایی کرده و از میان داده ها حذف می کنند تا شبکه تحت تأثیر آنها قرار نگیرد؛ چرا که شبکه عصبی سعی می کند تا حد زیادی آن داده ها را نیز درست تخمین بزند و لذا دچار بیش برازش می شود. علاوه بر این، این ابزارها با کاهش شاخص های تعریف شده، تعداد ورودی های شبکه را کاهش داده و عواملی که کمک زیادی به پیش بینی نمی کنند را حذف می کند. دلیل این امر نیز همانگونه که ذکر شده، دائمی نبودن تأثیر این متغیرها و لذا افزایش احتمال بیش برازش شبکه عصبی است. همچنین با بهره گیری از ابزار داده کاوی سری های زمانی، به شناسایی و به کارگیری سری های زمانی مشابه پرداخته و از آنها به عنوان ورودی شبکه عصبی استفاده می شود. همانگونه که در فصل دوم توضیح داده شد، تحلیل های تکنیکی و بنیادین با استفاده از ابزارهای متنوعی به پیش بینی می پردازند. به گونه ای که تحلیل تکنیکی برای پیش بینی های کوتاه مدت و تحلیل بنیادین برای پیش بینی های بلند مدت استفاده می شوند. از آنجا که بنا داریم در این تحقیق به پیش بینی قیمت سهام در یک دوره زمانی جلوتر بپردازیم، از اندیکاتورهای تحلیل تکنیکی استفاده کرده و آنها را به عنوان ورودی شبکه عصبی انتخاب می کنیم. بنابراین در این تحقیق از دو نوع ورودی، شامل اطلاعات سری های زمانی مشابه و اندیکاتورهای تحلیل تکنیکی استفاده می کنیم. در ادامه این فصل، در ابتدا به چگونگی استفاده از داده کاوی برای پیش پردازش داده ها و انتخاب داده ها پرداخته و سپس به طراحی شبکه عصبی می پردازیم و در نهایت با معرفی الگوریتم های رقیب و معیارهای سنجش خوبی عملکرد مدل برازش شده توسط شبکه عصبی خواهیم پرداخت. خلاصه مراحل انجام تحقیق به صورت گرافیکی در شکل 3-1 نشان داده شده است. شکل 3-1 : شمای کلی مراحل انجام تحقیق 3-2- جمع آوری داده ها داده های مورد نیاز این پژوهش عبارتند از قیمت های بالا، پایین، بسته شدن و حجم معاملات؛ با استفاده از این داده ها اندیکاتورهای تحلیل تکنیکال حساب شده و برای پیش بینی مورد استفاده قرار می گیرند. همچنین برای اعتبارسنجی هرچه بهتر مدل، آن را در میان سه صنعت از صنایع حاضر در بورس اوراق بهادار تهران آزمایش می کنیم. برای هر یک از صنایع، یکی از شرکت های حاضر را انتخاب و پژوهش پیش رو را برای آن انجام می دهیم. صنایع و شرکت های منتخب در جدول 3-1 شرح داده شده اند. جدول 3-1 : صنایع و شرکت های انتخاب شده جهت انجام پژوهش صنعتشرکتنمادبانک ها و مؤسسات اعتباریبانک پارسیانوپارسمحصولات شیمیاییصنایع شیمیایی فارسشفارسفلزات اساسیفولاد مبارکه اصفهانفولاد بنابراین، در هر صنعت، پژوهش، بر روی شرکت معرفی شده انجام می گردد و برای شناسایی سری های زمانی مشابه نیز از شرکت های موجود در همان صنعت استفاده خواهد شد. 3-3- پیش پردازش داده ها همانگونه که شرح داده شد، برای هر یک از سه شرکت مذکور اندیکاتورهای تکنیکی به دست خواهد آمد و علاوه بر این سری های زمانی مشابه نیز شناسایی خواهند شد. بر طبق متدهای داده کاوی در ابتدا باید پیش پردازشی روی داده ها انجام گیرد و کاهش سطری صورت پذیرد، اطلاعات لازم ساخته شده و متغیرها و پارامترها شناسایی شوند و پس از آن برای جلوگیری از بیش برازش شبکه عصبی باید بر اساس متدهای داده کاوی کاهش ستونی نیز صورت گیرد. 3-3-1- کاهش سطری داده ها داده های به دست آمده در مورد هر شرکت و سری های زمانی مشابه آن باید در ابتدا مورد بررسی قرار گیرند تا داده های مغشوش و داده های پرت شناسایی و از میان پایگاه داده حذف گردند. داده های مغشوش شامل داده هایی هستند که اعداد آنها غیرمنطقی بوده و قابل استفاده نیستند و داده های پرت نیز همانگونه که گفته شد، دارای تأثیر به سزایی در کاهش دقت شبکه بوده و آن را دچار بیش برازش می کند. در این راستا همانگونه که در ادامه خواهیم دید، در ابتدا به حذف داده های مغشوش و سپس داده های پرت خواهیم پرداخت. 3-3-1-1- حذف رکوردهای مغشوش همانگونه که گفته شد، داده های مورد نیاز این پژوهش عبارت از قیمت های بالا، پایین، بسته شدن و حجم معاملات. تعریف داده های مغشوش در یکی از سه حالت زیر رخ خواهند داد : قیمت بالا کمتر از قیمت پایین باشد قیمت بالا کمتر از قیمت بسته شدن باشد قیمت بسته شدن کمتر از قیمت پایین باشد مشخص است که بر طبق قواعد بالا، داده های با این وضعیت کاملا غیر منطقی بوده و به دلایل خطاهای ثبتی ایجاد شده اند و لذا از میان پایگاه داده حذف خوهند شد. علاوه بر این قسمتی از داده ها نیز اصلا ثبت نشده و یا به صورت غیر منطقی ثبت شده اند، برای مثال به جای اعداد NaN نوشته شده و یا رکورد خالی ثبت شده است. این موارد از داده ها نیز از میان پایگاه داده حذف خواهند شد. 3-3-1-2- حذف داده های پرت برای شناسایی داده های مغشوش از حدود بلینگر استفاده می شود. حدود بلینگر در واقع حدود نوسانی هستند که بر روی یک میانگین متحرک قیمت زده می شوند. هنگامی که پراکندگی داده ها زیاد می شوند این حدود از هم باز شده و در هنگام کاهش این پراکندگی، حدود به هم نزدیک می شوند. فرمول کلی حدود بالا و پایین بلینگر در این تحقیق به شکل زیر هستند : Upper Band=20-day SMA+(20-day standard deviation*2)3-1 Lower Band=20-day SMA-(20-day standard deviation*2)3-2 از آنجا که این حدود وابسته به واریانس قیمت های گذشته می باشد، می توان گفت که این اندیکاتور انتظارات سرمایه گذار را برای قیمت آتی با توجه به قیمت بیست دوره گذشته مشخص می کند و لذا در صورتی که داده ای از این حدود خارج شود، می توان گفت که داده پرت بوده و به علت خاصی رخ داده است. داده های پرت تأثیر به سزایی در کاهش دقت مدل و افزایش بیش برازش دارند و علاوه بر این به دلایلی رخ می دهند که قابل تشخیص نبوده و تکرار هم نمی شوند. بنابراین در تحقیقات با دو رویکرد به این داده ها پرداخته می شود؛ برخی آنها را تلطیف کرده و برخی آنها را حذف می کنند. در پژوهش حاضر، پس از تشخیص داده های پرت از طریق حدود بلینگر، این داده ها از پایگاه داده حذف می گردند و لذا رکوردی که شامل این داده است نیز به صورت کلی از میان داده ها پاک می شود. 3-3-2- ساخت اطلاعات مورد نیاز در این تحقیق، از اندیکاتورهای تحلیل تکنیکال و همچنین سری های زمانی مشابه به عنوان ورودی های شبکه عصبی استفاده می شود. در این بخش در ابتدا اندیکاتورهای بررسی شده در این تحقیق و سپس سری های زمانی مشابه که توسط داده کاوی سری های زمانی شناسایی می گردند، شناسایی می شوند. این مرحله به این دلیل پس از کاهش سطری انجام می گیرد که این اطلاعات بر پایه رکوردهای به دست آمده در مرحله اول ساخته شده و یا شناسایی می شوند و لذا در صورتی که داده های مغشوش یا داده های پرت در میان داده های ابتدایی وجود داشته باشند، این اطلاعات و متغیرها را نیز دستخوش تغییر و داده های مغشوش می نمایند. 3-3-2-1- ساخت اندیکاتورهای تحلیل تکنیکال همانگونه که در فصل دوم شرح داده شد، اندیکاتورهای تحلیل تکنیکال حوزه بسیار وسیع و گوناگونی دارند و علاوه بر این می توانند به دلخواه سرمایه گذاران تغییر کرده و یا با ترکیب با یکدیگر، اندیکاتورهای جدیدی را تشکیل دهند. لذا باید توجه کرد که بررسی تمام اندیکاتورهای در دسترس سرمایه گذاران و جمع آوری آنها کاری تقریبا ناممکن است و علاوه بر این، هیچ سرمایه گذاری از تمام اندیکاتورها استفاده نمی کند. لذا در این تحقیق تعداد مشخصی از اندیکاتورها که در جدول 3-2 معرفی شده اند مورد استفاده قرار خواهند گرفت. لازم به ذکر است که این اندیکاتورها بر اساس اندیکاتورهای پرکاربرد شناسایی شده در ادبیات تحقیق انتخاب شده اند. جدول 3-2 : اندیکاتورهای به کار رفته در پژوهش اندیکاتورشرح و کارکردADLبا ترکیب قیمت و حجم معاملات، تعیین می کند که جریان پولی وارد شونده یا خارج شونده از سهم چقدر استAroonبا استفاده از دو اندیکاتور ارون بالا و ارون پایین، وجود روند در قیمت را تأیید یا رد می کندAroon oscillatorتفاوت دو اندیکاتور ارون بالا و ارون پایین را مشخص می کندADXنشان می دهد که آیا روند خاصی در قیمت سهام در حال ایجاد شدن است یا خیرATRنوسانات موجود در قیمت سهام را اندازه گیری می کندBandwidthاختلاف درصدی میان حدود بالا و پایین بلینگر را نشان می دهد%B Indicatorارتباط میان قیمت و واریانس قیمت سهام را نشان می دهدCCIبا تعریف قیمتی تحت عنوان typical، پراکندگی قیمت سهم حول این قیمت را نشان می دهدCoppok Curveاسیلاتوری که با استفاده از اندیکاتور ROC و میانگین متحرک وزن دار، مومنتوم را اندازه گیری می کندCMFبا ترکیب قیمت و حجم معاملات، جریان پولی در حال مبادله در سهم خاص را نشان می دهدChakin Oscillatorبر پایه اندیکاتور ADL، جریان وارد شونده یا خارج شونده پولی به سهم را نشان می دهدEMVبا مقایسه قیمت و حجم معاملات، معنادار بودن روند را تأیید یا رد می کندForce Indexاسیلاتور ساده ای بر پایه قیمت و حجمMass Indexزمانی که قیمت سهام دچار نوسان زیادی می شود، نقاط برگشت را پیش بینی می کندMACDاسیلاتوری بر مبنای اختلاف دو میانگین موزون متحرکMACD-Histogramاسیلاتور نشان دهنده اختلاف اندیکاتور MACD و خط سیگنال آنMFIورژن وزن دار شده اندیکاتور RSI که برای تخمین فشار خرید و فروش به کار می آید جدول 3-2 : اندیکاتورهای به کار رفته در پژوهش : ادامه جدول NVIاندیکاتور تجمعی بر مبنای حجم مبادلات که نقاط بازگشت را پیش بینی می کندOBVترکیب کننده قیمت و حجم مبادلات برای تشخیص جریان پولی وارد شونده یا خارج شونده به سهم مورد نظرPPOورژن بر مبنای درصد اندیکاتور MACDPVOهمان اندیکاتور PPO که به جای قیمت برای حجم مبادلات به کار گرفته شده استKSTاسیلاتور بر مبنای ROC تلطیف شده و در چهار چارچوب زمانی مختلفROCنشان دهنده سرعت تغییرات قیمت سهام استRSIنشان می دهد که قیمت سهام در روند فعلی با چه قدرتی در حرکت استStochastic Oscillatorنشان می دهد که قیمت سهم نسبت به گذشته خود چگونه در حال تغییر استVolatilityهمان واریانس قیمت سهام برای بررسی پراکندگی قیمت حول میانگین متحرکStochRSIکمک می کند که تغییرات RSI به صورت شفاف قابل رؤیت باشدTRIXیک میانگین متحرک از قیمتی که سه بار نرم (smooth) شده استTSIاندیکاتوری برای اندازه گیری جهت تغییرات قیمت سهام و خرید و فروش بیش از اندازهUlcer Indexاندیکاتوری برای اندازه گیری نوسانات و ریسک بازارUltimate Oscillatorاین اندیکاتور میانگین های متحرک کوتاه مدت، میان مدت و بلند مدت را با یکدیگر ترکیب می کندVortex Indicatorاندیکاتوری برای تشخیص روندهای جدید و نقاط خرید و فروش بیش از اندازهWilliams %Rبا استفاده از احتمالات، نقاط خرید و فروش بیش از اندازه را اندازه می گیردDPOاسیلاتور قیمتی که با حذف روند، چرخه ها را پیش بینی می کند بنابراین، در این مرحله اندیکاتورهای تکنیکی برای پیش بینی قیمت سهم با استفاده از اطلاعات قیمتی سهم شامل قیمت بالا، پایین، بسته شدن و اطلاعات حجمی شامل حجم معاملات ساخته می شوند. 3-3-2-2- داده کاوی سری های زمانی همانگونه که گفته شد، اطلاعات دیگری که برای پیش بینی باید به پایگاه داده اضافه گردند شامل سری های زمانی مشابه سری زمانی در دست بررسی می باشند. برای شناسایی شبیه ترین سری ها به سری قیمت های سهم مورد نظر، از داده کاوی سری های زمانی استفاده می گردد. برای داده کاوی سری های زمانی روشهای زیادی موجود هستند، در این پژوهش به دلیل حجیم بودن داده ها از روش Cross-Correlation استفاده می گردد. این روش که از روش های تأخیر زمانی می باشد، سری های زمانی را دو به دو بررسی می کند؛ در هر بررسی تمام lagهای ممکن بین دو سری زمانی نیز بررسی می شود. برای مثال سری زمانی x(t) و سری زمانی y(t) با یکدیگر مقایسه می شوند. سپس سری زمانی x(t) با سری زمانی y(t-h) بررسی شده، سپس x(t) با y(t-h+1) مقایسه شده و این روند ادامه می یابد تا x(t) با y(t+h) مقایسه می گردد. در این میان بهترین نتیجه انتخاب شده و از آن سری زمانی با آن lag برای پیش بینی استفاده می گردد. در واقع، در هر بار بررسی دو سری زمانی با یک lag مشخص، correlation میان دو سری مشخص شده و در نهایت پس از مقایسه دو سری در تمام lagها، بهترین correlation مشخص می شود. فرمول زیر نشان دهنده چگونگی محاسبه همبستگی دو سری زمانی x و y را با m، lag برای سری y می باشد : ρxym=xn-μxyn+m-ρyσxσyرابطه 3-3 در این مرحله، سری زمانی قیمت هر سهم در هر صنعت با تمام سری های زمانی قیمتی سهام دیگر آن صنعت مقایسه شده و بهترین lag به عنوان یکی از ورودی های احتمالی برای پیش بینی انتخاب می گردد. فلسفه کار داده کاوی سری های زمانی به این صورت است که دو سری زمانی ممکن است در حالت عادی شبیه هم نباشند، اما با در نظر گرفتن lagهای ممکن بین این دو سری، شاید بتوان شباهتی پیدا کرد. شکل 3-1 این موضوع را در قالب نموداری نشان داده است : شکل 3-1 : شباهت سری های سفید و سیاه با در نظر گرفتن lag همانگونه که واضح است، دو سری سفید و سیاه رنگ در حالت عادی شباهت کمی به هم دارند اما در صورتی که سری سیاه را با lag در نظر گرفته و داده های سری سفید را با داده های قبلی سری سیاه مقایسه کنیم، شباهت زیادی پیدا می شود. لذا با دانستن مقادیر سری سیاه، می توان مقادیر سفید را برای آینده پیش بینی کرد. در این پژوهش نیز، با پیدا کردن سری های زمانی مشابه، می توان از روی تغییرات فعلی یا تغییرات گذشته یک سری زمانی، تغییرات آینده آن را پیش بینی کرد. در این مرحله، برای تمام سری های زمانی موجود در هر صنعت، داده کاوی سری زمانی انجام شده و lag بهینه برای وارد شدن به مدل برای هر یک انتخاب می شود. 3-3-2-3- کاهش سطری در رکوردهای جدید پس از اضافه شدن اندیکاتورها و سری های زمانی مشابه، لازم است بار دیگر کاهش سطری برای حذف داده های پرت و داده های مغشوش طبق متد ارائه شده در بخش قبل انجام گردد. دلیل این امر این است که بسیاری از اندیکاتورها از چندین داده قبلی برای دوره فعلی ساخته می شوند و لذا مقادیر NaN در ابتدا و انتهای داده ها اضافه می گردد. همچنین سری های جدید نیز در چهار فیلد قیمت های بالا، پایین و بسته شدن و حجم مبادلات قرار دارند که ممکن است طبق قوانین سه گانه تدوین شده در قسمت قبل، داده مغشوش به حساب آمده و نیاز باشد که حذف شوند. 3-3-3- انتخاب داده ها و کاهش ستونی پس از طی شدن مراحل قبل، پایگاه داده شامل اطلاعات قیمتی و حجمی سهم مورد نظر، اطلاعات حجمی و قیمتی سهام حاضر در صنعت مورد نظر با در نظر گرفتن lag بهینه و اندیکاتورهای تکنیکی می باشد. از آنجا که این حجم از داده ها برای ورود به شبکه عصبی بسیار زیاد هستند، باید از میان اندیکاتورها و سهام حاضر در صنعت مربوطه تعداد محدودی را انتخاب کرد و این کار با مراحل زیر صورت می پذیرد 3-3-3-1- کاهش ستونی داده ها با استفاده از روش رگرسیون پله ای در بین اندیکاتورهای ساخته شده در بخش قبلی، تعداد محدودی از اندیکاتورها برای پیش بینی قیمت سهم مورد نظر مفید هستند. برای تشخیص اینکه کدامیک از اندیکاتورهای قابلیت پیش بینی قیمت سهم را دارند، از روش رگرسیون پله ای استفاده می کنیم. روش رگرسیون پله ای به دو صورت پیش رو و پس رو،قابلیت هر یک از اندیکاتورها را برای پیش بینی قیمت می سنجد. در این پژوهش از روش پیش رو برای انتخاب متغیرهای تأثیرگذار استفاده می گردد. در این روش، در ابتدا در مدل هیچ متغیری وجود ندارد؛ سپس متغیرها یک به یک به مدل وارد شده و توسط آزمون t-statistic و آزمون F-statistic در مورد باقی ماندن یا نماندن متغیر اضافه شده تصمیم گرفته می شود. با این روش، اندیکاتورهایی که توانایی پیش بینی قیمت سهم را ندارند از میان داده ها شناسایی شده و حذف می شوند. این مرحله، اولین مرحله کاهش ستونی در پایگاه داده برای کاهش حجم ورودی های شبکه عصبی برای پیش بینی قیمت سهام است. 3-3-3-2- دسته بندی اندیکاتورها و انتخاب از هر دسته در میان اندیکاتورهای باقیمانده در پایگاه داده، رفتار بسیاری از اندیکاتورها شبیه به هم است. همانگونه که در جدول (3) دیده شد، بسیاری از اندیکاتورها از مقادیر یکدیگر استفاده می کنند؛ برای مثال اندیکاتورهای KST و Coppok Curve از روی اندیکاتور ROC ساخته شده و انتظار می رود که همبستگی بالایی با یکدیگر داشته باشند. در این مرحله، اندیکاتورهای مشابه یکدیگر توسط معیار Correlation شناخته شده و در یک دسته قرار می گیرند. بنابراین پس از انجام این اقدامات، به جای چندین اندیکاتور منفرد، چند دسته اندیکاتور وجود خواهد داشت. در قدم بعدی، از میان هر دسته بهترین پیش بینی کننده انتخاب می گردد. برای این کار نیز از معیار Correlation استفاده می شود، به این معنا که در هر دسته، آن اندیکاتوری انتخاب می شود که بیشترین Correlation را با قیمت سهم دارد. این مرحله، قدم دوم در کاهش ستونی داده ها به حساب آمده و اندیکاتورهای نهایی که برای پیش بینی استفاده خواهند شد، مشخص می شوند. 3-3-3-3- انتخاب از میان سری های زمانی مشابه در مرحله قبل، اندیکاتورهای نهایی انتخاب شدند. در این مرحله باید از میان سری های زمانی با lag بهینه یکی را انتخاب کرد. برای این مهم نیز از معیار Correlation استفاده خواهد شد. بر این پایه، سری زمانی قیمت سهمی انتخاب می گردد که دارای بالاترین Correlation برای قیمت های بسته شدن با سهم مورد نظر باشد. لذا در پایان این مرحله، آخرین ورودی شبکه عصبی برای پیش بینی قیمت سهام نیز شناسایی شده و نهایی می شود. 3-4- طراحی شبکه عصبی برای پیش بینی قیمت سهم 3-4-1- ساختار شبکه برای درک مفهوم کارکرد شبکه عصبی و انتخاب طراحی مناسب برای آن، می توان شبکه عصبی را مجموعه ای از نرون ها دانست که هریک از آنها یک خط برای برازش به سری زمانی داده ها پیشنهاد می دهد. همانگونه که می دانیم، مجموع چند خط تشکیل یک نمودار غیر خطی را می دهد و لذا می توان شبکه های عصبی را به صورت مجموعی از چند خط که هر کدام در یک نرون ساخته شده اند دانست. در جریان آموزش نرون ها، هر نرون خطی بهینه را به داده ها برازش می کند و هر نرون قسمتی از داده ها را پوشش می دهد و در نهایت با جمع این نرون ها، یک نمودار غیر خطی که همه داده ها را پوشش می دهد به دست می آید. حال اگر شبکه عصبی بیشتر از یک لایه مخفی داشته باشد، در واقع هر چند خطی که توسط نرون ها در لایه اول ساخته و بهینه شده برای قسمتی از داده ها هستند، در لایه بعد در نرون های دیگر جمع می شوند. بنابراین در هر نرون لایه مخفی بعدی، یک نمودار غیر خطی خواهیم داشت و سپس چند نمودار غیر خطی با یکدیگر جمع خواهند شد. باید دقت شود که لایه های میانی بالاتر از یک، برای زمانی است که بین ورودی های شبکه interaction وجود داشته باشد. برای مثال ورودی x و ورودی y تأثیر کمتری از x+y دارند، به این معنا که تأثیر هر دو ورودی ها در مجموع برابر x+y+xy خواهد بود. در این حالت، نرون های لایه های مخفی دوم، این فرصت را به شبکه می دهند که رابطه های مخفی شبیه xy را هم جداگانه تخمین بزنند. با توجه به اینکه در بخش پیش پردازش داده ها، داده های مشابه حذف شده و در چند مرحله تلاش شده است که ورودی ها مستقل از یکدیگر باشند، در این پژوهش فرض را بر عدم وجود interaction بین ورودی ها گذاشته و از شبکه عصبی تک لایه استفاده می کنیم. دلیل این احتیاط این است که شبکه های عصبی چند لایه معمولا دچار بیش برازش شده و دقت مدل را کاهش می دهند. حال در مورد تعداد نرون های حاضر در لایه میانی نیز از قاعده کولموگروف استفاده خواهیم کرد. بر طبق این قاعده، بیشترین تعداد نرون لازم برای تخمین بهینه می تواند 2n+1 باشد، به این معنا که با این تعداد نرون و شاید در تعداد پایین تر، عملکرد شبکه به بالاترین حد می رسد، اما بیشتر از آن شبکه را دچار بیش برازش کرده و دقت آن را کاهش می دهد. بنابراین تعداد نرون های لایه میانی شبکه، از این قاعده پس از مشخص شدن تعداد ورودی ها تعیین می گردد. از آنجا که در این تحقیق سعی شده است که قیمت برای یک دوره جلوتر پیش بینی گردد، شاید معقول نباشد که تنها قیمت بسته شدن سهم را برای دوره بعدی پیش بینی کرد؛ کاری که در تمام تحقیقات مشابه انجام شده است. دلیل این امر این است که با دانستن قیمت بسته شدن سهم، نمی توان فهمید که سهم را چه زمانی باید خرید. به عبارتی، در صورتی که امروز پیش بینی کنیم که قیمت سهمی فردا بالا خواهد رفت، چه استفاده ای می توان از این پیش بینی کرد؟ چرا که پیش بینی کننده سهمی در اختیار ندارد و اگر بخواهد فردا آن را بخرد ممکن است با همان قیمت که پیش بینی کرده است بخرد و لذا سودی نخواهد کرد. بنابراین در این پژوهش دو قیمت برای دوره بعدی انتخاب می شود، یکی قیمت پایین و یکی قیمت بالا. این ابتکار این فرصت را به پیش بینی کننده می دهد که در قیمت پایین سهم را خریده و در قیمت بالا بفروشد و از این طریق کسب سود کند. لذا شبکه عصبی که در این تحقیق ساخته می شود، یک شبکه عصبی با یک لایه پنهان با 2n+1 نرون و دو خروجی و n ورودی خواهد بود. همچنین شکل ساختاری شبکه نیز اتورگرسیو با متغیر خارجی (NARX) انتخاب می شود. در این شبکه ها علاوه بر متغیرهای ورودی خارجی که در این تحقیق همان اندیکاتورها و سری زمانی مشابه است، قیمت های قبلی نیز برای پیش بینی استفاده می شوند. لذا ورودی های شبکه عصبی عبارتند از اندیکاتورهای انتخاب شده نهایی با lag بهینه، قیمت های بالا و پایین سری زمانی مشابه با lag بهینه و قیمت های بالا و پایین گذشته سهم با lag بهینه. Lag بهینه از طریق تکنیک های سری زمانی شناخته و استفاده خواهد شد. 3-4-2- الگوریتم یادگیری الگوریتم یادگیری در این پژوهش بر مبنای ادبیات موضوعی تحقیق و بر پایه تحقیقات مشابه انجام شده الگوریتم پس انتشار بازگشتی یا همان Back Propagation انتخاب شده و مورد استفاده قرار می گیرد. 3-4-3- توابع فعال سازی توابع فعال سازی نیز بر پایه تحقیقات مشابه در لایه های ورودی و خروجی به صورت خطی و در لایه میانی تابع سیگموید انتخاب می شوند. 3-5- مدل های رقیب و معیارهای سنجش از آنجا که در این پژوهش شبکه عصبی مورد نظر از قیمت ها و اندیکاتورهای گذشته استفاده می کند، عملکردی مشابه مدل های سری زمانی خواهد داشت و لذا با مدل های ARMA سری زمانی مقایسه خواهند شد. علاوه بر این عملکرد این شبکه، مشابه عملکرد رگرسیون چند متغیره با استفاده از اندیکاتورها و قیمت های مشابه است و لذا عملکرد شبکه عصبی با رگرسیون چند متغیره نیز مقایسه خواهد شد. همچنین معیارهای سنجش به دو صورت MSE و MAD خواهند بود. از آنجا که دو متغیر در هر یک از سه مدل رقیب پیش بینی خواهد شد، MSE و MAD هر مشاهده در کل، برابر مجموع MSE و MAD دو خروجی خواهد بود. فرمول های محاسبه این دو معیار نیز به صورت زیر است : MSE=t(yt-yt)2n-13-3 MAD= tyt-ytn-13-4 3-6- جمع بندی در این فصل، به بررسی مراحل انجام تحقیق پرداخته و مراحل را به صورت کلی از جمع آوری داده ها، پیش پردازش داده ها و ساخت اطلاعات، ساخت شبکه و مدل های رقیب شرح دادیم. در فصل چهارم، نتایج به دست آمده عددی از روش مذکور را شرح خواهیم داد. فهرست مراجع Adya, M., Collopy, F., 1998. How effective are Neural Networks at Forecasting and Prediction? A Review and Evaluation. Journal of Forecasting, J. Forecast, 1(7), pp. 481 – 495. Altay, E., Satman M. H., 2005. Stock market forecasting: artificial neural network and linear regression comparison in an emerging market. Journal of financial management and papers. Available from:http://papers.ssrn.com/sol3/DisplayAbstractSearch.cfm Armano, G., Marchesi, M., Murru, A., 2005. A hybrid genetic-neural architecture for stock indexes forecasting. Journal of Information Sciences Elsevier, 3(4), pp. 54-61. Bisoi, R., Dash, P. K., 2014. A hybrid evolutionary dynamic neural network for stock market trend analysis and prediction using unscented Kalman filter. Journal of Applied Soft Computing, 3(19), pp. 41-56 Bruce, J., stone, V., Finnie, G., Tan, C., 2004. Applying Fundamental Analysis and Neural Networks in the Australian Stockmarket Bond University. ePublications@bond, Available from http://bond.edu.au/library-and-online-resources/search/bond-university-research Cao, J., Liang, J., 2004, Boundedness and stability for Cohen–Grossbergneural network with time-varying delays. Journal of Mathematical Analysis and Applications Elsevier, 2(5), pp. 78-84. Cao, J., Wang, J., 2005. Global asymptotic and robust stability of recurrent neural networks with time delays. Circuits and Systems I: Regular Papers. Available from http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=13 Chang, C., Yon, W., Chen, Y. L., 2010. Mining associative classification rules with stock trading data – A GA-based method. Available from Knowledge-Based Systems, Volume 23(6), pp. 605-614 Chann, C. P., Wang, D. D., Zhou, CH. L., 2012. A novel model by evolving partially connected neural network for stock price trend forecasting. Journal of Expert Systems with Applications, 39(1), pp. 611-620. Charkha, P. R., 2008. Stock Price Prediction and Trend Prediction Using Neural Networks. Journal of First International Conference on Emerging Trends in Engineering and Technology, 3(7), pp. 592-594. Chi-Jie, L., 2010. Integrating independent component analysis-based denoising scheme with neural network for stock price prediction. Journal of Expert Systems with Applications, 37(10), pp. 7056-7064. Connor, N. O. M. G., 2006. A neural network approach to predicting stock exchange movements using external factors. Journal of Knowledge-Based Systems Elsevier, 3(8), pp. 87-94 Coupelon, O., 2007. Neural network modeling for stock movement prediction: a state of the art, Neural Network Modeling For stockresearch. Available from http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6719576 Dase, R. K., Pawar, D. D., 2010. Application of Artificial Neural Network for stock market predictions: A review of literature. International Journal of Machine Intelligence, ISSN: 0975–2927, 2(2), pp. 14-17 Deshpande, S. P., Thakare, V. M., 2010, DATA MINING SYSTEM AND APPLICATIONS: A REVIEW. International Journal of Distributed and Parallel systems (IJDPS), 1(1), pp. 145-151 Donaldson, R. G., Kamstra, M., 1997. An artificial neural network- GARCH model for international stock return volatility. Journal of Empirical Finance, 4(1), pp. 17-46 Donaldson, R. G., Kamstra, M., 1996. Forecast combining with neural networks. Journal of Forecasting, 3(5), pp. 45-51 Dutta, G., Jha, P., Laha, A. K., Mohan, N., 2006. Artificial neural network models for forecasting stock price index in the Bombaystock exchange. Journal of Emerging Market, 4(2), pp. 23-30 Fagner A., Oliveira, D., Nobre, C. N., Zárate, L. E., 2013. Applying Artificial Neural Networks to prediction of stock price and improvement of the directional prediction index – Case study of PETR4. Journal of Petrobras, Brazil, Expert Systems with Applications, 40(18), pp. 7596-7606 Fang, Y. X., Wang, B. W., Wang, Y. M., 2006. The stock index forecast based on dynamic recurrent neural network trained with GA. The 20th Pacific Asia Conference on Language, Information and Computation, Wuhan, China, pp. 342-350 Faseruk, A., Blynski, L., 2006. Comparison of the effectiveness of option price forecasting: Black-Scholes vs. simple and hybrid neural networks. Journal of Financial Management, 2(5), pp. 23-31 Feng, L., Cheng, L., 2009. Application Study of BP Neural Network on Stock Market Prediction. Ninth International Conference on Hybrid Intelligent Systems, pp. 174-178 Fishbein, D. S., 2002. Neural Networks and Genetic Algorithms: Another Tools for the Technical Analysis of Financial Markets. Trenton Computer Festival Proceedings. Available from:http://www.nquant.com Guresen, E., Kayakutlu, G., Daim, T. U., 2011. Using artificial neural network models in stock market index prediction. Journal of Expert Systems with Applications Elsevier, 3(2), pp 124-129 Huang, N. E., Shen, Z., Long, S. R., 1998. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis. Journal of the Royal rspa.royalsocietypublishing, 5(1), pp. 142-149 Jasemi, M., Kimiagari, A. M., Memariani, A., 2011. A modern neural network model to do stock market timing on the basis of the ancient investment technique of Japanese Candlestick. Journal of Expert Systems with Applications, 38(4), pp. 3884-3890. Jasic, T., Wood, D., 2004. The profitability of daily stock market indices trades based on neural network predictions: Case study for the S&P 500, the DAX, the TOPIX and the FTSE in the period. Journal of Applied Financial Economics, Taylor & Francis, 5(7), pp. 55-62 Jie Lu, CH., 2010. Integrating independent component analysis-based denoising scheme with neural network for stock price prediction. Expert Systems with Applications, 37(10), pp. 7056-7064 Kara, Y., Boyacioglu, M. A., Baykan, O. K., 2011. Predicting direction of stock price index movement using artificial neural networks and support vector machines: The sample of the Istanbul Stock Exchange. Journal of Expert Systems with Applications, 38(5), pp. 5311-5319 Khan, A. U., Bandopadhyaya, T. K., Sharma, S., 2008. Genetic Algorithm Based Backpropagation Neural Network Performs better than Backpropagation Neural Network in Stock Rates Prediction. International Journal of Computer Science and Network Security, 8(7), pp. 54-61 Khan, J., Wei, J. S., Ringner, M., Saal, L. H., 2001. Classification and diagnostic prediction of cancers using gene expression profiling and artificial neural networks. Nature medicine. Available from: http://www.nature.com/siteindex/index.html Kim, B. S., 2005. Nonlinear flight control using neural networks. Journal of Guidance, Control, and Dynamics, 4(24), pp. 113.122 Kim, K., Lee, W. B., 2004, Stock market prediction using artificial neural networks with optimal feature transformation, Journal of Neural computing & applications Springer, 3(4), pp. 54-61 Kryzanowski, L., Galler, M., Wright, D. W., 1993. Using artificial neural networks to pick stocks. Journal of Financial Analysts Journal JSTOR, 6(4), pp. 45-54 Lahmiri, S., 2013. Wavelet low- and high-frequency components as features for predicting stock prices with backpropagation neural networks. Journal of King Saud University - Computer and Information Sciences, 14(7), pp. 65-72 Li, R. J., Xiong, Z. B., 2005. Forecasting stock market with fuzzy neural networks. Proceedings of 2005 International Conference on Machine Learning and Cybernetics, pp. 3475-3479. Liao, SH. H., Chou, SH. Y., 2013. Data mining investigation of co-movements on the Taiwan and China stock markets for future investment portfolio. Expert Systems with Applications 40(5), pp. 1542-1554 Liao, SH. L., Chu, P. H., You, Y. L., 2011. Mining the co-movement between foreign exchange rates and category stock indexes in the Taiwan financial capital market. Expert Systems with Applications, 38(4), pp. 324-331 Mandziuk, J., Jaruszewicz, M., 2007. Neuro-evolutionary approach to stock market prediction. International Joint Conference on Neural Networks, pp. 2515-2520. Mantri, J. K., Gahan, P., Nayak, B. B., 2010. Artificial Neural Networks an Application to Stock Market Volatility. International Journal of Engineering Science and Technology, 2(5), pp. 1451-1460 Mehrara, M., Moeini, A., Ahrari, M., Ghafari, A., 2010. Using Technical Analysis with Neural Network for Prediction Stock Price Index in Tehran Stock Exchange. Middle Eastern Finance and Economics, vol. 6(6), pp. 50-61 Salim, L. 2013. Wavelet low- and high-frequency components as features for predicting stock prices with Backpropagation neural networks. Journal of King Saud University - Computer and Information Sciences, 4(1), pp. 214-223   Pei, C., Wang, D., Chang, L. 2012. A novel model by evolving partially connected neural network for stock price trend forecasting. Expert Systems with Applications, 39(1), pp. 611-620 Shu-Hsian, L., Shan-Yuan, C. 2013. Data mining investigation of co-movements on the Taiwan and China stock markets for future investment portfolio, Expert Systems with Applications, 40(5), pp. 1542-1554 Shu-shine. L., Pei-hoi, C., Ying-lu, Y., Mining the co-movement between foreign exchange rates and category stock indexes in the Taiwan financial capital market. Expert Systems with Applications, 38(4), pp. 127.136  O'Connor, N., Madden, M. 2006, A neural network approach to predicting stock exchange movements using external factors. Knowledge-Based Systems Elsevier, 5(21), pp.345-356 Yamashita, K. 2005. Application of multi-branch neural networks to stock market prediction, Journal of Neural Networks and data series, 45(4), pp.57-65 Yoon, Y., Swales, T. 1993. A comparison of discriminant analysis versus artificial neural networks, TM Margaric - Journal of the Operational Research – JSTOR, 27(3), pp.194-206 Abstract In the current age, capital market has been grown fast because of its unique features like high returns and independency of the volume of money. This high speed growth caused a high demand for information, more effort for prediction and invention of new models for prediction. By the way, capital market prediction is a hard and challenging task for predictors because of lots of investors with lots of features and huge volume of variables that can be effective for prediction. Because of these reasons, new models introduce, old models upgrade and methods integrate by investors for a capable prediction model with high performance for working by lots of variables and ability to estimate very complicated behaviors. By default, all models can place in three category for capital market prediction. Firs category involves technical analysis and its methods. Next is fundamental analysis and its ways. Finally, third category contains classic mathematical models and artificial intelligence methods. Efforts for increasing the ability of models by integrating old models for using of all powerful features, is a new trend in capital market prediction field. Most of these researches predicted one step ahead price for stocks and other financial assessments. In this research, we use technical analysis, time series methods and data mining in neural network framework for prediction of two price for one step ahead prices, involving high and low prices. Results show a greater capability of neural network method in comparative of multi variable regression and time series ARMA models. Key words: prediction; neural network; data mining; time series; technical analysis; multi variable regression The Use of Data Mining and Neural Network for Stock Price Prediction Alireza Jandaghian Supervisor: Dr. Amir Abbas Najafi A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Science in Financial Engineering September 2014 The Use of Data Mining and Neural Network for Stock Price Prediction Alireza Jandaghian Supervisor: Dr. Amir Abbas Najafi A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Science in Financial Engineering September 2014