آزمون‌های خودکار استحکام استراتژی (automated strategy robustness tests)
آوریل 3, 2025جریان‌های کاری پیشنهادی برای ساخت استراتژی (Recommended workflows for building strategies)
آوریل 3, 2025
داخل نمونه / خارج نمونه
تست‌های داخل نمونه (IS) و خارج نمونه (OOS) مفاهیم اساسی در توسعه، آزمایش و اعتبارسنجی استراتژی‌های معاملاتی هستند. این تست‌ها به ارزیابی استحکام استراتژی‌ها کمک می‌کنند و اطمینان می‌دهند که بیش‌برازش روی یک مجموعه داده خاص رخ نداده است. در ادامه توضیح جامعی از این دو روش تست آمده است:
تعریف داده‌های IS و OOS:
داده‌های داخل نمونه (IS): داده‌های تاریخی‌ای هستند که برای توسعه و بهینه‌سازی استراتژی معاملاتی استفاده می‌شوند. در طی فرآیند توسعه استراتژی، پارامترها، قوانین و اندیکاتورها بر اساس این داده‌ها تنظیم و اصلاح می‌شوند تا بهترین عملکرد ممکن حاصل شود.
داده‌های خارج نمونه (OOS): بخشی جداگانه و ناشناخته از داده‌های تاریخی است که برای تست و اعتبارسنجی استراتژی استفاده می‌شود. این داده‌ها در فرآیند توسعه یا بهینه‌سازی استفاده نمی‌شوند تا عملکرد استراتژی روی آن‌ها یک ارزیابی بی‌طرفانه از اثربخشی و استحکام آن باشد.
هدف اصلی از استفاده از داده‌های IS و OOS، ارزیابی استحکام و قابلیت تعمیم‌پذیری استراتژی‌های معاملاتی است. با بررسی عملکرد استراتژی روی هر دو نوع داده، کاربران می‌توانند احتمال بیش‌برازش را شناسایی کرده و اطمینان حاصل کنند که استراتژی بیش از حد برای یک مجموعه داده خاص بهینه نشده است. استراتژی‌ای که روی هر دو نوع داده عملکرد خوبی داشته باشد، به احتمال زیاد مقاوم و قابل انطباق با شرایط متغیر بازار خواهد بود.
در زمینه توسعه و تست استراتژی‌های معاملاتی، داده‌های تاریخی به بخش‌های IS و OOS تقسیم می‌شوند. استراتژی با داده‌های IS توسعه و بهینه می‌شود و سپس عملکرد آن با داده‌های OOS اعتبارسنجی می‌گردد. کاربران می‌توانند با مقایسه معیارهای عملکرد از هر دو مجموعه داده، استحکام استراتژی را ارزیابی کرده و از بیش‌برازش جلوگیری کنند.
مزایای تست‌های داخل نمونه و خارج نمونه:
- آزمون استحکام: با مقایسه عملکرد استراتژی روی داده‌های IS و OOS می‌توان استحکام و قابلیت تعمیم آن را ارزیابی کرد. استراتژی‌ای که در هر دو مجموعه عملکرد خوبی داشته باشد، کمتر در معرض بیش‌برازش قرار دارد و احتمال موفقیت آن در معاملات واقعی بیشتر است.
- اعتبارسنجی مفاهیم استراتژی: اگر یک استراتژی در داده‌های OOS عملکرد خوبی داشته باشد، اعتماد بیشتری به اعتبار ایده معاملاتی ایجاد می‌شود و احتمال اینکه این عملکرد ناشی از تصادف یا بیش‌برازش باشد کاهش می‌یابد.
- پیشگیری از بیش‌برازش: استفاده از داده‌های OOS باعث می‌شود استراتژی مجبور شود اثربخشی خود را روی مجموعه‌ای ناشناخته از داده‌ها ثابت کند و از بهینه‌سازی بیش از حد روی داده‌های آموزشی جلوگیری شود. این امر به انطباق‌پذیری بهتر استراتژی در برابر شرایط متغیر بازار منجر می‌شود.
تست‌های مونت‌کارلو
تست‌های مونت‌کارلو یکی از ابزارهای اصلی در مجموعه تست‌های استحکام StrategyQuant X هستند که به کاربران اجازه می‌دهند پایداری و قابلیت اطمینان استراتژی‌های معاملاتی خود را در سناریوهای تصادفی مختلف ارزیابی کنند. با انجام شبیه‌سازی‌های مونت‌کارلو، کاربران می‌توانند دامنه‌ای از نتایج احتمالی را برای استراتژی خود بررسی کرده و مقاومت آن در برابر رویدادها و شرایط غیرمنتظره بازار را بسنجند.
تست‌های مونت‌کارلو چیستند؟
تست‌های مونت‌کارلو یک روش آماری هستند که شامل شبیه‌سازی تعداد زیادی از سناریوهای تصادفی برای ارزیابی عملکرد استراتژی معاملاتی می‌شوند. این تست‌ها تغییراتی تصادفی در عواملی مانند ترتیب معاملات، لغزش قیمت، سرمایه اولیه و حجم معاملات ایجاد می‌کنند تا عملکرد استراتژی را در شرایط مختلف بررسی نمایند. با تحلیل نتایج این شبیه‌سازی‌ها، کاربران می‌توانند ثبات و قابلیت اطمینان استراتژی‌های خود را ارزیابی کنند.
هدف اصلی این تست‌ها، ارزیابی استحکام و انعطاف‌پذیری استراتژی‌هاست. تحلیل عملکرد استراتژی در سناریوهای مختلف، دیدگاهی نسبت به دامنه نتایج احتمالی ایجاد می‌کند و به شناسایی نقاط ضعف یا آسیب‌پذیری‌های بالقوه کمک می‌نماید. این اطلاعات به کاربران امکان می‌دهد ریسک‌های مرتبط با استراتژی را درک کرده و در مورد اجرای آن در محیط معاملاتی واقعی تصمیمات آگاهانه‌تری اتخاذ کنند.
در StrategyQuant X شما می‌توانید از دو نوع تست مونت‌کارلو استفاده کنید:
دست‌کاری معاملات مونت‌کارلو
این بررسی متقاطع، شبیه‌سازی‌هایی را اجرا می‌کند که در هر شبیه‌سازی، معاملات موجود دست‌کاری می‌شوند – به‌طور مثال، دوباره مرتب‌سازی می‌شوند یا برخی از آن‌ها حذف می‌گردند.
این عملکرد بسیار سریع است زیرا نیازی به اجرای بک‌تست ندارد و فقط با معاملات موجود از بک‌تست اصلی کار می‌کند.
هدف از آن بررسی میزان وابستگی منحنی استراتژی به ترتیب معاملات است و اینکه چه اتفاقی می‌افتد اگر برخی از معاملات اجرا نشوند.
شما می‌توانید این دست‌کاری‌ها را در هر شبیه‌سازی انجام دهید:
- ترتیب تصادفی معاملات: ساده‌ترین تست است که ترتیب معاملات را به‌صورت تصادفی تغییر می‌دهد. این کار سود خالص را تغییر نمی‌دهد اما برای بررسی تنوع در افت سرمایه (Drawdown) ناشی از ترتیب مختلف معاملات بسیار مفید است.
- حذف تصادفی معاملات: با یک احتمال مشخص، برخی معاملات به‌صورت تصادفی نادیده گرفته می‌شوند. در دنیای واقعی ممکن است به دلایل مختلفی مانند قطعی پلتفرم یا اینترنت برخی معاملات انجام نشوند. این تست به شما ایده‌ای می‌دهد که اگر برخی معاملات از دست بروند، منحنی سود چگونه خواهد بود.
روش‌های تست مجدد مونت‌کارلو
این روش نوع دیگری از شبیه‌سازی مونت‌کارلو است که در آن تغییرات تصادفی در ویژگی‌هایی اعمال می‌شود که نیاز به اجرای دوباره بک‌تست دارند – مانند تغییرات در اسپرد، لغزش قیمت، پارامترهای استراتژی یا داده‌های تاریخی.
از آن‌جایی که برای هر شبیه‌سازی نیاز به بک‌تست کامل وجود دارد، این بررسی متقاطع می‌تواند زمان‌بر باشد.
برای مثال، اگر بک‌تست اصلی ۰.۵ ثانیه طول کشیده باشد و شما بخواهید ۱۰۰ شبیه‌سازی در این بررسی اجرا کنید، باید انتظار داشته باشید که این تست برای هر استراتژی ۵۰ ثانیه طول بکشد (۱۰۰ × ۰.۵ ثانیه).
در این بررسی، انواع زیر از روش‌های مونت‌کارلو تست می‌شوند:
- تغییر تصادفی پارامترهای استراتژی: هر استراتژی از پارامترهایی مانند دوره زمانی اندیکاتورها یا مقادیر ثابت استفاده می‌کند. این تست بررسی می‌کند که استراتژی نسبت به تغییرات کوچک در مقدار پارامترها چقدر حساس است. «احتمال تغییر» نشان می‌دهد چند درصد احتمال دارد که یک پارامتر تغییر کند. «حداکثر میزان تغییر پارامتر» نیز حداکثر درصدی است که مقدار یک پارامتر می‌تواند به‌طور تصادفی تغییر کند. برای مثال، اگر حداکثر تغییر را روی ۱۰٪ تنظیم کنید، پارامتری با مقدار ۶۰ می‌تواند به‌صورت تصادفی در بازه ۵۴ تا ۶۶ قرار بگیرد.
- تغییر تصادفی داده‌های تاریخی: یک مورد رایج از بیش‌برازش این است که استراتژی بیش از حد به داده‌های تاریخی وابسته باشد. این گزینه رفتار استراتژی را در صورت تغییر در داده‌های تاریخی بررسی می‌کند.
نسبت‌های OOS/IS
این نسبت، نسبت بین معیارهای عملکرد در بازه داده‌های خارج نمونه (OOS) نسبت به داده‌های داخل نمونه (IS) را نشان می‌دهد.
نسبت OOS / IS میزان افت عملکرد استراتژی را در بازه خارج نمونه نسبت به بازه داخل نمونه مشخص می‌کند.
کاهش عملکرد به حالتی اشاره دارد که استراتژی وقتی روی داده‌های جدید و نادیده گرفته شده اجرا می‌شود، عملکرد ضعیف‌تری نسبت به داده‌های آموزش‌شده از خود نشان می‌دهد. این کاهش ممکن است ناشی از بیش‌برازش استراتژی به داده‌های IS یا تغییر شرایط بازار باشد که استراتژی قادر به انطباق با آن نیست.
معیارهای عملکرد OOS و IS مفاهیم مهمی در توسعه، تست و اعتبارسنجی استراتژی‌های معاملاتی هستند. این معیارها به ارزیابی استحکام استراتژی‌ها کمک کرده و اطمینان می‌دهند که بیش‌برازش به مجموعه خاصی از داده‌ها رخ نداده باشد.
هدف اصلی استفاده از نسبت‌های OOS / IS، ارزیابی استحکام و قابلیت تعمیم‌پذیری استراتژی است. با بررسی عملکرد استراتژی روی هر دو مجموعه داده، می‌توان بیش‌برازش احتمالی را شناسایی کرد و مطمئن شد که استراتژی بیش از حد برای یک داده خاص بهینه نشده است. استراتژی‌ای که در هر دو مجموعه عملکرد مناسبی داشته باشد، احتمال بیشتری دارد که در شرایط مختلف بازار نیز موفق باشد.
تست در بازارهای مختلف (آزمایش در بازارهای اضافی)
تست چندبازاره یکی از قابلیت‌های اساسی StrategyQuant X است که به شما اجازه می‌دهد عملکرد و قابلیت انطباق استراتژی‌های معاملاتی خود را در ابزارهای مالی مختلف یا شرایط متفاوت بازار ارزیابی کنید. هدف از این روش تست، شناسایی استراتژی‌هایی است که نه‌تنها در یک بازار خاص مؤثر هستند، بلکه در محیط‌های متنوع بازار نیز عملکرد خوبی دارند. این کار باعث کاهش ریسک بیش‌برازش و افزایش احتمال موفقیت استراتژی در معاملات واقعی می‌شود.
هدف اصلی تست چندبازاره، ارزیابی استحکام و انعطاف‌پذیری استراتژی معاملاتی است. استراتژی‌ای که در چند بازار عملکرد خوبی دارد، احتمالاً انعطاف‌پذیرتر بوده و قادر است با شرایط متغیر بازار انطباق یابد، چرا که کارایی خود را در موقعیت‌های مختلف اثبات کرده است. تست در بازارهای مختلف به کاربران کمک می‌کند تا استراتژی‌هایی را شناسایی کنند که بیش‌ازحد برای یک بازار خاص بهینه نشده‌اند. این کار ریسک بیش‌برازش را کاهش داده و شانس موفقیت در معاملات زنده را افزایش می‌دهد.
در تست چندبازاره، شما استراتژی‌های معاملاتی خود را روی ابزارهای مالی مختلف مانند سهام، جفت‌ارزها، کالاها و شاخص‌ها آزمایش می‌کنید. با استفاده از StrategyQuant X، می‌توانید چندین ابزار را انتخاب کرده و بک‌تست را روی هر کدام اجرا نمایید تا عملکرد استراتژی را ارزیابی کنید. سپس می‌توانید نتایج را تحلیل کرده، معیارهای عملکرد را در بازارهای مختلف مقایسه کرده و استراتژی‌هایی را شناسایی کنید که عملکرد پایدار و قابل اتکا دارند.
با تست استراتژی‌ها در بازارهای مختلف، کاربران می‌توانند سیستم‌هایی را شناسایی کنند که استحکام بیشتری داشته و کمتر در معرض بیش‌برازش هستند. استراتژی‌ای که در چند بازار عملکرد خوبی دارد، احتمالاً نسبت به تغییرات بازار مقاوم‌تر خواهد بود. تست چندبازاره همچنین به کاربران کمک می‌کند تا یک پورتفوی متنوع ایجاد کنند، چرا که استراتژی‌هایی را شناسایی می‌کنند که در ابزارهای مختلف موفق هستند. این تنوع می‌تواند ریسک کلی پورتفوی را کاهش داده و عملکرد بلندمدت را بهبود بخشد.
هنگامی که یک مفهوم استراتژی در چند بازار عملکرد موفقی دارد، این موضوع اطمینان بیشتری ایجاد می‌کند که ایده معاملاتی اصلی معتبر بوده و نتیجه بیش‌برازش یا تصادف نیست.