منابع پایان نامه درمورد ارزیابی عملکرد

در معادله‌ی (2-29) نشان داده شده است:
(2-29)

با فرض اینکه، و معلوم باشند، پارامتر a بهینه، می‌تواند از طریق معادله‌ی (2-29)به‌دست آید، البته به شرطی‌که، سؤال از مقدار حداقلی از آگاهی در برآورد جدید برخوردار باشد.
محاسبه‌ی پارامتر b از طریق پارامترهای a و c با استفاده از معادله‌ی (2-21)، البته به شرط آنکه سؤالی که ایجاد می‌شود حداکثر آگاهی‌اش در باشد(ریکیسی، 2004، گو و ریکیسی، 2007؛ هی و ریکیسی، 2010).
تعدیل پس از شبیه‌سازی
در نتایج شبیه‌سازی خزانه‌ی سؤال، بردار و ماتریس ، تعداد سؤالات مورد نیاز برای هر bin که از طریق پارامتر a و b مشخص می‌شود، را نشان می‌دهند، مخصوصاً نشان می‌دهد که چه تعداد سؤال در فواصل پارامترهای b ، مقدار آگاهی معینی که مورد نیاز است را فراهم می‌کنند. از آنجا‌ که، bins هم بر اساس پارامترهای a و هم b تعریف می‌شوند، سؤالات در نقطه‌ای که حداکثر آگاهی در آن ایجاد می‌شود، دسته‌بندی می‌شوند. همچنان‌که در بالا ذکر شد، در شبیه‌سازی سؤالات این واقعیت درنظر‌گرفته‌نمی‌شود که سؤالاتی که به یک bin تعلق دارند، می‌توانند نسبت به سؤالاتی که به bin دیگری تعلق دارند که همان سطح مورد نظر را در بر‌می‌گیرد، آگاهی بیشتری ایجاد کنند. برای مثال، نمودار 2-11 نشان می‌دهد که سؤالات متعلق به ab-bin برابر با ممکن است آگاهی بیشتری در بین و نسبت به سؤالات ab-bin برابر با ایجاد کند، اگرچه، سؤالاتی که درab-bin=B ، قرار دارند، حداکثر میزان آگاهی‌شان روی همان دامنه‌ی موردنظر خواهد بود. به‌عبارت دیگر، در شیوه‌ی انتخاب سؤال، سؤالی که در ab-bin=A قرار دارد بیش از سؤالی که در ab-bin=B قرار می‌گیرد، برای برآوردهای حدود تا ، انتخاب خواهد‌شد.
نمودار 2-11: نمایش سؤالات در یک bin که آگاهی بیشتری نسبت به سؤالات در bin دیگر نشان می‌دهد
بنابراین، عملاً خزانه‌ی سؤال بهینه، به تعداد کافی از سؤالاتی نیاز دارد که آگاهی به‌اندازه‌ی کافی بزرگ، در هر b-bin ایجاد کند، البته بدون توجه به bin که سؤالات به آن تعلق دارند. خزانه‌ی سؤالی که دقیقاً بر اساس تعداد سؤالات مورد نیاز الگویی که از شبیه‌سازی خزانه‌ی سؤال به‌دست آمده، ساخته می‌شود، دارای سؤالات اضافی خواهد بود.
این سؤالات با استفاده از یک جدول آگاهی مرتب می‌شوند. این جدول برای انتخاب سؤالاتی با بالاترین میزان آگاهی از bin هایی که از طریق شیوه‌ی شبیه‌سازی تعریف شده‌اند، ساخته می‌شود. این کار به شکل دادن طرح پایانی خزانه‌ی سؤال کمک می‌کند. برای به‌دست آوردن بالاتررین میزان آگاهی سؤال برای هر b-bin، نقاط میانی b-bin ها به عنوان لنگر سطح عمل می‌کند و نقاط میانی a-bin، به عنوان پارامتر a و نقاط میانی b-bin به عنوان پارامتر b ، و نمایانگر bin هستند که سؤال از آن به‌دست می‌آید. برای مثال سطوح هایی که برای تشکیل جدول آگاهی مورد نیاز است، عبارت است از؛ ، بنابراین سؤالی با پارامترهای ، سؤالی است که به bin برابر با را نشان می‌دهد. اگر سه سؤال از این bin مورد نیاز باشد، سه سؤال با پارامترهای یکسان به جدول آگاهی وارد می‌شوند. در این شیوه برای نشان دادن تعداد سؤالات مورد نیاز در هر bin سؤالات مناسبی انتخاب می‌شوند.
همچنان‌که نمودار 2-12 نشان می‌دهد، هر ستون b-bin را نشان می‌دهد، و تعداد سؤالات مورد نیاز در آن bin، در ردیف دوم نشان داده‌می‌شود. ردیف‌های زیرین، ID یا شماره‌های سؤال با عدد مربوطه را نشان می‌دهد. همچنین سؤالات بر اساس میزان آگاهی که در حدود b-bin ایجاد می‌کنند، مرتب می‌شوند. سؤالاتی که در ردیف‌های بالاتری قرار دارند، سؤالاتی هستند که بیشترین آگاهی را ایجاد می‌کنند. در عمل، سؤالاتی که در مرتبه بالاتری رتبه‌بندی می‌شوند، بدون توجه به bin که به آن تعلق دارند، ابتدا انتخاب می‌شوند. بنابراین، حتی اگر هر b-bin باز هم به تعداد معینی از سؤالات نیاز داشته باشد، سؤالات می‌توانند از bin های دیگری انتخاب شوند. روش نموداری که برای انتخاب تعداد سؤالات مورد نیاز وجود دارد، تعداد دقیق سؤالات مورد نیاز برای هر b-bin که حداکثر آگاهی دارد را تعیین می‌کند. سؤالات خاصی که از بین همه‌ی سؤالات انتخاب می‌شوند، سؤالات مورد نیاز برای خزانه‌ی سؤال بهینه هستند.
نمودار 2-12: ترتیب سؤالات بر حسب بالاترین میزان آگاهی در هر b-bin
یکی از خطرهایی که این شیوه دارد، این است که سؤلاتی که آگاهی بیشتری در طول دامنه‌ی سطوح ایجاد می‌کنند، ممکن است به دفعات بیشتری نسبت به آنچه طراحان آزمون می‌خواهند انتخاب و اجرا شوند، در یک b-bin، تعداد دفعات مورد انتظاری که یک سؤال اجرا می‌شود، به رتبه‌ی میزان آگاهی که آن سؤال ایجاد می‌کند، بستگی دارد. در طول شبیه‌سازی خزانه‌ی سؤال، تعداد دفعات مورد انتظاری که یک سؤال اجرا می‌شود، از طریق ثبت تعداد دفعاتی که یک سؤال از هر b-bin شبیه‌سازی و اجرا می‌شود، برآورد می‌شود. اگر سؤالی بیش از نرخ مواجهه‌ی هدف انتخاب شود، سؤال جدیدی که به همان ab-bin متعلق است، به خزانه‌ی سؤال نهایی اضافه می‌شود. برای مثال نمودار 2-13 کاربرد مورد انتظار سؤال در هر b-bin برای 8000 آزمودنی را نشان می‌دهد، به‌طوری‌که سؤالات بر حسب میزان آگاهی‌شان مرتب شده‌اند. انتظار می‌رود که سؤال 109 -که در نمودار 2-13 نشان داده‌شده است-، 11800 بار (1329+2471+8000)، انتخاب شود، این مقدار 48/0 بیشتر از سؤالی است که می‌تواند انتخاب شود. خزانه‌ی سؤال بهینه، به یک سؤال دیگری در همان ab-bin نیاز دارد. اگر نرخ مواجهه‌ی هدف 33/0 باشد، بنابراین این سؤال 43/3 مرتبه بیش از نرخ مواجهه‌ی هدف است. بنابراین به 4 سؤال دیگر از همان ab-bin نیاز داریم تا به خزانه اضافه کنیم. نمودار 2-14 و 2-15، یک طرح خزانه‌ی سؤال را قبل و بعد از تعدیل بعد از شبیه‌سازی، نشان می‌دهد (ریکیسی، 2004، گو و ریکیسی، 2007).
نمودار 2-13: کاربرد سؤال به ترتیب بالاترین میزان آگاهی در هر b-bin

 

اینجا فقط تکه های از پایان نامه به صورت رندم (تصادفی) درج می شود که هنگام انتقال از فایل ورد ممکن است باعث به هم ریختگی شود و یا عکس ها ، نمودار ها و جداول درج نشوند.

برای دانلود متن کامل پایان نامه ، مقاله ، تحقیق ، پروژه ، پروپوزال ،سمینار مقطع کارشناسی ، ارشد و دکتری در موضوعات مختلف با فرمت ورد می توانید به سایت  77u.ir  مراجعه نمایید

رشته روانشناسی و علوم تربیتی همه موضوعات و گرایش ها :روانشناسی بالینی ، تربیتی ، صنعتی سازمانی ،آموزش‌ و پرورش‌، کودکاناستثنائی‌،روانسنجی، تکنولوژی آموزشی ، مدیریت آموزشی ، برنامه ریزی درسی ، زیست روانشناسی ، روانشناسی رشد

در این سایت مجموعه بسیار بزرگی از مقالات و پایان نامه ها با منابع و ماخذ کامل درج شده که قسمتی از آنها به صورت رایگان و بقیه برای فروش و دانلود درج شده اند

نمودار 2-14: توزیع سؤال خزانه‌ی سؤال بهینه قبل از تعدیل
نمودار 2-15: توزیع سؤال خزانه‌ی سؤال بهینه بعد از تعدیل پس از شبیه‌سازی
اعمال اصلاحاتی برای روش کنترل مواجهه
نرخ مواجهه‌ی یک سؤال، عبارت است از، تعداد دفعاتی که یک سؤال اجرا می‌شود، تقسیم بر تعداد آزمودنی‌ها. در خلال فرآیند طراحی خزانه‌ی سؤال بهینه، سؤالات واقعی در دسترس نیستند، امّا سؤالات شبیه‌سازی شده، نماینده‌ی سؤالاتی از bin هایی که به آن تعلق دارند، می‌باشند. تعداد دفعاتی که سؤالات هر bin اجرا می‌شوند، برآورد تعداد مواجهه‌ی کناری سؤالات در یک bin است که بر تعداد سؤالات مورد نیاز در bin تقسیم می‌شود. اگر در اجرای CAT کنترل مواجهه اعمال نشود، الگوی طراحی خزانه‌ی سؤال، بعد از تعدیل پس از شبیه‌سازی، به‌طور مستقیمی از همین نسبت‌های مواجهه پیروی می‌کند.
روش سیمپسون-هتر (1985)، مواجهه‌ی سؤال را با فهرست احتمالی k از طریق تعدیل تعداد دفعاتی که یک سؤال اجرا می‌شود، کنترل می‌کند. به سؤالاتی که بالقوه نسبت مواجهه‌ی بالایی دارند، مقدار k کوچکی اختصاص داده می‌شود، به طوری‌که، احتمال اجرا سؤال را تا زیر نرخ مواجهه‌ی بیشینه، پایین آورد. زمانی‌که به دلیل کنترل مواجهه‌ی سؤال، سؤال انتخاب شده اجرا نمی‌شود، آگاهی دهنده‌ترین سؤال بعدی انتخاب می‌شود. هدف طراحی خزانه‌ی سؤال بهینه با کنترل مواجهه‌ی سیمپسون-هتر این است که، علاوه بر بهینه بودن، طول آزمون، تعادل محتوایی و جنبه‌های دیگر آزمون را نیز وارد می‌کند، و این اطمینان را می‌دهد که کنترل مواجه تنها به میزان اندکی دقت آزمون را کاهش می‌دهد. با مطمئن شدن از اینکه سؤالات کافی در bin هایی که اغلب، سؤالات از آنها انتخاب می‌شوند، وجود دارند، به هدف طراحی بهینه خزانه‌ی سؤال می‌رسیم.
همچنین روش مشابهی در تعدیل پس از شبیه‌سازی، برای حفظ سؤالات کافی در هر bin به‌کار می‌رود. از آنجا که، تعداد دفعاتی که یک سؤال استفاده می‌شود، می‌تواند در طول فرآیند طراحی خزانه‌ی سؤال ثبت شود، اگر این تعداد به () سؤال دیگر از همان bin برسد، به طوری‌که نسبت مواجهه‌ی کل برای هر یک از سؤالات درون bin بزرگتر از r نشود، آن سؤال باقی می‌ماند (ریکیسی، 2004، گو و ریکیسی، 2007).
ملاک‌های ارزیابی خزانه‌های سؤال شبیه‌سازی شده

ملاک‌های ارزیابی خزانه‌ی سؤال عبارت‌اند از، میانگین آگاهی آزمون در هر سطح ، سوگیری یا بایاس، میانگین مجذور خطا (MSE) و ضرایب همبستگی بین های برآورد شده و واقعی، به منظور سنجش دقت برآورد . میزان چولگی یا کجی توزیع نرخ مواجهه‌ی سؤال، درصد سؤالات بیش مواجهه شده، نرخ همپوشی سؤال و درصد سؤالات کم مواجهه شده، همه‌ی این شاخص‌ها به منظور محاسبه‌ی شاخص امنیت آزمون درنظر گرفته‌می‌شود. در زیر هر یک از آنها را به تفضیل توضیح می‌دهیم (چانگ و یینگ ،1999 ؛ ریکیسی 2005):
آگاهی شرطی آزمون
آگاهی آزمون عبارت است از، مجموع کل آگاهی‌های فیشر هر یک از سؤالات در آزمون. در آزمون‌های CAT که طول ثابت دارند، آگاهی آزمون به عنوان شاخص کارایی آزمون درنظر گرفته می‌شود. هرچه میزان آگاهی که یک آزمون ایجاد می‌کند، بیشتر باشد، کارایی آزمون نیز بیشتر است (گو، 2007).
خطای استاندارد شرطی اندازه‌گیری (CSEM)
در هر نقطه‌ی ثابت ، خطای استاندارد اندازه‌گیری به شیوه‌ی زیر محاسبه می‌شود:
(2-30)
برای مثال، اگر باشد، تعداد تکرارها (یعنی، تعداد CAT هایی که اجرا شده) در هر نقطه‌ی ثابت می‌باشد، و ، میانگین برآوردهای در کل تکرار در می‌باشد.
اریب و میانگین مجذور خطا (MSE)
این مقادیر توسط دو معادله‌ی (2-31) و (2-32) محاسبه می‌شود.
(2-31)
و
(2-32)
 تعداد محرک‌ها می‌باشد و برآورد‌کننده‌ی j ام محرک با سطح توانایی می‌باشد.
اریب شرطی و میانگین مجذور خطای شرطی (CMSE)
این مقادیر توسط دو معادله‌ی (2-33) و (2-34)محاسبه می‌شوند:
(2-33)
و
(2-34)
که به‌ترتیب برای و برابر با برآورد کننده‌ی می‌باشد. این مقادیر به صورت میانگین‌های شرطی خطاها و مجذور خطاهای برآوردهای نهایی در شبیه‌سازی‌ها محاسبه می‌شود.
محاسبه‌ی ضریب همبستگی بین توانایی‌های برآورد شده و واقعی
این شاخص به منظور سنجش دقت برآورد تتا از طریق معادله‌ی (2-35) محاسبه می‌شود.
(2-35)
کجی توزیع نرخ مواجهه‌ی سؤال
آماره‌ی که توسط چانگ و یینگ (1999)، ارائه شده است، برای اندازه‌گیری میزان کجی توزیع مواجهه‌ی سؤال، به کار می‌رود. که آن توسط معادله‌ی (2-36) محاسبه می‌شود:
(2-36)
که
؛ نسبت نرخ مشاهده شده‌ی امین سؤال می‌باشد.
L ؛ طول آزمون می‌باشد، n ؛ تعداد سؤالات در خزانه می‌باشد.
معادله (2-36) اختلاف بین نرخ‌های مواجهه‌ی سؤال مشاهده‌شده و ایده‌آل را محاسبه می‌کند و این معادله مقدار اثربخشی استفاده از خزانه‌ی سؤال را نیز تعیین می‌کند. مقدار پایین نشان می‌دهد که بیشتر سؤالات استفاده شدند. نسبت اندازه‌های از توزیع F پیروی می‌کند. همچنین می‌توان برای مقایسه‌ی نرخ‌های مواجهه‌ی سؤال در دو روش، معادله‌ی (2-37) را به کار برد:
(2-37)
اگر باشد، پس روش اول نسبت به روش دوم، از نظر تعادل کلی نرخ‌های مواجهه‌ی سؤال بهتر در نظرگرفته ‌می‌شود.
درصد سؤالات بیش مواجهه شده
نرخ‌ مواجهه‌ی یک سؤال را می‌توان به عنوان نسب تعداد مشاهده شده‌ی اجراهای سؤال به تعداد کل آزمودنی‌ها در نظر گرفت. درمجموع، سطح متوسط نرخ مواجهه‌ی سؤال مناسب می‌باشد. نرخ بالای مواجهه‌ی یک سؤال بدین معناست که خطر فاش شدن سؤال برای آزمودنی‌های بعدی افزایش می‌یابد. اگر این چنین باشد، هم امنیت و هم اعتبار آزمون به دلیل نرخ بالای مواجهه‌ی سؤال مورد تهدید قرار می‌گیرد. بنابراین، درصد سؤالات بیش مواجهه شده، به‌عنوان ملاک مهمی برای ارزیابی موفقیت برنامه‌ی CAT در نظرگرفته‌می‌شود (هاو و چانگ، 2001).
درصد سؤالات کم مواجهه شده
نرخ کم مواجهه شدن یک سؤال بدین معناست که یک سؤال بندرت در برنامه‌ی CAT مورد استفاده قرار‌گیرد. خزانه‌ی سؤالی که دارای سؤالات بسیار زیادی می‌باشد که نرخ خیلی پایینی از مواجهه دارد، نشانه‌ای از فایده‌ی کم خزانه می‌باشد. دو موضوع به‌صرفه‌بودن طراحی سؤالات و مناسب بودن شیوه‌ی انتخاب سؤالات، به دلیل نرخ مواجهه کم سؤال به چالش کشیده می‌شوند. نرخ مواجهه پایین‌تر از 02/0 به عنوان سؤال کم مواجهه شده درنظرگرفته می‌شود(هاو و چانگ، 2001).
نرخ همپوشی آزمون
نرخ همپوشی آزمون، عبارت است از، تعداد مورد انتظار سؤالات مشترکی که به دو آزمودنی که به‌طور تصادفی نمونه‌گیری شدند، ارائه می‌شود، تقسیم بر طول مورد انتظار آزمون. به‌طورایده‌آل، تعداد سؤالات مشترک بین دو آزمودنی که به طور تصادفی نمونه‌گیری شدند، باید حداقل باشد. نرخ همپوشی آزمون می‌تواند به شیوه‌ی زیر محاسبه شود:
(1) شمارش تعداد سؤالات مشترک برای هر جفت از آزمودنی‌ها. (2) محاسبه‌ی مجموع تمام. (3). تقسیم تعداد کل شمارش‌ها بر ، (چانگ و یینگ، 1999). معادله‌ی (2-38) محاسبات بالا را خلاصه می‌کند ( چن، آنکنمان، اسپری، 1999):
(2-38)
N تعداد طول ثابت CAT هایی که اجرا می‌شود را نشان می‌دهد، L، تعداد سؤالات در هر یک از CAT ها می‌باشد، n، تعداد سؤالات در خزانه می‌باشد، تعداد دفعاتی است که سؤال برای همه‌ی N تعداد CAT اجرا می‌شود.
فصل سوم
روش‌شناسی پژوهش
روششناسی پژوهش و طرح تحقیق
در این قسمت مدل CAT، طرح شبیه‌سازی CAT، شیوه‌ی انجام تحقیق، جامعه و نمونه هم در مطالعه‌ی عملیاتی و هم شبیه‌سازی‌شده، مجموعه‌ای از ملاک‌های استفاده شده برای ارزیابی عملکرد خزانه‌ی سؤال بهینه‌ی موردنظر، نرم افزار‌های مورد استفاده به منظور شبیه‌سازی خزانه‌ی سؤال بهینه و نرم افزار‌های مورد استفاده برای مدرج کردن سؤالات شرح داده می‌شود.
مدل CAT عملیاتی
یک مدل CAT عملیاتی در یک مقیاس بزرگ به عنوان الگو یا محک ساخته شده است. این مدل از ویژگی‌های زیر برخوردار است:
آزمون ریاضی (حسابان-دیفرانسیل) شامل یک آزمون 20 سؤالی است که در آن وزن محتوایی سؤالات ارائه شده در نظر گرفته نشده است (این آزمون تنها به منزله‌ی اهداف پژوهشی اجرا شد). و یک آزمون 60 سؤالی که در آن محتوای آزمون مهم می‌باشد. ( این تعداد سؤالات از تحقیقات، ریکیسی، 2010؛ هی و ریکیسی، 2010؛ گو و ریکیسی، 2007 گرفته شده است). آزمون 60سؤالی شامل، 25 سؤال حسابان (arithmetic)، 15 سؤال جبر خطی (algebra) و 20 سؤال هندسه (geometry) می‌باشد.

خزانه‌ی سؤال مربوط به سؤالات حسابان شامل 455 سؤال می‌باشد. همچنین، خزانه‌ی سؤال مربوط به سؤالات جبر شامل 208 سؤال است. و درپایان خزانه‌ی سؤال مربوط به سؤالات هندسه نیز شامل

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *