پاورپوینت مراحل ساخت پرسشنامه

بخشی از پاورپوینت

اسلاید 2 :

Cut off Point Setting
(Scoring)
Baqiyatallah University of Medical Sciences
2015

اسلاید 3 :

مراحل ساخت پرسشنامه
Item Generation
Item Reduction
Normalization
Application

اسلاید 4 :

Terms In Scoring
Gold Standard

Standard Setting
- Cut Score
- Passing Score
- Cut off Point

اسلاید 5 :

Gold Standard
دیکشنری آکسفورد:
اندازه ای که دیگران با آن مقایسه می شوند یا توسط آن دقتشان مورد قضاوت قرار می گیرد. پایه ای است برای مقایسه.

در پزشکی و آمار:
بهترین آزمون تشخیصی (معیار) که تحت شرایط منطقی، قابل دسترس باشد.
E. Versi, "Gold standard" is an appropriate term. BMJ. Jul 18, 1992; 305(6846): 187.
Claassen JA, ['Gold standard', not 'golden standard']. Ned Tijdschr Geneeskd. 2005 Dec 24;149(52):2937.
در ادبیات پزشکی، توصیف یک آزمون مرجع مورد استفاده برای مقایسه با یک روش جدید است. ولی هرگز بدون خطا و لغزش نیست. اصطلاح نادرست Golden Standard اشاره به یک سطح از کمال است که در علوم پزشکی دست یافتنی نیست.

اسلاید 6 :

Standard Setting
تعیین استاندارد، روشی برای تعریف سطح موفقیت یا مهارت و نمرات برش مربوط به آن سطح است.
تعیین Cut Score یک آزمون که مربوط به شرح عملکرد آن آزمون است.
هدف: How good is good enough?
چقدر خوب به اندازه کافی خوب است؟
پاسخ به این سوال، تا حد زیادی به انتخاب روش تعیین استاندارد بستگی دارد. چرا که روشهای مختلف، منجر به نمرات برش متفاوت می شوند.
Isaac I. Bejar. Standard Setting: What Is It? Why Is It Important? R&D Connections, No. 7, October 2008.
Neus Figueras,,José Noijons . Linking to the CEFR levels: Research perspectives. Cito,EALTA,Arnhem, 2009.

اسلاید 7 :

Methods for setting cut scores
امروزه بیش از 60 روش وجود دارد و هنوز هم گرایش به ظهور روشهای جدید، در فواصل منظم دیده می شود.

دلایل تنوع این متدولوژی عبارتند از:
روش عامی وجود ندارد، یعنی قابل اجرا در هر وضعیتی نیستند.
تئوری آزمون موفق، در حال توسعه و ایجاد فرمت ها و اشکال جدید ارزشیابی و جمع بندی نتایج آزمون است.
عدم آگاهی عمیق از روشهای موجود و ” اختراع دوباره چرخ“.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 8 :

Six Methods for Cut Score Setting
Basket procedure
Compound Cumulative method
Cumulative Cluster method
Item Mastery method
Level Characteristic Curve method
ROC-curve method

این روشها بین سالهای 2006-1999، برای آزمونهای زبان خارجی و برای برقراری ارتباط بین نتایج آزمون به سطح مهارت زبان توسعه داده شد.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 9 :

1- Basket procedure
بر اساس روش سبد خرید، هر نمره برش، برابر است با تعداد کل آیتم هایی که توسط ارزیاب می تواند بدرستی پاسخ داده شود، در همه سطوح صلاحیتی که زیر نمره برش مربوطه قرار دارند.

بر اساس این منطق، یک داوطلب در سطح مهارت X ، بایستی نه تنها به آیتم های متعلق به سطوح پایین تر مهارت، بدرستی پاسخ بدهد، بلکه حداقل با یک آیتم بیشتر از سطح X ( یا تعدادی بالاتر) .
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 10 :

نمره برش تنها زمانی می تواند تعیین شود که تعداد کل آیتم های متعلق به سطوح قبل از یک سطح معین، متفاوت با صفر و یا حداکثر نمره آزمون باشند.
بر اساس این قضاوت، ( از E1 و E2 ) نمرات برش A1 /A2 و C1 /C2 نمی توانند تعیین شوند.

بر اساس نمرات برش تعریف شده، داوطلبان با سطوح صلاحیت به شرح ذیل طبقه بندی می شوند.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 11 :

2- Compound Cumulative Method
در روش تجمعی مرکب یکبار قضاوت می شود و این امر مانع امکان قضاوت بر اساس داده های تجربی می شود.
یعنی جمع کردن نتایج قضاوتها و داده های تجربی خلفی و تعیین نمرات برش نهایی بعنوان نتیجه ای از این تجمیع.
E2 قضاوت ایده آل.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 12 :

هدف از توسعه این روش
تطابق با سه معیار:
عملی بودن (قضاوت با حداقل پیچیدگی شناختی)
طیف گسترده ای از حداکثر توافق با شواهد تجربی (انواع آزمون، صرفنظر از مبنای نظری آن و هر نوع آیتم، بدون در نظر گرفتن نمره شان ( دوگانه یا چندگانه)
و نیاز به صرف زمان کمتر
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 13 :

3- Cumulative Cluster method
در روش خوشه ای تجمعی بر پایه میانگین دشواری آیتم ها، بوسیله سطوح مهارت برای یک قضاوت انجام شده، آیتم ها دور هم جمع می شوند (تعدادی خوشه).
ارزیاب از این خوشه ها بعنوان سطوح مختلف مهارت در قضاوتش استفاده می کند.
با استفاده از آنالیز خوشه ای، آیتم ها بر اساس درجه شباهتشان (از لحاظ دشواری تجربی) گروه بندی می شوند.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 14 :

آیتم ها بوسیله سطوح مهارت طبقه بندی شده اند؛ از لحاظ اینکه چگونه موقعیت افقی شان بر دشواری شان(در مقیاس Z) منطبق می شود.

اسلاید 15 :

Item Mastery method
روش تسلط آیتم، نیاز به دو شعبه قضاوت برای هر سطح از مهارت دارد (مشابه منحنی راک).
در هر مرحله از قضاوت، آیتم های آزمون بر اساس پاسخ به این سوال طبقه بندی می شوند:
آیا شما فکر می کنید که داوطلب با مهارت زبان در سطح X ، پاسخ این آیتم را بدرستی خواهد داد؟ (بلی/خیر)
تعداد مراحل ( دور) در این قضاوت بستگی به تعداد نمره برشی که تعیین می کنیم دارد.
اگر سه نمره برش بخواهیم ( ) سه دور .
این فرمول از کار قضاوت، کنترل بیشتری بر پایایی قضاوتها را میسر می کند، اما وقت گیر است.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 16 :

Level Characteristic Curve method
روش سطح منحنی مشخصه، ارتباط بین درجه توسعه مشخصه های اندازه گیری شده ( بعنوان مثال مهارت درک مطلب) و احتمال پاسخ صحیح به آیتم در یک آزمون است.
با افزایش مشخصه اندازه گیری شده، احتمال برای پاسخ صحیح افزایش می یابد.
برای سطح دشواری Z1 ، همه داوطلبینی که نمره آزمون بالاتر از Z1 دارند، احتمال ارائه پاسخ صحیح بالاتر از 0.5 (%50) است.
بعبارت دیگر نقطه Z1 مرز (Cut Off) ارزش بین سطح X و سطح قبلی اش (Z- 1) است.

اسلاید 17 :

Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 18 :

ROC-curve methodReceiver Operating Characteristic curve
منحنی ROC با موفقیت در بسیاری از حوزه های علوم مختلف استفاده شده، اما در آزمون های موفقیت هنوز بطور گسترده استفاده نشده است. در تشخیص های پزشکی بسیار متداول است.

منحنی راک نقشه ای است که با نشان دادن نقاط برش فراوان، بهترین حساسیت و ویژگی را نشان می دهد.

این منحنی یکی از موثرترین روشها برای بررسی عملکرد تستهای تشخیصی است. تشخیص صحیح بیماریها و غربالگریهای مورد اعتماد به عملکرد و صحت تستهای تشخیصی بستگی دارد.
Felianka Kaftandjieva. Methods for Setting Cut cores in Criterion-referenced Achievement Tests. Cito, Arnhem, 2010.

اسلاید 19 :

آنالیز صحت تستهای تشخیصی
لغت تست تشخیصی بسیار دینامیک است ، ممکن است یک تست تشخیصی، برخی موارد بیمار را سالم تشخیص داده و برخی موارد سالم را بیمار تشخیص دهد.

از اینرو بهبود تستهای تشخیصی موضوع مورد توجه پرسنل سلامتی است چراکه بهترین تصمیم گیری از بهترین تشخیص نشات می گیرد و اشتباه در تستهای آزمایشگاهی منجر به خطا در تشخیص و عوارض درمان نادرست می گردد.

اسلاید 20 :

A perfect diagnostic test