]> git.mjollnir.org Git - moodle.git/commitdiff
MDL-3731 - Help file for the Item Analysis report does not explain why Disc. Coeff...
authortjhunt <tjhunt>
Fri, 21 Sep 2007 13:28:53 +0000 (13:28 +0000)
committertjhunt <tjhunt>
Fri, 21 Sep 2007 13:28:53 +0000 (13:28 +0000)
lang/en_utf8/help/quiz/itemanalysis.html

index 54672dda2f41f596da75ebc9d4ed8b28d98689cb..0b9b87a350bb15600bb9fda8d75ef407b8d83795 100644 (file)
@@ -5,25 +5,25 @@ performance of each question for the function of assessment. The statistical par
 calculated as explained by classical test theory (ref. 1)</p>
 
 <h2>Facility Index (% Correct)</h2>
+
 <p>This is a measure of how easy or difficult is a question for quiz-takers. 
 It is calculated as:
 <br />
 FI = (X<sub>average</sub>) / X<sub>max</sub> 
 <br />
-
 where X<sub>average</sub> is the mean credit obtained by all users attempting the item, <br/>
 and X<sub>max</sub> is the maximum credit achievable for that item.<br/>
 If questions can be distributed dicotomically into correct / uncorrect categories, 
-this parameter coincides with the percentage of users that answer the question correctly. </p>
+this parameter coincides with the percentage of users that answer the question correctly.</p>
 
-</p>
 <h2>Standard Deviation (SD)</h2>
+
 <p>This parameter measures the spread of answers in the response population. If all users 
 answers the same, then SD=0. SD is calculated as the statistical stadard deviation for the 
-sample of fractional scores (achieved/maximum) at each particular question.  
-</p>
+sample of fractional scores (achieved/maximum) at each particular question.</p>
 
 <h2>Discrimination Index (DI)</h2>
+
 <p>This provides a rough indicator of the performance of each item to separate proficient 
 <i>vs.</i> less-proficient users. This parameter is calculated by first dividing learners into thirds 
 based on the overall score in the quiz. Then the average score at the analyzed item is calculated for 
@@ -31,31 +31,34 @@ the groups of top and bottom performers, and the average scored substracted. The
 <br/>
 DI = (X<sub>top</sub> - X<sub>bottom</sub>)/ N 
 <br/>
-
 where X<sub>top</sub> is the sum of the fractional credit (achieved/maximum) obtained at this item by the 1/3 of users having tha highest 
 grades in the whole quiz (i.e. number of correct responses in this group), <br/>
 and X<sub>bottom</sub>) is the analog sum for users with the lower 1/3 grades for the whole quiz.</p> 
 
 <p>This parameter can take values between +1 and -1.  
 If the index goes below 0.0 it means that more of the weaker learners got the item right than the stronger learners.  
-Such items should be discarded as worthless.  In fact, they reduce the accuracy of the overall score for the quiz. </p>
+Such items should be discarded as worthless.  In fact, they reduce the accuracy of the overall score for the quiz.</p>
 
 <h2>Discrimination Coefficient (DC)</h2>
-<p>This is another measure of the separating power of the item to distinguish proficient from weak learners.<br/>
-The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:
 
+<p>This is another measure of the separating power of the item to distinguish proficient from weak learners.</p>
+
+<p>The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:
 <br/>
 DC = Sum(xy)/ (N * s<sub>x</sub> * s<sub>y</sub>) 
 <br/>
 where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores, <br/>
 N is the number of responses given to this question<br/>
 s<sub>x</sub> is the standard deviation of fractional scores for this question and, <br/>
-s<sub>y</sub> is the standard deviation of scores at the quiz as a whole.
-</p>
+s<sub>y</sub> is the standard deviation of scores at the quiz as a whole.</p>
+
 <p>Again, this parameter can take values between +1 and -1. Positive values indicate items that 
 do discriminate proficient learners, whereas negative indices mark items that are answered best by 
 those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners 
-and thus they are actually a penalty against the most proficient learners. Those items should be avoided.<br/>
-The advantage of Discrimination Coefficient vs. Discrimitation Index is that the former uses information 
+and thus they are actually a penalty against the most proficient learners. Those items should be avoided.
+Note that, if all learners get exactly the same score for this question, then s<sub>x</sub> is zero, and DC will
+be undefined. This is indicated as DC = -999.00.</p>
+
+<p>The advantage of Discrimination Coefficient vs. Discrimitation Index is that the former uses information 
 from the whole population of learners, not just the extreme upper and lower thirds. Thus, this parameter may be 
 more sensitive to detect item performance.</p>