Add some comments
[openmx:openmx.git] / models / nightly / ifa-cai2009.R
1 # This data is from an email:
2 #
3 # Date: Wed, 06 Feb 2013 19:49:24 -0800
4 # From: Li Cai <lcai@ucla.edu>
5 # To: Joshua N Pritikin <jpritikin@pobox.com>
6 # Subject: Re: how did you control item bias in Cai (2010, p. 592) ?
7
8 #options(error = utils::recover)
9 library(OpenMx)
10 library(rpf)
11
12 correct.LL <- 29995.30  # from flexMIRT
13
14 # read data
15 data.raw <- suppressWarnings(try(read.csv("models/nightly/data/cai2009.csv"), silent=TRUE))
16 if (is(data.raw, "try-error")) data.raw <- read.csv("data/cai2009.csv")
17 data.g1 <- as.data.frame(data.raw[data.raw$G==1, 2:13])
18 data.g2 <- as.data.frame(data.raw[data.raw$G==2, 2:17])
19
20 if (0) {
21   # for flexmirt
22   write.table(data.g1, "cai2009-g1.csv", quote=FALSE, row.names=FALSE, col.names=FALSE)
23   write.table(data.g2, "cai2009-g2.csv", quote=FALSE, row.names=FALSE, col.names=FALSE)  
24   fm <- read.flexmirt("~/irt/cai2009/cai2009-prm.txt")
25   fm$G1$spec <- NULL
26   fm$G2$spec <- NULL
27 }
28
29 # from flexMIRT
30 fm <- structure(list(G1 = structure(list(param = structure(c(0.992675,  0.646717, 0, 0, 0.876469, 1.41764, 1.25402, 0, 0, 0.0826927,  1.76547, 1.20309, 0, 0, -0.346706, 2.1951, 0.844399, 0, 0, -0.978301,  1.37774, 0, 1.06694, 0, 0.992373, 1.80365, 0, 0.814109, 0, 0.213559,  2.15718, 0, 1.58086, 0, -0.418129, 1.18201, 0, 1.56533, 0, -1.24173,  1.80474, 0, 0, 1.0774, 0.810718, 2.60754, 0, 0, 1.23507, 0.0598008,  1.01874, 0, 0, 0.724402, -0.294029, 1.68916, 0, 0, 1.37546, -1.13333 ), .Dim = c(5L, 12L), .Dimnames = list(NULL, c("i1", "i2", "i3",  "i4", "i5", "i6", "i7", "i8", "i9", "i10", "i11", "i12"))), mean = structure(c(0.822622,  -0.290462, 0.19672, 0.733993), .Names = c("X6", "X7", "X8", "X9" )), cov = structure(c(0.826046, 0, 0, 0, 0, 1.656, 0, 0, 0, 0,  1.11263, 0, 0, 0, 0, 1.07878), .Dim = c(4L, 4L))), .Names = c("param",  "mean", "cov")),
31                      G2 = structure(list(param = structure(c(0.992675,  0.646717, 0, 0, 0, 0.876469, 1.41764, 1.25402, 0, 0, 0, 0.0826927,  1.76547, 1.20309, 0, 0, 0, -0.346706, 2.1951, 0.844399, 0, 0,  0, -0.978301, 1.37774, 0, 1.06694, 0, 0, 0.992373, 1.80365, 0,  0.814109, 0, 0, 0.213559, 2.15718, 0, 1.58086, 0, 0, -0.418129,  1.18201, 0, 1.56533, 0, 0, -1.24173, 1.80474, 0, 0, 1.0774, 0,  0.810718, 2.60754, 0, 0, 1.23507, 0, 0.0598008, 1.01874, 0, 0,  0.724402, 0, -0.294029, 1.68916, 0, 0, 1.37546, 0, -1.13333,  1.75531, 0, 0, 0, 1.20652, 0.875564, 1.26308, 0, 0, 0, 1.25013,  0.196607, 1.44526, 0, 0, 0, 0.990354, -0.351181, 1.89461, 0,  0, 0, 0.85611, -1.09382), .Dim = c(6L, 16L), .Dimnames = list(     NULL, c("i1", "i2", "i3", "i4", "i5", "i6", "i7", "i8", "i9",      "i10", "i11", "i12", "i13", "i14", "i15", "i16"))), mean = structure(c(0,  0, 0, 0, 0), .Names = c("X6", "X7", "X8", "X9", "X10")), cov = structure(c(1,  0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0,  0, 0, 1), .Dim = c(5L, 5L))), .Names = c("param", "mean", "cov" ))), .Names = c("G1", "G2"))
32
33 for (col in colnames(data.g1)) data.g1[[col]] <- mxFactor(data.g1[[col]], levels=0:1)
34 for (col in colnames(data.g2)) data.g2[[col]] <- mxFactor(data.g2[[col]], levels=0:1)
35
36 # This function creates a model for a single group.
37 mk.model <- function(model.name, data, latent.free) {
38   numItems <- dim(data)[2]
39   numPersons <- dim(data)[1]
40   spec <- list()
41   spec[1:numItems] <- rpf.grm(factors = 2)
42   
43   dims <- (1 + numItems/4)
44   design <- matrix(c(rep(1,numItems),
45                      kronecker(2:dims,rep(1,4))), byrow=TRUE, ncol=numItems)
46   
47   ip.mat <- mxMatrix(name="ItemParam", nrow=3, ncol=numItems,
48                      values=c(1.4,1,0),
49                      free=c(TRUE,TRUE,TRUE))
50   
51   for (ix in 1:numItems) {
52     for (px in 1:3) {
53       name <- paste(c('p',ix,',',px), collapse='')
54       ip.mat@labels[px,ix] <- name
55     }
56   }
57   eip.mat <- mxAlgebra(ItemParam, name="EItemParam", fixed=TRUE)
58
59   m.mat <- mxMatrix(name="mean", nrow=1, ncol=dims, values=0, free=latent.free)
60   cov.mat.free <- FALSE
61   if (latent.free) {
62     cov.mat.free <- diag(dims)==1
63   }
64   cov.mat <- mxMatrix(name="cov", nrow=dims, ncol=dims, values=diag(dims),
65                       free=cov.mat.free)
66   
67   m1 <- mxModel(model=model.name, ip.mat, eip.mat, m.mat, cov.mat,
68                 mxData(observed=data, type="raw"),
69                 mxExpectationBA81(
70                   ItemSpec=spec,
71                   design=design,
72                   EItemParam="EItemParam", ItemParam="ItemParam",
73                   mean="mean", cov="cov",
74                   qpoints=21, qwidth=5),
75                 mxFitFunctionML())
76   m1
77 }
78
79 groups <- paste("g", 1:2, sep="")
80
81 if (1) {
82         # Before fitting the model, check EAP score output against flexMIRT
83   g1 <- mk.model("g1", data.g1, TRUE)
84   g2 <- mk.model("g2", data.g2, FALSE)
85   g1@matrices$ItemParam@values <-
86     rbind(fm$G1$param[1,], apply(fm$G1$param[2:4,], 2, sum), fm$G1$param[5,])
87   g1@matrices$mean@values <- t(fm$G1$mean)
88   g1@matrices$cov@values <- fm$G1$cov
89   g2@matrices$ItemParam@values <-
90     rbind(fm$G2$param[1,], apply(fm$G2$param[2:5,], 2, sum), fm$G2$param[6,])
91   
92   cModel <- mxModel(model="cModel", g1,g2,
93                     mxComputeOnce(paste(groups, 'expectation', sep='.'), context='EM'))
94 #  cModel <- mxOption(cModel, "Number of Threads", 1)
95   for (grp in groups) cModel@submodels[[grp]]@expectation@scores <- 'full'
96   cModel.eap <- mxRun(cModel)
97
98   fm.sco.g1 <- suppressWarnings(try(read.table("models/nightly/data/cai2009-sco-g1.txt"), silent=TRUE))
99   if (is(fm.sco.g1, "try-error")) fm.sco.g1 <- read.table("data/cai2009-sco-g1.txt")
100   fm.sco.g2 <- suppressWarnings(try(read.table("models/nightly/data/cai2009-sco-g2.txt"), silent=TRUE))
101   if (is(fm.sco.g2, "try-error")) fm.sco.g2 <- read.table("data/cai2009-sco-g2.txt")
102   colnames(fm.sco.g1) <- c("grp","id",colnames(cModel.eap@submodels$g1@expectation@scores.out))
103   colnames(fm.sco.g2) <- c("grp","id",colnames(cModel.eap@submodels$g2@expectation@scores.out))
104   
105   scores.g1 <- cModel.eap@submodels$g1@expectation@scores.out
106   omxCheckCloseEnough(as.matrix(fm.sco.g1[,-1:-2]),
107                       scores.g1, 1e-3)
108   omxCheckCloseEnough(as.matrix(fm.sco.g2[,-1:-2]),
109                       cModel.eap@submodels$g2@expectation@scores.out, 1e-3)
110   
111   # Also check whether we compute the LL correctly given flexMIRT's parameters.
112     cModel <- mxModel(cModel,
113                       mxFitFunctionMultigroup(paste(groups, "fitfunction", sep=".")),
114                       mxComputeSequence(steps=list(
115                         mxComputeOnce(paste(groups, 'expectation', sep=".")),
116                         mxComputeOnce('fitfunction'))))
117     cModel <- mxRun(cModel)
118     omxCheckCloseEnough(cModel@output$minimum, correct.LL, .01)
119 }
120
121 if(1) {
122         # Now actually fit the model.
123   g1 <- mk.model("g1", data.g1, TRUE)
124   g2 <- mk.model("g2", data.g2, FALSE)
125   grpModel <- mxModel(model="groupModel", g1, g2,
126                       mxFitFunctionMultigroup(paste(groups, "fitfunction", sep=".")),
127                       mxComputeIterate(steps=list(
128                         mxComputeOnce(paste(groups, "EItemParam", sep=".")),
129                         mxComputeOnce(paste(groups, 'expectation', sep='.'), context='EM'),
130                         mxComputeNewtonRaphson(free.set=paste(groups, 'ItemParam', sep=".")),
131                         mxComputeOnce(paste(groups, 'expectation', sep=".")),
132                         mxComputeOnce(start=TRUE, 'fitfunction')
133                       )))
134   
135   #grpModel <- mxOption(grpModel, "Number of Threads", 1)
136   
137   # NPSOL options:
138   grpModel <- mxOption(grpModel, "Analytic Gradients", 'Yes')
139   grpModel <- mxOption(grpModel, "Verify level", '-1')
140   grpModel <- mxOption(grpModel, "Function precision", '1.0E-7')
141   
142   grpModel <- mxRun(grpModel)
143     
144   omxCheckCloseEnough(grpModel@fitfunction@result, correct.LL, .01)
145   omxCheckCloseEnough(grpModel@submodels$g2@matrices$ItemParam@values,
146                       rbind(fm$G2$param[1,], apply(fm$G2$param[2:5,], 2, sum), fm$G2$param[6,]), .01)
147   omxCheckCloseEnough(grpModel@submodels$g1@matrices$mean@values, t(fm$G1$mean), .01)
148   omxCheckCloseEnough(grpModel@submodels$g1@matrices$cov@values, fm$G1$cov, .01)
149 }