Add option to checkpoint every evaluation
[openmx:openmx.git] / src / glue.cpp
1 /*
2  *  Copyright 2007-2014 The OpenMx Project
3  *
4  *  Licensed under the Apache License, Version 2.0 (the "License");
5  *  you may not use this file except in compliance with the License.
6  *  You may obtain a copy of the License at
7  *
8  *       http://www.apache.org/licenses/LICENSE-2.0
9  *
10  *   Unless required by applicable law or agreed to in writing, software
11  *   distributed under the License is distributed on an "AS IS" BASIS,
12  *   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  *  See the License for the specific language governing permissions and
14  *  limitations under the License.
15  */
16
17 #include <stdio.h>
18 #include <sys/types.h>
19 #include <errno.h>
20
21 #define R_NO_REMAP
22 #include <R.h>
23 #include <Rinternals.h>
24 #include <R_ext/Rdynload.h>
25 #include <R_ext/BLAS.h>
26 #include <R_ext/Lapack.h>
27
28 #include "omxDefines.h"
29 #include "glue.h"
30 #include "omxOpenmpWrap.h"
31 #include "omxState.h"
32 #include "omxMatrix.h"
33 #include "omxAlgebra.h"
34 #include "omxFitFunction.h"
35 #include "omxExpectation.h"
36 #include "omxNPSOLSpecific.h"
37 #include "omxImportFrontendState.h"
38 #include "omxExportBackendState.h"
39 #include "Compute.h"
40 #include "dmvnorm.h"
41 #include "npsolswitch.h"
42
43 static SEXP has_NPSOL()
44 { return Rf_ScalarLogical(HAS_NPSOL); }
45
46 static R_CallMethodDef callMethods[] = {
47         {"backend", (DL_FUNC) omxBackend, 10},
48         {"callAlgebra", (DL_FUNC) omxCallAlgebra, 3},
49         {"findIdenticalRowsData", (DL_FUNC) findIdenticalRowsData, 5},
50         {"Dmvnorm_wrapper", (DL_FUNC) dmvnorm_wrapper, 3},
51         {"hasNPSOL_wrapper", (DL_FUNC) has_NPSOL, 0},
52         {"sparseInvert_wrapper", (DL_FUNC) sparseInvert_wrapper, 1},
53         {NULL, NULL, 0}
54 };
55
56 #ifdef  __cplusplus
57 extern "C" {
58 #endif
59
60 void R_init_OpenMx(DllInfo *info) {
61         R_registerRoutines(info, NULL, callMethods, NULL, NULL);
62
63         // There is no code that will change behavior whether openmp
64         // is set for nested or not. I'm just keeping this in case it
65         // makes a difference with older versions of openmp. 2012-12-24 JNP
66 #if defined(_OPENMP) && _OPENMP <= 200505
67         omp_set_nested(0);
68 #endif
69 }
70
71 void R_unload_OpenMx(DllInfo *) {
72         // keep this stub in case we need it
73 }
74
75 #ifdef  __cplusplus
76 }
77 #endif
78
79 void string_to_try_Rf_error( const std::string& str )
80 {
81         Rf_error("%s", str.c_str());
82 }
83
84 void exception_to_try_Rf_error( const std::exception& ex )
85 {
86         string_to_try_Rf_error(ex.what());
87 }
88
89 SEXP MxRList::asR()
90 {
91         // detect duplicate keys? TODO
92         SEXP names, ans;
93         int len = size();
94         Rf_protect(names = Rf_allocVector(STRSXP, len));
95         Rf_protect(ans = Rf_allocVector(VECSXP, len));
96         for (int lx=0; lx < len; ++lx) {
97                 const char *p1 = (*this)[lx].first;
98                 SEXP p2 = (*this)[lx].second;
99                 if (!p1 || !p2) Rf_error("Attempt to return NULL pointer to R");
100                 SET_STRING_ELT(names, lx, Rf_mkChar(p1));
101                 SET_VECTOR_ELT(ans,   lx, p2);
102         }
103         Rf_namesgets(ans, names);
104         return ans;
105 }
106
107 static void
108 friendlyStringToLogical(const char *key, const char *str, int *out)
109 {
110         int understood = FALSE;
111         int newVal;
112         if (matchCaseInsensitive(str, "Yes")) {
113                 understood = TRUE;
114                 newVal = 1;
115         } else if (matchCaseInsensitive(str, "No")) {
116                 understood = TRUE;
117                 newVal = 0;
118         } else if (isdigit(str[0]) && (atoi(str) == 1 || atoi(str) == 0)) {
119                 understood = TRUE;
120                 newVal = atoi(str);
121         }
122         if (!understood) {
123                 Rf_warning("Expecting 'Yes' or 'No' for '%s' but got '%s', ignoring", key, str);
124                 return;
125         }
126         if(OMX_DEBUG) { mxLog("%s=%d", key, newVal); }
127         *out = newVal;
128 }
129
130 // TODO: make member of omxGlobal class
131 static void readOpts(SEXP options, int *ciMaxIterations, int *numThreads,
132                      int *analyticGradients)
133 {
134                 int numOptions = Rf_length(options);
135                 SEXP optionNames;
136                 Rf_protect(optionNames = Rf_getAttrib(options, R_NamesSymbol));
137                 for(int i = 0; i < numOptions; i++) {
138                         const char *nextOptionName = CHAR(STRING_ELT(optionNames, i));
139                         const char *nextOptionValue = CHAR(Rf_asChar(VECTOR_ELT(options, i)));
140                         if (matchCaseInsensitive(nextOptionName, "CI Max Iterations")) {
141                                 int newvalue = atoi(nextOptionValue);
142                                 if (newvalue > 0) *ciMaxIterations = newvalue;
143                         } else if(matchCaseInsensitive(nextOptionName, "Analytic Gradients")) {
144                                 friendlyStringToLogical(nextOptionName, nextOptionValue, analyticGradients);
145                         } else if(matchCaseInsensitive(nextOptionName, "loglikelihoodScale")) {
146                                 Global->llScale = atof(nextOptionValue);
147                         } else if(matchCaseInsensitive(nextOptionName, "Number of Threads")) {
148                                 *numThreads = atoi(nextOptionValue);
149                                 if (*numThreads < 1) {
150                                         Rf_warning("Computation will be too slow with %d threads; using 1 thread instead", *numThreads);
151                                         *numThreads = 1;
152                                 }
153                         } else if(matchCaseInsensitive(nextOptionName, "mvnMaxPointsA")) {
154                                 Global->maxptsa = atof(nextOptionValue);
155                         } else if(matchCaseInsensitive(nextOptionName, "mvnMaxPointsB")) {
156                                 Global->maxptsb = atof(nextOptionValue);
157                         } else if(matchCaseInsensitive(nextOptionName, "mvnMaxPointsC")) {
158                                 Global->maxptsc = atof(nextOptionValue);
159                         } else if(matchCaseInsensitive(nextOptionName, "mvnAbsEps")) {
160                                 Global->absEps = atof(nextOptionValue);
161                         } else if(matchCaseInsensitive(nextOptionName, "mvnRelEps")) {
162                                 Global->relEps = atof(nextOptionValue);
163                         } else if(matchCaseInsensitive(nextOptionName, "maxStackDepth")) {
164                                 Global->maxStackDepth = atoi(nextOptionValue);
165                         } else {
166                                 // ignore
167                         }
168                 }
169                 Rf_unprotect(1); // optionNames
170 }
171
172 /* Main functions */
173 SEXP omxCallAlgebra2(SEXP matList, SEXP algNum, SEXP options) {
174
175         omxManageProtectInsanity protectManager;
176
177         if(OMX_DEBUG) { mxLog("-----------------------------------------------------------------------");}
178         if(OMX_DEBUG) { mxLog("Explicit call to algebra %d.", INTEGER(algNum)[0]);}
179
180         int j,k,l;
181         omxMatrix* algebra;
182         int algebraNum = INTEGER(algNum)[0];
183         SEXP ans, nextMat;
184
185         FitContext::setRFitFunction(NULL);
186         Global = new omxGlobal;
187
188         globalState = new omxState;
189         omxInitState(globalState);
190
191         readOpts(options, &Global->ciMaxIterations, &Global->numThreads, 
192                         &Global->analyticGradients);
193
194         /* Retrieve All Matrices From the MatList */
195
196         if(OMX_DEBUG) { mxLog("Processing %d matrix(ces).", Rf_length(matList));}
197
198         omxMatrix *args[Rf_length(matList)];
199         for(k = 0; k < Rf_length(matList); k++) {
200                 Rf_protect(nextMat = VECTOR_ELT(matList, k));   // This is the matrix + populations
201                 args[k] = omxNewMatrixFromRPrimitive(nextMat, globalState, 1, - k - 1);
202                 globalState->matrixList.push_back(args[k]);
203                 if(OMX_DEBUG) {
204                         mxLog("Matrix[%d] initialized (%d x %d)",
205                                 k, globalState->matrixList[k]->rows, globalState->matrixList[k]->cols);
206                 }
207         }
208
209         algebra = omxNewAlgebraFromOperatorAndArgs(algebraNum, args, Rf_length(matList), globalState);
210
211         if(algebra==NULL) {
212                 Rf_error("Failed to build algebra");
213         }
214
215         if(OMX_DEBUG) {mxLog("Completed Algebras and Matrices.  Beginning Initial Compute.");}
216
217         omxRecompute(algebra);
218
219         Rf_protect(ans = Rf_allocMatrix(REALSXP, algebra->rows, algebra->cols));
220         for(l = 0; l < algebra->rows; l++)
221                 for(j = 0; j < algebra->cols; j++)
222                         REAL(ans)[j * algebra->rows + l] =
223                                 omxMatrixElement(algebra, l, j);
224
225         if(OMX_DEBUG) { mxLog("All Algebras complete."); }
226
227         const char *bads = Global->getBads();
228
229         omxFreeMatrix(algebra);
230         omxFreeState(globalState);
231         delete Global;
232
233         if (bads) Rf_error(bads);
234
235         return ans;
236 }
237
238 SEXP omxCallAlgebra(SEXP matList, SEXP algNum, SEXP options)
239 {
240         try {
241                 return omxCallAlgebra2(matList, algNum, options);
242         } catch( std::exception& __ex__ ) {
243                 exception_to_try_Rf_error( __ex__ );
244         } catch(...) {
245                 string_to_try_Rf_error( "c++ exception (unknown reason)" );
246         }
247 }
248
249 SEXP omxBackend2(SEXP constraints, SEXP matList,
250                  SEXP varList, SEXP algList, SEXP expectList, SEXP computeList,
251                  SEXP data, SEXP intervalList, SEXP checkpointList, SEXP options)
252 {
253         SEXP nextLoc;
254
255         /* Sanity Check and Parse Inputs */
256         /* TODO: Need to find a way to account for nullness in these.  For now, all checking is done on the front-end. */
257 //      if(!isVector(matList)) Rf_error ("matList must be a list");
258 //      if(!isVector(algList)) Rf_error ("algList must be a list");
259
260         omxManageProtectInsanity protectManager;
261
262         FitContext::setRFitFunction(NULL);
263         Global = new omxGlobal;
264
265         /* Create new omxState for current state storage and initialize it. */
266         globalState = new omxState;
267         omxInitState(globalState);
268
269         readOpts(options, &Global->ciMaxIterations, &Global->numThreads, 
270                         &Global->analyticGradients);
271 #if HAS_NPSOL
272         omxSetNPSOLOpts(options);
273 #endif
274
275         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
276         omxProcessMxExpectationEntities(expectList);
277
278         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
279         omxProcessMxDataEntities(data);
280     
281         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
282         omxProcessMxMatrixEntities(matList);
283
284         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
285         std::vector<double> startingValues;
286         omxProcessFreeVarList(varList, &startingValues);
287
288         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
289         omxProcessMxAlgebraEntities(algList);
290
291         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
292         omxProcessMxFitFunction(algList);
293
294         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
295         omxProcessMxComputeEntities(computeList);
296
297         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
298         omxCompleteMxExpectationEntities();
299
300         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
301         omxCompleteMxFitFunction(algList);
302
303         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
304         omxInitialMatrixAlgebraCompute();
305
306         if (isErrorRaised(NULL)) {
307                 Rf_error(Global->getBads());
308         }
309
310         /*
311         // Fit functions may not have computed anything because want=0.
312         // We shouldn't leave them marked clean because, for example,
313         // ComputeNumericDeriv will see an invalid reference fit value.
314         //
315         // Wait, does dirty/clean make sense for fitfunctions?
316         //
317         for(size_t index = 0; index < globalState->algebraList.size(); ++index) {
318                 omxMatrix *mat = globalState->algebraList[index];
319                 if (mat->fitFunction) omxMarkDirty(mat);
320         }
321         */
322
323         omxCompute *topCompute = NULL;
324         if (Global->computeList.size()) topCompute = Global->computeList[0];
325
326         /* Process Matrix and Algebra Population Function */
327         /*
328           Each matrix is a list containing a matrix and the other matrices/algebras that are
329           populated into it at each iteration.  The first element is already processed, above.
330           The rest of the list will be processed here.
331         */
332         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
333         for(int j = 0; j < Rf_length(matList); j++) {
334                 Rf_protect(nextLoc = VECTOR_ELT(matList, j));           // This is the matrix + populations
335                 globalState->matrixList[j]->omxProcessMatrixPopulationList(nextLoc);
336         }
337
338         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
339         omxProcessConstraints(constraints);
340
341         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
342         omxProcessConfidenceIntervals(intervalList);
343
344         omxProcessCheckpointOptions(checkpointList);
345
346         for (size_t vg=0; vg < Global->freeGroup.size(); ++vg) {
347                 Global->freeGroup[vg]->cacheDependencies();
348         }
349
350         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
351         if (protectManager.getDepth() > Global->maxStackDepth) {
352                 Rf_error("Protection stack too large; report this problem to the OpenMx forum");
353         }
354         FitContext fc(startingValues);
355
356         if (topCompute && !isErrorRaised(globalState)) {
357                 topCompute->compute(&fc);
358         }
359
360         SEXP evaluations;
361         Rf_protect(evaluations = Rf_allocVector(REALSXP,2));
362
363         REAL(evaluations)[0] = Global->computeCount;
364
365         if (topCompute && !isErrorRaised(globalState) && globalState->stale) {
366                 fc.copyParamToModel(globalState);
367         }
368
369         MxRList result;
370
371         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
372         omxExportResults(globalState, &result); 
373
374         REAL(evaluations)[1] = Global->computeCount;
375
376         if (topCompute && !isErrorRaised(globalState)) {
377                 LocalComputeResult cResult;
378                 topCompute->collectResults(&fc, &cResult, &result);
379
380                 if (cResult.size()) {
381                         SEXP computes;
382                         Rf_protect(computes = Rf_allocVector(VECSXP, cResult.size() * 2));
383                         for (size_t cx=0; cx < cResult.size(); ++cx) {
384                                 std::pair<int, MxRList*> &c1 = cResult[cx];
385                                 SET_VECTOR_ELT(computes, cx*2, Rf_ScalarInteger(c1.first));
386                                 SET_VECTOR_ELT(computes, cx*2+1, c1.second->asR());
387                                 delete c1.second;
388                         }
389                         result.add("computes", computes);
390                 }
391
392                 if (fc.wanted & FF_COMPUTE_FIT) {
393                         result.add("fit", Rf_ScalarReal(fc.fit));
394                         result.add("Minus2LogLikelihood", Rf_ScalarReal(fc.fit));
395                 }
396                 if (fc.wanted & FF_COMPUTE_BESTFIT) {
397                         result.add("minimum", Rf_ScalarReal(fc.fit));
398                 }
399
400                 size_t numFree = Global->freeGroup[FREEVARGROUP_ALL]->vars.size();
401                 if (numFree) {
402                         // move other global reporting here TODO
403
404                         SEXP estimate;
405                         Rf_protect(estimate = Rf_allocVector(REALSXP, numFree));
406                         memcpy(REAL(estimate), fc.est, sizeof(double)*numFree);
407                         result.add("estimate", estimate);
408
409                         if (fc.stderrs) {
410                                 SEXP stdErrors;
411                                 Rf_protect(stdErrors = Rf_allocMatrix(REALSXP, numFree, 1));
412                                 memcpy(REAL(stdErrors), fc.stderrs, sizeof(double) * numFree);
413                                 result.add("standardErrors", stdErrors);
414                         }
415                         if (fc.wanted & (FF_COMPUTE_HESSIAN | FF_COMPUTE_IHESSIAN)) {
416                                 result.add("infoDefinite", Rf_ScalarLogical(fc.infoDefinite));
417                                 result.add("conditionNumber", Rf_ScalarReal(fc.infoCondNum));
418                         }
419                 }
420         }
421
422         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
423         MxRList backwardCompatStatus;
424         backwardCompatStatus.add("code", Rf_ScalarInteger(fc.inform));
425         backwardCompatStatus.add("status", Rf_ScalarInteger(-isErrorRaised(globalState)));
426
427         if (isErrorRaised(globalState)) {
428                 SEXP msg;
429                 Rf_protect(msg = Rf_allocVector(STRSXP, 1));
430                 SET_STRING_ELT(msg, 0, Rf_mkChar(Global->getBads()));
431                 result.add("error", msg);
432                 backwardCompatStatus.add("statusMsg", msg);
433         }
434
435         result.add("status", backwardCompatStatus.asR());
436         result.add("iterations", Rf_ScalarInteger(fc.iterations));
437         result.add("evaluations", evaluations);
438
439         omxFreeState(globalState);
440         delete Global;
441
442         if(OMX_DEBUG) mxLog("Protect depth at line %d: %d", __LINE__, protectManager.getDepth());
443         return result.asR();
444 }
445
446 SEXP omxBackend(SEXP constraints, SEXP matList,
447                 SEXP varList, SEXP algList, SEXP expectList, SEXP computeList,
448                 SEXP data, SEXP intervalList, SEXP checkpointList, SEXP options)
449 {
450         try {
451                 return omxBackend2(constraints, matList,
452                                    varList, algList, expectList, computeList,
453                                    data, intervalList, checkpointList, options);
454         } catch( std::exception& __ex__ ) {
455                 exception_to_try_Rf_error( __ex__ );
456         } catch(...) {
457                 string_to_try_Rf_error( "c++ exception (unknown reason)" );
458         }
459 }
460