Add option to checkpoint every evaluation
[openmx:openmx.git] / src / omxState.h
1 /*
2  *  Copyright 2007-2014 The OpenMx Project
3  *
4  *  Licensed under the Apache License, Version 2.0 (the "License");
5  *  you may not use this file except in compliance with the License.
6  *  You may obtain a copy of the License at
7  *
8  *       http://www.apache.org/licenses/LICENSE-2.0
9  *
10  *   Unless required by applicable law or agreed to in writing, software
11  *   distributed under the License is distributed on an "AS IS" BASIS,
12  *   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  *  See the License for the specific language governing permissions and
14  *  limitations under the License.
15  */
16
17 /***********************************************************
18 *
19 *  omxState.h
20 *
21 *  Created: Timothy R. Brick    Date: 2009-05-23
22 *
23 *       Contains header information for the omxState structure
24 *   omxStates keep the current optimization state.
25 *
26 **********************************************************/
27
28 #ifndef _OMXSTATE_H_
29 #define _OMXSTATE_H_
30
31 #define R_NO_REMAP
32 #include <R.h>
33 #include <Rinternals.h>
34 #include <R_ext/Rdynload.h>
35 #include <R_ext/BLAS.h>
36 #include <R_ext/Lapack.h>
37 #include <sys/types.h>
38
39 #ifdef WIN32
40
41 #else
42
43 #include <sys/socket.h>
44 #include <netinet/in.h>
45 #include <netdb.h>
46
47 #endif
48
49 #include <time.h>
50 #include <unistd.h>
51 #include <string>
52 #include <stdarg.h>
53
54 #include "omxDefines.h"
55
56 /* Forward declarations for later includes */
57 typedef struct omxState omxState;
58 typedef struct omxFreeVar omxFreeVar;
59 typedef struct omxConstraint omxConstraint;
60 typedef struct omxConfidenceInterval omxConfidenceInterval;
61
62 #include "omxMatrix.h"
63 #include "omxAlgebra.h"
64 #include "omxExpectation.h"
65 #include "omxFitFunction.h"
66 #include "omxData.h"
67
68 struct omxFreeVarLocation {
69         int matrix;
70         int row, col;
71 };
72
73 struct omxFreeVar {
74         int id;
75         double lbound, ubound;
76         std::vector<omxFreeVarLocation> locations;
77         int numDeps;            // number of algebra/matrix dependencies
78         int *deps;              // indices of algebra/matrix dependencies
79         const char* name;
80         
81         omxFreeVarLocation *getLocation(int matrix);
82 };
83
84 #define FREEVARGROUP_ALL      0
85 #define FREEVARGROUP_NONE    -1
86 #define FREEVARGROUP_INVALID -2
87
88 struct FreeVarGroup {
89         std::vector<int> id;
90         std::vector< omxFreeVar* > vars;
91
92         // see cacheDependencies
93         std::vector<bool> dependencies;
94         std::vector<bool> locations;
95
96         int lookupVar(const char *name);  // index or -1 if not found
97         void cacheDependencies();
98         void markDirty(omxState *os);
99         void log();
100         bool hasSameVars(FreeVarGroup *g2);
101 };
102
103 #define NEG_INF -2e20
104 #define INF 2e20
105
106 struct omxConstraint {          // Free Variable Constraints
107         int size;
108         int opCode;
109         double* lbound;
110         double* ubound;
111         omxMatrix* result;
112 };
113
114 enum omxCheckpointType {
115         OMX_FILE_CHECKPOINT,
116         OMX_CONNECTION_CHECKPOINT
117 };
118 typedef enum omxCheckpointType omxCheckpointType;
119
120 class omxCheckpoint {
121         bool wroteHeader;
122         time_t lastCheckpoint;  // FIXME: Cannot update at sub-second times.
123         int lastIterations;
124         int lastEvaluation;
125         bool fitPending;
126
127         void omxWriteCheckpointHeader();
128         void _prefit(FitContext *fc, double *est, bool force, const char *context);
129
130  public:
131         omxCheckpointType type;
132         time_t timePerCheckpoint;
133         int iterPerCheckpoint;
134         int evalsPerCheckpoint;
135         FILE* file;
136
137         omxCheckpoint();
138         void message(FitContext *fc, double *est, const char *msg);
139         void prefit(FitContext *fc, double *est, bool force);
140         void postfit(FitContext *fc);
141         ~omxCheckpoint();
142 };
143
144 struct omxConfidenceInterval {          // For Confidence interval request
145         omxMatrix* matrix;                              // The matrix
146         int row, col;                                   // Location of element to calculate
147         double ubound;                                  // Fit-space upper boundary
148         double lbound;                                  // Fit-space lower boundary
149         double max;                                             // Value at upper bound
150         double min;                                             // Value at lower bound
151         int lCode;                                              // Optimizer code at lower bound
152         int uCode;                                              // Optimizer code at upper bound
153         unsigned short calcLower;               // Are we currently calculating lbound?
154 };
155
156 #define MAX_STRING_LEN 250
157
158 // omxGlobal is for state that is read-only during parallel sections.
159 class omxGlobal {
160  public:
161         int ciMaxIterations;
162         int numThreads;
163         int analyticGradients;
164         int numChildren;  // == globalState->childList.size()
165         double llScale;
166
167         double maxptsa;
168         double maxptsb;
169         double maxptsc;
170         double absEps;
171         double relEps;
172
173         int maxStackDepth;
174
175         int numIntervals;
176         omxConfidenceInterval* intervalList;
177
178         int computeCount; // protected by openmp atomic
179
180         std::vector< FreeVarGroup* > freeGroup;
181
182         FreeVarGroup *findOrCreateVarGroup(int id);
183         FreeVarGroup *findVarGroup(int id);
184
185         // These lists exist only to free memory
186         std::vector< omxCompute* > computeList;
187         std::vector< omxAlgebra* > algebraList;
188
189         std::vector< std::string > bads;
190
191         // Will need revision if multiple optimizers are running in parallel
192         std::vector< omxCheckpoint* > checkpointList;
193
194         omxGlobal();
195         void deduplicateVarGroups();
196         const char *getBads();
197         void checkpointMessage(FitContext *fc, double *est, const char *fmt, ...) __attribute__((format (printf, 4, 5)));
198         void checkpointPrefit(FitContext *fc, double *est, bool force);
199         void checkpointPostfit(FitContext *fc);
200
201         ~omxGlobal();
202 };
203
204 // Use a pointer to ensure correct initialization and destruction
205 extern struct omxGlobal *Global;
206
207 // omxState is for stuff that must be duplicated for thread safety.
208 struct omxState {
209         bool stale;
210
211         // move to FitContext? TOOD
212         std::vector< omxMatrix* > matrixList;
213         std::vector< omxMatrix* > algebraList;
214         std::vector< omxExpectation* > expectationList;
215         std::vector< omxData* > dataList;
216         std::vector< omxState* > childList;
217
218         // move all constraint stuff to omxGlobal TODO
219         int numConstraints;
220         int ncnln;                                               // Number of linear and nonlinear constraints
221         omxConstraint* conList;                                                                                 // List of constraints
222
223         long int currentRow;                                                                                    // If we're calculating row-by-row, what row are we on?
224 };
225
226 extern omxState* globalState;
227
228 /* Initialize and Destroy */
229         void omxInitState(omxState* state);
230         void omxFillState(omxState* state, /*omxOptimizer *oo,*/ omxMatrix** matrixList, omxMatrix** algebraList, omxData** dataList, omxMatrix* fitFunction);
231 void omxFreeChildStates(omxState *state);
232 void omxFreeState(omxState *state);
233         void omxDuplicateState(omxState *tgt, omxState* src); 
234
235         omxMatrix* omxLookupDuplicateElement(omxState* os, omxMatrix* element);
236
237 inline bool isErrorRaised(omxState *) { return Global->bads.size() != 0; }
238 void omxRaiseError(const char* Rf_errorMsg); // DEPRECATED
239 void omxRaiseErrorf(const char* Rf_errorMsg, ...) __attribute__((format (printf, 1, 2)));
240
241 void omxStateNextRow(omxState *state);
242
243 void mxLog(const char* msg, ...) __attribute__((format (printf, 1, 2)));   // thread-safe
244 void mxLogBig(const std::string str);
245 std::string string_snprintf(const char *fmt, ...) __attribute__((format (printf, 1, 2)));
246 std::string string_vsnprintf(const char *fmt, va_list ap);
247
248 #endif /* _OMXSTATE_H_ */
249
250