More performance improvements to Analytical Gradient calculation.
[openmx:openmx.git] / src / omxMatrix.h
1 /*
2  *  Copyright 2007-2012 The OpenMx Project
3  *
4  *  Licensed under the Apache License, Version 2.0 (the "License");
5  *  you may not use this file except in compliance with the License.
6  *  You may obtain a copy of the License at
7  *
8  *       http://www.apache.org/licenses/LICENSE-2.0
9  *
10  *   Unless required by applicable law or agreed to in writing, software
11  *   distributed under the License is distributed on an "AS IS" BASIS,
12  *   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  *  See the License for the specific language governing permissions and
14  *  limitations under the License.
15  *
16  */
17
18 /***********************************************************
19  *
20  *  omxMatrix.h
21  *
22  *  Created: Timothy R. Brick   Date: 2008-11-13 12:33:06
23  *
24  *      Contains header information for the omxMatrix class
25  *   omxDataMatrices hold necessary information to simplify
26  *      dealings between the OpenMX back end and BLAS.
27  *
28  **********************************************************/
29
30 #ifndef _OMXMATRIX_H_
31 #define _OMXMATRIX_H_
32
33 #include "R.h"
34 #include <Rinternals.h>
35 #include <Rdefines.h>
36 #include <R_ext/Rdynload.h>
37 #include <R_ext/BLAS.h>
38 #include <R_ext/Lapack.h>
39 #include "omxDefines.h"
40 #include "omxBLAS.h"
41
42 typedef struct omxMatrix omxMatrix;
43
44 #include "omxAlgebra.h"
45 #include "omxObjective.h"
46 #include "omxState.h"
47
48
49 struct omxMatrix {                                              // A matrix
50                                                                                 //TODO: Improve encapsulation
51 /* Actually Useful Members */
52         int rows, cols;                                         // Matrix size  (specifically, its leading edge)
53         double* data;                                           // Actual Data Pointer
54         unsigned short colMajor;                        // and column-majority.
55         unsigned short hasMatrixNumber;         // is this object in the matrix or algebra arrays?
56         int matrixNumber;                                       // the offset into the matrices or algebras arrays
57
58 /* For Memory Administrivia */
59         unsigned short localData;                       // If data has been malloc'd, and must be freed.
60
61 /* For aliased matrices */                              // Maybe this should be a subclass, as well.
62         omxMatrix* aliasedPtr;                          // For now, assumes outside data if aliased.
63         unsigned short originalColMajor;        // Saved for reset of aliased matrix.
64         unsigned short originalRows;            // Saved for reset of aliased matrix.
65         unsigned short originalCols;            // Saved for reset of aliased matrix.
66
67 /* For BLAS Multiplication Speedup */   // TODO: Replace some of these with inlines or macros.
68         const char* majority;                           // Filled by compute(), included for speed
69         const char* minority;                           // Filled by compute(), included for speed
70         int leading;                                            // Leading edge; depends on original majority
71         int lagging;                                            // Non-leading edge.
72
73 /* Curent State */
74         omxState* currentState;                         // Optimizer State
75         unsigned short isDirty;                         // Retained, for historical purposes.
76         unsigned short isTemporary;                     // Whether or not to destroy the omxMatrix Structure when omxFreeAllMatrixData is called.
77         int lastCompute;                                        // Compute Count Number at last computation
78         int lastRow;                                            // Compute Count Number at last row update (Used for row-by-row computation only)
79
80 /* For Algebra Functions */                             // At most, one of these may be non-NULL.
81         omxAlgebra* algebra;                            // If it's not an algebra, this is NULL.
82         omxObjective* objective;                        // If it's not an objective function, this is NULL.
83
84 /* For inclusion in(or of) other matrices */
85         int numPopulateLocations;
86         int *populateFrom;
87         int *populateFromRow, *populateFromCol;
88         int *populateToRow, *populateToCol;
89
90         const char* name;
91 };
92
93 /* Initialize and Destroy */
94         omxMatrix* omxInitMatrix(omxMatrix* om, int nrows, int ncols, unsigned short colMajor, omxState* os);                   // Set up matrix 
95         omxMatrix* omxInitTemporaryMatrix(omxMatrix* om, int nrows, int ncols, unsigned short colMajor, omxState* os);  // Set up matrix that can be freed
96         void omxFreeMatrixData(omxMatrix* om);                                                  // Release any held data.
97         void omxFreeAllMatrixData(omxMatrix* om);                                               // Ditto, traversing argument trees
98
99 /* Matrix Creation Functions */
100         omxMatrix* omxNewMatrixFromMxMatrix(SEXP matrix, omxState *state);                      // Create an omxMatrix from an R MxMatrix
101         omxMatrix* omxNewMatrixFromRPrimitive(SEXP rObject, omxState *state,
102         unsigned short hasMatrixNumber, int matrixNumber);                                                      // Create an omxMatrix from an R object
103         omxMatrix* omxNewIdentityMatrix(int nrows, omxState* state);                            // Creates an Identity Matrix of a given size
104         extern omxMatrix* omxNewMatrixFromMxIndex(SEXP matrix, omxState* os);   // Create a matrix/algebra from a matrix pointer
105         extern omxMatrix* omxNewMatrixFromIndexSlot(SEXP rObj, omxState* state, char* const slotName);  // Gets a matrix from an R SEXP slot
106         omxMatrix* omxDuplicateMatrix(omxMatrix* src, omxState* newState);
107
108 /* Getters 'n Setters (static functions declared below) */
109         // static OMXINLINE double omxMatrixElement(omxMatrix *om, int row, int col);
110         // static OMXINLINE double omxVectorElement(omxMatrix *om, int index);
111         // static OMXINLINE void omxSetMatrixElement(omxMatrix *om, int row, int col, double value);
112         // static OMXINLINE void omxSetVectorElement(omxMatrix *om, int index, double value);
113
114         double omxAliasedMatrixElement(omxMatrix *om, int row, int col);                        // Element from unaliased form of the same matrix
115         double* omxLocationOfMatrixElement(omxMatrix *om, int row, int col);
116         void omxMarkDirty(omxMatrix *om);
117
118 /* Matrix Modification Functions */
119         void omxZeroByZeroMatrix(omxMatrix *source);
120         void omxResizeMatrix(omxMatrix *source, int nrows, int ncols,
121                                                         unsigned short keepMemory);                                                                     // Resize, with or without re-initialization
122         omxMatrix* omxFillMatrixFromMxMatrix(omxMatrix* om, SEXP matrix, omxState *state);      // Populate an omxMatrix from an R MxMatrix
123         omxMatrix* omxFillMatrixFromRPrimitive(omxMatrix* om, SEXP rObject, omxState *state,
124                 unsigned short hasMatrixNumber, int matrixNumber);                                                              // Populate an omxMatrix from an R object
125         void omxProcessMatrixPopulationList(omxMatrix *matrix, SEXP matStruct);
126         void omxCopyMatrix(omxMatrix *dest, omxMatrix *src);                                                            // Copy across another matrix.
127         void omxUpdateMatrix(omxMatrix *dest, omxMatrix *src);                                                  // Update matrix state with a reference source.
128         void omxTransposeMatrix(omxMatrix *mat);                                                                                                // Transpose a matrix in place.
129         void omxToggleRowColumnMajor(omxMatrix *mat);                                                                           // Transform row-major into col-major and vice versa 
130
131 /* Function wrappers that switch based on inclusion of algebras */
132         void omxPrint(omxMatrix *source, char* d);                                                                                      // Pretty-print a (small) matrix
133         unsigned short int omxNeedsUpdate(omxMatrix *matrix);                                                           // Does this need to be recomputed?
134         void omxRecompute(omxMatrix *matrix);                                                                                           // Recompute the matrix if needed.
135         void omxCompute(omxMatrix *matrix);                                                                                                     // Recompute the matrix no matter what.
136
137 /* Aliased Matrix Functions */
138         void omxAliasMatrix(omxMatrix *alias, omxMatrix* const source);         // Allows aliasing for faster reset.
139         void omxResetAliasedMatrix(omxMatrix *matrix);                                          // Reset to the original matrix
140         void omxRemoveRowsAndColumns(omxMatrix* om, int numRowsRemoved, int numColsRemoved, int rowsRemoved[], int colsRemoved[]);
141
142 /* Matrix-Internal Helper functions */
143         void omxMatrixCompute(omxMatrix *matrix);
144         void omxPrintMatrix(omxMatrix *source, char* d);                    // Pretty-print a (small) matrix
145         unsigned short int omxMatrixNeedsUpdate(omxMatrix *matrix);
146
147 /* OMXINLINE functions and helper functions */
148
149 void setMatrixError(omxMatrix *om, int row, int col, int numrow, int numcol);
150 void setVectorError(int index, int numrow, int numcol);
151 void matrixElementError(int row, int col, int numrow, int numcol);
152 void vectorElementError(int index, int numrow, int numcol);
153
154 static OMXINLINE int omxIsMatrix(omxMatrix *mat) {
155     return (mat->algebra == NULL && mat->objective == NULL);
156 }
157
158 /* BLAS Wrappers */
159
160 static OMXINLINE void omxSetMatrixElement(omxMatrix *om, int row, int col, double value) {
161         if((row < 0) || (col < 0) || (row >= om->rows) || (col >= om->cols)) {
162                 setMatrixError(om, row + 1, col + 1, om->rows, om->cols);
163                 return;
164         }
165         int index = 0;
166         if(om->colMajor) {
167                 index = col * om->rows + row;
168         } else {
169                 index = row * om->cols + col;
170         }
171         om->data[index] = value;
172 }
173
174 static OMXINLINE void omxAccumulateMatrixElement(omxMatrix *om, int row, int col, double value) {
175         if((row < 0) || (col < 0) || (row >= om->rows) || (col >= om->cols)) {
176                 setMatrixError(om, row + 1, col + 1, om->rows, om->cols);
177                 return;
178         }
179         int index = 0;
180         if(om->colMajor) {
181                 index = col * om->rows + row;
182         } else {
183                 index = row * om->cols + col;
184         }
185         om->data[index] += value;
186 }
187
188 static OMXINLINE double omxMatrixElement(omxMatrix *om, int row, int col) {
189         int index = 0;
190         if((row < 0) || (col < 0) || (row >= om->rows) || (col >= om->cols)) {
191                 matrixElementError(row + 1, col + 1, om->rows, om->cols);
192         return (NA_REAL);
193         }
194         if(om->colMajor) {
195                 index = col * om->rows + row;
196         } else {
197                 index = row * om->cols + col;
198         }
199         return om->data[index];
200 }
201
202 static OMXINLINE void omxAccumulateVectorElement(omxMatrix *om, int index, double value) {
203         if (index < 0 || index >= (om->rows * om->cols)) {
204                 setVectorError(index + 1, om->rows, om->cols);
205                 return;
206         } else {
207                 om->data[index] += value;
208     }
209 }
210
211 static OMXINLINE void omxSetVectorElement(omxMatrix *om, int index, double value) {
212         if (index < 0 || index >= (om->rows * om->cols)) {
213                 setVectorError(index + 1, om->rows, om->cols);
214                 return;
215         } else {
216                 om->data[index] = value;
217     }
218 }
219
220 static OMXINLINE double omxVectorElement(omxMatrix *om, int index) {
221         if (index < 0 || index >= (om->rows * om->cols)) {
222                 vectorElementError(index + 1, om->rows, om->cols);
223         return (NA_REAL);
224         } else {
225                 return om->data[index];
226     }
227 }
228
229 static OMXINLINE void omxDGEMM(unsigned short int transposeA, unsigned short int transposeB,            // result <- alpha * A %*% B + beta * C
230                                 double alpha, omxMatrix* a, omxMatrix *b, double beta, omxMatrix* result) {
231         int nrow = (transposeA?a->cols:a->rows);
232         int nmid = (transposeA?a->rows:a->cols);
233         int ncol = (transposeB?b->rows:b->cols);
234
235         F77_CALL(omxunsafedgemm)((transposeA?a->minority:a->majority), (transposeB?b->minority:b->majority), 
236                                                         &(nrow), &(ncol), &(nmid),
237                                                         &alpha, a->data, &(a->leading), 
238                                                         b->data, &(b->leading),
239                                                         &beta, result->data, &(result->leading));
240
241         if(!result->colMajor) omxToggleRowColumnMajor(result);
242 }
243
244 static OMXINLINE void omxDGEMV(unsigned short int transposeMat, double alpha, omxMatrix* mat,   // result <- alpha * A %*% B + beta * C
245                                 omxMatrix* vec, double beta, omxMatrix*result) {                                                        // where B is treated as a vector
246         int onei = 1;
247         int nrows = mat->rows;
248         int ncols = mat->cols;
249         if(OMX_DEBUG_DEVELOPER) {
250                 int nVecEl = vec->rows * vec->cols;
251                 // Rprintf("DGEMV: %c, %d, %d, %f, 0x%x, %d, 0x%x, %d, 0x%x, %d\n", *(transposeMat?mat->minority:mat->majority), (nrows), (ncols), 
252                 // alpha, mat->data, (mat->leading), vec->data, onei, beta, result->data, onei); //:::DEBUG:::
253                 if((transposeMat && nrows != nVecEl) || (!transposeMat && ncols != nVecEl)) {
254                         Rprintf("Mismatch in vector/matrix multiply: %s (%d x %d) * (%d x 1).\n", (transposeMat?"transposed":""), mat->rows, mat->cols, nVecEl); // :::DEBUG:::
255                 }
256         }
257         F77_CALL(omxunsafedgemv)((transposeMat?mat->minority:mat->majority), &(nrows), &(ncols), 
258                 &alpha, mat->data, &(mat->leading), vec->data, &onei, &beta, result->data, &onei);
259         if(!result->colMajor) omxToggleRowColumnMajor(result);
260 }
261
262 static OMXINLINE void omxDSYMV(double alpha, omxMatrix* mat,            // result <- alpha * A %*% B + beta * C
263                                 omxMatrix* vec, double beta, omxMatrix* result) {       // only A is symmetric, and B is a vector
264         char u='U';
265     int onei = 1;
266
267         if(OMX_DEBUG_DEVELOPER) {
268                 int nVecEl = vec->rows * vec->cols;
269                 // Rprintf("DSYMV: %c, %d, %f, 0x%x, %d, 0x%x, %d, %f, 0x%x, %d\n", u, (mat->cols),alpha, mat->data, (mat->leading), 
270                             // vec->data, onei, beta, result->data, onei); //:::DEBUG:::
271                 if(mat->cols != nVecEl) {
272                         Rprintf("Mismatch in symmetric vector/matrix multiply: %s (%d x %d) * (%d x 1).\n", "symmetric", mat->rows, mat->cols, nVecEl); // :::DEBUG:::
273                 }
274         }
275
276     F77_CALL(dsymv)(&u, &(mat->cols), &alpha, mat->data, &(mat->leading), 
277                     vec->data, &onei, &beta, result->data, &onei);
278
279     // if(!result->colMajor) omxToggleRowColumnMajor(result);
280 }
281
282 static OMXINLINE void omxDSYMM(unsigned short int symmOnLeft, double alpha, omxMatrix* symmetric,               // result <- alpha * A %*% B + beta * C
283                                 omxMatrix *other, double beta, omxMatrix* result) {                                 // One of A or B is symmetric
284
285         char r='R', l = 'L';
286         char u='U';
287         F77_CALL(dsymm)((symmOnLeft?&l:&r), &u, &(result->rows), &(result->cols),
288                                         &alpha, symmetric->data, &(symmetric->leading),
289                                         other->data, &(other->leading),
290                                         &beta, result->data, &(result->leading));
291
292         if(!result->colMajor) omxToggleRowColumnMajor(result);
293 }
294
295 static OMXINLINE int omxDGETRF(omxMatrix* mat, int* ipiv) {                                                                             // LUP decomposition of mat
296         int info = 0;
297         F77_CALL(dgetrf)(&(mat->rows), &(mat->cols), mat->data, &(mat->leading), ipiv, &info);
298         return info;
299 }
300
301 static OMXINLINE int omxDGETRI(omxMatrix* mat, int* ipiv, double* work, int lwork) {                            // Invert mat from LUP decomposition
302         int info = 0;
303         F77_CALL(dgetri)(&(mat->rows), mat->data, &(mat->leading), ipiv, work, &lwork, &info);
304         return info;
305 }
306
307 static OMXINLINE void omxDAXPY(double alpha, omxMatrix* lhs, omxMatrix* rhs) {              // RHS += alpha*lhs  
308     // N.B.  Not fully tested.                                                              // Assumes common majority or vectordom.
309     if(lhs->colMajor != rhs->colMajor) { omxToggleRowColumnMajor(rhs);}
310     int len = lhs->rows * lhs->cols;
311     int onei = 1;
312     F77_CALL(daxpy)(&len, &alpha, lhs->data, &onei, rhs->data, &onei);
313
314 }
315
316 static OMXINLINE double omxDDOT(omxMatrix* lhs, omxMatrix* rhs) {              // returns dot product, as if they were vectors
317     // N.B.  Not fully tested.                                                  // Assumes common majority or vectordom.
318     if(lhs->colMajor != rhs->colMajor) { omxToggleRowColumnMajor(rhs);}
319     int len = lhs->rows * lhs->cols;
320     int onei = 1;
321     return(F77_CALL(ddot)(&len, lhs->data, &onei, rhs->data, &onei));
322 }
323
324 static OMXINLINE void omxDPOTRF(omxMatrix* mat, int* info) {                                                                            // Cholesky decomposition of mat
325         // ERROR: NYI.
326 }
327 static OMXINLINE void omxDPOTRI(omxMatrix* mat, int* info) {                                                                            // Invert mat from Cholesky
328         // ERROR: NYI
329 }
330
331
332 #endif /* _OMXMATRIX_H_ */