Output test runtimes to CSV instead of to console
[openmx:openmx.git] / inst / tools / testModels.R
1 #
2 #   Copyright 2007-2009 The OpenMx Project
3 #
4 #   Licensed under the Apache License, Version 2.0 (the "License");
5 #   you may not use this file except in compliance with the License.
6 #   You may obtain a copy of the License at
7
8 #        http://www.apache.org/licenses/LICENSE-2.0
9
10 #   Unless required by applicable law or agreed to in writing, software
11 #   distributed under the License is distributed on an "AS IS" BASIS,
12 #   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13 #   See the License for the specific language governing permissions and
14 #   limitations under the License.
15
16 args <- commandArgs(trailingOnly = TRUE)
17 if (any(args == 'gctorture')) {
18         gctorture(TRUE)
19         cat("*** GCTORTURE ENABLED ***\n");
20 }
21
22 library(OpenMx)
23
24 options('mxPrintUnitTests' = FALSE)
25
26 directories <- c('demo', 'models/passing')
27 if (any(args == 'nightly')) {
28         directories <- c(directories, 'models/nightly')
29 }
30
31 null <- tryCatch(suppressWarnings(file('/dev/null', 'w')),  
32         error = function(e) { file('nul', 'w') } )
33
34
35 sink(null, type = 'output')     
36
37 files <- list.files(directories, pattern = '^.+[.]R$',
38         full.names = TRUE, recursive = TRUE)
39         
40 errors <- list()
41 runtimes <- numeric()
42
43 errorRecover <- function(script, index) {
44         sink(type = 'output')
45         cat(paste("Running model", index, "of",
46                 length(files), script, "...\n"))
47         sink(null, type = 'output')     
48         start <- Sys.time()
49         tryCatch(source(script, chdir = TRUE), 
50                 error = function(x) {
51                         errors[[script]] <<- x
52                 })
53         stop.tm <- Sys.time()
54         timeDifference <- stop.tm - start
55         runtimes[[script]] <<- as.double(timeDifference, units = "secs")
56         rm(envir=globalenv(), 
57                 list=setdiff(ls(envir=globalenv()), 
58                         c('errors', 'errorRecover', 'null', 'files', 'directories', 'runtimes')))
59 }
60
61 if (length(files) > 0) {
62         for (i in 1:length(files)) {
63                 errorRecover(files[[i]], i)
64         }
65 }       
66
67 sink(type = 'output')
68 close(null)
69
70 cat("Number of errors:", length(errors), '\n')
71 if (length(errors) > 0) {
72         fileName <- names(errors)
73         for (i in 1:length(errors)) {
74                 cat("From model", fileName[[i]], ':\n')
75                 print(errors[[i]]$message)
76                 cat('\n')
77         }
78 }
79
80 warnings()
81
82 write.csv(as.data.frame(runtimes), "runtimes.csv")
83
84 cat("Finished testing models.\n")
85 quit(status=length(errors))