sp-endurance v2.2.9
[maemo-tools:sp-endurance.git] / changelog
1 sp-endurance (2.2.9), 7 Sep 2011:
2  * endurance_report.py: improve report generation speed.
3  * endurance_plot:
4    - Visualize collected Cgroup information.
5    - CPU utilization histogram added.
6
7 sp-endurance (2.2.8), 15 Aug 2011:
8  * Fix the sp-endurance-postproc debian packaging to depend on perl instead of
9    perl-base.
10
11 sp-endurance (2.2.7), 23 Jun 2011:
12  * save-incremental-endurance-stats:
13    - Collect /syspart recursively for Cgroup information.
14    - Collect ramzswap statistics.
15
16 sp-endurance (2.2.6), 20 Jun 2011:
17  * extract-endurance-process-smaps: fix bashisms, fix zero return value when
18    no processes matching the user given string is found.
19  * endurance_report.py: fix div-by-zero seen with incomplete smaps capture
20    file
21  * endurance_plot: new graphs, and several small fixes.
22
23 sp-endurance (2.2.5), 18 Apr 2011:
24  * save-incremental-endurance-stats:
25    - Collect /var/log/messages.
26    - Collect /proc/pagetypeinfo.
27    - If xprop or xmeminfo report a failure, give a warning about Xauthority
28      settings.
29
30 sp-endurance (2.2.4), 15 Apr 2011:
31   * endurance_report.py: fix disproportional graph visualization when using
32     browser zoom
33
34 sp-endurance (2.2.3), 14 Apr 2011:
35   * syslog_parse.py: fix kernel OOM message detection
36
37 sp-endurance (2.2.2), 7 Mar 2011:
38   * extract-endurance-process-smaps accepts a subset of snapshot dirs
39   * endurance_plot:
40     - Fixed cases where endurance_plot used gigabytes of memory.
41     - Battery information (bmestat) visualization.
42     - Compressed swap (ramzswap) visualization.
43
44 sp-endurance (2.2.1), 28 Feb 2011:
45   * replace support for obsolete memory limits in old Maemo releases
46     with hard-coded Linux kernel OOM limit (with dummy data output by
47     proc2csv for compatiblity to old sp-endurance-postproc versions).
48   * Replace the use of sysinfo-tool with sysinfoclient. 
49   * Do not pass arguments to echo(1), they are not portable. 
50   * Invoke df(1) with POSIX locale and "-k -P" for portability.
51   * Add battery information to endurance data snapshot. 
52
53 sp-endurance (2.2), 19 Jan 2011:
54   * endurance_report.py: fix IndexError with more than 4 network interfaces.
55
56 sp-endurance (2.1.9), 28 Dec 2010:
57   * save-incremental-endurance-stats: collect /proc/diskstats and
58     /proc/zoneinfo. 
59   * endurance_plot:
60     - New IO plots based on /proc/diskstats.
61     - Various small tweaks.
62
63 sp-endurance (2.1.8), 03 Dec 2010:
64   * New post-processing tool `endurance_plot'. 
65     - endurance_plot creates a large variety of (RAM, swap, CPU, X resource
66       usage, interrupt, context switch etc) graphs from sp-endurance collected
67       data for trend analysis.
68   * Get bootreason from sysinfo. 
69   * Fix proc2csv errors with long lines. 
70   * Fix unnecessary sysinfoclient output parsing. 
71
72 sp-endurance (2.1.7), 17 Nov 2010:
73   * Remove use of deprecated /proc/component_version and /proc/bootreason
74     interfaces. 
75
76 sp-endurance (2.1.6), 26 Oct 2010:
77   * endurance_report.py: track DRI2Drawable resource atom count changes.
78   * save-incremental-endurance-stats: provide default value for DISPLAY.
79
80 sp-endurance (2.1.5), 21 Oct 2010:
81   * xmeminfo: add support for new X resource types. This changes the CSV
82     output format produced by xmeminfo.
83   * xmeminfo: optionally report only specified atoms: add new parameter
84     -a/-atom.
85   * endurance_report.py: add support for new xmeminfo CSV format.
86   * Add dependency to sysinfo-tool to fix useless release identification in
87     usage.csv produced by save-incremental-endurance-stats. 
88
89 sp-endurance (2.1.4), 05 Oct 2010:
90   * endurance_report.py: report change from initial state - 
91
92 sp-endurance (2.1.3), 31 Aug 2010:
93   * endurance-mem-overview: take SwapCached into account.
94   * endurance_report.py: Improve the heuristics for selecting processes for
95     the 'Process memory usage' section:
96         i) Prune processes that do not use any CPU ticks.
97        ii) Include processes that used at least 0.5% of total CPU time during
98            the first and last round.
99
100 sp-endurance (2.1.2), 23 Aug 2010:
101   * Update save-incremental-endurance-stats for Harmattan. 
102
103 sp-endurance (2.1.1), 18 May 2010:
104   * Prominent notice about reboots in endurance reports. 
105
106 sp-endurance (2.1), 21 Apr 2010:
107   * Handle X client names with commas and df filesystem usage output
108     spanning multiple lines. 
109   * Store focused/topmost application name if use-case step description
110     is missing.  
111   * Improved heuristics for removing memove graphs for non-interesting
112     processes, with a fix for swap+dirty accounting and a new --show-all
113     option to get graphs for all processes.  
114
115 sp-endurance (2.0.3), 05 Mar 2010:
116   * Use "-a" option for ifconfig.  
117   * Correct swap/page in/out, interrupt and context switch counts,
118     they were 100x off. 
119
120 sp-endurance (2.0.2), 21 Jan 2010:
121   * Fix the post-processing exception when network interfaces are
122     active, but have no traffic.  
123   * Add CI test script.
124
125 sp-endurance (2.0.1), 12 Nov 2009:
126   * Do not mangle the last character in the process command line.
127   * Proper error handling in case low memory limits are missing from the data.
128
129 sp-endurance (2.0), 30 Oct 2009:
130   * "proc2csv" stores the whole process command line; this makes the data
131     format incompatible with older sp-endurance-postproc versions.
132     , NB#144586
133   * "endurance-mem-overview" takes swap into account and it's now possible
134     to specify the shown memory usage range. 
135   * Show X resource count differencies in addition to X resource memory usage
136     in the summary at the end. 
137   * Show network interface transfers graph in the beginning. 
138   * Add "extract-endurance-process-smaps" helper script. 
139   * Support Fremantle low memory limits scheme. 
140   * Update documentation
141
142 sp-endurance (1.24), 9 Jun 2009:
143   * Give more detailed X resource usage information and log use of unknown
144     X resources. Data format change is incompatible with previous
145     sp-endurance-postproc versions
146
147 sp-endurance (1.23), 9 Jun 2009:
148   * Fix harmless Coverity reported leak on error exit + set freed
149     namelist entries NULL in proc2csv. 
150
151 sp-endurance (1.22), 1 Jun 2009:
152   * Fix divide-by-zero error on identical (copied) data. 
153
154 sp-endurance (1.21), 19 May 2009:
155   * CPU/swap/interrups/context switch statistics added. 
156
157 sp-endurance (1.20), 5 May 2009:
158   * Fix endurance_report.py to work with Scratchbox Python v2.3.
159
160 sp-endurance (1.19), 28 Apr 2009:
161   * More statistics added. 
162   * : sp-endurance/syslog parser doesn't catch upstart reported
163     crash/restart messages
164   * : sp-endurance uses obsolete /etc/osso_software_version
165
166 sp-endurance (1.18), 16 Apr 2009:
167   * Add PSS and SWAP support to endurance_report.py
168
169 sp-endurance (1.17), 3 Mar 2009:
170   * Syslog parser now recognizes and reports D-BUS warnings about
171     applications having too wide signal matching rules. 
172
173 sp-endurance (1.16), 4 Dec 2008:
174   * The shared memory segment stats are now included in the main report
175     page. 
176
177 sp-endurance (1.15), 21 Aug 2008:
178   * Fixed a Lintian warning.
179
180 sp-endurance (1.14), 21 Aug 2008:
181   * Remove support for SleepAVG as newer kernels don't support it.
182
183 sp-endurance (1.13), 25 Jun 2008:
184   * The message output introduced by the fix in version 1.12 has been
185     tweaked slightly.
186
187 sp-endurance (1.12), 25 Jun 2008:
188   * Parse kernel BUG and onenand_wait issues. 
189
190 sp-endurance (1.11), 30 May 2008:
191   * Compatibility issue with older endurance data was fixed. Fixes:
192     NB#86013
193
194 sp-endurance (1.10), 30 Apr 2008:
195   * Support for adding use-case test descriptions has been implemented.
196
197 sp-endurance (1.9), 16 Apr 2008:
198   * Fixed broken detection of kernel OOM messages caused by change in
199     case. 
200
201 sp-endurance (1.8), 4 Apr 2008:
202   * Fixed endurance parsing failure when process smaps data had no
203     private dirty memory. 
204
205 sp-endurance (1.7), 1 Apr 2008:
206   * Fixed syslog rotation handling issue. 
207
208 sp-endurance (1.6), 22 Feb 2008:
209   * Fixed empty DSME files not being handled gracefully. 
210
211 sp-endurance (1.5), 20 Feb 2008:
212   * A rare warning message also triggered an exception in endurance
213     report script. 
214
215 sp-endurance (1.4), 14 Jan 2008:
216   * save-incremental-endurance-stats: argument handling robustness has
217     been improved. 
218
219 sp-endurance (1.3), 28 Nov 2007:
220   * save-incremental-endurance-stats: when sp_smaps_snapshot is
221     missing, produces (about) same data with few lines of shell
222   * parse-endurance-measurements: handle compressed smaps files
223   * endurance_report.py: show smaps private-dirty information
224     in application memory usage graphs
225   * update/fix README
226
227 sp-endurance (1.2), 6 Nov 2007:
228   * save-incremental-endurance-stats: save open file descriptors,
229     use proc2csv in permissive mode so that also non-root can get
230     data required in postprocessing. 
231   * endurance_report.py: link open-fds and smaps.cap files, include
232     SwapCached to system free and show swap change in summary,
233     show differences in process thread counts
234   * compress smaps.cap in save-incremental-endurance-stats and
235     handle that in endurance_report.py. 
236   * endurance_report.py: Fail more gracefully when encountering mixed-
237     version endurance data. 
238
239 sp-endurance (1.1.18), 2 Oct 2007:
240   * syslog_parse.py: handle syslog read failures gracefully.
241     Fix to 66123 got dates in Glib errors duplicated, fixed.
242
243 sp-endurance (1.1.17), 31 Aug 2007:
244   * Added a missing a comma in a dictionary declaration at
245     syslog_parse.py. 
246
247 sp-endurance (1.1.16), 12 Jul 2007:
248   * Include day to the errors parsed from syslog. 
249
250 sp-endurance (1.1.15), 12 Jul 2007:
251   * Parse bootup reason from syslog. 
252
253 sp-endurance (1.1.14), 24 May 2007:
254   * Parse kernel I/O errors from syslog
255
256 sp-endurance (1.1.13), 9 May 2007:
257   * Have complete license text in the source package instead of just
258     referring to system GPL-2 license file. Add copyright and license
259     information to manpages. 
260
261 sp-endurance (1.1.12), 3 May 2007:
262   * Sort resource usage tables according to changes, not total
263   * Fix to python exception in get_pid_usage_diffs()
264
265 sp-endurance (1.1.11), 26 Apr 2007:
266   * Ignore all resources (i.e. also private memory and FDs)
267     used by extra threads processes have. 
268   * Add endurance-mem-overview Awk script giving a quick memory usage
269     overview ASCII-graph from the endurance data which can be run on
270     the target device (as it doesn't need Python)
271
272 sp-endurance (1.1.10), 17 Apr 2007:
273   * List also changes in kernel threads and zombie processes
274   * Fold the script save-incremental-endurance-stats calls back
275   * Fix to new thread ignore code. 
276
277 sp-endurance (1.1.9), 16 Apr 2007:
278   * Do not ignore any processes, even my own
279   * Cope with missing SMAPS data in endurance_report.py. 
280
281 sp-endurance (1.1.8), 12 Apr 2007:
282   * Fix how threads are indentified for removal from memory usage graphs.
283
284 sp-endurance (1.1.7), 4 Apr 2007:
285   * Added manual pages for all the tools and include README to postproc
286     binary package. 
287
288 sp-endurance (1.1.6), 13 Mar 2007:
289   * endurance script now parses amount of dirty code pages from smaps
290     data (which indicates incorrectly compiled libraries) and there's
291     a separate sum-dirty-code-pages script for doing the same on the device
292
293 sp-endurance (1.1.5), 1 Mar 2007:
294   * syslog_parse.py: Check each syslog line for all recognized messages
295     in case device boots in middle of line and check SysRq messages
296   * endurance_report.py: Do not show bars for repeating process memory
297     values and sort processes better, cleanup SMAPS parsing
298   * *.sh: Remove file name extension to make Lintian happy
299   * Add sum-smaps-private and split-endurance-measurements scripts
300   * sp-smaps-measure is now also optional
301   * Prepare for Open Source release, add proper copyrights etc
302
303 sp-endurance (1.1.4), 8 Feb 2007:
304   * Parse private/dirty values from SMAPS data myself instead of relying
305     on sp-smaps-visualize as it was way too slow
306   * Add several options to parse-endurance-measurements.sh for controlling
307     which measurements are parsed, whether to call sp-smaps-visualize and
308     whether to split reports at reboots
309   * Further improvements to the memory usage graphs
310
311 sp-endurance (1.1.3), 28 Nov 2006:
312   * Ignore immediately repeated errors in error counts
313   * Fix error message that gave Python exeption
314   * Show FS usage instead of free (as the table title says)
315   * Major improvements and fixes to process memory usage graphs
316   * Use tables for colorbars instead of images so that
317     the HTML can be attached to mails or bugzilla
318
319 sp-endurance (1.1.2), 20 Dec 2006:
320   * Fix another bug in case syslogs didn't have any errors
321   * Parse Glib ERRORs + kernel OOMs and alloc denials from syslog
322   * Add contents list to error HTML file
323   * Don't remove SMAPS diff file
324
325 sp-endurance (1.1.1), 28 Nov 2006:
326   * Fix bug in case syslogs didn't have any errors
327
328 sp-endurance (1.1), 24 Nov 2006:
329   * Packaging:
330     - devel package, postproc is "Architecture: all" + relevant rules fixes
331   * Measurements:
332     - compress whole syslog and remove syslog grepping
333     - save the measurement files in to separate directories
334     - proc2csv parses also /proc/vmstat
335     - add /sbin/ifconfig and interrupts/slabinfo/stat files from /proc
336     - save DSME statistics
337   * Syslog errors postprocessing:
338     - separated syslog parsing to separate syslog_parse.py file so that
339       it can be used also standalone
340     - parse normal/separate syslog files instead of CSV endurance file
341     - add support for gzipped syslog files
342     - separate different types of DSME and Glib errors
343     - parse and count kernel Oopses, reboots, DSP errors and
344       connectivity errors&warnings from syslogs
345     - support both HTML and ASCII output
346     - parsing debug option
347     - error summary
348     - fix bug in syslog parsing with appended syslogs
349   * SMAPS data parsing:
350     - Don't redo SMAPS CSV files if they already exist
351   * Other endurance data postprocessing:
352     - rename endurance-report.py to endurance_report.py
353     - always print error message before failing exit
354     - arguments are directories instead of file names
355     - syslog data is now parsed from file separate from the CSV file
356       and parsing put the separate file (see above)
357     - output disk free changes (for '/' and '/tmp')
358     - show whole device /proc/sys/fs/file-nr changes
359     - output also X resource usage decreases
360     - save errors to separate HTML pages
361     - output statistics and summary of different error types
362     - output summary of disk/memory/X resource/FD usage changes
363     - add process changed/total counts with started/exited processes
364       listed side by side
365     - remove "sleep" from all the lists
366     - color code tables containing different data
367     - add change totals to all tables
368     - HTML comment summary of all statistics for maturity metrics
369     - parse process statistics from /proc/PID/status files
370     - add bars of RSS memory changes per process (for processes
371       which max. RSS usage changes between tests)
372     - add contents and otherwise fine-tune report output
373   * Documentation:
374     - Update README according to changes
375
376 sp-endurance (1.0-7), 14 Sep 2006:
377   * save also full syslog and /proc/slabinfo data
378   * shows the warnings from syslog although syslogs don't seem to match
379   * fix to Browser X client name idiocy
380
381 sp-endurance (1.0-6), 6 Jul 2006:
382   * fix bug in memory calculation introduced by last update
383
384 sp-endurance (1.0-5), 9 Jun 2006:
385   * I fixed a bug that didn't always handle correctly processes that exited when proc2csv was running
386   * now also takes the memory limits from /proc i.e. the bargraphs take now also swap into account
387
388 sp-endurance (1.0-4), 16 May 2006:
389   * With this you'll get again correct names in the report for
390     the maemo-launched binaries (smaps diff never before contained them,
391     but earlier my own script could map the names itself because earlier
392     diff file used real PIDs)
393
394 sp-endurance (1.0-3), 4 May 2006:
395   * Updated endurance parser to support the new smaps format 
396
397 sp-endurance (1.0-2), 4 May 2006:
398   * Updated package to include changes to path's in script
399   * Removed .svn dirs
400   * Improved README
401   * changelog
402   * debian/changelog
403
404 sp-endurance (1.0-1), 24 Mar 2006:
405   * Initial release