<div dir="ltr"><div><div><div><div><div>Dear Mark,<br><br></div>  To help give a sense of the validation performance requirement -- for the Eiger, the data rates are likely to see at NSLS-II for 16M images will be based on either 133 frames per second for full 16M images or 750 frames per second for 4M ROIs.  For many applications we are more likely to have to work in streaming mode, rather than waiting for full data sets that will have less demanding processing timing requirements, so we well may be looking at between 1 and 50 frames per HDF5 file.  If we are lucky we will be able to make the 50 frame/file version work, but even that would mean needing to validate between 3 and 25 NeXus files per second.  If we are unlucky, we might need to validate between 133 and 750 files per second. <br><br></div>  There are much worse cases likely to come up in the future, so, if the validation is to be used as flexibly as possible in as many cases as possible, I would suggest going for performance, and having the heart of the code in C or C++.  We should of course follow the good examples for dials, cctbx, and pymol of allowing the high performance C or C++ code to be hidden from most users behind a python wrapper, but when it is necessary to interface directly to the C or C++ code, that should be an available option.<br><br></div>  We're going to be starting by trying to drink water from a firehose.  In the end I think many of us are going to be trying to drink water from Niagra Falls.<br><br></div>  Regards,<br></div>    Herbert<br><div><div><div><div><br><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 8, 2015 at 10:09 AM, Koennecke Mark (PSI) <span dir="ltr"><<a href="mailto:mark.koennecke@psi.ch" target="_blank">mark.koennecke@psi.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
I have written a little white paper about how I would reimplement NXvalidate. It details what needs to be<br>
done and a little how. There are a number of TODO items in the text. Please have a look. May be we<br>
can sort some of this out during one of our next Telcos. Then I might start hacking away at this.<br>
Otherwise this may Code Camp material. The txt is the markdown original if someone feels like<br>
editing the text.<br>
<br>
<br>
Best Regards,<br>
<br>
     Mark Koennecke<br>
<br>
<br>
<br>_______________________________________________<br>
NeXus-committee mailing list<br>
<a href="mailto:NeXus-committee@nexusformat.org">NeXus-committee@nexusformat.org</a><br>
<a href="http://lists.nexusformat.org/mailman/listinfo/nexus-committee" rel="noreferrer" target="_blank">http://lists.nexusformat.org/mailman/listinfo/nexus-committee</a><br>
<br></blockquote></div><br></div></div>