document some tasks in dataframe.lisp that need resolution.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

added Mirko's suggestions to the TODO list.  Needs to be better fleshed out, with variations of how we'd compare the options.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

found some functions that could be "name-tightened".  But need to ensure that the dependency structure surrounding listoflist is managed.

No circ depends!

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

using the t-test, walk through possible inferential APIs, considering whether it is possible to have a simple language to characterise procedures.

Note that there could be MULTIPLE ALGORITHMS which implement procedures.   Recall conversations about RG's confusion about convex minorants and the EM-style algorithms.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

packages, unit-test confirmation, descriptions.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

better description of what should go where.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

renamed t-test example file, where it fits in the hierarchy.  It's still BROKEN.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

set up to use quicklisp to load cairo2d, will need to do the same for cl-2d
clean up, without running, the plotting examples.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

point: non-implemented code describes a possible data analysis approach to implement (one of many) not a template to code a system to!

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

Cleaning up Examples directory.  numbered examples work up to the "FIXME" markers

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

comment: need to think through training and acclimatization for users on namespaces and packages.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

fcn VARIABLES needs to include name of package which external's the data variable (NEED TO FIX)
fcn LOAD-DATA now prints and writes out verbose messages.  Later we need to flag this.
example to load data now works, since we reference the correct package.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

A bit more philosophy and task for visualization, in response to Peter S.  Still need to finish response to Andrew P

fixed DEF to work correctly, finally, with docs from where I coded it.
tried an UNDEF2 (generics version) but can't seem to make a (sequence symbol *) type.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

factoring out the make-dataframe2 methods into relevant files.  We don-t know about the methods until we specify the storage structure.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

compiles again -- fixed function calls, but need to get the generic function signature correct so that I can remove the check-type checks...

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

var change not propagate (installation home dir). Fixed.  Also, ensure that we load CLS before starting to do anything.  This is supposed to be a script from START, not from the middle.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

small clean up of David's section, more to go.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

Merged some of the content from David Hodge's README.org which documented the build process.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

pulled out a TODO from README, extended the TODO with that, and a few more TODOs.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

Completely useless contents.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

doc cleanup, the file was obviously copied from dataframe-matrixlike.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

doc justification.  nothing here.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

migration to generics functions to ensure coherent dispatch.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

marking sections to fill in the README
removed probability unittests (temporary)
removed lisp-stat-probabilitz

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

reorienting what we want to do, based on current discussions with David and Steve.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

got CLS to load without externals or liblispstat
removed CFFI from CLS, but it is still needed for lisp-matrix
liblispstat and externals are now gone, leaving massive holes for probability and optimization.
stat-models needs to be rewritten using lisp-matrix and dataframe packages.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

remove rsm-string and cldoc from the requirements.  We need something like them, but not yet.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

more external clean up, moved info into docs

removing liblispstat.  We don't need this anymore, code is worn out

update org format (srcname -> name)
update some of the todo docs.
clean up content.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

moved example into TODO where it belonged.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

documentation cleanup, to fast forward to current practices.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

move all examples into examples subdirectory

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

get rid of ASDF directory stuff, try 1.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

not yet working with listoflist source data.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

attempts to get listoflist dataframes working.  My lisp skills are rusty.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

no ore mbd system loader

no ore mbd system loader

New comment-annotated example.

more cruft cleanup. Nothing essential changed.

clean up historical crud, start migration to QL as a loader-loader.

remove all trace of externals

moved old instructions for external packages to top-level in preparation for nuking external directory.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

fix documents, use ANSI CL sort for single point of optimization,  use sequence when list/vector can be interchanged,  remove standard-deviation-fn and fix generics. add weight argument to sample-fn (but need to implement what it does)

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

fixed quantile generic function to compile.  Unfortunately, it is now suboptimal.  But computers are fast, eh?

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

more work on examples.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

progress on testing, random numbers, loop structure/data shortcuts, and loading (QL support)

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

more computational encoding of probability theory

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

load cl-variates so that we get the right loading done.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

*cls-home-dir* changed to *cls-installation-home-dir*, reflecting what it really is (after all, what is "home"?).

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

documentation, some ASDFv2 entries, and require cldoc in prep for API documentation.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

example of a class-based probability system for computations, eventually likelihoods and bayesian computations

updating documentation and approaches

loader fixes and docs.  Most critical was to serializt the config stuff.  Gotta, gotta!

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

doc fixes, but still need to incorporate the "new" git common lisp repos as well as quicklisp, as a better external approach for system syncing and delivery.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

change externals to be org-mode files

example work and move README to org-mode with new CL support coming

use org-mode for README stuff

fixed up variables to match the load.  Example dependency graph crafted, but need to make this a chain or mixed graph, not a unimodal directed/undirected graph.
summarize API stated as a strawman, need to consider it more.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

proper loading.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

clean accessor (dataset not store).

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

fixed description errors.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

update to rationale for this new system.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

removed unused infrastructure.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

whitespace and docs

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

type checking experiments.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

hints on directory standards.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

clean up config stuff, move into own file and own package.
modify system loader to include this file

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

cleaned up the load data (and package construction)

names changed to describe order of loading

examples cleaned up

use names, start constructing model generics.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

better docs.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

notes and paren matching.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

whitespace and a missing paren in dataframe.lisp

removing dead link

moving store and store-class around.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

changes related to the loading-data example.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

documentation and function clean up, leaving generics for nvars/ncases and better docs.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

R example clarified for loading.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

doc cleanup to ASDF spec file

We can use the autodef'd config variable *cls-home-dir*, no need to hack an ugly inferior equivalent.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

clean up ASDF spec and document version variable.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

we don't do the "REPL control" anymore, we are strictly adding to packages, not replacing the CL repl.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

object version/validation tools, testing for possible use for infrastructure.
use of ASDF test-op to run LIFT tests.
fixed load of LICENSE -- should be LICENSE.mit

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

LIFT tests modified -- recording current values.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

incorporation of new CLS-DATA* packages, not finished yet.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

test stuff for asdf:test-op.  needs to be worked out a bit more .

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

refactoring objects/functions in the data component.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

import is about I/O, not translation.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

ensure proper referencing.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

lisp-stat-config nickname, cls-config

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

remove lisp-stat-config from packages -- it's in the ASDF configurator.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

fixed typo, sketch commented-out proposed code.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

migrate last of system definitions into cls.asd.  We now need to be careful that any other system loader do similar CLS software system configuration

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

data is moved into CLS-DATA package
removed last native access stuff for xarray access.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

more debugging fun

examples of functions to write ( with-data, with-dataframe )

Signed-off-by: AJ Rossini <blindglobe@gmail.com>

put the XLS functions in the right place, and rectify.

Signed-off-by: AJ Rossini <blindglobe@gmail.com>