doc/TODO

   1 Legend:
   2 SPEC!!  - Not specified
   3 SPEC    - Spec not finalized
   4 NICK    - nick claims
   5 ARMA    - arma claims
   6         - Not done
   7         * Top priority
   8         . Partially done
   9         o Done
  10         D Deferred
  11         X Abandoned
  12
  13 For 0.0.9:
  14
  15 N&R. bring tor-spec up to date
  16 N&R. make loglevels info,debug less noisy
  17 N  - Get win32 servers working, or find out why it isn't happening now.
  18
  19 ************************ For Post 0.0.9 *****************************
  20
  21 Tier one:
  22    - niels's "did it fail because conn refused or timeout or what"
  23      relay end feature.
  24    - if a version is later than the last in its series, but a version
  25      in the next series is recommended, that doesn't mean it's bad.
  26    - fix dfc/weasel's intro point bug
  27    - support hostnames as well as IPs for authdirservers.
  28 N  - OS X package (and bundle?)
  29 N  - Make millisecond accuracy work on win32
  30    - Make more configuration variables into CSVs.
  31    - Once we have a trusted directory on port 80, stop falling back to
  32      forbidden ports when fascistfirewall blocks all good dirservers.
  33    - Convert man pages to pod, or whatever's right.
  34    - Move to our new version system.
  35    - Get more nodes running on 80 and 443.
  36    - Get epic, aclu, etc running nodes.
  37    - Start distributing an rpm with the new version scheme.
  38    - Bug tracker.
  39    - cache .foo.exit names better, or differently, or not.
  40    - teach connection_ap_handshake_socks_reply() about ipv6 and friends
  41      so connection_ap_handshake_socks_resolved() doesn't also need
  42      to know about them.
  43    - when we haven't explicitly sent a socks reject, sending one in
  44      connection_about_to_close_connection() fails because we never give
  45      it a chance to flush. right answer is to do the socks reply manually
  46      in each appropriate case, and then about-to-close-connection can
  47      simply warn us if we forgot one.
  48    - Solve the MSVC nuisance where __FILE__ contains the full path.
  49      People are getting confused about why their errors are coming from
  50      C:\Documents and Settings\Nick Mathewson\My Documents\src\tor .
  51    - GPSLocation optional config string.
  52
  53 Tier two:
  54
  55    - Handle pools of waiting circuits better.
  56    - Let more config options (e.g. ORPort) change dynamically.
  57    - Write limiting; configurable token buckets.
  58    - Only the top of a directory needs to be signed.
  59    - Make sure logged information is 'safe'.
  60    - make advertised_server_mode() ORs fetch dirs more often.
  61
  62 N  - Clean up NT service code
  63    - Work as an NT service; on system tray; etc.
  64    - Win32 installer plus privoxy, sockscap/freecap, etc.
  65    - controller should have 'getinfo' command to query about rephist,
  66      about rendezvous status, etc.
  67    - Implement If-Modified-Since for directories.
  68 N  - Handle rendezvousing with unverified nodes.
  69      - Specify: Stick rendezvous point's key in INTRODUCE cell.
  70        Bob should _always_ use key from INTRODUCE cell.
  71      - Implement.
  72 N  - add ipv6 support.
  73      - Spec issue: if a resolve returns an IP4 and an IP6 address,
  74        which to use?
  75    - christian grothoff's attack of infinite-length circuit.
  76      the solution is to have a separate 'extend-data' cell type
  77      which is used for the first N data cells, and only
  78      extend-data cells can be extend requests.
  79    . rename/rearrange functions for what file they're in
  80    - tor should be able to have a pool of outgoing IP addresses
  81      that it is able to rotate through. (maybe)
  82    - hidserv offerers shouldn't need to define a SocksPort
  83      * figure out what breaks for this, and do it.
  84    - should retry exitpolicy end streams even if the end cell didn't
  85      resolve the address for you
  86    - Make it harder to circumvent bandwidth caps: look at number of bytes
  87      sent across sockets, not number sent inside TLS stream.
  88    - fix router_get_by_* functions so they can get ourselves too,
  89      and audit everything to make sure rend and intro points are
  90      just as likely to be us as not.
  91
  92    Packaging, docs, etc:
  93    - Exit node caching: tie into squid or other caching web proxy.
  94    - FAQ.
  95    - Website spiffying. Logo. Pictures.
  96    - Configuration walk-through with screenshots of each step.
  97
  98    Deferred until needed:
  99    - Do something to prevent spurious EXTEND cells from making middleman
 100      nodes connect all over.  Rate-limit failed connections, perhaps?
 101    - Limit to 2 dir, 2 OR, N SOCKS connections per IP.
 102    - Handle full buffers without totally borking
 103      * do this eventually, no rush.
 104    - Rate-limit OR and directory connections overall and per-IP and
 105      maybe per subnet.
 106    - DoS protection: TLS puzzles, public key ops, bandwidth exhaustion.
 107    - Have clients and dirservers preserve reputation info over
 108      reboots.
 109    - round detected bandwidth up to nearest 10KB?
 110    - client software not upload descriptor until:
 111      - you've been running for an hour
 112      - it's sufficiently satisfied with its bandwidth
 113      - it decides it is reachable
 114      - start counting again if your IP ever changes.
 115      - never regenerate identity keys, for now.
 116      - you can set a bit for not-being-an-OR.
 117      * no need to do this yet. few people define their ORPort.
 118    - authdirserver lists you as running iff:
 119      - he can connect to you
 120      - he has successfully extended to you
 121      - you have sufficient mean-time-between-failures
 122      * keep doing nothing for now.
 123    - Include HTTP status messages in logging (see parse_http_response).
 124
 125    Blue sky or deferred indefinitely:
 126    - Support egd or other non-OS-integrated strong entropy sources
 127    - password protection for on-disk identity key
 128    - Possible to get autoconf to easily install things into ~/.tor?
 129    - server descriptor declares min log level, clients avoid servers
 130      that are too loggy.
 131    - put expiry date on onion-key, so people don't keep trying
 132      old ones that they could know are expired?
 133    - Add a notion of nickname->Pubkey binding that's not 'verification'
 134    - Conn key rotation.
 135    - Need a relay teardown cell, separate from one-way ends.
 136
 137 Big tasks that would demonstrate progress:
 138
 139    - Facility to automatically choose long-term helper nodes; perhaps
 140      on by default for hidden services.
 141    - patch privoxy and socks protocol to pass strings to the browser.
 142    - patch tsocks with our current patches + gethostbyname, getpeername, etc.
 143    - make freecap (or whichever) do what we want.
 144    - scrubbing proxies for protocols other than http.
 145      - Find an smtp proxy?
 146      . Get socks4a support into Mozilla
 147 N  - Reverse DNS: specify and implement.
 148    - figure out enclaves, e.g. so we know what to recommend that people
 149      do, and so running a tor server on your website is helpful.
 150      - Do enclaves for same IP only.
 151      - Resolve first, then if IP is an OR, extend to him first.
 152    - implement a trivial fun gui to demonstrate our control interface.
 153
 154 ************************ Roadmap for 2004-2005 **********************
 155
 156 Hard problems that need to be solved:
 157
 158   - Separating node discovery from routing.
 159   - Arranging membership management for independence.
 160     Sybil defenses without having a human bottleneck.
 161     How to gather random sample of nodes.
 162     How to handle nodelist recommendations.
 163     Consider incremental switches: a p2p tor with only 50 users has
 164       different anonymity properties than one with 10k users, and should
 165       be treated differently.
 166   - Measuring performance of other nodes. Measuring whether they're up.
 167   - Choosing exit node by meta-data, e.g. country.
 168   - Incentives to relay; incentives to exit.
 169   - Allowing dissidents to relay through Tor clients.
 170   - How to intercept, or not need to intercept, dns queries locally.
 171   - Improved anonymity:
 172     - Experiment with mid-latency systems. How do they impact usability,
 173       how do they impact safety?
 174     - Understand how powerful fingerprinting attacks are, and experiment
 175       with ways to foil them (long-range padding?).
 176     - Come up with practical approximations to picking entry and exit in
 177       different routing zones.
 178     - Find ideal churn rate for helper nodes; how safe is it?
 179     - What info squeaks by Privoxy? Are other scrubbers better?
 180     - Attacking freenet-gnunet/timing-delay-randomness-arguments.
 181     - Is abandoning the circuit the only option when an extend fails, or
 182       can we do something without impacting anonymity too much?
 183     - Is exiting from the middle of the circuit always a bad idea?
 184
 185 Sample Publicity Landmarks:
 186
 187   - we have N servers / N users
 188   - we have servers at epic and aclu and foo
 189   - hidden services are robust and fast
 190   - a more decentralized design
 191   - tor win32 installer works
 192   - win32 tray icon for end-users
 193   - tor server works on win32
 194   - win32 service for servers
 195   - mac installer works
 196
 197 ***************************Future tasks:****************************
 198
 199 Rendezvous and hidden services:
 200   make it fast:
 201     - preemptively build and start rendezvous circs.
 202     - preemptively build n-1 hops of intro circs?
 203     - cannibalize general circs?
 204   make it reliable:
 205     - standby/hotswap/redundant services.
 206     - store stuff to disk? dirservers forget service descriptors when
 207       they restart; nodes offering hidden services forget their chosen
 208       intro points when they restart.
 209   make it robust:
 210     - auth mechanisms to let midpoint and bob selectively choose
 211       connection requests.
 212   make it scalable:
 213     - robust decentralized storage for hidden service descriptors.
 214   make it accessible:
 215     - web proxy gateways to let normal people browse hidden services.
 216
 217 Tor scalability:
 218   Relax clique assumptions.
 219   Redesign how directories are handled.
 220     - Resolve directory agreement somehow.
 221   Find and remove bottlenecks
 222     - Address linear searches on e.g. circuit and connection lists.
 223   Reputation/memory system, so dirservers can measure people,
 224     and so other people can verify their measurements.
 225     - Need to measure via relay, so it's not distinguishable.
 226   Let dissidents get to Tor servers via Tor users. ("Backbone model")
 227
 228 Make it more correct:
 229   Handle half-open connections: right now we don't support all TCP
 230     streams, at least according to the protocol. But we handle all that
 231     we've seen in the wild.
 232   Support IPv6.
 233
 234 Efficiency/speed/robustness:
 235   Congestion control. Is our current design sufficient once we have heavy
 236     use? Need to measure and tweak, or maybe overhaul.
 237   Allow small cells and large cells on the same network?
 238   Cell buffering and resending. This will allow us to handle broken
 239     circuits as long as the endpoints don't break, plus will allow
 240     connection (tls session key) rotation.
 241   Implement Morphmix, so we can compare its behavior, complexity, etc.
 242   Use cpuworker for more heavy lifting.
 243     - Signing (and verifying) hidserv descriptors
 244     - Signing (and verifying) intro/rend requests
 245     - Signing (and verifying) router descriptors
 246     - Signing (and verifying) directories
 247     - Doing TLS handshake (this is very hard to separate out, though)
 248   Buffer size pool: allocate a maximum size for all buffers, not
 249     a maximum size for each buffer. So we don't have to give up as
 250     quickly (and kill the thickpipe!) when there's congestion.
 251   Other transport. HTTP, udp, rdp, airhook, etc. May have to do our own
 252     link crypto, unless we can bully openssl into it.
 253