Disable logging to control port connections in buf_shrink_freelists.
[tor/rransom.git] / doc / TODO.021
blob881ba5ee4baf43051aac6c5a0669f67f809822f2
1 $Id$
2 Legend:
3 SPEC!!  - Not specified
4 SPEC    - Spec not finalized
5 N       - nick claims
6 R       - arma claims
7 P       - phobos claims
8 S       - Steven claims
9 E       - Matt claims
10 M       - Mike claims
11 J       - Jeff claims
12 I       - ioerror claims
13 W       - weasel claims
14 K       - Karsten claims
15         - Not done
16         * Top priority
17         . Partially done
18         o Done
19         d Deferrable
20         D Deferred
21         X Abandoned
23 =======================================================================
25 Things Roger would be excited to see:
27 Nick
28   * Look at Roger's proposal 141 discussions on or-dev, and help us
29     decide how to proceed.
30   . Tors start believing the contents of NETINFO cells.
31   - respond to Steven's red-team TLS testing (a.k.a, look at a packet
32     dump and compare)
34 Matt
35   - Fit Vidalia in 640x480 again.
36   - Vidalia should avoid stomping on your custom exit policy lines
37     just because you click on 'save' for a totally different config thing.
38   - How much space do we save in TBB by stripping symbols from Vidalia
39     first? Good idea or crazy idea?
40     (phobos adds you save about 12MB total across all exes by stripping
41     them)  In fact, tbb-1.19 is stripped exes.
43 ioerror
44   * weather.torproject.org should go live.
45   - Keep advocating new Tor servers and working with orgs like Mozilla
46     to let them like Tor.
47   - Find out what happened to the buildbot and get it back up:
48     http://tor-buildbot.freehaven.net:8010/
49   - Learn about locking memory pages that have sensitive content. Get
50     that started in Tor.
51   - Translation portal
52     - Vidalia html help files
53     - should we i18nize polipo's error messages too?
54     - how to get our diagrams translated, and how to get our screenshots
55       from the right language?
56     - Some of our translated wml files are very old -- so old that they
57       are harmful to leave in place. We need some sort of way to notice
58       this and disable them.
60 Steven
61   - Move proposal 131 or equivalent forward.
62   - Keep bugging us about exploits on the .exit notation.
63   - Mike's question #3 on https://www.torproject.org/volunteer#Research
64   - Worthwhile shipping TBB with some local html help files that come
65     as bookmarks?
67 Andrew
69 Weasel
70   - Figure out how to make Vidalia and Tor play nicely on Debian, make
71     the necessary modifications, and make some Vidalia debs that pass
72     muster.
73   - Fix bug 393.
74   - Get oftc to switch to Tor dns bulk exitlist. Or tell us why it's
75     not suitable yet.
76   - Move proposal 134 forward.
77   - putting port predictions in state file
78   - if tor hasn't been used in a while it stops fetching consensus
79     documents.  Retain that state over restarts.
81 Roger
82   - Finish tor-doc-bridge.wml
83   . Fix FAQ entry on setting up private Tor network
84   - Did we actually apply Steven's dkimproxy patch?
85   - Brainstorm about safe but effective ways for vidalia to
86     auto-update its user's bridges via Tor in the background.
87   - it doesn't count as successfully opening a circuit if it's not
88     an exit circuit.
90 Mike:
91   - Roger wants to get an email every time there's a blog change,
92     e.g. a comment. That way spam doesn't go undetected for weeks.
93     - Or, maybe just disable linking from blog comments entirely?
94     (phobos mitigates this by checking it a few times a week)
96 =======================================================================
98 Bugs/issues for Tor 0.2.0.x:
99   . we should have an off-by-default way for relays to dump geoip data to
100     a file in their data directory, for measurement purposes.
101     o Basic implementation
102 N   - Include probability-of-selection
103 R d let bridges set relaybandwidthrate as low as 5kb
105 Documentation for Tor 0.2.0.x:
106   o Proposals:
107     o 111: Prioritize local traffic over relayed.
108     o 113: mark as closed close.
109   o document the "3/4 and 7/8" business in the clients fetching consensus
110     documents timeline.
111 R   - then document the bridge user download timeline.
112   - HOWTO for DNSPort. See tup's wiki page.
113   . Document transport and natdport in a good HOWTO.
114   - Quietly document NT Service options: revise (or create) FAQ entry
116 =======================================================================
118 For 0.2.1.x-alpha:
119 R d bug: if we launch using bridges, and then stop using bridges, we
120     still have our bridges in our entryguards section, and may use them.
121   o add an event to report geoip summaries to vidalia for bridge relays,
122     so vidalia can say "recent activity (1-8 users) from sa".
123 R - investigate: it looks like if the bridge authority is unreachable,
124     we're not falling back on querying bridges directly?
125   o if "no running bridges known", an application request should make
126     us retry all our bridges.
128 For 0.2.1.x:
129   - Proposals to do:
130     o 110: avoid infinite-length circuits
131       * Figure out the right value for max RELAY_EARLY cells (Bug 878)
132     - 117: IPv6 Exits
133       - Internal code support for ipv6:
134         o Clone ipv6 functions (inet_ntop, inet_pton) where they don't exist.
135         o Many address variables need to become tor_addr_t
136           o addr in connection_t
137           o n_addr in extend_info_t
138         - Teach resolving code how to handle ipv6.
139         . Teach exit policies about ipv6 (consider ipv4/ipv6 interaction!)
140         o Use IPv6 in connect/connected/failed-exitpolicy cells
141         o accept ipv6 from socks
142         o Generate END_REASON_EXITPOLICY cells right
143           . ... and parse them right
144         . Generate new BEGIN cell types and parse them right
145         - Detect availability of ipv6
146         - Advertise availability of ipv6.
147         - Geoip support, if only to add a zone called "ipv6"
149 K   . 121: Hidden service authentication:
150       - missing: delayed descriptor publication for 'stealth' mode.
151     o 128: families of private bridges
152     o 135: simplify configuration of private tor networks.
153 K   - 143: Improvements of Distributed Hidden Service Descriptor Storage:
154            only easy parts for 0.2.1.x, defer complex ones to 0.2.2.x.
155     o 148: Stream end reasons from the client side should be uniform.
156 K   o 155: Four Improvements of Hidden Service Performance
157     - 145: Separate "suitable from a guard" from "suitable as a new guard"
158     - 146: Adding new flag to reflect long-term stability
159     - 149: Using data from NETINFO cells
160       o Don't extend a circuit over a noncanonical connection with
161         mismatched address.
162         o Apply rovv's bugfixes wrt preferring canonical connections.
163         o Make sure that having a non-canonical connection doesn't count
164           as _having_ a connection for the purpose of connecting to others,
165           and that when no canonical connection exists, we make one.
166       - Learn our outgoing IP address from netinfo cells?
167       - Learn skew from netinfo cells?
168     o 157: Make certificate downloads specific.
170   - Proposals to write:
171     - Fix voting to handle bug 608 case when multiple servers get
172       Named.
173 N   . Draft proposal for GeoIP aggregation (see external constraints *)
174     . Figure out how to make good use of the fallback consensus file. Right
175       now many of the addresses in the fallback consensus will be stale,
176       so it will take dozens of minutes to bootstrap from it. This is a
177       bad first Tor experience. But if we check the fallback consensus
178       file *after* we fail to connect to any authorities, then it may
179       still be valuable as a blocking-resistance step.
180       o Write the proposal.
181       - Patch our tor.spec rpm package so it knows where to put the fallback
182         consensus file.
183     . Put bandwidth weights in the networkstatus? So clients get weight
184       their choices even before they have the descriptors; and so
185       authorities can put in more accurate numbers in the future.
187   - Spec compliance:
188     * Make sure that clients could do the new handshake without sending any
189       certs, if they wanted.
191   - Tiny designs to write:
192     - If a relay publishes a new descriptor with a significantly lower
193       uptime or with a new IP address, then we should consider its current
194       "running" interval to have ended even if it hadn't yet failed its
195       third reachability test. the interval ended when the new descriptor
196       appeared, and a new interval began then too.
198   - Authority improvements:
199 R   - authorities should initiate a reachability test upon first
200       glimpsing a new descriptor.
202   - Use less bandwidth
203     - Use if-modified-since to download consensuses
205   - Testing
206     - Better unit test coverage
207     - Verify that write limits to linked connections work.
209   - Security improvements
210     - make is-consensus-fresh-enough check tighter.
211     - If we haven't tried downloading a consensus for ages since we're tired,
212       try getting a new one before we use old descriptors for a circuit.
213       Related to bug 401. [What does "since we're tired" mean? -RD]
214       [I don't know. -NM]
216   - Feature removals and deprecations:
217     - Get rid of the v1 directory stuff (making, serving, and caching)
218       . First verify that the caches won't flip out?
219         o If they will, just stop the caches from caching for now
220       . perhaps replace it with a "this is a tor server" stock webpage.
221         - Get the debs to set DirPortFrontPage in the default.
222         - Decide how to handle DirPortFrontPage files with image links.
223     - Can we deprecate controllers that don't use both features?
224       - Both TorK and Vidalia use VERBOSE_NAMES.
225       - TorK uses EXTENDED_EVENTS.  Vidalia does not. (As of 9 Dec.)
226       - Matt is checking whether Vidalia would break if we started to use
227         EXTENDED_EVENTS by default.  He says no.
229 External tool improvements:
230   - Get IOCP patches into libevent
232 Nice to have for 0.2.1.x:
233   - Proposals, time permitting
234     - 134: handle authority fragmentation.
235     - 140: Provide diffs betweeen consensuses
237   - Handle multi-core cpus better
238     - Split circuit AES across cores
239       - Split cell_queue_t into a new structure with a processed subqueue,
240         an unprocessed subqueue, and a symmetric key.
241       - Write a function to pull cells from the unprocessed subqueue,
242         en/decrypt them, and place them on the processed subqueue.
243       - When a cell is added to a queue that previously had no
244         unprocessed cells, put that queue into a set of queues that
245         need to be processed.  When the last cell is processed in a
246         queue, remove it from the set of queues that need to be
247         processed.
248       - Worker code to process queues in round-robin fashion.
249       - Think about how to be fair to differet circuits _and_ about to get
250         CPU-affinity, if that matters.
251       - When a cell is processed and placed onto a processed subqueue
252         that was previously empty, _and_ the or_conn output buffer
253         that the queue is targetting is empty, stick the buffer onto a
254         list of buffers that need attention and notify the main
255         thread if it was not already on the list.
256       - When the main thread gets notified, it pumps those buffers.
257         (i.e., it puts cells onto them from some of their circuits).
258       - To free a queue that is not currently processing, grab its lock
259         and free it.
260       - To free a queue that _is_ processing, .... ?
262   - Documentation
263 P   - Make documentation realize that location of system configuration file
264       will depend on location of system defaults, and isn't always /etc/torrc.
266   - Small controller features
267     - A status event for when tor decides to stop fetching directory info
268       if the client hasn't clicked recently: then make the onion change too.
269     o Add a status event when new consensus arrives
271   - Windows build
272 P   - create a "make win32-bundle" for vidalia-privoxy-tor-torbutton bundle
273       - Is this obsolete with msi bundle coming soon asks phobos
275   - Refactor bad code:
276     - connection_or_get_by_identity_digest() and connection_good_enough_for
277       _extend() could be merged into a smarter variant, perhaps.
278     - Refactor the HTTP logic so the functions aren't so large.
279     - Refactor buf_read and buf_write to have sensible ways to return
280       error codes after partial writes
281     - deprecate router_digest_is_trusted_dir() in favor of
282       router_get_trusteddirserver_by_digest()
284   - Should be trivial
285     - Tor logs the libevent version on startup, for debugging purposes.
286       This is great. But it does this before configuring the logs, so
287       it only goes to stdout and is then lost.
288       (phobos asks, is this still the case?  because it shows up in my
289       logs)
291   - Deprecations
292     - Even clients run rep_hist_load_mtbf_data().  This doesn't waste memory
293       unless they had previously been non-clients collecting MTBF data.
294       Dump it anyway?
295     - Unless we start using ftime functions, dump them.
296     - can we deprecate the FastFirstHopPK config option?
297     - The v2dir flag isn't used for anything anymore, right? If so, dump it.
298     - can we deprecate 'getinfo network-status'?
299     - Dump most uint32_t addr functions.
301   - do the part of the "abandon .exit" proposal that involves isolating
302     circuits which have used a .exit stream from those that haven't
304 Defer:
305   - Proposals
306     - 118: Listen on and advertise multiple ports:
307       - Tor should be able to have a pool of outgoing IP addresses that it is
308         able to rotate through. (maybe.  Possible overlap with proposal 118.)
309       - config option to publish what ports you listen on, beyond
310         ORPort/DirPort.  It should support ranges and bit prefixes (?) too.
311       - Need to figure out the right format for routerinfo_t on this.
312     - 147: Eliminate the need for v2 directories in generating v3 directories
314   - Proposals to write.
315     d Something for bug 469, to limit connections per IP.
316     d Do we want to maintain our own set of entryguards that we use as
317       next hop after the bridge?
318     d Possibly: revise link protocol to allow big circuit IDs,
319       variable-length cells, proposal-110 stuff, and versioned CREATES?
320     d Fetch an updated geoip file from the directory authorities.
321 R   - bridge communities (revive proposal 128)
322       . spec
323       . deploy
324         - man page entries for Alternate*Authority config options
326   - Tiny designs to write
327     - Better estimate of clock skew; has anonymity implications.  Clients
328       should estimate their skew as median of skew from servers over last
329       N seconds, but for servers this is not so easy, since a server does
330       not choose who it connects to.
331     - Do TLS connection rotation more often than "once a week" in the
332       extra-stable case.
333       (One reason not to do it more often is because the old TLS conn
334        probably has a circuit on it, and we don't really want to build up
335        dozens of TCP connections to all the other extra-stable relays.)
338   - Use less RAM
339     - Optimize cell pool allocation.
340     - Support (or just always use) jemalloc (if it helps)
341     - mmap more files.
342     - Pull serverdescs off buffers as they arrive.
343     - Allocate routerstatus_t objects on a per-networkstatus memchunk.
345   - Split TLS across multiple cores
347   - "In the future, we should migrate to LOCAL_APPDATA entirely."
349   - Use more mid-level and high-level libevent APIs
350     - For dns?
351     - For http?
352     - For buffers?
354   - Proposals to write
355     - steven's plan for replacing check.torproject.org with a built-in
356       answer by tor itself.
358   - Refactor bad code:
359     - Streamline how we pick entry nodes: Make choose_random_entry() have
360       less magic and less control logic.
361     - Move all status info out of routerinfo into local_routerstatus.  Make
362       "who can change what" in local_routerstatus explicit.  Make
363       local_routerstatus (or equivalent) subsume all places to go for "what
364       router is this?"
365     o Don't call time(NULL) so much; instead have a static time_t field
366       that gets updated only a handful of times per second.
367     - Refactor unit tests into multiple files
369   - Make Tor able to chroot itself
370     o allow it to load an entire config file from control interface
371     - document LOADCONF
372     - log rotation (and FD passing) via control interface
373     - chroot yourself, including inhibit trying to read config file
374       and reopen logs, unless they are under datadir.
376   - Should be trivial:
377     - Base relative control socket paths (and other stuff in torrc) on datadir.
378     o enforce a lower limit on MaxCircuitDirtiness and CircuitBuildTimeout.
379     - Make 'safelogging' extend to info-level logs too.
380     - don't do dns hijacking tests if we're reject *:* exit policy?
381       (deferred until 0.1.1.x is less common)
382     - More consistent error checking in router_parse_entry_from_string().
383       I can say "banana" as my bandwidthcapacity, and it won't even squeak.
385   d Interface for letting SOAT modify flags that authorities assign.
386     (How to keep the authority from clobbering them afterwards?