t/lei-q-remote-import.t

   1 #!perl -w
   2 # Copyright (C) all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use v5.12; use PublicInbox::TestCommon;
   5 use autodie qw(open close unlink);
   6 require_mods(qw(lei -httpd));
   7 require_cmd 'curl';
   8 use PublicInbox::MboxReader;
   9 my ($ro_home, $cfg_path) = setup_public_inboxes;
  10 my $sock = tcp_server;
  11 my ($tmpdir, $for_destroy) = tmpdir;
  12 my $cmd = [ '-httpd', '-W0', "--stdout=$tmpdir/1", "--stderr=$tmpdir/2" ];
  13 my $env = { PI_CONFIG => $cfg_path };
  14 my $td = start_script($cmd, $env, { 3 => $sock }) or BAIL_OUT("-httpd: $?");
  15 my $host_port = tcp_host_port($sock);
  16 my $url = "http://$host_port/t2/";
  17 my $exp1 = [ eml_load('t/plack-qp.eml') ];
  18 my $exp2 = [ eml_load('t/iso-2202-jp.eml') ];
  19 my $slurp_emls = sub {
  20         open my $fh, '<', $_[0];
  21         my @eml;
  22         PublicInbox::MboxReader->mboxrd($fh, sub {
  23                 my $eml = shift;
  24                 $eml->header_set('Status');
  25                 push @eml, $eml;
  26         });
  27         \@eml;
  28 };
  29
  30 test_lei({ tmpdir => $tmpdir }, sub {
  31         my $o = "$ENV{HOME}/o.mboxrd";
  32         my @cmd = ('q', '-o', "mboxrd:$o", 'm:qp@example.com');
  33         lei_ok(@cmd);
  34         ok(-f $o && !-s _, 'output exists but is empty');
  35         unlink $o;
  36         lei_ok(@cmd, '-I', $url);
  37         is_deeply($slurp_emls->($o), $exp1, 'got results after remote search');
  38         unlink $o;
  39         lei_ok(@cmd);
  40         ok(-f $o && -s _, 'output exists after import but is not empty') or
  41                 diag $lei_err;
  42         is_deeply($slurp_emls->($o), $exp1, 'got results w/o remote search');
  43         unlink $o;
  44
  45         $cmd[-1] = 'm:199707281508.AAA24167@hoyogw.example';
  46         lei_ok(@cmd, '-I', $url, '--no-import-remote');
  47         is_deeply($slurp_emls->($o), $exp2, 'got another after remote search');
  48         unlink $o;
  49         lei_ok(@cmd);
  50         ok(-f $o && !-s _, '--no-import-remote did not memoize');
  51
  52         open my $fh, '>', "$o.lock";
  53         $cmd[-1] = 'm:qp@example.com';
  54         unlink $o;
  55         lei_ok(@cmd, '--lock=none');
  56         ok(-f $o && -s _, '--lock=none respected') or diag $lei_err;
  57         unlink $o;
  58         ok(!lei(@cmd, '--lock=dotlock,timeout=0.000001'), 'dotlock fails');
  59         like($lei_err, qr/dotlock timeout/, 'timeout noted');
  60         ok(-f $o && !-s _, 'nothing output on lock failure');
  61         unlink "$o.lock";
  62         lei_ok(@cmd, '--lock=dotlock,timeout=0.000001',
  63                 \'succeeds after lock removal');
  64
  65         my $ibx = create_inbox 'local-external', indexlevel => 'medium', sub {
  66                 my ($im) = @_;
  67                 $im->add(eml_load('t/utf8.eml')) or BAIL_OUT '->add';
  68         };
  69         lei_ok(qw(add-external -q), $ibx->{inboxdir});
  70         lei_ok(qw(q -q -o), "mboxrd:$o", '--only', $url,
  71                 'm:testmessage@example.com');
  72         is($lei_err, '', 'no warnings or errors');
  73         ok(-s $o, 'got result from remote external');
  74         my $exp = eml_load('t/utf8.eml');
  75         is_deeply($slurp_emls->($o), [$exp], 'got expected result');
  76         lei_ok(qw(q --no-external -o), "mboxrd:/dev/stdout",
  77                         'm:testmessage@example.com');
  78         is($lei_out, '', 'message not imported when in local external');
  79
  80         open $fh, '>', $o;
  81         print $fh <<'EOF';
  82 From a@z Mon Sep 17 00:00:00 2001
  83 From: nobody@localhost
  84 Date: Sat, 13 Mar 2021 18:23:01 +0600
  85 Message-ID: <never-before-seen@example.com>
  86 Status: OR
  87
  88 whatever
  89 EOF
  90         close $fh;
  91         lei_ok(qw(q -o), "mboxrd:$o", 'm:testmessage@example.com');
  92         is_deeply($slurp_emls->($o), [$exp],
  93                 'got expected result after clobber') or diag $lei_err;
  94         lei_ok(qw(q -o mboxrd:/dev/stdout m:never-before-seen@example.com));
  95         like($lei_out, qr/seen\@example\.com>\nStatus: RO\n\nwhatever/sm,
  96                 '--import-before imported totally unseen message');
  97
  98         lei_ok(qw(q --save z:0.. -o), "$ENV{HOME}/md", '--only', $url);
  99         my @f = glob("$ENV{HOME}/md/*/*");
 100         lei_ok('up', "$ENV{HOME}/md");
 101         is_deeply(\@f, [ glob("$ENV{HOME}/md/*/*") ],
 102                 'lei up remote dedupe works on maildir');
 103         my $edit_env = { VISUAL => 'cat', EDITOR => 'cat' };
 104         lei_ok([qw(edit-search), "$ENV{HOME}/md"], $edit_env);
 105         like($lei_out, qr/^\Q[external "$url"]\E\n\s*lastresult = \d+/sm,
 106                 'lastresult set');
 107
 108         unlink $o;
 109         lei_ok qw(q --no-save -q m:never2exist@example.com -o), "mboxrd:$o",
 110                 '--only', $url,
 111                 \'404 curl exit (22) does not influence lei(1)';
 112         is(-s $o, 0, 'empty result');
 113 });
 114 done_testing;