WebAsyst Почта позволяет просматривать и отвечать на письма, приходящие на ваши почтовые адреса, расположенные на различных почтовых серверах, например: mail.ru, yandex.ru, gmail.com.
Почтовые адреса, расположенные на других серверах, будем называть внешними . Для каждого внешнего адреса в папке Входящие создается отдельная ветка. Новая почта проверяется автоматически, ежеминутно. При поступлении новых сообщений, название ящика, в который поступили письма, выделяется жирным.
В действительности, WebAsyst Почта не забирает письма с внешнего почтового сервера, а лишь узнает об их поступлении и читает заголовки. Конечно, если вы откроете письмо, щелкнув по его заголовку, то WebAsyst Почта прочитает и все содержимое письма. Однако, само письмо останется на почтовом сервере, и будет доступно через собственный веб-интерфейс почтовой службы или из почтовой программы, например Outlook или The Bat!.
WebAsyst Почта позволяет выполнять все основные операции с сообщениями, поступившими во внешние почтовые ящики:
- просмотр сообщений и вложенных файлов
- ответ отправителю и пересылка сообщения на другие адреса
- удаление или перемещение в папку WebAsyst Почты для постоянного хранения (при этих операциях оригинальное сообщение будет удалено с почтового сервера)
Зачем нужно собирать сообщения с других почтовых серверов?
Как правило, каждая почтовая служба предоставляет свой веб-интерфейс для работы с почтой. Тем не менее, воспользоваться сборщиком почты WebAsyst удобно, например, в следующих случаях:
- Когда необходимо видеть всю корреспонденцию, приходящую на разные почтовые адреса, в едином месте – на одной веб-странице.
- Когда вы обычно работаете в офисе с помощью почтовой программы Outlook Express и уехали в командировку без офисного компьютера. В этом случае WebAsyst Почта предоставит вам доступ ко всем вашим почтовым ящикам с любого компьютера, подключенного к интернету.
- Когда к письмам, приходящим на различные адреса, необходимо предоставить доступ другим сотрудникам без необходимости пересылки этих сообщений – WebAsyst Почта позволяет гибко настраивать права доступа для каждой папки.
- Наконец, когда на вашем почтовом сервере просто нет веб-интерфейса, или он не удобен в использовании.
- Сборщик почты с ваших ящиков на других почтовых системах
В прошлый раз я начал серию статей о сборе почты с нескольких различных ящиков, созданных даже на разных сервисах, в один основной ящик, который пользователь постоянно контролирует и ему проще работать только с ним одним, нежели чем отдельно просматривать все свои электронные ящики. Подробнее о необходимости сбора почты и о её реализации на сервисе GMail, читайте .
Эту серию статей я планирую пока что на 3 статьи. Сегодня расскажу о настройке сбора почты в не менее известном почтовом сервисе - Яндекс.
Сбор почты с других аккаунтов в Яндекс настраивается так же просто как и в других сервисах.
Процесс настройки сбора почты в сервисе Яндекс.
Чтобы подключить возможность собирать всю почту в ваш ящик на Яндекс с любых ваших аккаунтов на этом же или других почтовых сервисах в первую очередь войдите в свой аккаунт на Яндекс, который будет являться основным. Именно в него будете собирать почту с других ящиков.
Откройте раздел настроек почты и выберите “Сбор почты с других ящиков”.
Собирать почту вы можете с любых ящиков, расположенных на любых почтовых сервисах, а не только с ваших почт, расположенных на том же сервисе Яндекс!
В примере для этой статьи будет показан процесс сбора писем с почты Mail.ru.
Введите полный адрес электронной почты, откуда будете собирать письма и пароль от неё, после чего нажмите “Включить сборщик”.
Если вы указали верные логин и пароль от почты, то в следующем окне появится сообщение об успешном соединении и здесь можно произвести некоторые настройки сбора писем. К примеру, вы можете присвоить собираемым письмам метку, а также отображать старые пересылаемые письма как прочтённые. Отметьте нужные вам опции после чего внизу укажите ещё раз пароль от вашей второй почты и нажмите “Сохранить изменения” . Почта начнёт собираться минут через 10.
В этом окне настроек у вас не получится выбрать отдельную папку для сбора писем с подключённого ящика. Изначально будет указана папка “Входящие” и она не меняется. Это связано с тем, что изначально почта собирается по протоколу IMAP и этот протокол копирует полностью структуру папок с подключенной вами почты.
Если 2 варианта заставить всё-таки собираемую почту сортироваться по папкам:
Изменить настройки сбора почты и поставить протокол POP3, вместо IMAP (который задаётся изначально);
Настроить позже фильтрацию писем, т. е. создать условие, при котором получаемая почта будет попадать в нужную вам папку, минуя “Входящие”.
Второй вариант, думаю, более предпочтителен, особенно для новичков, чтобы не ковыряться в настройках соединения с другой почтой.
Теперь все письма, поступающие на подключённую вами почту, будут стекаться в текущую, которая является вашей основной. И тогда уже нет надобности заходить отдельно во вторую почту для проверки новых писем в ней.
Как посмотреть отдельно все письма, собираемые из подключенной почты?
После добавления почты, вы увидите ярлык с её названием слева под папками для писем. Пример:
Кликнув по этому ярлыку вы увидите отдельно все письма из подключённого ящика.
Как изменить настройки или отключить сбор почты с определённого ящика?
Если вам нужно что-либо поменять в настройках сбора почты из добавленного ящика, то вы можете это сделать там же в настройках почты Яндекса, через раздел “Сбор почты с других ящиков”.
Если нужно выключить или снова включить сбор почты с определённого подключённого ящика, нажмите на переключатель “Вкл. / Выкл.” в списке подключённых ящиков.
Если нужно открыть настройки сбора почты , кликните по названию ящика , после чего кликните по появившейся ссылке “Настроить”. В результате откроется такое же окно настроек, как при подключении почты ().
Заключение.
В заключение хочу отметить, что обычно со сбором электронной почты в сервис Яндекс проблем никаких нет и ничего не нужно настраивать во второй почте (которую подключаете). Но есть очень капризный сервис по имени GMail:) Вот при его подключении (причём не только к Яндекс, но к даже к самому себе) очень часто возникают проблемы и связано это с повышенной безопасностью этой гугловской почты. Нет, не спорю, безопасность - это хорошо! Но иногда это достигает уровня маразма, например, когда Gmail блокирует подключение к своему же второму ящику GMail, причём вход в оба выполнен с одного компьютера и одного IP:)) О подобных проблемах именно с подключением почт Google я расскажу в отдельной статье.
Множество хитростей помогут сделать работу с электронной почтой более удобной - SMS-уведомления, автоответчик, сборщик почты и другие возможности.
Несмотря на повсеместное распространение программ и сервисов для быстрого обмена небольшими сообщениями (ICQ, Google Talk и прочих), старая добрая электронная почта - тот способ обмена информацией, с которого, вообще говоря, начался Интернет - по-прежнему пользуется популярностью, почетом и уважением.
К сожалению, электронные почтовые ящики многих из нас используются, что называется, не в полную силу. Вы знаете, например, что несколько ящиков, даже расположенных в разных почтовых службах, можно фактически объединить в один? Или что в ожидании важного письма необязательно сидеть возле экрана, потому что можно настроить SMS-уведомление? Эти и многие друге возможности скрыты в настройках ваших почтовых ящиков, добраться к ним - дело нескольких кликов, но надо знать, в какую сторону «копать».
«Нас нет дома»
Если вы по тем или иным причинам в течение долгого времени будете отрезаны от Интернета (всякое бывает - простудились, уехали на дачу или в отпуск), то имеет смысл включить на этот срок так называемый автоответчик, который на все поступающие письма будет сообщать, что владелец ящика отбыл «в Париж по делу срочно» и ответит не сразу.
В системе Mail.ru (www.mail.ru) доступ к этой возможности можно получить, зайдя в почтовый ящик, нажав в верхнем меню кнопку «Еще», выбрав пункт «Настройки», а в нем - меню «Мастер писем». В нижней части открывшейся страницы вы увидите раздел «Автоответчик». Поставив галочку напротив пункта «Включить автоответчик», заполните поле «Текст автоответа». В нем вы вольны написать все что угодно, лишь бы ваш абонент понял, что вы не можете сию секунду прочесть его письмо, но как только окажетесь у компьютера, сразу прочтете. Под полем для текста задается время работы автоответчика - можно указать не только дату, но даже часы и минуты. Для того чтобы автоответчик заработал, необходимо ввести пароль, который вы используете для входа в почту.
В «Яндекс.Почте» (mail.yandex.ru) автоответчик доступен в меню «Настройка - Правила обработки почты». Чтобы включить его, необходимо нажать кнопку «Создать правило», а затем в разделе «Выполнить действие» выбрать пункт «Ответить следующим текстом» и ввести в поле нужный текст (вроде «Я сейчас не могу прочитать ваше письмо, но обещаю сделать это, как только у меня появится такая возможность»). Когда закончите, нажмите кнопку «Создать правило».
Есть автоответчик и в популярной почтовой системе Gmail (www.gmail.com). Его можно включить в настройках, кликнув на изображение шестеренки в верхнем углу. В разделе настроек зайдите во вкладку «Общие» и установите переключатель в положение «Включить автоответчик». При этом можно настроить автоответчик так, что письма о вашей недоступности будут отправляться только тем, кто добавлен в список контактов, - посторонние люди об отсутствии владельца ящика знать не будут.
Вся почта в одном ящике
Если вы используете несколько почтовых ящиков, то вам может пригодиться функция «сбора почты». Практически любая почтовая система позволяет подключаться к другим адресам электронной почты и скачивать оттуда письма. Таким образом у вас отпадет необходимость следить сразу за несколькими ящиками - вся корреспонденция будет складироваться в одном месте. В Mail.ru «сборщик почты» находится в разделе «Настройки - Сборщик почты (POP3-сервера)». Настраивается эта функция так: нужно указать название POP3-сервера и ввести пароль от ящика. Например, если вы хотите, чтобы в ваш ящик на Mail.ru поступали письма с «Яндекс.Почты», укажите адрес сервера pop.yandex.ru и пароль, который вы используете в почте «Яндекса». А если вам нужно, чтобы ваша почтовая система «забирала» почту с Gmail, то адрес pop3-сервера должен быть таким: pop.gmail.com. О том, как называются pop3-серверы других почтовых служб, можно узнать на сайтах этих служб. Их в Сети достаточно много, и каждую из них упомянуть будет сложновато.
В «Яндекс.Почте» сбор писем из других ящиков настраивается проще: нужно просто указать e-mail, с которого вы хотите выкачивать письма, и пароль к нему. Все остальные настройки система выполнит самостоятельно. В Gmail «сборщик почты» настраивается в разделе «Настройки почты - Аккаунты и импорт». В этой вкладке есть раздел «Сбор почты с других аккаунтов».
К слову сказать, собрать всю почту в одном ящике можно и иным способом. Так, в каждом из ваших электронных ящиков вы можете указать, что желаете всю входящую корреспонденцию перенаправлять на тот или иной адрес. Так, в «Яндекс.Почте» это делается в «Правилах обработки входящей почты». Зайдя в этот раздел, нажмите на кнопку «Создать правило» и выберите действие под названием «Переслать по адресу», после чего укажите адрес, куда следует перенаправлять почту. В Mail.ru перенаправлением почты заведует меню «Пересылка» в разделе настроек, а в Gmail, для того чтобы настроить пересылку писем, зайдите в раздел «Настройки почты - Пересылка и POP/IMAP», после чего в первом раскрывающемся меню выберите пункт «Добавить новый адрес электронной почты».
Непрошеные гости
Умеют почтовые системы и «отсекать» письма, которые вы по тем или иным причинам не хотите видеть в своем ящике. В «Яндекс.Почте» добавить адрес того или иного человека в так называемый «черный список» можно в разделе «Настройки - Правила обработки входящей почты». В поле черного цвета просто укажите «недружественный» e-mail и нажмите кнопку «добавить». Пункт «Черный список» существует и в настройках ящика Mail.ru. В Gmail проще всего нажать кнопку «Спам!» - письмо от неприятного адресата переместится в «мусорную корзину», и то же самое будет происходить в дальнейшем, но уже без вашего участия.
Почта в SMS
В ожидании важного письма совершенно необязательно часами сидеть перед компьютером и каждую минуту проверять почту. Так, например, Mail.ru позволяет настроить отправку SMS-уведомлений о приходе новых писем. В разделе «SMS-уведомления» укажите свой номер мобильника и поставьте галочку напротив пункта «Уведомлять о новой почте по SMS». Можно также выбрать время, когда SMS о новых письмах присылаться не будут - например, вряд ли кто-то захочет, чтобы его беспокоили по ночам. В Gmail и «Яндекс.Почте» такой возможности пока не предусмотрено, однако почта «Яндекса» позволяет при отправке письма отослать на тот или иной мобильный номер уведомление. Сделать это можно, нажав на ссылку «Дополнительные параметры» внизу формы написания письма и указав в соответствующем окне номер телефона.
«Заказное с уведомлением о вручении»
Почтовые системы позволяют вам узнавать, было ли письмо доставлено до адресата. После того как получатель сообщения откроет его, вам в ответ отправится специальное письмо, в котором будет об этом сказано. В «Яндекс.Почте» это делается при помощи ссылки «Дополнительные параметры» под текстом нового письма - в открывшемся окне надо просто поставить галочку напротив пункта «Уведомить о получении письма». А вот разработчики почты Gmail считают такую функцию излишней - во всяком случае, отыскать ее в настройках не удалось.
В этой статье речь пойдет о том, что такое «почта из других ящиков» и «сбор писем из других аккаунтов». Обзоры почтовых сервисов и сравнения.
По мере обновления функционала почтовых сервисов мы будем публиковать новости в конце этой статьи.
Почтовый сервис Mail.ru, поисковые системы Yandex и Google уже несколько лет предлагают очень полезный и нужный функционал, который позволяет объединить в одной почте все остальные e-mail аккаунты. Иными словами, стоит один раз добавить и настроить все свои «почты», и управлять ими станет возможно в одном окне без постоянного ввода логина и пароля.
Почтовые сервисы предлагают нам огромное место для хранения всех входящих писем, удобный интерфейс, хороший функционал по управлению и многое другое. Чтобы протестировать возможности перечисленных почтовых сервисов, выделим три параметра для оценки их работы: 1) необходимо управлять различными e-mail аккаунтами, в том числе с различных сервисов и сайтов, через один почтовый клиент; 2) иметь личную подпись и имя для каждой почты; 3) удалять письма с серверов тех почтовых аккаунтов, которые были добавлены в mail, yandex или google почты.
Наша задача выглядит так:
Итак, приступим. Первым тестируем сервис от Mail.ru, который сообщает нам: «Вы можете собирать почту из всех ваших почтовых ящиков в один ящик на Mail.ru.
Настройте сбор писем с любого сервера, работающего по протоколу IMAP или POP3». Для добавления внешней почты, отличной от @mail, @inbox, @list, @bk, нужно иметь хотя бы одну почту, которая уже имеется на перечисленных серверах от mail. Иными словами, сначала зарегистрируйте mail-почту, а затем уже добавляйте другие почтовые аккаунты. Процесс регистрации на mail прост, описывать его нет смысла, а вот добавление других e-mail в этот почтовый аккаунт опишем.
Далее вам будет предложено ввести логин и пароль от любого ящика, которым вы пользуетесь, и в течение 3-5 минут «Сборщик почты от mail» создаст папку с наименованием добавленной почты рядом с папками «входящие», «отправленные», «спам» и прочее.
На деле, сборщик писем заработает в течение 10-15 минут и во вновь созданную папку от указанного вами ящика добавит все письма. Все входящие письма для нового e-mail будут приходить в эту папку, также станет возможным отправлять письма от прикрепленного ящика. При создании нового письма появится поле «От», в котором можно выбрать, с какого почтового ящика будет отправлено письмо.
К плюсам почтового сервиса Mail.ru можно отнести простоту добавления и легкость настройки других ящиков, отсутствие необходимости указывать различные протоколы (POP3, SMTP). Это очень важно, потому что не каждый пользователь знает, что это такое.
Минусы Mail.ru заключаются в том, что назначить имя и подпись для каждой вновь добавленной почты (любому новому e-mail, кроме основного) нельзя, то есть на каждый адрес будет распространяться имя и подпись главной почты и все. Другим большим недостатком является то, что при загрузке писем в mail нет возможности автоматического удаления оригинальных писем с сервера прикрепленного ящика. Почему так важно удалять письма с сервера добавленного ящика? Это позволит избежать заполнения присоединенной почты, т.к. внешние e-mail аккаунты, как правило, имеют слишком маленький размер для хранения писем. Например, при переполнении почтового пространства во внешнем аккаунте, Mail.ru не отобразит никаких новых писем, пока Вы не войдете в интерфейс внешней почты и непосредственно оттуда не удалите письма для освобождения места. К тому же, мы привязываем почту к Mail в надежде получить много места для хранения нашей почты, которая, возможно, ограничена ресурсами хостинга. Таким образом, несмотря на то, что Mail.ru предлагает практически неограниченный объем почтового ящика, при добавлении почты из другой доменной зоны (например, [email protected]), ваши ресурсы добавленного e-mail не увеличатся в Mail.ru, а будут по-прежнему ограничены ресурсами хостинга (в нашем случае, ресурсами primer.ru).
Возможность добавления другой почты на сервис Mail не угодил нашей задаче по двум пунктам из трех, итого набрал один балл.
Правда у Mail.ru есть еще один способ добавления внешней почты, а если говорить точнее, то подключение или вход на внешнюю почту. Выглядит это так:
Данный способ не подходит для нашей задачи, т.к. это не сборщик почты, а режим пользователя, который подключается к почте и каждый раз загружает в интерфейс mail все папки и письма. Но здесь возможно добавить для каждой почты личную подпись и имя, имеется возможность отправки писем от настроенной почты. Удаление писем с загруженных ящиков не работает, т.к. это не сборщик почты.
Важно! Некоторые пользователи ошибочно думают, что если письма отобразились в mail, то почту, с которой произошла загрузка, можно очистить. Обратим внимание еще раз, что Mail.ru работает как просмотрщик почты, и если вы очистите почту, то она удалится и в основном ящике, и в mail.
Второй испытуемый Яндекс со своим сборщиком писем. Задачи поставлены аналогичные: собрать почту, присвоить для каждой почты свою подпись и имя, а также удалить всю почту с добавленного ящика.
Настраивается сборщик писем у Яндекса по аналогичной схеме, но если подключение почты происходит с какого-нибудь сайта, например site.ru, то необходимо будет прописать дополнительные настройки, см. скриншот.
Сервис Mail делал эту работу за нас, Яндекс же предлагает в ручном режиме выставить все настройки от сторонней почты. Тут нет ничего сложного: в поле логин вводим полное название почты ([email protected]), в поле сервер вводим только домен (site.ru), все остальные настройки лучше оставить по умолчанию, либо изменить, если вы знаете, что делаете. После успешного добавления почты, появится надпись:
В отличие от Mail сборщика, Яндекс предлагает выбрать, сохранять ли оригиналы писем в добавляемом ящике или нет. Во всем другом сборщик писем от Яндекса работает по аналогичной схеме с Mail.ru, есть возможность выбора почтового ящика, от которого отправлять письмо. Но вот с подписью писем у Яндекса такая же проблема: нет возможности задать для каждого добавленного почтового ящика индивидуальное имя и подпись.
Судя по навигации, возможность добавления индивидуальной подписи для каждого почтового ящика есть, но на деле она не работает. Выбираем почту, прописываем имя и подпись, нажимаем сохранить. Все, подпись сохранена и работает, но она также сохраняется и для всех остальных почтовых ящиков, то есть присваивая имя и подпись одному ящику, вы автоматически изменяете эти параметры во всех объединенных в Яндексе почтах. Даже в случае выбора любого другого ящика подпись теперь всюду будет аналогичной.
Итого Яндекс успешно справился со сбором и сортировкой почты, умеет удалять оригиналы писем с добавленного ящика, но с подписями работать не умеет! С нашей задачей сборщик писем от Яндекса не справился и набирает два балла из трех.
Хочется отметить, что, «покопавшись» во всех трех сервисах по сборке писем, создается впечатление, что Mail «сляпали» свой функционал на скорую руку. Он хоть и удовлетворит большинство пользователей, но, честно сказать, Маил сделали сборщик почты для галочки, чтобы отметиться в конкурентной гонке. Работает все хорошо и без сбоев, но с нашей задачей сборщик от Маил не справился. В интерфейсе почты имеются несколько рекламных блоков, но они не мешают работать с письмами.
Что касается Yandex, который создал сборщик писем давным давно, создается ощущение, что поддержкой именно этой отрасли не занимаются, потому что исправить столь простой функционал (возможность добавления нескольких подписей для ящиков) не должен быть сложным для такой мощной поисковой машины. Тем не менее, у Яндекса появился другой уникальный функционал, позволяющий привязывать домены на их dns сервера, а уже в последующем создавать и настраивать почту. Но для таких операций и настроек требуются знания и время. И хотя ничего сложного там нет, в любом случае, это не для большинства пользователей рунета. Большой плюс — нет рекламы в интерфейсе Яндекс почты! Минус — ограничение в сборщике писем на 10 почтовых ящиков.
Финалист и победитель — сборщик писем от Google, который на ура справился с нашей задачей, несмотря даже на ограничение в 5 ящиков
Разумеется, всё должно быть распараллелено. Тут на сцену выходит моя любимая библиотека TPL DataFlow .
Забирать почту будем по POP3. Все «модные штучки» IMAP в данной задаче излишни - надо как можно быстрее и проще забрать исходник письма и удалить его на сервера. POP3 тут хватит за глаза. Используем OpenPop.NET .
В качестве факультатива прикрутим мониторинг в Zabbix . (Мы же собрались работать 24/7 и выдавать хваленую скорость - нужно следить за этим).
Поехали
Создаем обычное консольное приложение. Открываем NuGet консоль и ставим все нужные пакеты:Install-Package Nlog
Install-Package OpenPop.NET
Install-Package TopShelf
Install-Package Microsoft.TPL.DataFlow
Переходим в папку проекта, создаем App.Debug.config и App.Release.config. Выгружаем проект из студии, открываем его код (Здесь и далее TopCrawler.csproj). В секцию с конфигом добавляем:
Конфигурации
А ниже собственный таргет для MSBuild:
Transform target
Лично я привык именно таким способом - по старинке - добавлять трансформацию конфигов для разделения сред.
Для удобства предлагаю strongly-type конфиги. Отдельный класс будет читать конфигурацию. (О теоретических аспектах такого решения можно пообщаться в комментах). Конфиги, логи, мониторинг - отличный повод реализовать паттерн Singleton.
Создаем в проекте одноименную папку (должен же быть порядок). Внутри создаем 3 класса - Config, Logger, Zabbix. Наш логгер:
Logger
static class Logger
{
public static NLog.Logger Log { get; private set; }
public static NLog.Logger Archive { get; private set; }
static Logger()
{
Log = LogManager.GetLogger("Global");
Archive = LogManager.GetLogger("Archivator");
}
}
Мониторинг с помощью Zabbix заслуживает отдельного поста, поэтому я просто оставлю тут класс, реализующий агента:
Zabbix
namespace TopCrawler.Singleton
{
///
Конфиги… Пора уже делать хоть что-то интересное. Во-первых, в конфигах будем хранить ящики, которые мы опрашиваем. Во вторых настройки DataFlow. Предлагаю так:
Конфиги
Итак, хост и порт куда конектится, юзер и пароль - тут всё понятно. Дальше тип ящика. Допустим, служба используется маркетингом (как и другими отделами). У них есть ящики, куда сваливаются автоответы на рассылки, а также отчеты о спаме FBL . Сам ящик уже категоризирует письмо, поэтому для таких ситуаций сразу задаем тип ящика. С настройками DataFlow будет понятно дальше, когда начнем создавать объекты. Тут у нас будут собственные секции в конфиге. Мануалов куча как это сделать, поэтому просто покажу результат:
Определяем типы
#region --- Types ---
static class MailboxType
{
public const string Bo = "bo";
public const string Crm = "crm";
public const string Fbl = "fbl";
public const string Bounce = "bounce";
}
class MailboxInfo
{
public string Type { get; set; }
public string Hostname { get; set; }
public string User { get; set; }
public string Password { get; set; }
public int Port { get; set; }
}
class DataBlockOptions
{
public int Maxdop { get; set; }
public int BoundedCapacity { get; set; }
public DataBlockOptions()
{
Maxdop = 1;
BoundedCapacity = 1;
}
}
#endregion
Создаем секции
///
///
Полную реализацию конфига писать не буду, подразумевается, что в процессе разработки туда будут добавляться нужные нам параметры.
Наши кастомные настройки прочитаем так:
Читаем
public List
Как-то очень затянуто получается, а мы даже не дошли до самого интересного.
Опустим пока обвязку из TopShelf, счетчики производительности, общение с БД и перейдем к делу! Создаем класс Crawler - ядро. Для начала читаем почту:
Private volatile bool _stopPipeline;
...
public void Start()
{
do
{
var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList();
foreach (var task in getMailsTasks)
task.Wait();
Thread.Sleep(2000);
} while (!_stopPipeline);
//Stop pipeline - wait for completion of all endpoints
//Тут будет остановка DataFlow конвейера
if (_stopPipeline)
Logger.Log.Warn("Pipeline has been stopped by user");
}
Вот тут лень взяла свое и я решил не заморачиваться - если ящиков порядка 20-30 можно под каждый запустить таск и не париться о количестве потоков. (Разрешаю закидать помидорами.)
Переходим к самому чтению:
Private void GetMails(MailboxInfo info)
{
try
{
using (var client = new Pop3Client())
{
Сразу посчитаем тайминги доступа к ящику - пригодится для диагностики сети и загруженности сервера.
//Get Zabbix metrics
var stopwatch = new Stopwatch();
stopwatch.Start();
//Get mail count
client.Connect(info.Hostname, info.Port, false);
client.Authenticate(info.User, info.Password);
stopwatch.Stop();
Отправляем данные в Zabbix. Всё просто - указываем имя хоста (как оно заведено в Zabbix), ключ (опять таки строго, как в Zabbix) и строковое значение.
//Send it to Zabbix
Zabbix.Sender.SendData(new ZabbixItem { Host = Config.HostKey, Key = info.Type + Config.TimingKey, Value = stopwatch.ElapsedMilliseconds.ToString() });
Logger.Log.Debug("Send [{0}] timing to Zabbix: connected to "{1}" as "{2}", timing {3}ms", info.Type, info.Hostname, info.User, stopwatch.ElapsedMilliseconds);
var count = client.GetMessageCount();
if (count == 0)
return;
Logger.Log.Debug("We"ve got new {0} messages in "{1}"", count, info.User);
//Send messages to sorting block
for (var i = 0; i < count; i++)
{
try
{
var mailInfo = new MessageInfo
{
IsSpam = false,
Mail = client.GetMessage(i + 1),
Type = MessageType.UNKNOWN,
Subtype = null,
Recipient = null,
Mailbox = info
};
Logger.Log.Debug("Download message from "{0}". Size: {1}b", info.User, mailInfo.Mail.RawMessage.Length);
DataFlow pipeline будет создана при создании класса Crawler. Считаем, что наш первый этап - отсортировать письмо.
While (!_sortMailDataBlock.Post(mailInfo))
Thread.Sleep(500);
Видите, как просто - сам конвейер один. Все таски, читающие почту, кидают туда сообщения по одному. Если блок занят, Post вернет false и мы просто подождем пока он не освободится. Текущий потом в это время продолжает работать. Вот это я называю параллелизм без забот.
Сообщение ушло на конвейер, теперь его можно со спокойной душой сохранить в RAW архив (да-да! всё, что читаем - сохраняем в файловый архив. Служба поддержки нам потом скажет спасибо).
Настроим, например, ротацию архива:
NLog.config
Потом на него можно натравить logStash , но это уже другая история…
//Save every mail to archive
Logger.Log.Debug("Archive message");
Logger.Archive.Info(Functions.MessageToString(mailInfo.Mail));
}
catch (Exception ex)
{
Logger.Log.Error("Parse email error: {0}", ex.Message);
Functions.ErrorsCounters.Increment();
//Archive mail anyway
Logger.Log.Debug("Archive message");
Logger.Archive.Info(Encoding.Default.GetString(client.GetMessageAsBytes(i + 1)));
}
if (_config.DeleteMail)
client.DeleteMessage(i + 1);
if (_stopPipeline)
break;
}
Logger.Log.Debug("Done with "{0}"", info.User);
}
}
catch (Exception ex)
{
Logger.Log.Error("General error - type: {0}, message: {1}", ex, ex.Message);
Functions.ErrorsCounters.Increment();
}
}
Здесь мы использовали статические счетчики ошибок (в разрезе типов ящиков), где ErrorsCounters - это:
Public static Dictionary
А сами счетчики можно сделать так:
Counter.cs
class Counter
{
private long _counter;
public Counter()
{
_counter = 0;
}
public void Increment()
{
Interlocked.Increment(ref _counter);
}
public long Read()
{
return _counter;
}
public long Refresh()
{
return Interlocked.Exchange(ref _counter, 0);
}
public void Add(long value)
{
Interlocked.Add(ref _counter, value);
}
public void Set(long value)
{
Interlocked.Exchange(ref _counter, value);
}
}
Перейдем к созданию конвейера. Допустим, у нас есть ящики, куда сыпятся автоответы. Такие письма надо распарсить (что за автоответ, от кого, по какой рассылке и т.д.) и сложить результат в хранилище (БД). Допустим, есть ящики, куда падают FBL отчеты. Такие письма сразу складываем в базу. Все прочие письма считаем «полезными» - их надо проверить на спам и отправить во внешнюю систему, например, CRM.
Как вы уже поняли, данный пример в основном рассматривает применение сборщика для задач маркетинга - сбор статистики по доставке почты, информация о спаме.
Итак, мы определились с рабочим потоком. Объявляем необходимые блоки в классе Crawler:
Class MessageInfo
{
public bool IsSpam { get; set; }
public Message Mail { get; set; }
public string Subtype { get; set; }
public string Recipient { get; set; }
public MessageType Type { get; set; }
public MailboxInfo Mailbox { get; set; }
}
class Crawler
{
//Pipeline
private TransformBlock
Создаем метод инициализации и создаем блоки конвейера (для инициализации блоков используем наши замечательные секции из конфигов):
Public void Init()
{
//*** Create pipeline ***
//Create TransformBlock to get message type
var blockOptions = _config.GetDataBlockOptions("_sortMailDataBlock");
_sortMailDataBlock = new TransformBlock
Собираем конвейер в соответствии с нашей схемой:
//*** Build pipeline ***
_sortMailDataBlock.LinkTo(_spamFilterDataBlock, info => info.Type == MessageType.GENERAL);
_sortMailDataBlock.LinkTo(_addToFblDataBlock, info => info.Type == MessageType.FBL);
_sortMailDataBlock.LinkTo(_checkBounceDataBlock, info => info.Type == MessageType.BOUNCE);
_sortMailDataBlock.LinkTo(DataflowBlock.NullTarget
Как видим, всё предельно просто - связываем блок со следующим (с возможностью задания условия связи). Все блоки исполняются параллельно. Каждый блок имеет степень параллелизма и емкость (с помощью емкости можно регулировать очередь перед блоком, то есть блок сообщение принял, но еще не обрабатывает). Таким образом, можно задавать высокую степень параллелизма для «сложных» и долгих операций, как, например, парсинг содержимого письма.
Не буду описывать матчасть DataFlow, лучше всё прочесть в первоисточнике TPL DataFlow .
SortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_spamFilterDataBlock).Fault(t.Exception);
else _spamFilterDataBlock.Complete();
});
_sortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToFblDataBlock).Fault(t.Exception);
else _addToFblDataBlock.Complete();
});
_sortMailDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_checkBounceDataBlock).Fault(t.Exception);
else _checkBounceDataBlock.Complete();
});
_spamFilterDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToCrmDataBlock).Fault(t.Exception);
else _addToCrmDataBlock.Complete();
});
_checkBounceDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_identifyDataBlock).Fault(t.Exception);
else _identifyDataBlock.Complete();
});
_identifyDataBlock.Completion.ContinueWith(t =>
{
if (t.IsFaulted) ((IDataflowBlock)_addToBounceDataBlock).Fault(t.Exception);
else _addToBounceDataBlock.Complete();
});
}
Всё, на самом деле конвейер уже работает, можно постить в него сообщения. Осталось только остановить его дополнив наш метод Start:
Start
public void Start()
{
do
{
var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList();
foreach (var task in getMailsTasks)
task.Wait();
Thread.Sleep(2000);
} while (!_stopPipeline);
//Stop pipeline - wait for completion of all endpoints
_sortMailDataBlock.Complete();
_addToCrmDataBlock.Completion.Wait();
_addToFblDataBlock.Completion.Wait();
_addToBounceDataBlock.Completion.Wait();
if (_stopPipeline)
Logger.Log.Warn("Pipeline has been stopped by user");
}
Переходим к делегатам.
Сортировка… Ну, допустим у нас всё просто (усложнить то всегда успеем):
Private MessageInfo SortMail(MessageInfo mail)
{
switch (mail.Mailbox.Type)
{
case MailboxType.Crm:
mail.Type = MessageType.GENERAL;
break;
case MailboxType.Bounce:
mail.Type = MessageType.BOUNCE;
break;
case MailboxType.Fbl:
mail.Type = MessageType.FBL;
break;
}
return mail;
}
Спам фильтр. Это на домашнюю работу - используйте SpamAssassin .
Вот вам делегат:
Private MessageInfo FilterSpam(MessageInfo mail)
{
//TODO: Add SpamAssassin logic
return mail;
}
И классы для работы с API SpamAssassin (ссылка на проект).
А мы переходим к парсингу писем. Парсим мы автоответы. Тут вступает в дело MEF.
Создаем проект (dll) с интерфейсами для наших плагинов (Назовем Interfaces).
Добавляем интерфейс:
Public interface ICondition
{
string Check(Message mimeMessage);
}
public interface IConditionMetadata
{
Type Type { get; }
}
И… всё. Наш TopCrawler зависит от этого проекта и проект с плагинами тоже будет использовать его.
Создаем новый проект (тоже dll), назовем Conditions.
Добавим типы автоответов:
#region --- Types ---
static class BounceType
{
public const string Full = "BounceTypeFull";
public const string Timeout = "BounceTypeTimeout";
public const string Refused = "BounceTypeRefused";
public const string NotFound = "BounceTypeNotFound";
public const string Inactive = "BounceTypeInactive";
public const string OutOfOffice = "BounceTypeOutOfOffice";
public const string HostNotFound = "BounceTypeHostNotFound";
public const string NotAuthorized = "BounceTypeNotAuthorized";
public const string ManyConnections = "BounceTypeManyConnections";
}
#endregion
И классы, реализующие наш интерфейс:
Public class ConditionNotFound1: ICondition
{
public string Check(Message mimeMessage)
{
if (!mimeMessage.MessagePart.IsMultiPart)
return null;
const string pattern = "Diagnostic-Code:.+smtp.+550";
var regexp = new Regex(pattern, RegexOptions.IgnoreCase);
return mimeMessage.MessagePart.MessageParts.Any(part => part.ContentType.MediaType == "message/delivery-status" && regexp.IsMatch(part.GetBodyAsText())) ? BounceType.NotFound: null;
}
}
...
public class ConditionTimeout2: ICondition
{
return BounceType.Timeout;
}
...
Как вы заметилиб всё дело в атрибутах. С помощью них плагины и будут загружены.
Возвращаемся к нашему проекту и загружаем плагины:
Class Crawler
{
...
//Plugins
public IEnumerable
LoadPlugins дергаем в конструкторе нашего класса. Объяснять подробно про механизм загрузки не буду - гугл справится лучше.
Переходим к нашему делегату проверки типа Bounce. Условия будут применяться по очереди, пока не сработает первое - исключающий метод:
Private MessageInfo BounceTypeCheck(MessageInfo mailInfo)
{
try
{
foreach (var condition in BounceTypeConditions)
{
var res = condition.Value.Check(mailInfo.Mail);
if (res == null)
continue;
mailInfo.Subtype = res;
Logger.Log.Debug("Bounce type condition [{0}] triggered for message [{1}]", condition.Metadata.Type, mailInfo.Mail.Headers.MessageId);
break;
}
}
catch (Exception ex)
{
Logger.Log.Error("Failed to determine bounce type for message "{0}": {1}", mailInfo.Mail.Headers.MessageId, ex.Message);
Logger.ErrorsCounters.Increment();
}
return mailInfo;
}
Таким образомб если появляется новая логикаб достаточно просто добавить в проект с плагинами новый класс, реализующий наш интерфейс и - вуаля! Пример второго плагина по определению отправителя письма прикладывать не буду - итак уже длинный пост (Автоответ сгенерировал сам сервер, поэтому отправителя тоже надо распарсить из заголовков письма)
.
С записью результатов в БД тоже ничего необычного. Например, так:
Private void AddToBounce(MessageInfo mail)
{
try
{
MailWH.BounceAdd(mail);
Functions.ProcessedCounters.Increment();
Functions.Log.Debug("Send Bounce to MailWH");
}
catch (Exception ex)
{
Functions.Log.Error("Error saving Bounce message "{0}" to MailWH: {1}", mail.Mail.Headers.MessageId, ex.Message);
Functions.ErrorsCounters.Increment();
}
}
BounceAdd
public static long BounceAdd(MessageInfo message)
{
using (var conn = new SqlConnection(ConnectionString))
using (var cmd = new SqlDataAdapter("BounceAdd", conn))
{
var body = message.Mail.FindFirstPlainTextVersion() == null
? message.Mail.FindFirstHtmlVersion().GetBodyAsText()
: message.Mail.FindFirstPlainTextVersion().GetBodyAsText();
var outId = new SqlParameter("@ID", SqlDbType.BigInt)
{
Direction = ParameterDirection.Output
};
cmd.SelectCommand.CommandType = CommandType.StoredProcedure;
cmd.SelectCommand.Parameters.Add(new SqlParameter("@RawMessage", message.Mail.RawMessage));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@Message", body));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@Subject", message.Mail.Headers.Subject ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@MessageID", message.Mail.Headers.MessageId ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressTo", message.Mail.Headers.To.Address ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressFrom", message.Mail.Headers.From.Address ?? ""));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@DateRecieved", DateTime.Now));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@BounceTypeSysName", (object)message.Subtype ?? DBNull.Value));
cmd.SelectCommand.Parameters.Add(new SqlParameter("@SourceFrom", (object)message.Recipient ?? DBNull.Value));
// TODO: Add ListId support
cmd.SelectCommand.Parameters.Add(new SqlParameter("@ListId", DBNull.Value));
cmd.SelectCommand.Parameters.Add(outId);
conn.Open();
cmd.SelectCommand.ExecuteNonQuery();
return outId.Value as long? ?? 0;
}
}
Простите, что не успел показать TopShelf - пост и так уже слишком раздулся.
Выводы
В этом уроке мы узнали, что задача сбора почты может оказаться не такой простой. Разработанное ядро позволяет быстро добавлять новые шаги процесса - DataFlow-блоки, не затрагивая существующую логику. Подсистема плагинов позволяет быстро наращивать скриптоподобную логику парсинга, а сам DataFlow распараллеливает все вычисления (причем мы имеем возможность гибко настраивать многопоточность под конкретную машину). TopShelf дает нам возможность запускать сервис как в режиме службы, так и в консольном режиме для облегчения отладки.Фух… Если будет интересно, дальше расскажу, как поставить это на рельсы Continious Integration, настроить автобилды и выпуск релиза через VS Release Management .
Теги: Добавить метки
