Universiteit Leiden
  home   contact      
 
 
 
Archief
   

Mededelingen

ICT Nieuws: Spamproblematiek

Sinds een jaar of twee wordt spam in toenemende mate door gebruikers genoemd als probleem. Problemen die samenhangen met spam:

  • tijd gemoeid met het opschonen van mailboxen
  • vollopen van mailboxen bij afwezigheid
  • ergernis, uitlopend in inproductieve tijdsbesteding zoals het schrijven van klachtmails aan bestuur of Informatiemanagement, opiniërende stukken in Forum en wat dies meer zij.

De door de faculteit, UB en Kleine Faculteiten gedeelde mailserver beschikt sinds voorjaar 2005 over een spamfilter.

Na een korte periode, waarin de spammail wel werd doorgegeven maar in de junk mail map werd geplaatst, is op advies van de gebruikerscommissie ict besloten, mail alleen te 'merken' met een spamaanduiding en in de gewone inbox te laten vloeien. De reden hiervoor was dat er te veel 'false positives' zijn: mail die ten onrechte als spam wordt aangemerkt, maar het niet is.

Gebruikers die vinden dat sommige controles voor hen betrouwbaar genoeg werken, kunnen bovendien met gebruikmaking van Outlook-regels eenvoudig zelf mail automatisch laten verwijderen of zelf naar een map met spam verplaatsen. De handleiding hiervoor staat op www.letwijzer.leidenuniv.nl, menu ict|handleidingen.

Het spamfilter gebruikt een aantal technieken om spam te detecteren. Het is goed om te beseffen dat geen enkel spamdetectiesysteem 100% nauwkeurig is. Er zal altijd een zekere hoeveelheid spam door het filter glippen. Erger is, dat ook altijd een zeker percentage mail als spam zal worden gekwalificeerd die dat niet is. Het missen van die mails kan in een aantal gevallen tot grote problemen leiden. Volledige blokkering van spam is daardoor geen lichtvaardig te nemen maatregel.

Bij spambestrijding moet voortdurend een afweging worden gemaakt tussen de overlast (tijd en ergernis) door spam en het risico dat valide mail tussen de spam over het hoofd wordt gezien en op deze wijze verdwijnt, tegenover de zekerheid dat er mogelijk een zekere hoeveelheid valide mail ten onrechte als spam wordt aangemerkt.

Zolang sommige gebruikersgroepen substantiële hoeveelheden gewenste mail van geblackliste servers ontvangen, zijn wij met deze gebruikers van mening dat met volledige blokkering van mail de uiterste terughoudendheid in acht moet worden genomen. Aan de andere kant is wereldwijd een sterke toename van de hoeveelheid spam waar te nemen, die bovendien steeds slimmer wordt in het omzeilen van filtertechnieken. Ook binnen onze faculteit is de overlast bij veel gebruikers inmiddels zo hoog, dat aanvullende maatregelen noodzakelijk zijn geworden.

Gedacht wordt aan herinvoering van de oorspronkelijke methodiek: uitfiltering naar de 'junk mail' folder. Daarnaast zal meer aandacht worden gegeven aan het 'zelf lerende' filter van de antispamtoepassing, waardoor het aantal false meldingen af moet nemen. De zogeheten 'keyword check' wordt afgeschaft, vanwege de geringe effectiviteit.

Omdat integratie van de servervoorzieningen bij Letteren in die van Rechten en het Bestuursbureau van de universiteit voorzien wordt binnen een half jaar, wordt een compleet herontwerp van de antispamvoorziening bij Letteren niet overwogen. Wel wordt bezien, of de antispamtoepassing van Rechten met aangepaste instellingen ook versneld kan worden ingevoerd bij Letteren. Daarmee zouden als spam verdachte mailtjes  niet meer aankomen in de Inbox van gebruikers, maar alleen gerapporteerd worden. Gebruikers kunnen de mails desgewenst weer terughalen. Hierbij moet echter het probleem worden opgelost, dat bij Rechten momenteel alle mail afkomstig van geblackliste servers rücksichtslos wordt weggegooid. Dat zou voor bepaalde groepen binnen Letteren een te groot verlies aan waardevolle mails betekenen. Overigens wil ook Rechten deze instelling aangepast zien.

Hieronder een uitleg van de belangrijkste methoden die het spamfilter gebruikt en de haken en ogen die eraan zitten. Maar eerst wat tips ter voorkoming van spam.

Hoe spam te voorkomen

  1. beantwoord NOOIT mail van onbekende bedrijven
    dat geeft spammers alleen een bewijs van uw bestaan, wat erg waardevol is. Ook een autoreply bij afwezigheid is trouwens een vorm van beantwoording en verdient om deze reden heroverweging. Het nut daarvan voor normale communicatie staat overigens buiten kijf, dus het is een afweging.
  2. kijk bij het invullen van webformulieren uit voor aankruisvakjes, waarmee u toestemming geeft uw mailadres aan derden te verstrekken
    leest u privacyverklaringen zorgvuldig door, voordat u uw emailadres afgeeft aan een instantie
  3. gebruik hotmailadressen en dergelijk voor tijdelijke communicatiekanalen
  4. wees terughoudend bij het verstrekken van uw mailadres aan derden.
    met name congreslijsten, nieuwsgroepen en dergelijke willen nog wel eens in handen vallen van spammers.
    Ook bedrijven die gratis of goedkoop producten aanbieden en alleen uw e-mailadres willen weten zijn verdacht.
    Ook corresponderen met privé-personen (zoals studenten) kan riskant zijn: veel computers zijn besmet met virussen die mailadressen uitlezen en deze doorgeven aan spammers. Gebruikt u dus liever het umail-account van de student, of hotmail en andere webgebaseerde mailtoepassingen.
  5. stuur spam mails als attachment naar de e-mailprovider van de verzender
    als het geen gemaskeerde adres is, zal de provider de spammer voortaan weren.
    de meeste providers hebben spamreport@ of abuse@ adressen, waar u misbruik kunt melden
  6. vermijd dubieuze web sites.
    Veel pornografische sites of andere dubieuze zakelijke sites plaatsen kwaadwillende programma's op uw pc plaatsen, die uw doen en laten in de gaten houden en emailadressen verzamelen voor spammers.
  7. plaats verzendadressen bij mailingen in het 'bcc'-veld
    op deze wijze voorkomt u, dat hele maillijsten in handen van spammers komen: de ontvangers kunnen niet zien wie de mail nog meer ontvangen heeft.

Controle op extern bijgehouden blacklists.([SPAM-DNS])

Alle mail afkomstig van netwerkadressen die op deze blacklists staan, wordt aangemerkt als spam. Binnen ons spamfilter wordt deze mail gemerkt met de aanduiding [SPAM-DNS].

Een server komt op de blacklist als

  • er spamaanvallen worden gerapporteerd vanaf deze server
  • de server 'open' staat voor misbruik door spammers, door bijvoorbeeld toe te staan dat mail van andere herkomst via die server wordt verstuurd (zogeheten mail relay).

Een server kan dus al op de blacklist komen, wanneer 'alleen maar'  een beveiligingslek wordt geconstateerd. Dat is ook nodig, omdat de meeste spam tegenwoordig wordt verstuurd in kortdurende aanvallen: tegen de tijd dat een aanval wordt gerapporteerd, is de spammer alweer verdwenen van de server.

Bij het gebruik van blacklists moet goed worden gekeken naar de criteria volgens welke men op de blacklist wordt geplaatst: niet elk technisch criterium is even relevant voor spambestrijding. Blacklisting op technische gronden is evenwel als preventieve maatregel onvermijdelijk.

Het is beslist niet zo dat alle mail afkomstig van een geblackliste server uit spam bestaat. Het is wel zo, dat de grote meerderheid van de spam afkomstig is van geblackliste servers.

Het weren van mail van deze bronnen stopt dus effectief een groot deel van de stroom spam, maar snijdt ook reguliere gebruikers van deze servers af van communicatie.

Dat vormt trouwens ookeen enorm drukmiddel voor de beheerders van dit soort servers om hun beveiliging goed op orde te brengen: het voorkomen op blacklists betekent immers, dat reguliere gebruikers nauwelijks meer kunnen communiceren. De provider wordt daarmee waardeloos voor zijn gebruikers.

In Nederland zorgen de meeste beheerders er daarom door het nemen van technische maatregelen binnen één of twee dagen voor, dat ze weer van een blacklist af raken. Het is dus heel goed mogelijk dat mail van een gebruiker die de enige dag als spam wordt aangemerkt, de volgende dag weer normaal wordt doorgelaten.  In andere delen van de wereld is zo'n snelle reactie veel minder vanzelfsprekend. Binnen sommige gebruikersgroepen bestaat dan ook een behoorlijk percentage mail afkomstig van geblackliste servers uit reguliere mail, waar de accuratesse voor andere groepen de 100% nadert.

Hoewel voor de reguliere gebruikers van de betreffende servers uitermate vervelend, is de disciplinerende werking voor de serverbeheerders een zeer gewenste neveneffect van het middel. Op termijn zal zo de stroom spam aan de wortel kunnen worden aangepakt.

whitelists

De blacklist kent zijn tegenhanger in 'white lists'. Dat is een lijst van 'betrouwbare' mailadressen, die altijd worden doorgelaten. Hele domeinen kunnen worden gewhitelist, of afzonderlijke adressen.

De laatste tijd zijn nogal wat domeinen van openbare providers gewhitelist omdat mail van (onbekende) individuele gebruikers moet kunnen worden ontvangen. Dit heeft echter tot gevolg, dat alle mail vanuit die domeinen niet meer op spam wordt gecontroleerd en de helaas veelvuldig vanuit die domeinen verstuurde spam ongemarkeerd in de inboxen terechtkomt.

Met gebruikmaking van virussen maken steeds meer spammers gebruik van computers van individuele gebruikers om spam te versturen.  De meeste van deze gebruikers zitten natuurlijk bij de grote providers. 'whitelisten' heeft dus als keerzijde, dat de overlast van spam voor alle gebruikers erdoor toeneemt. Het valt daarom ten sterkste af te raden om hele domeinen te whitelisten, wellicht met uitzondering van collega-universiteiten.

Whitelisten van domeinen op basis van andere spam detecties dan blacklists zal niet langer worden toegestaan: dit moet opgelost worden in het Bayesian filter (zie hierna).

Bayesian filter ([SPAM-BA])

Een zogeheten Bayesian filter maakt van elke mail een soort wiskundige vingerafdruk, die vergeleken wordt met patronen van reguliere mail en bekende spam. Het filter berekent de kans dat een mail spam is en boven een bepaald percentage (b.v. 90%) wordt de mail gekwalificeerd als spam.

Deze controle legt een veel zwaarder beslag op systeembronnen dan het vorige filter, waar alleen het serveradres van de afzender gecontroleerd hoeft te worden. De hele mail moet immers worden gelezen en doorgerekend.

De kwaliteit van het filter is afhankelijk van de kwaliteit van de toevoer van reguliere mail en spam. Omdat de spamtechnieken en ook het karakter van reguliere mail voortdurend wijzigigen, zal het systeem altijd gevoerd moeten worden met 'false negatives': ten onrechte niet onderkende spam, 'false positives' (ten onrechte als spam gekwalificeerde mail) en recente uitgaande mail.

Zaken die een rol spelen in de 'vingerafdruk' zijn: communicatiepatronen, taalpatronen, coderingstechnieken, gebruik van afbeeldingen, enz.

Een veelzijdige faculteit als de onze heeft een veel grotere hoeveelheid leerstof nodig dan pak hem beet een 'witte' lagere school: de variatie in communicatienetwerken, taal- en schriftsystemen is vele malen groter. Dit is bij de inrichting van het systeem waarschijnlijk onderschat: de effectiviteit van het filter is lager dan eigenlijk verwacht mag worden en het filter 'leert' ook veel minder snel dan normaal is voor dit soort systemen.

We zullen daarom de komende tijd veel aandacht besteden aan het voorzien van het filter met adequate informatie.

Het filter zal evenwel nooit 100% effectief kunnen zijn: er zal altijd enige spam doorheen glippen, maar erger: ook een (klein) percentage mail zal ten onrechte als spam worden aangemerkt.

Sommige leveranciers slagen erin om de effectiviteit van hun bayesian filter beduidend te verbeteren en het onderhoudswerk voor de gebruikers te beperken, door 'lokdozen' op het internet te plaatsen die uitsluitend spam ontvangen. Hierdoor zijn deze leveranciers in staat om hun filter snel bij te werken met de meest recente spam, zonder dat hiervoor veel interventie van gebruikers nodig is.

Het ligt in de bedoeling, dat onze omgeving over niet al te lange tijd over zo'n systeem zal beschikken, wanneer de mailvoorziening van Letteren opgaat in de centrale mail.

Keyword Check ([SPAM-KC])

Deze technologie controleert op het voorkomen van bepaalde woorden in de mail, bijvoorbeeld 'viagra' of 'porno'.  Deze simpele methode werkt nauwelijks nog: veel spammers verbergen tegenwoordig hun woorden in afbeeldingen of verhaspelen hun woorden op zo'n manier dat mensen ze nog wel herkennen, maar de computer niet (viahrgha).

Ook wordt mail van of over mensen wier naam in één of andere taal een scabreuze betekenis kan hebben, ten onrechte aangemerkt als spam.

Phishing URI Realtime Blocking [PHISHING]

Phishing is een techniek, waarbij gepoogd wordt om aan gebruikers waardevolle informatie te ontfutselen, zoals creditcardgegevens of inloggegevens van online bankieren. De spammer doet zich voor als bijvoorbeeld een bank en leidt de gebruiker via een link naar een nagebootste site van een bestaande instelling. Als de gebruiker daar inlogt, is het kassa voor de spammer.

Het filter controleert of de mail een link bevat naar zo'n gekende nagebootste site.

Directory harvesting [SPAM-DH]

Directory Harvesting is een spamtechniek, waarbij de spammer probeert te achterhalen welke mailadressen er binnen een maildomein bestaan. Men zal bijvoorbeeld proberen om vanuit namenlijsten mailadressen te generen via bekende naamconventies (bijvoorbeeld 'Jan Janssen' levert als mailadres op: j.janssen@let.leidenuniv.nl

Het spamfilter controleert of mails verzonden worden naar meerdere personen tegelijk. Ontdekt het in de lijst met geadresseerden meerdere niet-bestaande ontvangers (momenteel: minstens 3), dan wordt het bericht als spam aangemerkt. De overige geadresseerden krijgen de mail dan ook niet doorgestuurd.

De afgelopen maand zijn tot dusver 2 grote aanvallen van deze aard gemeten.

Zie ook: ICT Nieuws

  1. Netwerkaansluitingen in de collegezalen en op de werkplek
  2. Migratie ActiveMedia
  3. Web hosting van applicaties
  4. Vervanging van verouderde computers
  5. Integratie Letterenomgeving en Rechten/Rapenburg (VUW2)
  6. Nieuw Surfproject binnenkort van start: DiviDossier
  7. ICT, Grote verstoringen
                                    
 
   
vorige pagina top pagina