Инструменты Kali Linux

Список инструментов для тестирования на проникновение и их описание

SpiderFoot

Описание SpiderFoot

SpiderFoot — это инструмент с открытым исходным кодом для автоматизированной разведки. Его цель — автоматизировать процесс сбора информации о заданной целе.

Есть три главных сферы, где может быть полезен SpiderFoot:

1. Если вы тестер на проникновение, SpiderFoot автоматизирует стадию сбора информации по цели, даст вам богатый набор данных чтобы помочь вам определить направления деятельности для теста.
2. Для понимания, что ваша сеть/организация открыта на показ для внешнего мира. Эта информация в плохих руках может представлять значительный риск.
3. SpiderFoot также может быть использована для сбора информации о подозрительных вредоносных IP, которые вы могли видеть в ваших логах или получили через каналы разведки угроз.

• Использует уйму источников: более 40 и их число продолжает расти, среди них SHODAN, RIPE, Whois, PasteBin, Google, SANS и другие.
• Создан для максимального извлечения данных: каждый кусочек данных, получаемый модулем, может быть интересным, поскольку из него можно извлечь ценную информацию.
• Работает на Linux и Windows. Полностью открыт исходный код, следовательно вы можете сделать ваш форк на GitHub и вообще делать что хотите с программой.
• Визуализация. Встроенная визуализация, основанная на JavaScript, возможность экспорта в GEXF/CSV для использования в других инструментах, например, в Gephi.
• Пользовательский интерфейс основанный на веб. Без громоздких команд в командной строке и без бардака с Java. Простой в использовании, простой в навигации. Посмотрите на скриншоты.
• Высоко настраиваемый. Почти каждый модуль имеет настройки, следовательно вы можете задать уровень навязчивости и функциональности.
• Модальность. Любой значительный кусок функциональности — это модуль, написанный на Python. Не стесняйтесь писать ваших собственный модули и присылать их для включения в программу!
• В связке с SQLite. Все ваши результаты сканирования сохраняются в локальной SQLite базе, следовательно вы можете играться с ними как вашей душе угодно.
• Одновременные сканирования. Каждое сканирование запускается в своём собственном потоке, поэтому вы можете выполнить сканирования множества целей в одно время.
• И даже больше… Смотрите официальную документацию, чтобы узнать ещё больше!

В отличии от именитого конкурента Maltego, SpiderFoot полностью бесплатен и намного более полезен, поскольку способен собрать информации больше на несколько порядков.

Установка SpiderFoot

Установка SpiderFoot в Linux

SpiderFoot написан на Python (2.7), поэтому для его запуска на Linux/Solaris/FreeBSD/и т.д. вам нужен установленный Python 2.7, а также дополнительные модули lxml, netaddr, M2Crypto, CherryPy и Mako.

pip install lxml netaddr M2Crypto cherrypy mako

Другие модули, такие как MetaPDF, SOCKS и т. д. Уже включены в пакет SpiderFoot, поэтому необязательно их устанавливать отдельно.

Распакуйте и перейдите в каталог с программой:

~$ tar zxvf spiderfoot-X.X.X-src.tar.gz ~$ cd spiderfoot-X.X.X ~/spiderfoot-X.X.X$

./sf.py

python ./sf.py

В браузере перейдите по адресу http://127.0.0.1:5001/

Некоторые сервисы требуют наличия API ключей (даются бесплатно при регистрации), об этих сервисах и о получении API ключей написано на странице документации: http://www.spiderfoot.net/documentation/

Установка SpiderFoot в Windows

Распакуйте его и запустите файл sf.exe. Открывшееся консольное окно не закрывайте на всё время работы программы.

В браузере перейдите по адресу http://127.0.0.1:5001/

Некоторые сервисы требуют наличия API ключей (даются бесплатно при регистрации), об этих сервисах и о получении API ключей написано на странице документации: http://www.spiderfoot.net/documentation/

Скриншоты SpiderFoot

Инструкции по SpiderFoot

Ссылки на инструкции будут добавлены позже.

SpiderFoot HX:
OSINT for Professionals

Cloud hosted, managed and supported, tuned for performance. No dependency worries, no migration or upgrade headaches. Always on, always available to you and your team.

Learn More

Find what matters, faster

Faster scans, shiny visualisations, versatile reporting, a revamped user interface and multi-target scanning to get you to what’s important, faster.

Learn More

Get more data

HX-only modules and pre-configured tool modules mean you’ll know more than you can with the open source version. Correlations rules highlight data of interest.

Learn More

Get notified

Change monitoring, Slack integration and e-mail notifications ensure you don’t need to continually check in on scan status.

Learn More

Collaborate & Integrate

Manage accounts and their level of access yourself, enabling for collaboration on investigations. Secure authentication with 2FA. Integrate with your other tools through SpiderFoot HX’s fully documented API.

Learn More

Dark web integration & Anonymous

Thanks to built-in TOR integration, you can seamlessly scan dark web / onion sites and do so completely anonymously.

Learn More

Scan, Investigate, Monitor

Collect OSINT without the toil

Are you still using ad-hoc scripts to query APIs, scrape websites and filter through false positives? SpiderFoot HX enables you to “fire and forget” scan to collect OSINT from over 100 data sources without writing a single line of code.

Get to interesting data more quickly

Aside from normalizing scan results for you and giving you a range of ways to work with the data, SpiderFoot HX also automatically analyzes scan data to identify data points that may be of most interest through its Correlations feature.

Know when data changes

Run scans automatically daily, weekly or monthly and be notified of any changes that were identified, such as newly exposed ports, new data breaches or newly identified vulnerabilities.

One API to rule them all

If web interfaces aren’t your thing, you’ll be pleased to know that SpiderFoot HX provides a RESTful API to run scans, query data and more. Use one API to integrate with all of your OSINT APIs.

Putting the Open into OSINT

Write your own modules in Python and run them in the cloud, and have scan data fed in real time to your Splunk or ElasticSearch instance.

FAQ

What’s the difference between the open source version and SpiderFoot HX?

The open source version of SpiderFoot is great if you’re starting out with OSINT, or are happy to install and manage SpiderFoot yourself and don’t need any of the advanced features of SpiderFoot HX such as monitoring, correlations, etc. Check out this resource for an overview of the differences between the two.

What payment methods are supported?

Each plan can be subscribed to using a credit card or PayPal which will be charged monthly/annually on the anniversary of your initial subscription. Ordering with a purchase order and payment by wire transfer is also possible, however only for annual subscriptions of the Professional and Enterprise plans. We do not support payment by cryptocurrency.

How are scans counted?

Every scan you run under the ‘Scans’ section, and every time a Monitor runs to check your target(s), a scan is performed and therefore counted towards your quota. Investigations are not counted.

What exactly is a target and how is it counted?

When you run a SpiderFoot HX scan or set up a Monitor, you need to specify the targets for that scan, which can be an IP address, subnet, ASN, e-mail address, name, domain name and so on. Each one of these counts as one target except for subnets, which count as the number of IP addresses in that subnet. For instance, if you scan “test.com”, that’s one target. If you scan “1.1.1.0/24”, that’s 255 targets. If your scan targets “test.com”, “[email protected]”, “1.1.1.0/24” and “somehost.test.com”, that’s 1 + 1 + 255 + 1 = 258 targets.

What if I want to subscribe just for one month?

Once you have subscribed, simply cancel the subscription. Then, on the effective cancellation date (the date until when you have paid), you will be automatically switched back to the free Hobby plan.

Do any plans have API keys for the different data sources included?

No, in all cases you must obtain your own API keys for the different services you wish to use.

Automate OSINT for

Found a suspicious IP address or other indicators in your logs that you need to investigate? Maybe you want to dig deeper into the e-mail address used, or the links referenced in a recent phishing campaign your organization faced?

Asset Discovery

With over 200 modules for data collection and analysis, you can be confident that with SpiderFoot you’ll be gaining the most comprehensive view into the Internet-facing attack surface of your organization.

Security Assessments

Red teams and penetration testers love SpiderFoot due to it’s broad OSINT reach and identification of low hanging fruit, revealing long-forgotten and unmanaged IT assets, exposed credentials, open cloud storage buckets and much more.

Attack Surface Monitoring

What if e-mail addresses on your organization’s domain suddenly appeared in a data breach, or if an IP address on your network appeared in a botnet tracker? Use SpiderFoot to continually monitor OSINT data sources and detect when new intelligence is discovered about your organization.

Features

Open Source or Cloud

SpiderFoot comes in two flavors: an Open Source version that you can set up and run locally if all you need is to peform scans, or SpiderFoot HX which is a completely revamped and managed cloud-based version with scanning plus collaboration, analysis and monitoring features.

Learn More

Over 100 Integrations

SpiderFoot modules integrate with a wide variety of threat intelligence sources, Internet scanners, breach databases, e-mail contact databases and more. Be confident that when a SpiderFoot scan completes, everything that was found is everything that can be found about your target.

Learn More

Deep Data Analysis

SpiderFoot is unique in that it recursively analyses each piece of data found during a scan so that no stone is left unturned in the search for that critical IP address, e-mail address or other data point that makes the difference between the success or failure of your investigation.

Learn More

Integrations

There’s probably no OSINT data source that SpiderFoot doesn’t already have an integration for today. And if you want to see one added, simply put in a request. Its modular open source architecture means it can usually implement it in days, not months.

Do you use another tool for the initial reconnaissance phase or have a list of entities you’ve extracted from logs locally? No problem, import your list of targets from Hunchly or CSV and let SpiderFoot take care of the deeper data collection.

Prefer working with the results on the command line or your own offline database? With SpiderFoot you can easily export the data into JSON, CSV or GEXF format. You should never have the fear of lock-in by proprietary databases or file formats. It’s your data, your way.

If you want to be notified when a scan completes, or when the OSINT data out there about your target changes, you can configure SpiderFoot HX to send notifications to Slack, generic Web-hooks and/or e-mail.

При подготовке материала использовались источники: