图片来自:Splunk

为了拥有您自己的 Splunk 环境,此 Amazon Web Service 链接将提供有关如何为您和您的团队运行您自己的 EC2 实例的详细信息:Splunk Enterprise on AWS。还有一篇由 Nikhil Kale 撰写的精彩文章,逐步说明“如何在 AWS EC2上设置 Splunk Enterprise”。

Splunk,一个分析大数据和/或机器生成数据的平台,一个主要用于搜索和监控的软件。 Splunk 以可行的方式将人工智能和机器学习解决方案集成到数据管理中。这篇文章将解释如何将复杂的数据转换为简单的信息。

创建新应用

登录 Splunk Enterprise 后,在 Apps 旁边会有一个 cog 图标,该图标将指向 Create app 选项卡。选择创建应用选项卡以开始创建新应用的过程。标准程序包括为应用程序指定一个名称和文件夹名称。您或您的公司选择哪个名称。保存信息以开始。在 Splunk Enterprise 用户界面的左上角,您将看到写有 Apps 的向下箭头,选择向下箭头并选择您的应用程序的名称以访问应用程序的仪表板。

添加数据

右上角有一个设置选项卡,选择它,然后选择添加数据。选择 Monitor 这将允许我们监控目录;这会由 Web 服务器生成新数据。选择文件和目录,然后选择浏览。 Linux 有一个特殊的目录用于存储日志,称为/var/log。在 Select source 下方,选择 var 然后 log。由于您将监视目录中的所有文件,因此选择 weblogs;现在目录路径将读取/var/log/weblogs。 weblogs 目录包含Splunk 事件生成器数据(eventgen 数据),它将加载到 Splunk。 Splunk eventgen 数据是一种“帮助用户轻松构建实时事件生成器并消除对一次性硬编码事件生成器 (Splunk) 的需求的实用程序”。继续并选择下一步。

在 Input Settings 页面,右侧有 Source type 选项卡, 点击 Select。继续并单击选择源类型。您将使用的源类型之一是 access_combined,它是 NCSA 组合格式的 http Web 服务器日志;可以由 Apache 或其他 Web 服务器生成。选择源类型后,会出现一个带有列表的下拉箭头,选择Web,然后选择_access_combined_。在说明 App Context 的部分中,确保选择了您的 App Name。所有其他默认选项,保持原样。最后,选择 Review。在 Review 选项卡中,确保所有信息都正确无误。目前屏幕上应该显示,文件输入已成功创建。继续并选择开始搜索。

正在搜索

这就是原始事件的样子

通过选择 splunk>enterprise 返回默认 Splunk 主屏幕。选择 Apps 选项卡并选择已创建的应用程序。在整个过程中,您将使用 Last 60 minutes 时间选择器。因此,请将时间选择器设置为最后 60 分钟。

时间选择器:最后 60 分钟

现在,尝试搜索:

搜索以下内容:503购买

“503”和“purchase”之间的空格使其成为布尔值,因此 Splunk 将单独或一起搜索这两个词。尝试澄清您正在搜索的内容;因此以不同的方式再试一次。

503 并购买

第503章

带有星号 * 的通配符显示对任何事件的搜索。

! zoz100037](https://devpress-image.s3.cn-north-1.jdcloud-oss.com/a/4bbca0bdb2_1*SkULUEDBSfSf_wzBd5Op0g.jpg)

503(购买或添加到购物车)

状态u003d503 动作u003d购买

我们一直在左右搜索文本,但为了确定我们实际在寻找什么,例如对于 503 状态代码,您可能希望像上图中的status=503 action=purchase一样包含 statusu003d503。这将确保您正在查看 HTTP 状态代码为 503 的 Web 服务器purchase事件。

为 IT 运营团队制作仪表板面板

在新的 IT 运营团队中,您将随着时间的推移比较和调查成功和不成功的 Web 服务器请求。开始新的搜索。回到显示 splunk>enterprise 的选项卡。然后,选择带有向下箭头的 Apps 选项卡,显示您已创建的应用程序列表。选择您的应用名称。然后,选择搜索。您将选择时间选择器作为过去 60 分钟。

在搜索栏上,搜索:sourcetypeu003daccess_combined

在左侧您将看到一个字段名称,status,选择它。然后,选择按时间排列的最高值。

按时间选择最高值后。这就是结果。

这也是按时间计算的最高值结果的一部分。

按时间选择最高值后。将分为三个部分,即模式、统计 (#) 和可视化。选择可视化。

柱形图选择

然后,将图表更改为柱形图。然后,选择 Format 并选择 stacked 模式。

最后,选择 Save As 到 New Dashboard。

为您的仪表板标题命名和描述。确保选择 Classic Dashboards。

还要为您的面板命名,以清楚地显示图表正在显示。继续,保存到仪表板,然后您将能够查看仪表板。

查看仪表板

提取新信息

在 DevOps 团队中,显示最常见的客户操作系统和遇到最多故障的 Web 浏览器。您将使用 Splunk 的字段提取器向导创建报告。为了提取新字段,让我们回到 Search。如果搜索结果中没有显示/填充任何结果,则键入通配符、星号 (*),然后选择时间选择器,即 Last 60 minutes。

! zoz100076](https://devpress-image.s3.cn-north-1.jdcloud-oss.com/a/70a8179f2d_1*ms4J7K6udYSvKisu_ZvBUw.jpg)

在这张图片中,我选择了第一个可用的结果,选择了左侧“i”信息符号下方的箭头,然后出现了一个下拉菜单,其中包含有关事件的信息以及一个选项卡,上面写着 Event Actions. * 我选择了 Event Actions,然后弹出一个下拉菜单,上面写着:“Build Event Type、Extract Fields 和 Show Source。我选择了提取字段*。你也可以按照这个方法。

选项是正则表达式 (RegEx) 或分隔符

您正在选择正则表达式。

! zwz 100085 zwz 100086 zwz 100084

在“Mozilla/5.0”旁边,您会看到我在平台或在本例中为您将用作字段名称的操作系统(OS)部分添加了下划线。操作系统是 Linux、iOS、Android 和 Windows,仅举几例。

上图中的每个部分都有一个字段名称;因此,您将突出显示显示操作系统的部分并提供字段名称“platform”。 然后,选择 Add Extraction 并选择 Next。

此外,再次选择 Next 以到达 Save 页面。

进入保存页面后,选择完成。

! swz 100103 swz 100104 swz 100102

看到 Success! 页面后,选择 Explore the fields I just created in Search。

! swz 100106 swz 100107 swz 100105

探索您在 Search 中创建的字段。确保将时间选择器从过去 24 小时更改为过去 60 分钟。

上面写在搜索栏的是:

index=_* OR index=* sourcetype=access_combined

! swz 100109 swz 100110 swz 100108

在左上角,您将看到您创建的字段名称 platform 已列出。继续并选择字段名称,platform。

选择报告最高值。

字段名称 platform 和报告 Top values 的结果。 确保将图表更改为 条形图 以获得更好的可视化效果。

在右上角,有一个另存为的选项卡,选择它并选择现有仪表板。选择 Existing Dashboard 后,选择您的仪表板。我的仪表板名称是 SecOp Intelligence。选择然后给出一个面板标题。我将我的留空,您可以根据您显示信息的团队和目的来命名您的团队,例如“IT 运营:客户端操作系统的最高价值”。继续并选择保存到仪表板。

浏览器报错

在搜索页面中,输入代码sourcetype=access_combined并确保将时间选择器选择为 Last 60 minutes。一旦填充了信息和结果。添加状态码status>=400。然后,再次搜索。

! zwz 100121 zwz 100122 zwz 100120

在左侧,其中一个字段名称为 useragent,选择它,然后选择 Top values by time。

按时间划分的最高值

选择后,Top values by time,这是结果页面。选择 Visualization 选项卡并选择图表到 Area Chart。

! zwz 100130 zwz 100131 zwz 100129

这就是面积图的样子。

这看起来像很多信息,看起来像一堵蓝色的墙。为了让它更干净,更容易看,您将使用代码进行搜索:

sourcetype=access_combined status>=400 | timechart count by useragent limit=5

在 Splunk 中搜索时使用竖线 (|) 时的提醒,您将看到如下实际输入:

sourcetypeu003daccess_combined 状态>u003d400

| 由 useragent 限制的时间表计数 u003d 5

这个图像看起来比蓝色的墙好得多。这张图片清楚地显示了我们正在寻找的面积图。

! zwz 100136 zwz 100137 zwz 100135

如果要删除“OTHER”不必要的值,可以在末尾添加useother=f。

! zwz 100139 zwz 100140 zwz 100138

确保将 Save As 保存到 Existing Dashboard。

! swz 100142 swz 100143 swz 100141

这些是我们收集的信息。到目前为止,这就是它的样子。

! swz 100145 swz 100146 swz 100144

到目前为止仪表板外观的另一张图片。

单值可视化

此可视化将显示您的网站或公司网站的收入损失,稍后将添加到 Existing Dashboard。

您将在查找表文件中查找逗号分隔值 (csv) 文件。在右上角,您将看到显示的管理员、消息、设置、活动和帮助。您将选择设置,然后选择查找。

! swz 100148 swz 100149 swz 100147

在查找页面中,选择查找表文件。

! zwz 100151 zwz 100152 zwz 100150

在查找表文件中,有您稍后将要搜索的 csv 文件。

您将使用的 csv 文件是 product_codes.csv

在 Lookups 中不会执行进一步的操作。

返回 Search 并搜索| inputlookup product_codes.csv。

! swz 100157 swz 100158 swz 100156

您将看到 inputlookup 命令包含多个值和字段。

确保将时间选择器更改为最后 60 分钟。

您将从 csv 文件中提取 product_price 字段。

使用搜索查询:action=purchase | lookup product_codes.csv product_id

! swz 100163 swz 100164 swz 100162

结果后,您会在页面左侧看到字段名称,显示product_price。选择 product_price 字段名称。

Splunk 正在使用 product_id 字段从 csv 文件中提取数据。这些附加字段可用于搜索。

! zwz 100169 zwz 100170 zwz 100168

这一次您需要搜索以状态码 400 或更高版本显示的失败购买事件。

搜索查询:action=purchase status>=400 | lookup product_codes.csv product_id。上图显示了结果。现在,您将过滤掉更多内容以找出我们损失的总收入。下图显示了此信息:

action=purchase status>=400 | lookup product_codes.csv product_id | timechart sum(product_price)

! swz 100172 swz 100173 swz 100171

所有失败的产品_价格字段的总计图像。

! swz 100175 swz 100176 swz 100174

单值可视化。选择 Visualization 选项卡并将图表更改为 Single Value 可视化,如上图所示。

! swz 100178 swz 100179 swz 100177

选择格式选项卡,选择颜色选项卡,然后在使用颜色中,选择是。您可以根据自己的喜好进行颜色坐标,以便您的图表色彩丰富且易于理解。

! swz 100181 swz 100182 swz 100180

在 Number Format 中,将 Precision 更改为 0.00。确保选择了 Use Thousand Separators Yes。确保 Unit 对于使用 ($) 的人有一个美元符号,或者它可以是每个国家/地区使用的任何货币符号。确保 Unit Position 对于美国来说是 Before。我知道有些国家有他们的货币单位,After。

现在,通过选择 Save As 然后 Save Panel to Existing Dashboard 来保存此信息。最后,选择保存到仪表板。

! swz 100187 swz 100188 swz 100186

到目前为止,这就是仪表板与我们刚刚保存的信息的样子。

聚类图可视化

这是按地理位置查找网站活动显示的好方法。集群图是网络安全和/或欺诈团队可视化的好方法。集群图让我想起了我用 Amazon Web Services 创建的Honeypot。

带有 iplocation 地理统计的集群图。如果查找 iplocation 和 geostats 命令,将提到事件“City”作为字段之一。

搜索:sourcetype-access_combined | iplocation clientip | geostats count by City

确保选择 Visualization 并选择图表作为 Cluster Map。

如果您想为每个图表添加额外的详细信息,则在搜索查询的末尾使用 globallimitu003d0。

显示以供参考:globallimitu003d0 的数据

另存为到现有仪表板和集群地图

美化仪表板

选择仪表板选项卡时,这是页面所在的位置。

通过选择右上角的 Edit 将仪表板置于编辑模式。

编辑仪表板屏幕。

选择添加输入,然后选择时间。

选择铅笔图标以编辑时间选择器中的信息。时间选择器的标记名称是 field 1。

在编辑模式下,将 Time Range 更改为 Use time picker 和 token 作为“field 1”,然后 Apply。

对仪表板中显示的每个图表重复此方法,以便我们可以看到经过美化/增强的图表。

完成所有图表后,您将选择 Save。 您可以将主题更改为 Dark Theme 或保持原样,由您决定。如果您将其更改为暗模式,则再次选择保存并在弹出的请求刷新页面的窗口中选择刷新。

图 1:功能齐全的多个用例 Splunk 仪表板的最终结果。

图 2:Splunk 仪表板的中间部分。

图 3:Splunk 仪表板的最后一部分。

Splunk 仪表板是一种可视化“显示数据可视化的面板,例如图表、表格、事件列表和地图 (Splunk)”的好方法。这就是我们运行搜索、保存报告并将其添加到仪表板的方式,以便我们了解数据事件背后的故事。

我参加了Splunk Workshop以了解如何开始使用他们的可视化概念。本文基于Splunk的实验室练习。