<h1>2018.09 Report - Fee monitoring</h1>
<p>Reminder : Python croned task monitoring the Bisq network onion nodes for the fees. On a 5 minutes basis.<br>
The fee page is a small json page and, additionnaly to monitoring the fees, provides also simultaneously a convenient mean to monitor the connectivity of/to the nodes.</p>
<p>All requests have a 10 seconds timeout, ie if the onion node doesn't answer in 10 seconds, the request is abandoned. Generally nodes answer in less than 1 second.<br>
The fees are also archived.</p>
<p>The monitoring is at the moment realized by writing alerts in files + sending emails.</p>
<h3>Timeouts</h3>
<ul>
<li>For the period august 1st - august 31th, 16% of the time, one onion at least was in timeout (or another exception)</li>
<li>For the period sept 1st - sept 26th, 14% of the time, one onion at least was in timeout (or another exception)</li>
</ul>
<p>I plan to investigate further to distinguish more precisely the timeouts and other exceptions.<br>
In some cases, a detected timeout or exception, is due to the concerned node having a proper issue.<br>
In other (many ?) cases, <strong>a detected timeout may in fact be due to relays between the monitor and the node</strong> (either on clearnet or on Tornet).<br>
Pricenodes maintainers can do something when their node is concerned. When the issue is due to the net, it's out of scope.</p>
<p>When I notice an issue, I cross the information with <a href="http://188.166.2.139:8080/status" rel="nofollow">http://188.166.2.139:8080/status</a> and I drop a line on the slack when the issue seems confirmed or lasts.<br>
This happened only twice this month, but the monitor catches correctly the timeouts only since the 20th.</p>
<h3>Divergence between nodes</h3>
<p>For the period september 1st-26th 2018, there were 0 divergences lasting on 2 consecutives 5 minutes checks.<br>
There were less than 100 divergences catched on a one check, but none lasting.<br>
The catched divergences correspond to fee transitions, where the transition is not achieved for all nodes.</p>
<h3>Fees statistics</h3>
<p>min = 10 satoshis/byte, max = 46 satoshis/byte,</p>
<table>
<thead>
<tr>
<th>satoshis/byte</th>
<th>occurences</th>
</tr>
</thead>
<tbody>
<tr>
<td>10</td>
<td>88%</td>
</tr>
<tr>
<td>12-20</td>
<td>9%</td>
</tr>
<tr>
<td>22-30</td>
<td>1.7%</td>
</tr>
<tr>
<td>32-40</td>
<td>occured on 17 checks</td>
</tr>
<tr>
<td>46</td>
<td>occured on 14 checks</td>
</tr></tbody></table>
<p>Max fees weren't too high this month, and were very rare. So, nobody should have been hurted by the fees this month.</p>
<p>(This month, I added also recording + alerts for high fees detection.)</p>
<h3>Improvements</h3>
<ul>
<li>Some alerts could be automaticaly directed to the slack.</li>
<li>the timeouts can be better analyzed</li>
<li>...</li>
</ul>
<p>NB : This monitoring is a subtask (but independant) of the pricenode monitoring task. I'll write a little report for the prices monitoring also.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">—<br />You are receiving this because you are subscribed to this thread.<br />Reply to this email directly, <a href="https://github.com/bisq-network/roles/issues/10#issuecomment-425174367">view it on GitHub</a>, or <a href="https://github.com/notifications/unsubscribe-auth/AkpZtvGOD-UBqArBN1uUixQFGm_KKLYeks5ufQk5gaJpZM4PL2hy">mute the thread</a>.<img src="https://github.com/notifications/beacon/AkpZtmh2EOP5cmYDKDB3wksr5eNt79Mvks5ufQk5gaJpZM4PL2hy.gif" height="1" width="1" alt="" /></p>
<script type="application/json" data-scope="inboxmarkup">{"api_version":"1.0","publisher":{"api_key":"05dde50f1d1a384dd78767c55493e4bb","name":"GitHub"},"entity":{"external_key":"github/bisq-network/roles","title":"bisq-network/roles","subtitle":"GitHub repository","main_image_url":"https://assets-cdn.github.com/images/email/message_cards/header.png","avatar_image_url":"https://assets-cdn.github.com/images/email/message_cards/avatar.png","action":{"name":"Open in GitHub","url":"https://github.com/bisq-network/roles"}},"updates":{"snippets":[{"icon":"PERSON","message":"@HarryMacfinned in #10: # 2018.09 Report - Fee monitoring\r\n\r\nReminder : Python croned task monitoring the Bisq network onion nodes for the fees. On a 5 minutes basis.\r\nThe fee page is a small json page and, additionnaly to monitoring the fees, provides also simultaneously a convenient mean to monitor the connectivity of/to the nodes.\r\n\r\nAll requests have a 10 seconds timeout, ie if the onion node doesn't answer in 10 seconds, the request is abandoned. Generally nodes answer in less than 1 second.\r\nThe fees are also archived.\r\n\r\nThe monitoring is at the moment realized by writing alerts in files + sending emails.\r\n\r\n\r\n### Timeouts\r\n- For the period august 1st - august 31th, 16% of the time, one onion at least was in timeout (or another exception)\r\n- For the period sept 1st - sept 26th, 14% of the time, one onion at least was in timeout (or another exception)\r\n\r\nI plan to investigate further to distinguish more precisely the timeouts and other exceptions.\r\nIn some cases, a detected timeout or exception, is due to the concerned node having a proper issue.\r\nIn other (many ?) cases, **a detected timeout may in fact be due to relays between the monitor and the node** (either on clearnet or on Tornet).\r\nPricenodes maintainers can do something when their node is concerned. When the issue is due to the net, it's out of scope.\r\n\r\nWhen I notice an issue, I cross the information with http://188.166.2.139:8080/status and I drop a line on the slack when the issue seems confirmed or lasts.\r\nThis happened only twice this month, but the monitor catches correctly the timeouts only since the 20th.\r\n\r\n\r\n### Divergence between nodes\r\nFor the period september 1st-26th 2018, there were 0 divergences lasting on 2 consecutives 5 minutes checks.\r\nThere were less than 100 divergences catched on a one check, but none lasting.\r\nThe catched divergences correspond to fee transitions, where the transition is not achieved for all nodes.\r\n\r\n\r\n### Fees statistics\r\nmin = 10 satoshis/byte, max = 46 satoshis/byte,\r\n\r\nsatoshis/byte | occurences\r\n--------------|---------\r\n10            | 88%\r\n12-20         |  9%\r\n22-30         |  1.7%\r\n32-40         | occured on 17 checks\r\n46            | occured on 14 checks\r\n\r\nMax fees weren't too high this month, and were very rare. So, nobody should have been hurted by the fees this month.\r\n\r\n(This month, I added also recording + alerts for high fees detection.)\r\n\r\n\r\n### Improvements\r\n- Some alerts could be automaticaly directed to the slack.\r\n- the timeouts can be better analyzed\r\n- ...\r\n\r\n\r\nNB : This monitoring is a subtask (but independant) of the pricenode monitoring task. I'll write a little report for the prices monitoring also.\r\n"}],"action":{"name":"View Issue","url":"https://github.com/bisq-network/roles/issues/10#issuecomment-425174367"}}}</script>
<script type="application/ld+json">[
{
"@context": "http://schema.org",
"@type": "EmailMessage",
"potentialAction": {
"@type": "ViewAction",
"target": "https://github.com/bisq-network/roles/issues/10#issuecomment-425174367",
"url": "https://github.com/bisq-network/roles/issues/10#issuecomment-425174367",
"name": "View Issue"
},
"description": "View this Issue on GitHub",
"publisher": {
"@type": "Organization",
"name": "GitHub",
"url": "https://github.com"
}
},
{
"@type": "MessageCard",
"@context": "http://schema.org/extensions",
"hideOriginalBody": "false",
"originator": "AF6C5A86-E920-430C-9C59-A73278B5EFEB",
"title": "Re: [bisq-network/roles] Monitoring Operator/Maintainer (#10)",
"sections": [
{
"text": "",
"activityTitle": "**Harry MacFinned**",
"activityImage": "https://assets-cdn.github.com/images/email/message_cards/avatar.png",
"activitySubtitle": "@HarryMacfinned",
"facts": [

]
}
],
"potentialAction": [
{
"name": "Add a comment",
"@type": "ActionCard",
"inputs": [
{
"isMultiLine": true,
"@type": "TextInput",
"id": "IssueComment",
"isRequired": false
}
],
"actions": [
{
"name": "Comment",
"@type": "HttpPOST",
"target": "https://api.github.com",
"body": "{\n\"commandName\": \"IssueComment\",\n\"repositoryFullName\": \"bisq-network/roles\",\n\"issueId\": 10,\n\"IssueComment\": \"{{IssueComment.value}}\"\n}"
}
]
},
{
"name": "Close issue",
"@type": "HttpPOST",
"target": "https://api.github.com",
"body": "{\n\"commandName\": \"IssueClose\",\n\"repositoryFullName\": \"bisq-network/roles\",\n\"issueId\": 10\n}"
},
{
"targets": [
{
"os": "default",
"uri": "https://github.com/bisq-network/roles/issues/10#issuecomment-425174367"
}
],
"@type": "OpenUri",
"name": "View on GitHub"
},
{
"name": "Unsubscribe",
"@type": "HttpPOST",
"target": "https://api.github.com",
"body": "{\n\"commandName\": \"MuteNotification\",\n\"threadId\": 254765170\n}"
}
],
"themeColor": "26292E"
}
]</script>