Re: SAS hotswap и баг

[artiom]

Короче, даже про hot-swap придётся читать, т.к. "интуитивно понятно" оно
не работает.

18.04.2018 23:12, Artem Chuprina пишет:
> artiom -> debian-russian@lists.debian.org  @ Wed, 18 Apr 2018 23:05:20 +0300:
> 
>  >> echo "- - -" >/sys/class/scsi_host/host/scan
>  >> 
>  >> не уверен, насколько набор команд актуален современным ядрам, давно с 
> дисками не возился.
>  >> 
>  > Попробовать могу, но разве хотсвоп не предполагает, что руками делать
>  > ничего не надо?
> 
> Вообще говоря, нет. В смысле, при вылете да, предполагает, а вот при
> вставлении у обоих вариантов (подхватить сразу и подождать явной
> команды) есть свои плюсы и минусы.
> 

Re: SAS hotswap и баг

[artiom]

Ясно. Хотя, несколько странно.

19.04.2018 11:27, Andrey Jr. Melnikov пишет:
> artiom  wrote:
>>> On 04/08/18 04:37, Артём Н. wrote:
> 
>>> echo "- - -" >/sys/class/scsi_host/host/scan
>>>
>>> не уверен, насколько набор команд актуален современным ядрам, давно с 
>>> дисками не возился.
>>>
>> Попробовать могу, но разве хотсвоп не предполагает, что руками делать
>> ничего не надо?
> Нет. HotSwap - это тип разъемов и (не всегда и не везде) возможность для
> контроллера узнать что там что-то подключили.
> Всё остальное - руками. Только без выключения питания всей балалайки.
> 

Re: SAS hotswap и баг

[Andrey Jr. Melnikov]

artiom  wrote:
> > On 04/08/18 04:37, Артём Н. wrote:

> > echo "- - -" >/sys/class/scsi_host/host/scan
> > 
> > не уверен, насколько набор команд актуален современным ядрам, давно с 
> > дисками не возился.
> > 
> Попробовать могу, но разве хотсвоп не предполагает, что руками делать
> ничего не надо?
Нет. HotSwap - это тип разъемов и (не всегда и не везде) возможность для
контроллера узнать что там что-то подключили.
Всё остальное - руками. Только без выключения питания всей балалайки.

Re: SAS hotswap и баг

[Artem Chuprina]

artiom -> debian-russian@lists.debian.org  @ Wed, 18 Apr 2018 23:05:20 +0300:

 >> echo "- - -" >/sys/class/scsi_host/host/scan
 >> 
 >> не уверен, насколько набор команд актуален современным ядрам, давно с 
 >> дисками не возился.
 >> 
 > Попробовать могу, но разве хотсвоп не предполагает, что руками делать
 > ничего не надо?

Вообще говоря, нет. В смысле, при вылете да, предполагает, а вот при
вставлении у обоих вариантов (подхватить сразу и подождать явной
команды) есть свои плюсы и минусы.

Re: SAS hotswap и баг

[artiom]

> On 04/08/18 04:37, Артём Н. wrote:
>> Вытащил диск, вставил на место, но в /dev его не увидел.
>> Зато увидел вот это в dmesg:
>>
> а ты просто взял и вытащил диск? он был смонтирован?
> из системы его удалял, перед тем как вытащить?
> 
Да, просто взял и вытащил.
Это имитация поломки.
Хотел увидеть, как поведёт себя пул.

> echo 1 > /sys/block/sda/device/delete
> 
> не пробовал пересканировать шину после того как вставил обратно?
> 
Не пробовал.

> echo "- - -" >/sys/class/scsi_host/host/scan
> 
> не уверен, насколько набор команд актуален современным ядрам, давно с дисками 
> не возился.
> 
Попробовать могу, но разве хотсвоп не предполагает, что руками делать
ничего не надо?

Re: SAS hotswap и баг

[Tim Sattarov]

On 04/08/18 04:37, Артём Н. wrote:
> Вытащил диск, вставил на место, но в /dev его не увидел.
> Зато увидел вот это в dmesg:
>
а ты просто взял и вытащил диск? он был смонтирован?
из системы его удалял, перед тем как вытащить?

echo 1 > /sys/block/sda/device/delete

не пробовал пересканировать шину после того как вставил обратно?

echo "- - -" >/sys/class/scsi_host/host/scan

не уверен, насколько набор команд актуален современным ядрам, давно с дисками 
не возился.

Re: SAS hotswap и баг

[Artem Chuprina]

artiom -> debian-russian@lists.debian.org  @ Sun, 8 Apr 2018 16:55:12 +0300:

 >>  > Вытащил диск, вставил на место, но в /dev его не увидел.
 >>  > Зато увидел вот это в dmesg:
 >> 
 >> Это там, где ZFS поверх LUKS?  Есть шанс, что ты получил ответ на свой
 >> вопрос, что же ты сделал неправильно.
 >> 
 > Вряд ли тут что-то неправильно.
 > Да и шанса такого нет.
 > scsi_device_dev_release_usercontext явно знать не может о каком-то LUKS.

Ну, насчет шанса нет я бы не был так уверен. Нынче в ядре у нас что ни
блоковое устройство, то SCSI, даже если оно чисто программное.

Хотя, если в /dev нет самого диска, то в общем, да, говорить о проблеме
в районе LUKS не следует. Если проблема там, то нижележащий диск должен
быть на месте.

 >>  > [69497.081559] sd 0:0:5:0: [sdf] Synchronize Cache(10) failed: Result:
 >>  > hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
 >>  > [69916.705257] Buffer I/O error on dev dm-8, logical block 0, async page 
 >> read
 >>  > [69930.896113] list_del corruption, 986c0632b010->next is 
 >> LIST_POISON1 (dead0100)
 >>  > [69930.896226] [ cut here ]
 >>  > [69930.896227] kernel BUG at 
 >> /build/linux-3RM5ap/linux-4.14.13/lib/list_debug.c:47!
 >>  > [69930.896329] invalid opcode:  [#1] SMP PTI
 >>  > [69930.896416] Modules linked in: xt_nat veth ipt_MASQUERADE
 >>  > nf_nat_masquerade_ipv4 nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo
 >>  > iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 xt_addrtype
 >>  > xt_conntrack nf_nat nf_conntrack br_netfilter bridge stp llc bonding 
 >> xt_tcpudp
 >>  > cpufreq_conservative cpufreq_userspace cpufreq_powersave iptable_filter
 >>  > intel_rapl x86_pkg_temp_thermal intel_powerclamp kvm_intel iTCO_wdt
 >>  > iTCO_vendor_support kvm irqbypass ttm drm_kms_helper intel_cstate 
 >> intel_uncore
 >>  > pcspkr intel_rapl_perf serio_raw drm evdev mei_me mei sg lpc_ich mfd_core
 >>  > shpchp ie31200_edac button nuvoton_cir ipmi_si battery ipmi_devintf 
 >> rc_core
 >>  > ipmi_msghandler tpm_crb video acpi_pad nct6775 hwmon_vid jc42 coretemp
 >>  > ip_tables x_tables autofs4 zfs(PO) zunicode(PO) zavl(PO) icp(PO) 
 >> zcommon(PO)
 >>  > znvpair(PO)
 >>  > [69930.896925]  spl(O) btrfs zstd_decompress zstd_compress xxhash
 >>  > algif_skcipher af_alg dm_crypt dm_mod raid10 raid456 async_raid6_recov
 >>  > async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c 
 >> crc32c_generic
 >>  > raid1 raid0 multipath linear md_mod sd_mod hid_generic usbhid hid
 >>  > crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel pcbc
 >>  > aesni_intel aes_x86_64 crypto_simd ahci glue_helper xhci_pci cryptd 
 >> libahci
 >>  > mpt3sas igb xhci_hcd raid_class i2c_algo_bit libata scsi_transport_sas 
 >> dca
 >>  > i2c_i801 ptp pps_core usbcore scsi_mod usb_common fan thermal
 >>  > [69930.897315] CPU: 7 PID: 15570 Comm: kworker/u16:2 Tainted: P O
 >>  > 4.14.0-0.bpo.3-amd64 #1 Debian 4.14.13-1~bpo9+1
 >>  > [69930.897462] Hardware name: To Be Filled By O.E.M. To Be Filled By
 >>  > O.E.M./E3C224D4I-14S, BIOS P3.20 05/29/2015
 >>  > [69930.897612] Workqueue: fw_event_mpt2sas0 _firmware_event_work 
 >> [mpt3sas]
 >>  > [69930.897732] task: 986a138af040 task.stack: bbcfca9a8000
 >>  > [69930.897846] RIP: 0010:__list_del_entry_valid+0x4e/0x90
 >>  > [69930.897958] RSP: 0018:bbcfca9abb48 EFLAGS: 00010086
 >>  > [69930.898070] RAX: 004e RBX: 0246 RCX: 
 >> 
 >>  > [69930.898185] RDX:  RSI: 986c1fdd66f8 RDI: 
 >> 986c1fdd66f8
 >>  > [69930.898298] RBP: 986c0632b738 R08:  R09: 
 >> 0fdf
 >>  > [69930.898413] R10: 017d R11: 99b88e6d R12: 
 >> 986c0636b180
 >>  > [69930.898527] R13: 986c05f22000 R14: 986c0632b000 R15: 
 >> 986c0d078010
 >>  > [69930.898641] FS:  () GS:986c1fdc() 
 >> knlGS:
 >>  > [69930.898779] CS:  0010 DS:  ES:  CR0: 80050033
 >>  > [69930.898892] CR2: 7fbe5e9f4ab4 CR3: 00019b40a005 CR4: 
 >> 001606e0
 >>  > [69930.899008] Call Trace:
 >>  > [69930.899121]  scsi_device_dev_release_usercontext+0x55/0x260 [scsi_mod]
 >>  > [69930.899242]  execute_in_process_context+0x5e/0x70
 >>  > [69930.899358]  device_release+0x2d/0x80
 >>  > [69930.899467]  kobject_put+0xa5/0x1a0
 >>  > [69930.899580]  scsi_remove_target+0x171/0x1b0 [scsi_mod]
 >>  > [69930.899699]  sas_rphy_remove+0x55/0x60 [scsi_transport_sas]
 >>  > [69930.899814]  sas_port_delete+0x2a/0x160 [scsi_transport_sas]
 >>  > [69930.899931]  mpt3sas_transport_port_remove+0x1bc/0x220 [mpt3sas]
 >>  > [69930.900053]  _scsih_remove_device+0x21d/0x330 [mpt3sas]
 >>  > [69930.900171]  ? _scsih_sas_host_refresh+0x118/0x180 [mpt3sas]
 >>  > [69930.900290]  _scsih_device_remove_by_handle.part.30+0x78/0xc0 
 >> [mpt3sas]
 >>  > [69930.900407]  _firmware_event_work+0x15c7/0x1d80 [mpt3sas]
 >>  > [69930.900519]  ? update_curr+0xf0/0x1a0
 

Re: SAS hotswap и баг

[artiom]

На ядро апстрима на NAS я точно не буду переключаться.

08.04.2018 15:39, Alexander Gerasiov пишет:
> Hello Артём,
> 
> On Sun, 8 Apr 2018 11:37:14 +0300
> Артём Н.  wrote:
> 
>> Вытащил диск, вставил на место, но в /dev его не увидел.
>> Зато увидел вот это в dmesg:
>>
>> [69497.081559] sd 0:0:5:0: [sdf] Synchronize Cache(10) failed:
>> Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK [69916.705257]
>> Buffer I/O error on dev dm-8, logical block 0, async page read
>> [69930.896113] list_del corruption, 986c0632b010->next is
>> LIST_POISON1 (dead0100) [69930.896226] [ cut here
> 
>>
>>
>> Чтобы это могло быть?
> 
> Судя по трейсу, сработал ассерт в scsi_mod. Имеет смысл запостить этот
> трейс в профильный список рассылки. Вначале проверив, что он
> вопроизводится, затем проверив, что он воспроизводится на последней
> версии твоего ядра (потому что у тебя 4.14.13, а у апстрима уже
> 4.14.32).
> 

Re: SAS hotswap и баг

[artiom]

08.04.2018 12:44, Artem Chuprina пишет:
> Артём Н. -> debian-russian@lists.debian.org  @ Sun, 8 Apr 2018 11:37:14 +0300:
> 
>  > Вытащил диск, вставил на место, но в /dev его не увидел.
>  > Зато увидел вот это в dmesg:
> 
> Это там, где ZFS поверх LUKS?  Есть шанс, что ты получил ответ на свой
> вопрос, что же ты сделал неправильно.
> 
Вряд ли тут что-то неправильно.
Да и шанса такого нет.
scsi_device_dev_release_usercontext явно знать не может о каком-то LUKS.

>  > [69497.081559] sd 0:0:5:0: [sdf] Synchronize Cache(10) failed: Result:
>  > hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
>  > [69916.705257] Buffer I/O error on dev dm-8, logical block 0, async page 
> read
>  > [69930.896113] list_del corruption, 986c0632b010->next is LIST_POISON1 
> (dead0100)
>  > [69930.896226] [ cut here ]
>  > [69930.896227] kernel BUG at 
> /build/linux-3RM5ap/linux-4.14.13/lib/list_debug.c:47!
>  > [69930.896329] invalid opcode:  [#1] SMP PTI
>  > [69930.896416] Modules linked in: xt_nat veth ipt_MASQUERADE
>  > nf_nat_masquerade_ipv4 nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo
>  > iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 xt_addrtype
>  > xt_conntrack nf_nat nf_conntrack br_netfilter bridge stp llc bonding 
> xt_tcpudp
>  > cpufreq_conservative cpufreq_userspace cpufreq_powersave iptable_filter
>  > intel_rapl x86_pkg_temp_thermal intel_powerclamp kvm_intel iTCO_wdt
>  > iTCO_vendor_support kvm irqbypass ttm drm_kms_helper intel_cstate 
> intel_uncore
>  > pcspkr intel_rapl_perf serio_raw drm evdev mei_me mei sg lpc_ich mfd_core
>  > shpchp ie31200_edac button nuvoton_cir ipmi_si battery ipmi_devintf rc_core
>  > ipmi_msghandler tpm_crb video acpi_pad nct6775 hwmon_vid jc42 coretemp
>  > ip_tables x_tables autofs4 zfs(PO) zunicode(PO) zavl(PO) icp(PO) 
> zcommon(PO)
>  > znvpair(PO)
>  > [69930.896925]  spl(O) btrfs zstd_decompress zstd_compress xxhash
>  > algif_skcipher af_alg dm_crypt dm_mod raid10 raid456 async_raid6_recov
>  > async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c 
> crc32c_generic
>  > raid1 raid0 multipath linear md_mod sd_mod hid_generic usbhid hid
>  > crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel pcbc
>  > aesni_intel aes_x86_64 crypto_simd ahci glue_helper xhci_pci cryptd libahci
>  > mpt3sas igb xhci_hcd raid_class i2c_algo_bit libata scsi_transport_sas dca
>  > i2c_i801 ptp pps_core usbcore scsi_mod usb_common fan thermal
>  > [69930.897315] CPU: 7 PID: 15570 Comm: kworker/u16:2 Tainted: P O
>  > 4.14.0-0.bpo.3-amd64 #1 Debian 4.14.13-1~bpo9+1
>  > [69930.897462] Hardware name: To Be Filled By O.E.M. To Be Filled By
>  > O.E.M./E3C224D4I-14S, BIOS P3.20 05/29/2015
>  > [69930.897612] Workqueue: fw_event_mpt2sas0 _firmware_event_work [mpt3sas]
>  > [69930.897732] task: 986a138af040 task.stack: bbcfca9a8000
>  > [69930.897846] RIP: 0010:__list_del_entry_valid+0x4e/0x90
>  > [69930.897958] RSP: 0018:bbcfca9abb48 EFLAGS: 00010086
>  > [69930.898070] RAX: 004e RBX: 0246 RCX: 
> 
>  > [69930.898185] RDX:  RSI: 986c1fdd66f8 RDI: 
> 986c1fdd66f8
>  > [69930.898298] RBP: 986c0632b738 R08:  R09: 
> 0fdf
>  > [69930.898413] R10: 017d R11: 99b88e6d R12: 
> 986c0636b180
>  > [69930.898527] R13: 986c05f22000 R14: 986c0632b000 R15: 
> 986c0d078010
>  > [69930.898641] FS:  () GS:986c1fdc() 
> knlGS:
>  > [69930.898779] CS:  0010 DS:  ES:  CR0: 80050033
>  > [69930.898892] CR2: 7fbe5e9f4ab4 CR3: 00019b40a005 CR4: 
> 001606e0
>  > [69930.899008] Call Trace:
>  > [69930.899121]  scsi_device_dev_release_usercontext+0x55/0x260 [scsi_mod]
>  > [69930.899242]  execute_in_process_context+0x5e/0x70
>  > [69930.899358]  device_release+0x2d/0x80
>  > [69930.899467]  kobject_put+0xa5/0x1a0
>  > [69930.899580]  scsi_remove_target+0x171/0x1b0 [scsi_mod]
>  > [69930.899699]  sas_rphy_remove+0x55/0x60 [scsi_transport_sas]
>  > [69930.899814]  sas_port_delete+0x2a/0x160 [scsi_transport_sas]
>  > [69930.899931]  mpt3sas_transport_port_remove+0x1bc/0x220 [mpt3sas]
>  > [69930.900053]  _scsih_remove_device+0x21d/0x330 [mpt3sas]
>  > [69930.900171]  ? _scsih_sas_host_refresh+0x118/0x180 [mpt3sas]
>  > [69930.900290]  _scsih_device_remove_by_handle.part.30+0x78/0xc0 [mpt3sas]
>  > [69930.900407]  _firmware_event_work+0x15c7/0x1d80 [mpt3sas]
>  > [69930.900519]  ? update_curr+0xf0/0x1a0
>  > [69930.900627]  ? pick_next_task_fair+0x156/0x570
>  > [69930.900737]  ? __switch_to+0xa8/0x450
>  > [69930.900844]  process_one_work+0x181/0x370
>  > [69930.900953]  worker_thread+0x4d/0x3c0
>  > [69930.901061]  kthread+0xfc/0x130
>  > [69930.901168]  ? process_one_work+0x370/0x370
>  > [69930.901278]  ? kthread_create_on_node+0x70/0x70
>  > [69930.901388]  ret_from_fork+0x1f/0x30
>  > [69930.901494] Code: 74 2b 48 8b 12 48 39 

Re: SAS hotswap и баг

[Alexander Gerasiov]

Hello Артём,

On Sun, 8 Apr 2018 11:37:14 +0300
Артём Н.  wrote:

> Вытащил диск, вставил на место, но в /dev его не увидел.
> Зато увидел вот это в dmesg:
> 
> [69497.081559] sd 0:0:5:0: [sdf] Synchronize Cache(10) failed:
> Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK [69916.705257]
> Buffer I/O error on dev dm-8, logical block 0, async page read
> [69930.896113] list_del corruption, 986c0632b010->next is
> LIST_POISON1 (dead0100) [69930.896226] [ cut here

> 
> 
> Чтобы это могло быть?

Судя по трейсу, сработал ассерт в scsi_mod. Имеет смысл запостить этот
трейс в профильный список рассылки. Вначале проверив, что он
вопроизводится, затем проверив, что он воспроизводится на последней
версии твоего ядра (потому что у тебя 4.14.13, а у апстрима уже
4.14.32).

-- 
Best regards,
 Alexander Gerasiov

 Contacts:
 e-mail: g...@cs.msu.su  WWW: http://gerasiov.net  TG/Skype: gerasiov
 PGP fingerprint: 04B5 9D90 DF7C C2AB CD49  BAEA CA87 E9E8 2AAC 33F1

Re: SAS hotswap и баг

[Artem Chuprina]

Артём Н. -> debian-russian@lists.debian.org  @ Sun, 8 Apr 2018 11:37:14 +0300:

 > Вытащил диск, вставил на место, но в /dev его не увидел.
 > Зато увидел вот это в dmesg:

Это там, где ZFS поверх LUKS?  Есть шанс, что ты получил ответ на свой
вопрос, что же ты сделал неправильно.

 > [69497.081559] sd 0:0:5:0: [sdf] Synchronize Cache(10) failed: Result:
 > hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
 > [69916.705257] Buffer I/O error on dev dm-8, logical block 0, async page read
 > [69930.896113] list_del corruption, 986c0632b010->next is LIST_POISON1 
 > (dead0100)
 > [69930.896226] [ cut here ]
 > [69930.896227] kernel BUG at 
 > /build/linux-3RM5ap/linux-4.14.13/lib/list_debug.c:47!
 > [69930.896329] invalid opcode:  [#1] SMP PTI
 > [69930.896416] Modules linked in: xt_nat veth ipt_MASQUERADE
 > nf_nat_masquerade_ipv4 nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo
 > iptable_nat nf_conntrack_ipv4 nf_defrag_ipv4 nf_nat_ipv4 xt_addrtype
 > xt_conntrack nf_nat nf_conntrack br_netfilter bridge stp llc bonding 
 > xt_tcpudp
 > cpufreq_conservative cpufreq_userspace cpufreq_powersave iptable_filter
 > intel_rapl x86_pkg_temp_thermal intel_powerclamp kvm_intel iTCO_wdt
 > iTCO_vendor_support kvm irqbypass ttm drm_kms_helper intel_cstate 
 > intel_uncore
 > pcspkr intel_rapl_perf serio_raw drm evdev mei_me mei sg lpc_ich mfd_core
 > shpchp ie31200_edac button nuvoton_cir ipmi_si battery ipmi_devintf rc_core
 > ipmi_msghandler tpm_crb video acpi_pad nct6775 hwmon_vid jc42 coretemp
 > ip_tables x_tables autofs4 zfs(PO) zunicode(PO) zavl(PO) icp(PO) zcommon(PO)
 > znvpair(PO)
 > [69930.896925]  spl(O) btrfs zstd_decompress zstd_compress xxhash
 > algif_skcipher af_alg dm_crypt dm_mod raid10 raid456 async_raid6_recov
 > async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c 
 > crc32c_generic
 > raid1 raid0 multipath linear md_mod sd_mod hid_generic usbhid hid
 > crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel pcbc
 > aesni_intel aes_x86_64 crypto_simd ahci glue_helper xhci_pci cryptd libahci
 > mpt3sas igb xhci_hcd raid_class i2c_algo_bit libata scsi_transport_sas dca
 > i2c_i801 ptp pps_core usbcore scsi_mod usb_common fan thermal
 > [69930.897315] CPU: 7 PID: 15570 Comm: kworker/u16:2 Tainted: P O
 > 4.14.0-0.bpo.3-amd64 #1 Debian 4.14.13-1~bpo9+1
 > [69930.897462] Hardware name: To Be Filled By O.E.M. To Be Filled By
 > O.E.M./E3C224D4I-14S, BIOS P3.20 05/29/2015
 > [69930.897612] Workqueue: fw_event_mpt2sas0 _firmware_event_work [mpt3sas]
 > [69930.897732] task: 986a138af040 task.stack: bbcfca9a8000
 > [69930.897846] RIP: 0010:__list_del_entry_valid+0x4e/0x90
 > [69930.897958] RSP: 0018:bbcfca9abb48 EFLAGS: 00010086
 > [69930.898070] RAX: 004e RBX: 0246 RCX: 
 > 
 > [69930.898185] RDX:  RSI: 986c1fdd66f8 RDI: 
 > 986c1fdd66f8
 > [69930.898298] RBP: 986c0632b738 R08:  R09: 
 > 0fdf
 > [69930.898413] R10: 017d R11: 99b88e6d R12: 
 > 986c0636b180
 > [69930.898527] R13: 986c05f22000 R14: 986c0632b000 R15: 
 > 986c0d078010
 > [69930.898641] FS:  () GS:986c1fdc() 
 > knlGS:
 > [69930.898779] CS:  0010 DS:  ES:  CR0: 80050033
 > [69930.898892] CR2: 7fbe5e9f4ab4 CR3: 00019b40a005 CR4: 
 > 001606e0
 > [69930.899008] Call Trace:
 > [69930.899121]  scsi_device_dev_release_usercontext+0x55/0x260 [scsi_mod]
 > [69930.899242]  execute_in_process_context+0x5e/0x70
 > [69930.899358]  device_release+0x2d/0x80
 > [69930.899467]  kobject_put+0xa5/0x1a0
 > [69930.899580]  scsi_remove_target+0x171/0x1b0 [scsi_mod]
 > [69930.899699]  sas_rphy_remove+0x55/0x60 [scsi_transport_sas]
 > [69930.899814]  sas_port_delete+0x2a/0x160 [scsi_transport_sas]
 > [69930.899931]  mpt3sas_transport_port_remove+0x1bc/0x220 [mpt3sas]
 > [69930.900053]  _scsih_remove_device+0x21d/0x330 [mpt3sas]
 > [69930.900171]  ? _scsih_sas_host_refresh+0x118/0x180 [mpt3sas]
 > [69930.900290]  _scsih_device_remove_by_handle.part.30+0x78/0xc0 [mpt3sas]
 > [69930.900407]  _firmware_event_work+0x15c7/0x1d80 [mpt3sas]
 > [69930.900519]  ? update_curr+0xf0/0x1a0
 > [69930.900627]  ? pick_next_task_fair+0x156/0x570
 > [69930.900737]  ? __switch_to+0xa8/0x450
 > [69930.900844]  process_one_work+0x181/0x370
 > [69930.900953]  worker_thread+0x4d/0x3c0
 > [69930.901061]  kthread+0xfc/0x130
 > [69930.901168]  ? process_one_work+0x370/0x370
 > [69930.901278]  ? kthread_create_on_node+0x70/0x70
 > [69930.901388]  ret_from_fork+0x1f/0x30
 > [69930.901494] Code: 74 2b 48 8b 12 48 39 d7 75 34 48 8b 50 08 48 39 d7 75 3c
 > b8 01 00 00 00 c3 48 89 fe 48 89 c2 48 c7 c7 60 9e 44 99 e8 7d 21 d5 ff <0f>
 > 0b 48 89 fe 48 c7 c7 98 9e 44 99 e8 6c 21 d5 ff 0f 0b 48 89
 > [69930.901702] RIP: __list_del_entry_valid+0x4e/0x90 RSP: bbcfca9abb48
 > [69930.901816] ---[ end trace b1b41653fc7fb543 ]---